Mobile Testing @ STUGHH
Alles was Ihr schon immer über Mobile
Testing wissen wollt

Daniel Knott
@dnlkntt
www.adventuresinqa.com
2www.handsonmobileapptesting.com https://leanpub.com/smartwatchapptestinghttp://bit.ly/2bUasW8

Warum ist Mobile Testing so
wichtig?
3

4

5
https://twitter.com/_adrianhinojosa/status/757015786057641985

6
Pokémon Go

7
Jede App kann über Nacht
zum Hype werden!

8
Und dann sollte die App
stabil sein!
http://www.trustedreviews.com/opinions/how-to-fix-common-pokemon-
go-problems-bugs-issues
http://www.gameswelt.de/pokemon-go/special/die-5-nervigsten-
bugs,261518

9
Eine Technologie kann
unser Leben und die Art
wie wir kommunizieren
grundlegend verändern.

10

11
Mobile Devices & Apps
werden überall verwendet

12
Author: Ian Britton, http://www.flickr.com/photos/freefoto/728651045/

13
Author: Dan Levy, http://www.flickr.com/photos/danlevy/5607259711/

14
https://pixabay.com/static/uploads/photo/2015/04/22/09/21/barcelona-734422_960_720.jpg

15
Author: Moyan Brenn, https://www.flickr.com/photos/aigle_dore/5626341059/

16
© Daniel Knott

17
https://upload.wikimedia.org/wikipedia/commons/3/3c/Blick-ins-Buero.jpg

18
Und je nach Use Case
sollten Apps auch in der
echten Umgebung
getestet werden

Eure Fragen
19

20
Welches minimal Set an
nicht funktionalen Tests
siehst du als absolut
notwendig an?

21
1. Usability Tests
2. Security Tests
3. Performance Tests
4. Update Test
5. Check Log Files

22
Kann man eine spezielle
Kategorie von
funktionalen Tests
definieren, wo ein Test
mit verschiedenen
Devices ein Muss ist?

23
Ja, immer dann wenn
gerätespezifische
Hardwarekomponenten
genutzt werden.

24
Author: amateur_photo_bore, http://www.flickr.com/photos/andresv/233667770/
Author: Rain Rabbit, http://www.flickr.com/photos/37996583811@N01/8033259053/
Author, Daniel Sancho, http://www.flickr.com/photos/teclasorg/2852716491/
Author: Juan de Dios Santander Vela, http://www.flickr.com/photos/juandesant/209098053

25
https://fscl01.fonpit.de/userfiles/6727621/image/2016/HeroS-random/AndroidPIT-android-uis-4371-w782.jpg

26
Was sind die aktuellen
Trends an
Toolunterstützung?

27
Github
HockeyApp
Lint
PMD
FindBugs
CheckStyle
Robolectric
Espresso
UIAutomator
KIF Calabash
Cocoapods
ExpectaXCTest
FBSnapshot
openSTF
...
Appium Crashlytics
EarlgreyOCUnit
Robotium monkey
Chaos monkey
adb
Charles Proxy

28
Calabash
monkey
HockeyApp
Espresso
adb
Charles Proxy

29
Mobile Testing
==
manuelles Testen

30
Tools sollten das Testen
unterstützen

31
Calabash
monkey
HockeyApp
adb
Charles Proxy

32
Wie sieht eine angemessene Strategie für die
Testautomatisierung mit Blick auf die hohe
Fragmentierung im Bereich Android aus? Oder
anders herum: Vorausgesetzt, es gibt eine
Testsuite für automatisierte Tests (sagen wir 400
TCs), auf wie vielen Geräten kommt die dann
tatsächlich zur Anwendung ?

33
Antwort: Es kommt drauf an J

34
http://opensignal.com/reports/2015/08/android-fragmentation/

35

36
Wichtig sind Nutzerdaten
- Tracking

37

38
Group 1, Prio A
- High End Devices
- Quad Core CPU
- RAM >2048MB
- Full HD Display >= 5“
Group 2, Prio B
- Mid-range devices
- Dual Core CPU
- RAM <1024MB
- Screen size <= 4“
- Software not older than 1
year
Group 3, Prio C
- Small devices
- Single Core
- RAM < 512MB
- Low screen size and
resolution
- Older OS, older browser
Basierend auf den Nutzerstatistiken

39
Aus jeder Gruppe 3-4 Geräte
= 9 bis 12 Geräte für die
Automatisierung nutzen

40
Kleine Testsuites

41
Was glaubst Du, wie stark man
aufgrund der hohen
Fragmentierung der Geräte im
Androidsegment auf A/B-Tests
bei Endusern setzen sollte bzw.
machst Du das viel und nimmt
dies an Testcases zu?

42
Antwort: Ja und Ja J

43
Problem: Der Nutzer

44
Ich nehme an, man kommt nicht
umher, sich auch echte Geräte
anzuschaffen. Welche Tipps hast
Du für ein Lab Management?

45
Wichtig sind Nutzerdaten
- Tracking

46

47

48
Geräte aus den Gerätegruppen
kaufen

49
Top 15 Geräte der Nutzer
kaufen

50
Geräte gruppieren

51
Mobile Device Management
sehr wichtig

52
Mobile Rental Tool

53
Internal App Store

54
www.openstf.io
Android Test Farm

55
DEMO
https://medium.com/xing-engineering/android-smartphone-test-farm-66f28f9bc73d#.oejn8d1jl

56
Welche Art von (technischem)
Monitoring scheint sinnvoll,
nachdem die App in Gebrauch
ist? Und wie kann man die App
Store Bemerkungen sinnvoll
nutzen?

57
Crash Reporting Tools

58
HockeyApp
Testflight
Crashlytics
...

59

60

61

62
Eigenes Monitoring /
Tracking
Graylog 2
...

63
- Review der Reviews
- Antworten & Nachfragen
- Nicht alles zu ernst
nehmen

64

65

66
Habt ihr eine sinnvolle Strategie
für die Verzahnung der
Ergebnisse aus manuellen und
automatisierten Tests für den
Report oder liefern die beiden
Testarten mit Hilfe
unterschiedlicher Tools
unterschiedliche Reports?

67
Nein, Keine Strategie

68
Statische Code Analyse == Grün
Test Automation == Grün
6+ Augen Prinzip bei Code
Review
Manuelle Tests == OK
Commit auf Master Branch

69
Manuelle Tests werden nicht in
einem TM Tool gelistet.
Exploratives Testen
Context Driven Testing
Mind Maps sind unsere Freunde

70
Welche Android Versionen sind
denn interessant?
Halten sich gewisse ältere Minor
Versionen, obwohl es schon
längst neuere Versionen gibt?
(Also z.B. 4.3 - obwohl 4.4 schon
länger veröffentlicht ist)

71
Antwort: Es kommt drauf an J

72
Unterschiedlich je nach App
und Land in
denen die App verfügbar ist

73
https://developer.android.com/about/dashboards/index.html

74

75
Alles unter Android 4.0 wird
meist nicht mehr unterstützt

76
Viele App Hersteller
unterstützen nur noch ab
Android 4.4

Weitere Fragen?
77

Vielen Dank für Ihre
Aufmerksamkeit!
www.xing.com
Daniel Knott
@dnlkntt
daniel@adventuresinqa.com