1.
Mobile Testing @ STUGHH
Alles was Ihr schon immer über Mobile
Testing wissen wollt

2.
Daniel Knott
@dnlkntt
www.adventuresinqa.com
2www.handsonmobileapptesting.com https://leanpub.com/smartwatchapptestinghttp://bit.ly/2bUasW8

3.
Warum ist Mobile Testing so
wichtig?
3

4.
4

5.
5
https://twitter.com/_adrianhinojosa/status/757015786057641985

6.
6
Pokémon Go

7.
7
Jede App kann über Nacht
zum Hype werden!

8.
8
Und dann sollte die App
stabil sein!
http://www.trustedreviews.com/opinions/how-to-fix-common-pokemon-
go-problems-bugs-issues
http://www.gameswelt.de/pokemon-go/special/die-5-nervigsten-
bugs,261518

9.
9
Eine Technologie kann
unser Leben und die Art
wie wir kommunizieren
grundlegend verändern.

10.
10

11.
11
Mobile Devices & Apps
werden überall verwendet

12.
12
Author: Ian Britton, http://www.flickr.com/photos/freefoto/728651045/

13.
13
Author: Dan Levy, http://www.flickr.com/photos/danlevy/5607259711/

14.
14
https://pixabay.com/static/uploads/photo/2015/04/22/09/21/barcelona-734422_960_720.jpg

15.
15
Author: Moyan Brenn, https://www.flickr.com/photos/aigle_dore/5626341059/

16.
16
© Daniel Knott

17.
17
https://upload.wikimedia.org/wikipedia/commons/3/3c/Blick-ins-Buero.jpg

18.
18
Und je nach Use Case
sollten Apps auch in der
echten Umgebung
getestet werden

19.
Eure Fragen
19

20.
20
Welches minimal Set an
nicht funktionalen Tests
siehst du als absolut
notwendig an?

21.
21
1. Usability Tests
2. Security Tests
3. Performance Tests
4. Update Test
5. Check Log Files

22.
22
Kann man eine spezielle
Kategorie von
funktionalen Tests
definieren, wo ein Test
mit verschiedenen
Devices ein Muss ist?

23.
23
Ja, immer dann wenn
gerätespezifische
Hardwarekomponenten
genutzt werden.

24.
24
Author: amateur_photo_bore, http://www.flickr.com/photos/andresv/233667770/
Author: Rain Rabbit, http://www.flickr.com/photos/37996583811@N01/8033259053/
Author, Daniel Sancho, http://www.flickr.com/photos/teclasorg/2852716491/
Author: Juan de Dios Santander Vela, http://www.flickr.com/photos/juandesant/209098053

25.
25
https://fscl01.fonpit.de/userfiles/6727621/image/2016/HeroS-random/AndroidPIT-android-uis-4371-w782.jpg

26.
26
Was sind die aktuellen
Trends an
Toolunterstützung?

27.
27
Github
HockeyApp
Lint
PMD
FindBugs
CheckStyle
Robolectric
Espresso
UIAutomator
KIF Calabash
Cocoapods
ExpectaXCTest
FBSnapshot
openSTF
...
Appium Crashlytics
EarlgreyOCUnit
Robotium monkey
Chaos monkey
adb
Charles Proxy

28.
28
Calabash
monkey
HockeyApp
Espresso
adb
Charles Proxy

29.
29
Mobile Testing
==
manuelles Testen

30.
30
Tools sollten das Testen
unterstützen

31.
31
Calabash
monkey
HockeyApp
adb
Charles Proxy

32.
32
Wie sieht eine angemessene Strategie für die
Testautomatisierung mit Blick auf die hohe
Fragmentierung im Bereich Android aus? Oder
anders herum: Vorausgesetzt, es gibt eine
Testsuite für automatisierte Tests (sagen wir 400
TCs), auf wie vielen Geräten kommt die dann
tatsächlich zur Anwendung ?

33.
33
Antwort: Es kommt drauf an J

34.
34
http://opensignal.com/reports/2015/08/android-fragmentation/

35.
35

36.
36
Wichtig sind Nutzerdaten
- Tracking

37.
37

38.
38
Group 1, Prio A
- High End Devices
- Quad Core CPU
- RAM >2048MB
- Full HD Display >= 5“
Group 2, Prio B
- Mid-range devices
- Dual Core CPU
- RAM <1024MB
- Screen size <= 4“
- Software not older than 1
year
Group 3, Prio C
- Small devices
- Single Core
- RAM < 512MB
- Low screen size and
resolution
- Older OS, older browser
Basierend auf den Nutzerstatistiken

39.
39
Aus jeder Gruppe 3-4 Geräte
= 9 bis 12 Geräte für die
Automatisierung nutzen

40.
40
Kleine Testsuites

41.
41
Was glaubst Du, wie stark man
aufgrund der hohen
Fragmentierung der Geräte im
Androidsegment auf A/B-Tests
bei Endusern setzen sollte bzw.
machst Du das viel und nimmt
dies an Testcases zu?

42.
42
Antwort: Ja und Ja J

43.
43
Problem: Der Nutzer

44.
44
Ich nehme an, man kommt nicht
umher, sich auch echte Geräte
anzuschaffen. Welche Tipps hast
Du für ein Lab Management?

45.
45
Wichtig sind Nutzerdaten
- Tracking

46.
46

47.
47

48.
48
Geräte aus den Gerätegruppen
kaufen

49.
49
Top 15 Geräte der Nutzer
kaufen

50.
50
Geräte gruppieren

51.
51
Mobile Device Management
sehr wichtig

52.
52
Mobile Rental Tool

53.
53
Internal App Store

54.
54
www.openstf.io
Android Test Farm

55.
55
DEMO
https://medium.com/xing-engineering/android-smartphone-test-farm-66f28f9bc73d#.oejn8d1jl

56.
56
Welche Art von (technischem)
Monitoring scheint sinnvoll,
nachdem die App in Gebrauch
ist? Und wie kann man die App
Store Bemerkungen sinnvoll
nutzen?

57.
57
Crash Reporting Tools

58.
58
HockeyApp
Testflight
Crashlytics
...

59.
59

60.
60

61.
61

62.
62
Eigenes Monitoring /
Tracking
Graylog 2
...

63.
63
- Review der Reviews
- Antworten & Nachfragen
- Nicht alles zu ernst
nehmen

64.
64

65.
65

66.
66
Habt ihr eine sinnvolle Strategie
für die Verzahnung der
Ergebnisse aus manuellen und
automatisierten Tests für den
Report oder liefern die beiden
Testarten mit Hilfe
unterschiedlicher Tools
unterschiedliche Reports?

67.
67
Nein, Keine Strategie

68.
68
Statische Code Analyse == Grün
Test Automation == Grün
6+ Augen Prinzip bei Code
Review
Manuelle Tests == OK
Commit auf Master Branch

69.
69
Manuelle Tests werden nicht in
einem TM Tool gelistet.
Exploratives Testen
Context Driven Testing
Mind Maps sind unsere Freunde

70.
70
Welche Android Versionen sind
denn interessant?
Halten sich gewisse ältere Minor
Versionen, obwohl es schon
längst neuere Versionen gibt?
(Also z.B. 4.3 - obwohl 4.4 schon
länger veröffentlicht ist)

71.
71
Antwort: Es kommt drauf an J

72.
72
Unterschiedlich je nach App
und Land in
denen die App verfügbar ist

73.
73
https://developer.android.com/about/dashboards/index.html

74.
74

75.
75
Alles unter Android 4.0 wird
meist nicht mehr unterstützt

76.
76
Viele App Hersteller
unterstützen nur noch ab
Android 4.4

77.
Weitere Fragen?
77

78.
Vielen Dank für Ihre
Aufmerksamkeit!
www.xing.com
Daniel Knott
@dnlkntt
daniel@adventuresinqa.com