Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Mobile testing @ stughh

1,102 views

Published on

This is my talk in german about Mobile Testing. This time I was asked questions from the audience before my talk and I prepared a nice slide deck with the answers and more about mobile testing.

Published in: Engineering

Mobile testing @ stughh

  1. 1. Mobile Testing @ STUGHH Alles was Ihr schon immer über Mobile Testing wissen wollt
  2. 2. Daniel Knott @dnlkntt www.adventuresinqa.com 2www.handsonmobileapptesting.com https://leanpub.com/smartwatchapptestinghttp://bit.ly/2bUasW8
  3. 3. Warum ist Mobile Testing so wichtig? 3
  4. 4. 4
  5. 5. 5 https://twitter.com/_adrianhinojosa/status/757015786057641985
  6. 6. 6 Pokémon Go
  7. 7. 7 Jede App kann über Nacht zum Hype werden!
  8. 8. 8 Und dann sollte die App stabil sein! http://www.trustedreviews.com/opinions/how-to-fix-common-pokemon- go-problems-bugs-issues http://www.gameswelt.de/pokemon-go/special/die-5-nervigsten- bugs,261518
  9. 9. 9 Eine Technologie kann unser Leben und die Art wie wir kommunizieren grundlegend verändern.
  10. 10. 10
  11. 11. 11 Mobile Devices & Apps werden überall verwendet
  12. 12. 12 Author: Ian Britton, http://www.flickr.com/photos/freefoto/728651045/
  13. 13. 13 Author: Dan Levy, http://www.flickr.com/photos/danlevy/5607259711/
  14. 14. 14 https://pixabay.com/static/uploads/photo/2015/04/22/09/21/barcelona-734422_960_720.jpg
  15. 15. 15 Author: Moyan Brenn, https://www.flickr.com/photos/aigle_dore/5626341059/
  16. 16. 16 © Daniel Knott
  17. 17. 17 https://upload.wikimedia.org/wikipedia/commons/3/3c/Blick-ins-Buero.jpg
  18. 18. 18 Und je nach Use Case sollten Apps auch in der echten Umgebung getestet werden
  19. 19. Eure Fragen 19
  20. 20. 20 Welches minimal Set an nicht funktionalen Tests siehst du als absolut notwendig an?
  21. 21. 21 1. Usability Tests 2. Security Tests 3. Performance Tests 4. Update Test 5. Check Log Files
  22. 22. 22 Kann man eine spezielle Kategorie von funktionalen Tests definieren, wo ein Test mit verschiedenen Devices ein Muss ist?
  23. 23. 23 Ja, immer dann wenn gerätespezifische Hardwarekomponenten genutzt werden.
  24. 24. 24 Author: amateur_photo_bore, http://www.flickr.com/photos/andresv/233667770/ Author: Rain Rabbit, http://www.flickr.com/photos/37996583811@N01/8033259053/ Author, Daniel Sancho, http://www.flickr.com/photos/teclasorg/2852716491/ Author: Juan de Dios Santander Vela, http://www.flickr.com/photos/juandesant/209098053
  25. 25. 25 https://fscl01.fonpit.de/userfiles/6727621/image/2016/HeroS-random/AndroidPIT-android-uis-4371-w782.jpg
  26. 26. 26 Was sind die aktuellen Trends an Toolunterstützung?
  27. 27. 27 Github HockeyApp Lint PMD FindBugs CheckStyle Robolectric Espresso UIAutomator KIF Calabash Cocoapods ExpectaXCTest FBSnapshot openSTF ... Appium Crashlytics EarlgreyOCUnit Robotium monkey Chaos monkey adb Charles Proxy
  28. 28. 28 Calabash monkey HockeyApp Espresso adb Charles Proxy
  29. 29. 29 Mobile Testing == manuelles Testen
  30. 30. 30 Tools sollten das Testen unterstützen
  31. 31. 31 Calabash monkey HockeyApp adb Charles Proxy
  32. 32. 32 Wie sieht eine angemessene Strategie für die Testautomatisierung mit Blick auf die hohe Fragmentierung im Bereich Android aus? Oder anders herum: Vorausgesetzt, es gibt eine Testsuite für automatisierte Tests (sagen wir 400 TCs), auf wie vielen Geräten kommt die dann tatsächlich zur Anwendung ?
  33. 33. 33 Antwort: Es kommt drauf an J
  34. 34. 34 http://opensignal.com/reports/2015/08/android-fragmentation/
  35. 35. 35
  36. 36. 36 Wichtig sind Nutzerdaten - Tracking
  37. 37. 37
  38. 38. 38 Group 1, Prio A - High End Devices - Quad Core CPU - RAM >2048MB - Full HD Display >= 5“ Group 2, Prio B - Mid-range devices - Dual Core CPU - RAM <1024MB - Screen size <= 4“ - Software not older than 1 year Group 3, Prio C - Small devices - Single Core - RAM < 512MB - Low screen size and resolution - Older OS, older browser Basierend auf den Nutzerstatistiken
  39. 39. 39 Aus jeder Gruppe 3-4 Geräte = 9 bis 12 Geräte für die Automatisierung nutzen
  40. 40. 40 Kleine Testsuites
  41. 41. 41 Was glaubst Du, wie stark man aufgrund der hohen Fragmentierung der Geräte im Androidsegment auf A/B-Tests bei Endusern setzen sollte bzw. machst Du das viel und nimmt dies an Testcases zu?
  42. 42. 42 Antwort: Ja und Ja J
  43. 43. 43 Problem: Der Nutzer
  44. 44. 44 Ich nehme an, man kommt nicht umher, sich auch echte Geräte anzuschaffen. Welche Tipps hast Du für ein Lab Management?
  45. 45. 45 Wichtig sind Nutzerdaten - Tracking
  46. 46. 46
  47. 47. 47
  48. 48. 48 Geräte aus den Gerätegruppen kaufen
  49. 49. 49 Top 15 Geräte der Nutzer kaufen
  50. 50. 50 Geräte gruppieren
  51. 51. 51 Mobile Device Management sehr wichtig
  52. 52. 52 Mobile Rental Tool
  53. 53. 53 Internal App Store
  54. 54. 54 www.openstf.io Android Test Farm
  55. 55. 55 DEMO https://medium.com/xing-engineering/android-smartphone-test-farm-66f28f9bc73d#.oejn8d1jl
  56. 56. 56 Welche Art von (technischem) Monitoring scheint sinnvoll, nachdem die App in Gebrauch ist? Und wie kann man die App Store Bemerkungen sinnvoll nutzen?
  57. 57. 57 Crash Reporting Tools
  58. 58. 58 HockeyApp Testflight Crashlytics ...
  59. 59. 59
  60. 60. 60
  61. 61. 61
  62. 62. 62 Eigenes Monitoring / Tracking Graylog 2 ...
  63. 63. 63 - Review der Reviews - Antworten & Nachfragen - Nicht alles zu ernst nehmen
  64. 64. 64
  65. 65. 65
  66. 66. 66 Habt ihr eine sinnvolle Strategie für die Verzahnung der Ergebnisse aus manuellen und automatisierten Tests für den Report oder liefern die beiden Testarten mit Hilfe unterschiedlicher Tools unterschiedliche Reports?
  67. 67. 67 Nein, Keine Strategie
  68. 68. 68 Statische Code Analyse == Grün Test Automation == Grün 6+ Augen Prinzip bei Code Review Manuelle Tests == OK Commit auf Master Branch
  69. 69. 69 Manuelle Tests werden nicht in einem TM Tool gelistet. Exploratives Testen Context Driven Testing Mind Maps sind unsere Freunde
  70. 70. 70 Welche Android Versionen sind denn interessant? Halten sich gewisse ältere Minor Versionen, obwohl es schon längst neuere Versionen gibt? (Also z.B. 4.3 - obwohl 4.4 schon länger veröffentlicht ist)
  71. 71. 71 Antwort: Es kommt drauf an J
  72. 72. 72 Unterschiedlich je nach App und Land in denen die App verfügbar ist
  73. 73. 73 https://developer.android.com/about/dashboards/index.html
  74. 74. 74
  75. 75. 75 Alles unter Android 4.0 wird meist nicht mehr unterstützt
  76. 76. 76 Viele App Hersteller unterstützen nur noch ab Android 4.4
  77. 77. Weitere Fragen? 77
  78. 78. Vielen Dank für Ihre Aufmerksamkeit! www.xing.com Daniel Knott @dnlkntt daniel@adventuresinqa.com

×