Moje wystąpienie będzie studium przypadku. Opowiem w nim o wyzwaniu w projekcie, przed jakim stanęliśmy razem z zespołem. Problem był dość duży - w projekcie nie było automatycznych testów funkcjonalnych, a aplikacja mobilna ciągle rosła i przybywało nowych funkcjonalności. Dodatkowo klient nalegał na częstsze dostarczenia kolejnych wersji. Postaram się nakreślić architekturę aplikacji oraz wymagania, jakie postawione zostały przed frameworkiem do testów automatycznych. Opowiem o powodach stojących za podjętą decyzją o nieskorzystaniu z istniejących narzędzi/frameworków (np. Appium, Calabash) oraz o dokonanym wyborze - narzędziu XCUITest od Apple. W kolejnej części pokażę problemy, jakie napotkaliśmy implementując własny framework oparty o XCUITest - te dotyczące samego narzędzia, ale także i egzekucji testów oraz raportowania. Wskażę na jakich etapach prac na nie natrafiliśmy oraz czy (i jak) je rozwiązaliśmy. Na końcu przedstawię aktualny status - gdzie jesteśmy prawie 2 lata później. W podsumowaniu chciałbym wspomnieć o tym, co zadziałało w naszym podejściu, jakie decyzje były dobre, z czego – jako zespół - jesteśmy szczególnie dumni, co moglibyśmy polecić innym oraz co zostało jeszcze do zrobienia.

2. Framework testowy dla
aplikacji mobilnej iOS - czy
warto było zbudować
własny framework?
MATEUSZ NICPOŃ

3. Spis treści

4. Prolog

5. Made with by PGS Software ·
O aplikacji
5

6. Made with by PGS Software · 6
Standardowy test
1. Przygotowanie danych testowych
2. Wysłanie danych testowych na serwer MOCK
3. Wykonanie testu na urządzeniu

7. Made with by PGS Software · 7
2 lata temu
1. Ponad 600 scenariuszy biznesowych.
2. Ilość ciągle rośnie.
3. Automatycznych testów funkcjonalnych brak.
4. Nacisk na częstsze releasy.
5. Pojawia się promyk nadziei…

8. Made with by PGS Software · 8
Cele frameworku
Pogrupowane testy
Urządzenia
Nightly builds lub On demand
Raporty
Automatyzacja
Łatwość
Czarnoskrzynkowe
Implementacja

9. Rozdział 1
Zobaczmy co się stanie…

10. Made with by PGS Software · 10
Zadania
Wybór rozwiązania
Konfiguracja środowiska
Implementacja podstawowych modułów frameworku wraz z pierwszymi scenariuszami
testowymi
Wstępna analiza raportów

11. Made with by PGS Software · 11
Nasz “przyjaciel” iOS
Zamknięty system
Accessibility
Zamknięte IDE

12. Made with by PGS Software · 12
Nasz wybraniec
Swift lub Objective C
Czarnoskrzynkowe API
Update Xcode to nowe poprawki oraz
funkcjonalności
WWDC w czerwcu 2015
Xcode 7 jesienią 2015
Testy UI zintegrowane z projektem
XCTest - User Interface Tests

13. Made with by PGS Software · 13
The first rule of UI Tests Club is…
DRY
YAGNI
Atomiczne testy
Code review
Swift Coding Standards
Page Object Pattern
SOLID
KISS

14. Made with by PGS Software · 14
The second rule of UI Tests Club is…
Transparentność
Workflow (Jira – Stash – Git)
Śledzenie progresu oraz pokrycia dla PO

15. Made with by PGS Software · 15
Komponenty frameworku
Modele danych testowych
Wspólne kroki testowe
Reużywalne elementy do formatowaniem
danych
Reużywalne rozszerzenia do klas XCTest
TestLaunchBuilder
Odzielone klasy Page
Odzielone grupy testów
Moduł z danymi testowymi

16. Rozdział 2
No dobra, nie jest tak źle!

17. Made with by PGS Software · 17
Jest progres!
Implementacja kolejnych scenariuszy
Jenkins + fastlane
Rodzi się pomysł na raport idealny…

18. Made with by PGS Software · 18
Test numer 129

19. Made with by PGS Software · 19
Rzut okiem na raport:
Error Domain=IDEPseudoTerminalDomain
Code=1 "(null)”
?!?!
Ale u mnie działa…

20. Made with by PGS Software · 20
He is a hero every team deserves…
Wpis Bartka Jandy na tech blogu
PGS Software

21. Made with by PGS Software · 21
Im dalej w las…
Błąd w metodzie terminate().
Błąd związany z nie działającym autoscrollem.
Czekanie na dokończenie animacji jest automatyczne…
... ale tylko przed wykonaniem akcji na elemencie.
Można wybrać testy jakich się nie chce uruchomić...
Beta Xcode i iOS.

22. Made with by PGS Software · 22
Tysiąc commitów później - teraźniejszość
4 testerów implementuje kolejne
scenariusze
Udział developerów
zminimalizowany
Testy można uruchamiać per moduł
Zespół oraz PO zadowoleni :-)
40% (iPad) oraz 45% (iPhone)
Główne gałęzie (develop, release)
Framework jest stabilny

23. Epilog

24. Made with by PGS Software · 24
Czego nie zrobiliśmy?
Brak implementacji testów dla
bieżących historyjek
Pokrycie tylko 45 % 
Zależność od serwera MOCK
Specjalne ścieżki
Scenariusze pozytywne

25. Made with by PGS Software · 25
Co zadziałało?
Ustalenie i egzekwowanie zasad
pracy (planowanie, implementacja)
Analiza i szybka naprawa
napotkanych błędów w frameworku
lub failujących testach
Udział developerów i wspólna
kooperacja
Zdefiniowanie co chcemy osiągnąć
oraz jakie testy automatyzować

26. Made with by PGS Software · 26
Co pozostało?
AutoMate https://github.com/PGSSoft/AutoMate
GoldenRose https://github.com/PGSSoft/GoldenRose

27. Made with by PGS Software · 27
Podsumowując
Czy było warto budować własny
framework?

28. Dzięki!
MATEUSZ NICPOŃ
This is the end, beautiful friend…