„Automatyzacja testów z Canopy" Przemek Niedziałkowski Paweł Stopczyk

1. AUTOMATYZACJA
TESTÓW Z CANOPY
Prezentacja na KraQA

2. AGENDA
• Czym jest Canopy?
• Czym różni się od czystego Selenium
• Co dodaliśmy od siebie?
• Jak zmieniło to naszą organizację
• Chwila magii, czyli demo

3. KILKA SŁÓW O CANOPY
• Canopy to F# nakładka na Selenium
• Twórcą biblioteki jest Chris Holt „lefthandedgoat”
(https://lefthandedgoat.github.io/canopy/ )
• Ogólna filozofia to:
• Jednolita i stabilna nakładka na Selenium
• Prosta do nauki
• Przejrzyste API
• Oparta na licencji MIT
• Wbudowane raportowanie (na potrzeby CI, lub do html)
• Możliwość samodzielnego rozszerzania biblioteki

4. CANOPY VS. SELENIUM
WAŻNE, ŻEBY TE PLUSY …
Plusy
• Niezawodność
• Czas wykonania
• Czas przygotowania skryptu
• Niski próg wejścia dla testera manualnego
• Jedno narzędzie dla dewelopera i testera (u nas)
• Uruchamianie testów stand-alone (bez Visuala, instalacji driverów)
• Możliwość rozbudowy frameworka

5. CANOPY VS. SELENIUM
… NIE PRZESŁONIŁY NAM MINUSÓW
Minusy
• F# i canopy - mało popularne, mało znane
• Płatne narzędzia do tworzenia kodu (w naszej organizacji)

6. GARNITUR NA MIARĘ,
CZYLI CO USPRAWNILIŚMY
Co dostajemy out-of-box
• Biblioteka (via NuGet)
• Uruchamianie z Visuala
• Raport na konsoli
Co trzeba dorobić na start
• Ściągnąć drivery
• Skonfigurować uruchomienie liveHtmlReportera – raport z html

7. GARNITUR NA MIARĘ,
CZYLI CO USPRAWNILIŚMY
Technicznie
• Uruchamianie przez Schedulera (Harmonogram zadań windows, Jenkins,etc)
• Przekazanie parametrów uruchomienia w .xml dla uruchamiania samych
.exe
• Wyniki wystawiane jako JSON
• Dostosowanie raportów do prezentacji na TV
• Dodatkowe metody usprawniające pisanie testów: obsługę list, poprawę
scrollowania, etc. (i tu się przydaje F# )

8. GARNITUR NA MIARĘ,
CZYLI CO USPRAWNILIŚMY
Prezentacja wyników
historycznych pokazuje,
że testy są stabilne

9. GARNITUR NA MIARĘ,
CZYLI CO USPRAWNILIŚMY
Organizacyjnie
• Zmiana celu testów automatycznych
• Testy automatyczne jako produkt
• System szkoleń dla testerów
• Kampania informacyjna
• Dyżury przy testach
Monitoring
Top 100
After Roll-Out
Top 1.000
Testy zespołów

10. GARNITUR NA MIARĘ,
CZYLI CO USPRAWNILIŚMY
Radiatory pokazują stan
środowisk testowych
Trzeba przyciągnąć
uwagę do awarii 

11. CO NA TO ORGANIZACJA
Przed
• Smoke test trwający ok. 15 min
• Niska stabilność, nawet do 30% false-positive
• Brak zaufania do testów
• Brak zainteresowania testerów
• Brak zainteresowania managerów
• Problemy z instalacją IDE i środowiska
• Brak wpływu na wdrożenia
Po
• Smoke test trwający ok. 1,5 min
• Wysoka stabilność, ~2% false-positive
• Ludzie patrzą w testy
• Dostajemy konstruktywne pomysły
• Managerowie zespołów inwestują w testerów
• Testy pisane przez zespoły
• Wdrożenia uzależnione od wyniku testów
automatycznych

12. DEMO

13. DZIĘKUJEMY ZA UWAGĘ
Paweł Stopczyk
INFLUX, mBank
Pawel.Stopczyk@partners.mbank.pl
Przemek Niedziałkowski
mBank
Przemyslaw.Niedzialkowski@mbank.pl