More Related Content
Similar to Automated Exploratory Tests (20)
More from Zbyszek Mockun (20)
Automated Exploratory Tests
- 3. Wstęp
Kilka słów o procesie i środowisku
© 2010 Cognifide Limited. In commercial confidence only.
- 4. Metodyki, projekty, …
Metodyki Projekty
• Metodyki Agile: • Aplikacje webowe
SCRUM, Kanban • Systemy Zarządzania
• Release’y Treścią (CMS)
• Brak czasu na testy regresji • Średnie i małe projekty
• Natłok pracy pod koniec • Brak czasu i środków na
sprintu automatyzację w projektach
• Środowisko ciągłej integracji
© 2010 Cognifide Limited. In commercial confidence only.
- 6. Cykl życia testów automatycznych
Napisz TC
Napisz skrypt
automatyczny
Uruchom
Zarządzaj
Ulepszaj
© 2010 Cognifide Limited. In commercial confidence only.
- 7. Plusy i Minusy
• Czas potrzebny na
stworzenie testów
funkcjonalnych
• Pokrycie
• Koszt
• Brak duplikacji testów
• Najpierw
podczas regresji
inwestyjemy, później
• Testowana jest czekamy na zwrot
funkcjonalość
• Zależności między testami
• Tylko zdefiniowana
funkcjonalnośc jest
testowana
© 2010 Cognifide Limited. In commercial confidence only.
- 9. Co powinniśmy testować
Dwie perspektywy:
Użytkownik Klient
© 2010 Cognifide Limited. In commercial confidence only.
- 10. Aspekty
Narzędzie CI
Klient
Użytkownik
Statystyki
Wygląd Funkcjonalność Szybkość
© 2010 Cognifide Limited. In commercial confidence only.
- 11. Szukając symptomów
„Symptom is a departure from normal function or feeling which
is noticed by a patient, indicating the presence of disease or
abnormality.”
http://wikipedia.org
© 2010 Cognifide Limited. In commercial confidence only.
- 12. Symptomy
Wygląd
Strategia
Treść
URL
Analiza Kod
linków HTML
Błąd
Obrazki / Błędy
style JavaScript
Błędna
Walidatory odpowiedź
(W3C) serwera
Analiza (404)
Statystyk
Serwisu
© 2010 Cognifide Limited. In commercial confidence only.
- 13. Dane referencyjne
• Wcześniejsza wersja aplikacji
• Zapisane dane referencyjne
• Inne wersje tej samej aplikacji (różne serwery)
• Pobieranie/porównywanie danych jako parametr
Wygląd Treść Kod HTML Performance
© 2010 Cognifide Limited. In commercial confidence only.
- 14. Roboty
• Skrypty, które poszukują symptomów
• Ten sam skrypt dla różnych projektów
• Narzędzia/skrypty
Odpowiedź Walidatory Analiza Wczytane
Błędy Analiza Strategia
Serwera (HTLM, CSS Statystyk obrazki/
JScript linków URL
(404) ) Serwisu style
© 2010 Cognifide Limited. In commercial confidence only.
- 15. Czym są Automatyczne Testy
Eksploracyjne?
Wiele różnych definicji:
• Odtwarzanie testów eksploracyjnych wykonanych ręcznie
• Połączenie testów automatycznych z manualnymi
• Automatyzacja niektórych kroków
• Testowanie aplikacji z użyciem generatorów danych
• W ogóle nie są możliwe z uwagi na czynnik ludzki
© 2010 Cognifide Limited. In commercial confidence only.
- 16. Czym są Automatyczne Testy
Eksploracyjne?
Testy wspomagające testowanie eksploracyjne, niekoniecznie
oparte na scenariuszu testowym, wyszukujące miejsca w
których mogą występować błędy, pozwalająca na zbadanie
aplikacji szybciej i dogłębniej lub przetestowanie miejsc nie
dostępnych dla człowieka.
„Automated Tests do not provide complete information. They
provide partial information that might be useful”
Cem Kaner
© 2010 Cognifide Limited. In commercial confidence only.
- 17. Automatyczne Testy Eksploracyjne -
plusy
• Jedno narzędzie
− Gromadzące wszystkie symptomy
− Dla wszystkich projektów
− Szybkość wprowadzenia do projektu
− Łatwość zarządzania zmianą
• Nie wymagają dogłębnej znajomości
aplikacji, wspomagają proces uczenia
• Integracja z narzędziami CI
• Silne rozwiązanie w powiązaniu z automatycznymi
testami funkcjonalnymi
• Testy migracji
© 2010 Cognifide Limited. In commercial confidence only.
- 19. Narzędzia
• Selenium II/WebDriver
• Komparatory (ImageMagick)
• Walidatory (W3C)
• Performance (JMeter, Proxy)
• Serwery Proxy (BrowserMob)
• Firefox/Firebug (NetExport, ConsoleExport, JS Console
output redirector)
• HAR Viewer (http://www.softwareishard.com/har/viewer/)
© 2010 Cognifide Limited. In commercial confidence only.
- 20. Pytania
© 2010 Cognifide Limited. In commercial confidence only.