Automated Exploratory Tests

Automatyczne Testy
Eksploracyjne
Zbyszek Moćkun

© 2010 Cognifide Limited. In commercial confidence only.

Cel prezentacji

Rozwój testów automatycznych w projektach
aplikacji webowych


Wstęp

Kilka słów o procesie i środowisku


Metodyki, projekty, …
Metodyki Projekty

• Metodyki Agile: • Aplikacje webowe
SCRUM, Kanban • Systemy Zarządzania
• Release’y Treścią (CMS)
• Brak czasu na testy regresji • Średnie i małe projekty
• Natłok pracy pod koniec • Brak czasu i środków na
sprintu automatyzację w projektach
• Środowisko ciągłej integracji


Automatyczne Testy
Funkcjonalne
Standardowe podejście do automatyzacji


Cykl życia testów automatycznych

Napisz TC

Napisz skrypt
automatyczny

Uruchom
Zarządzaj
Ulepszaj


Plusy i Minusy

• Czas potrzebny na
stworzenie testów
funkcjonalnych
• Pokrycie
• Koszt
• Brak duplikacji testów
• Najpierw
podczas regresji
inwestyjemy, później
• Testowana jest czekamy na zwrot
funkcjonalość
• Zależności między testami
• Tylko zdefiniowana
funkcjonalnośc jest
testowana


Automatyczne Testy
Eksploracyjne
Proces ewolucji testów automatycznych


Co powinniśmy testować

Dwie perspektywy:

Użytkownik Klient


Aspekty

Narzędzie CI

Klient

Użytkownik
Statystyki
Wygląd Funkcjonalność Szybkość


Szukając symptomów

„Symptom is a departure from normal function or feeling which
is noticed by a patient, indicating the presence of disease or
abnormality.”

http://wikipedia.org


Symptomy
Wygląd

Strategia
Treść
URL

Analiza Kod
linków HTML

Błąd
Obrazki / Błędy
style JavaScript

Błędna
Walidatory odpowiedź
(W3C) serwera
Analiza (404)
Statystyk
Serwisu


Dane referencyjne

• Wcześniejsza wersja aplikacji
• Zapisane dane referencyjne
• Inne wersje tej samej aplikacji (różne serwery)
• Pobieranie/porównywanie danych jako parametr

Wygląd Treść Kod HTML Performance


Roboty

• Skrypty, które poszukują symptomów
• Ten sam skrypt dla różnych projektów
• Narzędzia/skrypty

Odpowiedź Walidatory Analiza Wczytane
Błędy Analiza Strategia
Serwera (HTLM, CSS Statystyk obrazki/
JScript linków URL
(404) ) Serwisu style


Czym są Automatyczne Testy
Eksploracyjne?
Wiele różnych definicji:
• Odtwarzanie testów eksploracyjnych wykonanych ręcznie
• Połączenie testów automatycznych z manualnymi
• Automatyzacja niektórych kroków
• Testowanie aplikacji z użyciem generatorów danych
• W ogóle nie są możliwe z uwagi na czynnik ludzki


Czym są Automatyczne Testy
Eksploracyjne?
Testy wspomagające testowanie eksploracyjne, niekoniecznie
oparte na scenariuszu testowym, wyszukujące miejsca w
których mogą występować błędy, pozwalająca na zbadanie
aplikacji szybciej i dogłębniej lub przetestowanie miejsc nie
dostępnych dla człowieka.

„Automated Tests do not provide complete information. They
provide partial information that might be useful”
Cem Kaner


Automatyczne Testy Eksploracyjne -
plusy

• Jedno narzędzie
− Gromadzące wszystkie symptomy
− Dla wszystkich projektów
− Szybkość wprowadzenia do projektu
− Łatwość zarządzania zmianą
• Nie wymagają dogłębnej znajomości
aplikacji, wspomagają proces uczenia
• Integracja z narzędziami CI
• Silne rozwiązanie w powiązaniu z automatycznymi
testami funkcjonalnymi
• Testy migracji


Automatyczne Testy Eksploracyjne -
przykład


Narzędzia

• Selenium II/WebDriver
• Komparatory (ImageMagick)
• Walidatory (W3C)
• Performance (JMeter, Proxy)
• Serwery Proxy (BrowserMob)
• Firefox/Firebug (NetExport, ConsoleExport, JS Console
output redirector)
• HAR Viewer (http://www.softwareishard.com/har/viewer/)


Pytania


Automated Exploratory Tests

Recommended

Recommended

More Related Content

Similar to Automated Exploratory Tests

Similar to Automated Exploratory Tests (20)

More from Zbyszek Mockun

More from Zbyszek Mockun (20)

Automated Exploratory Tests