Automatyzacja w praktyce. Praktyka automatyzacjiRadoslaw Smilgin
Automatyczna kontrola jakości oprogramowania jest obecnie w topie pożądanych działań projektowych. Można uznać, że w większości to właśnie zespoły testerskie są odpowiedzialne za dobór właściwego narzędzia, wdrożenie i utrzymanie automatyzacji w organizacji. Podczas prezentacji skupię się na analizie obecnej sytuacji projektów automatyzacji i roli testerów w tym procesie. Bazuję na dostępnych źródłach, własnych obserwacjach, rozmowach z ekspertami oraz na wynikach ankiety przeprowadzonej na testerzy.pl
Najważniejsze tematy:
– proces i projekt automatyzacji jest skrajnie trudny (analizując failure rate)
– czynności w automatyzacji nie są tak trudna jak się większości wydaje
– automatyzacja może być tańsza
– automatyzacja może dostarczać jeszcze większą wartość.
Web Content Accessibility Guideline is not only for web. It works also for desktop and mobile apps, wearables and many others. But still it is only how to make software usable for people with disabilities. There are many trends to change the concept and think how to design better software for all which actually make software even more user friendly.
The presentation is devoted to show how build accessible any kind of software that every user can benefit from.
Eksploracja w kulturze Agile i DevOps czyli o zwinnym testowaniu eksploracyjnymRadoslaw Smilgin
Wystąpienie z Agile & Automation Days 2017 opowiadające o nowej roli testera w projektach zwinnych i w kulturze DevOps. Przyszłością testowania są testerzy techniczni.
Automatyzacja w praktyce. Praktyka automatyzacjiRadoslaw Smilgin
Automatyczna kontrola jakości oprogramowania jest obecnie w topie pożądanych działań projektowych. Można uznać, że w większości to właśnie zespoły testerskie są odpowiedzialne za dobór właściwego narzędzia, wdrożenie i utrzymanie automatyzacji w organizacji. Podczas prezentacji skupię się na analizie obecnej sytuacji projektów automatyzacji i roli testerów w tym procesie. Bazuję na dostępnych źródłach, własnych obserwacjach, rozmowach z ekspertami oraz na wynikach ankiety przeprowadzonej na testerzy.pl
Najważniejsze tematy:
– proces i projekt automatyzacji jest skrajnie trudny (analizując failure rate)
– czynności w automatyzacji nie są tak trudna jak się większości wydaje
– automatyzacja może być tańsza
– automatyzacja może dostarczać jeszcze większą wartość.
Web Content Accessibility Guideline is not only for web. It works also for desktop and mobile apps, wearables and many others. But still it is only how to make software usable for people with disabilities. There are many trends to change the concept and think how to design better software for all which actually make software even more user friendly.
The presentation is devoted to show how build accessible any kind of software that every user can benefit from.
Eksploracja w kulturze Agile i DevOps czyli o zwinnym testowaniu eksploracyjnymRadoslaw Smilgin
Wystąpienie z Agile & Automation Days 2017 opowiadające o nowej roli testera w projektach zwinnych i w kulturze DevOps. Przyszłością testowania są testerzy techniczni.
60 minut testowania - czyli co tester może osiągnąć w jedną godzinę przy pomo...Radoslaw Smilgin
Prezentacja opisuje w jaki sposób zorganizować 60 minut testowania tak by osiągnąć maksymalny efekt. Wszystko przy użyciu strategi testowania eksploracyjnego i testowania sterowanego kontekstem.
Prezentacja była pokazana podczas WarszawQA 2016
Context Driven School of testing w prostych przykładachRadoslaw Smilgin
Szkoła testowanie sterowanego kontekstem to jedno z najważniejszych metod testowania promująca testerów myślących i krytycznych względem produktu.
Slajdy z darmowego webinarium.
Wielu ekspertów mówi, że automatyzacja testów bez kodowania nie jest możliwa. Dla nas „niemożliwe” jest najlepszą motywacją do tego by spróbować.
Wyobraź sobie narzędzie skuteczniejsze od automatu testowego i wydajniejsze od testera manualnego. Wyobraź sobie narzędzie, który uruchomi automatyczną weryfikację po naciśnięciu pojedynczego przycisku. Wyobraź sobie przyszłość, gdzie każdy tester manualny może automatyzować efektywniej niż najbardziej efektywny programista. Musisz sobie to wszystko wyobrażać… bo takie narzędzie nie istnieje. Nie ma jeszcze skuteczności opisywanej powyżej, ale stoi za nim bardzo dobrze przemyślana koncepcja.
Dlaczego chcemy zrealizować ten projekt? Na rynku występuje deficyt automatyków testów oraz testerów manualnych. Pracujący w organizacjach testerzy są przeciążani, albo brak osób do testowania przekłada się na niższą jakość produktów dostarczanych na rynek. Jeśli uda nam się zbudować narzędzie, będziemy mogli odciążyć testerów i pomóc weryfikować (przynajmniej część) rzeczy automatycznie.
W pseudoautomatyzacji w oparciu o narzędzia nagrywająco-odtwarzające użytkownik rejestruje swoje działania w aplikacji. Poprawność generowania kodu sprawdza się po zakończeniu nagrywania skryptu.
W klasycznej automatyzacji pisanej „z palca” skrypty próbkują aplikację próbując przechodzić przez jej wybrane punkty aż do miejsca weryfikacji. W AutoMagicTest implementowana koncepcja ma prezentować się następująco:
• narzędzie dokonuje możliwie najpełniejszej analizy struktury oprogramowania i generuje jego „model”
• w ramach modelu możemy ujawnić pierwsze problemy automatycznie, a defekty ujawnione manualnie można oznaczyć i zaraportować
• scenariusze automatyczne buduje się poprzez wskazanie rozpoznanych automatycznie elementów aplikacji, a na końcu definiuje się weryfikator osiągnięcia lub też braku osiągnięcia celu.
Dzięki temu analizujemy znacznie więcej niż w klasycznej automatyzacji i robimy to bez znaczącego zaangażowania testera. Ta część analizy jest jedynie weryfikacją struktury więc z perspektywy biznesowej ma ograniczone znaczenie. Ma jednak dużą wartość dla testera, który może np. zweryfikować podatność aplikacji na automatyzację. Z drugiej strony osiągamy znacznie więcej niż w przypadku narzędzi nagrywająco – odtwarzających ponieważ podatność elementów aplikacji na automatyzację jest badana przed samym definiowaniem scenariuszy.
Dlaczego warto regularnie dbać o wydajność aplikacji od samego początku jej tworzenia. Jak można wykorzystać do tego narzędzie Gatling i jakie daje możliwości?
Wprowadzenie do matrycy śledzenia i dlaczego nie opłaca się automatyzacja śledzenia post factum.
Plus przykłady matryc.
Prezentacja z WrotQA.
Język: mieszany [PL / EN]
Prezentacja możliwości grywalizacji (gamifikacji) w testowaniu oprogramowania i w procesie zapewnienia jakości.
W materiale:
Czym jest, a czym nie jest grywalizacja?
Jakie są możliwości gamifikacji?
Jakie ryzyka niesie za sobą grywalizacja?
Możliwa implementacja mechanizmów gier w środowisku projektu informatycznego.
This document discusses exploratory testing sessions. It explains that exploratory testing sessions are used to test software through an open and emergent process. The sessions have a timebox of 20 minutes for exploring, 60 minutes for testing, and 20 minutes for reporting. The testing is aimed at goals and knowledge of techniques and strategies are used to guide the testing.
60 minut testowania - czyli co tester może osiągnąć w jedną godzinę przy pomo...Radoslaw Smilgin
Prezentacja opisuje w jaki sposób zorganizować 60 minut testowania tak by osiągnąć maksymalny efekt. Wszystko przy użyciu strategi testowania eksploracyjnego i testowania sterowanego kontekstem.
Prezentacja była pokazana podczas WarszawQA 2016
Context Driven School of testing w prostych przykładachRadoslaw Smilgin
Szkoła testowanie sterowanego kontekstem to jedno z najważniejszych metod testowania promująca testerów myślących i krytycznych względem produktu.
Slajdy z darmowego webinarium.
Wielu ekspertów mówi, że automatyzacja testów bez kodowania nie jest możliwa. Dla nas „niemożliwe” jest najlepszą motywacją do tego by spróbować.
Wyobraź sobie narzędzie skuteczniejsze od automatu testowego i wydajniejsze od testera manualnego. Wyobraź sobie narzędzie, który uruchomi automatyczną weryfikację po naciśnięciu pojedynczego przycisku. Wyobraź sobie przyszłość, gdzie każdy tester manualny może automatyzować efektywniej niż najbardziej efektywny programista. Musisz sobie to wszystko wyobrażać… bo takie narzędzie nie istnieje. Nie ma jeszcze skuteczności opisywanej powyżej, ale stoi za nim bardzo dobrze przemyślana koncepcja.
Dlaczego chcemy zrealizować ten projekt? Na rynku występuje deficyt automatyków testów oraz testerów manualnych. Pracujący w organizacjach testerzy są przeciążani, albo brak osób do testowania przekłada się na niższą jakość produktów dostarczanych na rynek. Jeśli uda nam się zbudować narzędzie, będziemy mogli odciążyć testerów i pomóc weryfikować (przynajmniej część) rzeczy automatycznie.
W pseudoautomatyzacji w oparciu o narzędzia nagrywająco-odtwarzające użytkownik rejestruje swoje działania w aplikacji. Poprawność generowania kodu sprawdza się po zakończeniu nagrywania skryptu.
W klasycznej automatyzacji pisanej „z palca” skrypty próbkują aplikację próbując przechodzić przez jej wybrane punkty aż do miejsca weryfikacji. W AutoMagicTest implementowana koncepcja ma prezentować się następująco:
• narzędzie dokonuje możliwie najpełniejszej analizy struktury oprogramowania i generuje jego „model”
• w ramach modelu możemy ujawnić pierwsze problemy automatycznie, a defekty ujawnione manualnie można oznaczyć i zaraportować
• scenariusze automatyczne buduje się poprzez wskazanie rozpoznanych automatycznie elementów aplikacji, a na końcu definiuje się weryfikator osiągnięcia lub też braku osiągnięcia celu.
Dzięki temu analizujemy znacznie więcej niż w klasycznej automatyzacji i robimy to bez znaczącego zaangażowania testera. Ta część analizy jest jedynie weryfikacją struktury więc z perspektywy biznesowej ma ograniczone znaczenie. Ma jednak dużą wartość dla testera, który może np. zweryfikować podatność aplikacji na automatyzację. Z drugiej strony osiągamy znacznie więcej niż w przypadku narzędzi nagrywająco – odtwarzających ponieważ podatność elementów aplikacji na automatyzację jest badana przed samym definiowaniem scenariuszy.
Dlaczego warto regularnie dbać o wydajność aplikacji od samego początku jej tworzenia. Jak można wykorzystać do tego narzędzie Gatling i jakie daje możliwości?
Wprowadzenie do matrycy śledzenia i dlaczego nie opłaca się automatyzacja śledzenia post factum.
Plus przykłady matryc.
Prezentacja z WrotQA.
Język: mieszany [PL / EN]
Prezentacja możliwości grywalizacji (gamifikacji) w testowaniu oprogramowania i w procesie zapewnienia jakości.
W materiale:
Czym jest, a czym nie jest grywalizacja?
Jakie są możliwości gamifikacji?
Jakie ryzyka niesie za sobą grywalizacja?
Możliwa implementacja mechanizmów gier w środowisku projektu informatycznego.
This document discusses exploratory testing sessions. It explains that exploratory testing sessions are used to test software through an open and emergent process. The sessions have a timebox of 20 minutes for exploring, 60 minutes for testing, and 20 minutes for reporting. The testing is aimed at goals and knowledge of techniques and strategies are used to guide the testing.
2. 2
Testowanie sterowane kontekstem
I S T Q B
Testowanie jako usługa
Inżynieria oprogramowania
Testowanie eksploracyjne
Modele tworzenia oprogramowania
Ja nazywam się
Radek Smilgin…
3.
4.
5. Wymaganie
„Wyszukiwarka znajduje się na stronie głównej […] Użytkownik
powinien móc wyszukać wszystkie elementy strony przy
pomocy wyszukiwarki.”
6. Przypadek testowy wysokiego poziomu
TYTUŁ: Sprawdzenie wyszukiwania ciągu „prawo jazdy”
WARUNKEK POCZĄTKOWY: Strona główna aplikacji uruchomiona
DANE TESTOWE: prawo jazdy
KROKI: 1. Zaznacz obszar wyszukiwarki, 2. Wprowadź ciąg „prawo jazdy”,
3. Naciśnij przycisk „Szukaj”
OCZEKIWANY REZULTAT: Na liście wyników wyszukiwania pojawiają się wyświetlone
elementy strony z ciągiem „prawo jazdy”
WARUNEK KOŃCOWY: Wyświetlona strona z wynikami wyszukiwania
INNE: ID, wersja, priorytet, autor, podstawa
7. Przypadek testowy niskiego poziomu
TYTUŁ: Sprawdzenie wyszukiwania ciągu „prawo jazdy”
WARUNKEK POCZĄTKOWY: Strona główna aplikacji uruchomiona
DANE TESTOWE: prawo jazdy
KROKI: 1. Zaznacz obszar wyszukiwarki, 2. Wprowadź ciąg „prawo jazdy”,
3. Naciśnij przycisk „Szukaj”
OCZEKIWANY REZULTAT: Na liście wyników wyszukiwania pojawiają się wyświetlone
elementy strony z ciągiem „prawo jazdy”
WARUNEK KOŃCOWY: Wyświetlona strona z wynikami wyszukiwania
INNE: ID, wersja, priorytet, autor, podstawa
8. Statut testu (test charter)
TYTUŁ: Sprawdzenie wyszukiwania ciągu „prawo jazdy”
WARUNKEK POCZĄTKOWY: Strona główna aplikacji uruchomiona
DANE TESTOWE: prawo jazdy
KROKI: 1. Zaznacz obszar wyszukiwarki, 2. Wprowadź ciąg „prawo jazdy”, 3.
Naciśnij przycisk „Szukaj”
OCZEKIWANY REZULTAT: Na liście wyników wyszukiwania pojawiają się wyświetlone
elementy strony z ciągiem „prawo jazdy”
WARUNEK KOŃCOWY: Wyświetlona strona z wynikami wyszukiwania
Czas wykonania: 60 minut
INNE: ID, wersja, priorytet, autor, podstawa
24. ŚRODOWISKA / WARUNKI:
wyszukiwanie dla różnych wyszukiwarek / wersji
systemu operacyjnego / języka, wyszukiwanie
dla wersji mobilnych, rozdzielczości, wyszukanie
zalogowanego i niezalogowanego…
Gdzie jest
testowanie
środowisk w
ISTQB?
25. TESTY:
wyświetlanie jednego rezultatu, wyświetlanie braku wyników, poprawność
stronicowania, wyszukiwanie po słowach kluczowych znajdujących się w treści
wyszukiwania, poprawność sortowania, nowy (lub zaktualizowany) element
powinien być możliwy do wyszukania i poprawnie wyświetlony (indeksowanie),
brak możliwości wyszukania usuniętych treści, w wynikach wyszukiwania powinny
być treści powiązane z wyszukiwaniem, najważniejsze wyniki na górze, otwarcie
wyników w tym samym oknie, powrót do wyszukania, miejsce kursora w polu
wyszukania, usunięcie podpowiedzi w polu wyszukiwania po wprowadzenie ciągu,
wyszukiwanie „spacji”, wyświetlanie wyników dla jednego znaku, czas odpowiedzi,
liczba wyników na stronie, kolorystyka wyników odwiedzonych i nieodwiedzonych,
wyszukiwanie specjalnych znaków, opcje zaawansowane i ustawienia,
wyszukiwanie długich ciągów znaków…
Spróbuj
pokryć te
testy przy
pomocy
technik z
ISTQB?
30. 1. Problem braku
wyszukania
wartościowych
wyników dla
„STRATEG”
2. Problem
nieczytelności przez
element „wyszukiwanie
zaawansowane”
3. Problem
przeskrolowania
ekranu do wyników
wyszukiwania
http://stat.gov.pl/wyszukiwarka/szuk
aj.html
31. 1. Brak obsługi braku
wyników wyszukiwania
2. Niedziałające znaki
specjalne „ułatwiające”
wyszukiwanie
3. Wyszukiwanie
maksymalnie 500
wyników
http://msz.gov.pl/pl/szukaj?search=t
rue&searchWord=waszczykowski~&s
earchInArchive=false&searchEveryW
ord=false&sortOrder=DESC
32. 1. Stronicowanie po 3
wyniki
2. Mała czytelność
strony wyszukiwania
https://udsc.gov.pl/page/2/?s=ucho
d%C5%BAcy
37. FUNKCJA
Data 11.08.2017 / Wersja
1.0
Data 11.08.2017 / Wersja
1.1
PRZEWIDYWANIA
wyświetlanie
wyszukiwarki
Zmiana miejsca
wyszukiwarki
aktywizacja pola
wyszukiwania
aktywizacja
wyszukiwania
Nie działa aktywizacja
przez TAB
podpowiedzi przy
wpisywaniu
Niepoprawność zliczania
wyników
Niepoprawność zliczania
wyników
wyświetlanie wyników
Brak adekwatności
wyników
Część wyników
nieadekwatna
stronicowanie
nawigacja po stronach
Źle działające
przełączanie między
stronami
38. Debrifing zgodnie z PROOF (dowód)
•Past / Przeszłość – co się wydarzyło podczas sesji?
•Results / Rezultat - co osiągnięto podczas sesji?
•Obstacles / Przeszkody – jakie problemy się pojawiły?
•Outlook / Co na przyszłość – co jeszcze powinno zostać zrobione?
•Feelings / Odczucia – co sądzisz o oprogramowaniu?