SlideShare a Scribd company logo
Testowanie w Projektach Internetowych

Zbiorowe testy
eksploracyjne

Wersja 1.06
Trener
• Radosław Smilgin
- tester i test manager

•
•
•
•
•
•

W testowaniu od 2002 roku
Mówca konferencji, autor publikacji
Tłumacz sylabusa oraz pytań do ISTQB
Fan śledzenia i użyteczności
radoslaw.smilgin@testerzy.pl
http://smilgin.pl [w budowie]
© testerzy.pl

2
Projekty

© testerzy.pl

3
Założenia

Uczestnik wie czym jest:
• testowanie
• przypadek testowy

Uczestnika posiada sprzęt do testowania.

© testerzy.pl

4
ZADANIE

Co będziemy testować?

© testerzy.pl

5
Jak testujemy oprogramowanie w testerzy.pl?

[historia]

© testerzy.pl

6
Jak testujemy oprogramowanie w testerzy.pl?

1 rok działalności
Klient: Dzień dobry. Ile kosztuje testowanie?
testerzy.pl: Testowanie jest nieskończone, więc
musimy posiadać więcej danych by dokonać
wyceny przygotowania planu, przypadków
testowych, skryptów, raportu…
[sygnał przerwanego połączenia]

© testerzy.pl

7
Jak testujemy oprogramowanie w testerzy.pl?

2 rok działalności
Klient: Dzień dobry. Ile kosztuje testowanie?
testerzy.pl: To zależy…
Klient: Ale konkretnie, więcej niż 10 złotych?
testerzy.pl: Tak, ale otrzyma Pan plan,
przypadki testowe…
[sygnał przerwanego połączenia]
© testerzy.pl

8
Jak testujemy oprogramowanie w testerzy.pl?

3 rok działalności
Klient: Dzień dobry. Ile kosztuje testowanie?
testerzy.pl: 10 złotych.
Klient: A co za to mogę otrzymać?
testerzy.pl: 25 minut testów eksploracyjnych
Klient: A co możecie zrobić w tym czasie?
testerzy.pl: Możemy znaleźć „najwidoczniejsze”
błędy aplikacji.
Klient: Poproszę.
© testerzy.pl

9
Jak testujemy oprogramowanie w testerzy.pl?

•E k s p l o r a c y j n i e
• Dlaczego?
•
•
•
•

Cena
Jakość (liczona jako ilość znalezionych błędów)
Brak specyfikacji
Szybki rezultat

© testerzy.pl

10
Testowanie eksploracyjne

nieformalna technika projektowania testów, w
której tester projektuje testy w czasie, gdy są
one wykonywane i wykorzystuje informacje
zdobyte podczas testowania do projektowania
nowych i lepszych testów.

© testerzy.pl

11
Testowanie eksploracyjne
nieformalna technika projektowania testów,
w której tester projektuje testy w czasie,

gdy są one wykonywane i

wykorzystuje informacje
zdobyte podczas testowania
do projektowania nowych i lepszych testów
© testerzy.pl

12
Testowanie eksploracyjne
nieformalna – ad hocowa (?), nieplanowana
(?), nieprzygotowana (?), bez procesu, bez
planów, przypadków, skryptów, pokrycia

© testerzy.pl

13
Testowanie eksploracyjne
nieformalna technika projektowania testów ?

© testerzy.pl

14
Testowanie eksploracyjne
nieformalna technika projektowania testów,
w której tester – musi być doświadczony,
musi mieć wiedzę, musi mieć motywację,
musi umieć testować oprogramowanie, musi
lubić swoją pracę, musi mieć umiejętności
analityczne, musi ewaluować ryzyko, musi
używać narzędzi, musi mieć zmysł
dostrzegania zagadkowych i nietypowych
zachowań
© testerzy.pl

15
Testowanie eksploracyjne
nieformalna technika projektowania testów,
w której tester projektuje testy w czasie,

gdy są one wykonywane –
uruchomienie
oprogramowania z intencją
szukania błędów
© testerzy.pl

16
Testowanie eksploracyjne
nieformalna technika projektowania testów,
w której tester projektuje testy w czasie,

gdy są one wykonywane i

wykorzystuje informacje
- uczy się, dowiaduje,
poznaje, odkrywa, analizuje
© testerzy.pl

17
Testowanie eksploracyjne
nieformalna technika projektowania testów,
w której tester projektuje testy w czasie,

gdy są one wykonywane i

wykorzystuje informacje
zdobyte podczas testowania
do projektowania nowych i lepszych testów –
uczy się na błędach
© testerzy.pl

18
Testowanie eksploracyjne

Idealne rozwiązanie na outsourcing testowy

© testerzy.pl

19
ZADANIE – ZNAJDŹ BŁĄD

© testerzy.pl

20
ZADANIE – ZNAJDŹ BŁĄD

© testerzy.pl

21
Testowanie eksploracyjne
• Cem Kaner („Testing Computer Software”):
• „Exploratory testing” - użyte pierwszy raz
• „Imagine crime scene investigators
• (real investigators of real crime scenes)
• following a script.
• How effective do you think they would be?”

• „Learning, design, execution, interpretation”

© testerzy.pl

22
Testowanie eksploracyjne
• James Bach („Exploratory Testing Explained”):
• „Exploratory software testing is a powerful
approach, yet widely misunderstood. In some
situations, it can be orders of magnitude more
productive than scripted testing.”
• „(…) simultaneous learning, test design and
test execution.”
• „Over a period of time, a tester interacts with a
product to fulfill a testing mission, and reporting
results.”
• „A bug is something that bugs somebody.”
© testerzy.pl

23
Testowanie eksploracyjne

• James Whittaker („Exploratory Software
Testing”):
• „Testing without a pre-defined test plan.”
• „ Overinvesting in testing too early can mean a lot
of things get thrown away.”

© testerzy.pl

24
Testowanie eksploracyjne

Testowanie bez lub ze znikomą ilością dokumentacji
=

BRAK WYROCZNI TESTOWEJ

© testerzy.pl

25
ZADANIE – ZNAJDŹ BŁĄD
• Czy to jest błąd?

[happyday.pl]

• Udowodnij.
© testerzy.pl

26
ZADANIE – ZNAJDŹ BŁĄD
• Czy to jest błąd?

[materiały szkoleniowe ISTQB]

• Udowodnij.
© testerzy.pl

27
ZADANIE – ZNAJDŹ BŁĄD
• Czy to jest błąd?

• Udowodnij.

[instalacja produktu Logitech]
© testerzy.pl

28
ZADANIE – ZNAJDŹ BŁĄD
• Czy to jest błąd?

[zlastrona.org]

• Udowodnij.
© testerzy.pl

29
ZADANIE – ZNAJDŹ BŁĄD
• Czy to jest błąd?

[testcompetence.com w IE6]

• Udowodnij.
© testerzy.pl

30
Testowanie eksploracyjne: Zalety
•
•
•
•

Szybkie
(Dość) efektywne
Efektowne
Redukuje nakłady pracy związane z
utrzymaniem wcześniej przygotowanej
dokumentacji
• Idealne w środowisku internetowym
© testerzy.pl

31
Testowanie eksploracyjne: Wady
•
•
•
•
•
•
•
•
•

Brak powtarzalności
Brak części miar
Duże wymagania na testera
Nie sprawdza się w części organizacji
Nie wpisuje się w formalny proces
Może nie znaleźć najważniejszych błędów
Może pominąć obszary do testowania
Brak możliwości generowania pokrycia
Brak wiedzy historycznej
© testerzy.pl

32
Testowanie eksploracyjne: Składowe

• Tester eksploracyjny
• Testowany obiekt

• Narzędzia wspomagające

© testerzy.pl

33
Testowanie eksploracyjne: Narzędzia
• Screenshot:
– Prnt Scr (Prnt Scr+Alt) + narzędzie do grafiki
– Czasowy
• Wink http://www.debugmode.com/wink/

– FastStone Capture
• http://www.faststone.org/FSCaptureDetail.htm

© testerzy.pl

34
Testowanie eksploracyjne: Narzędzia

• Wideo
– CamStudio http://camstudio.org/
– FastStone Capture
• http://www.faststone.org/FSCaptureDetail.htm

© testerzy.pl

35
Testowanie eksploracyjne: Narzędzia
• Rejestracja działań [dla użytkowników
Windows 7]
– psr.exe
– Monitor wydajności
– Monitor zasobów

© testerzy.pl

36
Testowanie eksploracyjne: Narzędzia
• Wtyczki dla FireFox
https://addons.mozilla.org/pl/firefox/
–
–
–
–

Selenium IDE
FireBug
YSlow
…

© testerzy.pl

37
ZADANIE – PRZETESTUJ MNIE!
• Podział na dwie grupy:

• GRUPA 1

• GRUPA 2

• Napisz przypadki
testowe dla funkcji
zegara i daty w
systemie Windows.

© testerzy.pl

• Przetestuj funkcje
zegara i daty w
systemie Windows.

39
ZADANIE – PRZETESTUJ MNIE!

Masz: … minut

© testerzy.pl

40
Testowanie eksploracyjne
Rozwiązanie.
1. …
2. …
3. …
4. …
5. …
6. …
7. …
…

Obserwacje.
1. …
2. …
3. …
4. …
5. …
6. …
7. …
…
© testerzy.pl

41
Testowanie eksploracyjne: Zarządzanie
• SBTM Session Based Test Management
– Sesje testowe (test session)
•
•
•
•

60-90 minut
Nieprzerwane
Zorientowane na statut
Odkrywanie nowych szans

– Statut testu (test charter)
• Misja i taktyka testowania
• Deklaracja celów i pomysłów

– Podsumowanie sesji (Session Sheet) – wyniki: notatki,
defekty, „znaleziska”, metryki (czas na testy, defekty)
• Log – co się wydarzyło

– Spotkanie z liderem testów w celu podsumowania
© testerzy.pl

42
Testowanie eksploracyjne: Zarządzanie
• Statut
• „Test all fields that allow data entry (you know the drill:
function, stress, and limits, please).”
• „Check UI against Windows interface standards.”
• „Test integration with external applications, especially
Microsoft Word.”
http://www.satisfice.com/sbtm/demo/reports/status.htm

• Wynik
– Minimum: raport z defektów
– Pełny (podsumowanie sesji): notatki i raporty
© testerzy.pl

43
Testowanie eksploracyjne: Zarządzanie
• Podsumowanie sesji:
–
–
–
–
–
–
–
–

Statut (misja i obszary)
Imię testera
Data i czas rozpoczęcia
Podział zadań (metryka TBS: Test design and execution,
bug investigation and reporting, and session setup)
Pliki danych
Notatki testowe
Znaleziska
Defekty

© testerzy.pl

44
SBTM: narzędzia
• Session Tester

© testerzy.pl

45
SBTM: narzędzia
• RapidReporter
– http://testing.gershon.info/reporter/
– Zapisywanie sesji eksploracyjnej
– [intuicyjność - mierny]

© testerzy.pl

46
Testowanie eksploracyjne: Narzędzia
• RapidReporter
– http://testing.gershon.info/reporter/
– Zapisywanie sesji eksploracyjnej
– [intuicyjność - mierny]

© testerzy.pl

47
Testowanie eksploracyjne: Narzędzia
• RapidReporter
– Zapisywanie sesji w czytelniejszym formacie:

© testerzy.pl

48
ZADANIE

• Testowanie z podziałem na misje
– Definicja misji
– Wybór misji do testowania

© testerzy.pl

49
Materiały i źródła
• http://www.satisfice.com/sbtm/
• http://www.satisfice.com/blog/archives/77
• http://www.satisfice.com/articles/what_is_et.shtml
• http://testingeducation.org/

© testerzy.pl

50
Testowanie w Projektach Internetowych

Dziękuję za obecność i uwagę
Pytania / odpowiedzi ?

© testerzy.pl

51

More Related Content

Similar to Testowanie eksploracyjne - warsztat testerzy.pl na TestWarez 2011

Certyfikacja ISTQB - fakty i mity
Certyfikacja ISTQB - fakty i mityCertyfikacja ISTQB - fakty i mity
Certyfikacja ISTQB - fakty i mity
Radoslaw Smilgin
 
7 competences workshop - 22.06 at Spartez
7 competences workshop - 22.06 at Spartez7 competences workshop - 22.06 at Spartez
7 competences workshop - 22.06 at Spartez
Anna Brzezińska
 
Testowanie. Wprowadzenie do testowania oprogramowania.
Testowanie. Wprowadzenie do testowania oprogramowania. Testowanie. Wprowadzenie do testowania oprogramowania.
Testowanie. Wprowadzenie do testowania oprogramowania.
Radoslaw Smilgin
 
Testowanie aplikacji mobilnych (IxDA 2012)
Testowanie aplikacji mobilnych (IxDA 2012) Testowanie aplikacji mobilnych (IxDA 2012)
Testowanie aplikacji mobilnych (IxDA 2012)
Bartosz Mozyrko
 
MS - Wprowadzenie do testów jednostkowych
MS - Wprowadzenie do testów jednostkowychMS - Wprowadzenie do testów jednostkowych
MS - Wprowadzenie do testów jednostkowych
Marcin Samsonowski
 
Matka, żona, i...testerka
Matka, żona, i...testerkaMatka, żona, i...testerka
Matka, żona, i...testerka
testuj.pl
 
Podstawy testowania oprogramowania INCO 2023.pptx
Podstawy testowania oprogramowania INCO 2023.pptxPodstawy testowania oprogramowania INCO 2023.pptx
Podstawy testowania oprogramowania INCO 2023.pptx
Katarzyna Javaheri-Szpak
 
Testy eksploracyjne. Lucky shot czy zaplanowana akcja?
Testy eksploracyjne. Lucky shot czy zaplanowana akcja?Testy eksploracyjne. Lucky shot czy zaplanowana akcja?
Testy eksploracyjne. Lucky shot czy zaplanowana akcja?
The Software House
 
Zawód tester. Wprowadzenie.
Zawód tester. Wprowadzenie.Zawód tester. Wprowadzenie.
Zawód tester. Wprowadzenie.
Radoslaw Smilgin
 
Bezstratna kompresja listy przypadków testowych
Bezstratna kompresja listy przypadków testowychBezstratna kompresja listy przypadków testowych
Bezstratna kompresja listy przypadków testowych
Piotr Piotrowski
 
Bartek Mozyrko, Testing methods for mobile applications
Bartek Mozyrko, Testing methods for mobile applicationsBartek Mozyrko, Testing methods for mobile applications
Bartek Mozyrko, Testing methods for mobile applications
IxDA_Poznan
 
Edukacja testerska na Quality in IT
Edukacja testerska na Quality in ITEdukacja testerska na Quality in IT
Edukacja testerska na Quality in IT
Radoslaw Smilgin
 
Testowanie automatyczne 2024 INCO Academy
Testowanie automatyczne 2024 INCO AcademyTestowanie automatyczne 2024 INCO Academy
Testowanie automatyczne 2024 INCO Academy
Katarzyna Javaheri-Szpak
 
Od Produktywności do Sabotażu - Sławomir Radzymiński, KraQA #31
Od Produktywności do Sabotażu - Sławomir Radzymiński, KraQA #31Od Produktywności do Sabotażu - Sławomir Radzymiński, KraQA #31
Od Produktywności do Sabotażu - Sławomir Radzymiński, KraQA #31
kraqa
 
Context Driven School of testing w prostych przykładach
Context Driven School of testing w prostych przykładachContext Driven School of testing w prostych przykładach
Context Driven School of testing w prostych przykładach
Radoslaw Smilgin
 
Testy eksploracyjne - podstawy i przykłady
Testy eksploracyjne - podstawy i przykładyTesty eksploracyjne - podstawy i przykłady
Testy eksploracyjne - podstawy i przykłady
Radoslaw Smilgin
 
Jak efektywnie podejść do certyfikacji w AWS?
Jak efektywnie podejść do certyfikacji w AWS?Jak efektywnie podejść do certyfikacji w AWS?
Jak efektywnie podejść do certyfikacji w AWS?
The Software House
 
Test na testera. Sprawdź czy nadajesz się do tego zawodu.
Test na testera. Sprawdź czy nadajesz się do tego zawodu.Test na testera. Sprawdź czy nadajesz się do tego zawodu.
Test na testera. Sprawdź czy nadajesz się do tego zawodu.
Damian Szczurek
 
Usability LAB - user testy w praktyce
Usability LAB - user testy w praktyceUsability LAB - user testy w praktyce
Usability LAB - user testy w praktyce
Jacek Popko
 

Similar to Testowanie eksploracyjne - warsztat testerzy.pl na TestWarez 2011 (20)

Certyfikacja ISTQB - fakty i mity
Certyfikacja ISTQB - fakty i mityCertyfikacja ISTQB - fakty i mity
Certyfikacja ISTQB - fakty i mity
 
7 competences workshop - 22.06 at Spartez
7 competences workshop - 22.06 at Spartez7 competences workshop - 22.06 at Spartez
7 competences workshop - 22.06 at Spartez
 
Testowanie. Wprowadzenie do testowania oprogramowania.
Testowanie. Wprowadzenie do testowania oprogramowania. Testowanie. Wprowadzenie do testowania oprogramowania.
Testowanie. Wprowadzenie do testowania oprogramowania.
 
Testowanie aplikacji mobilnych (IxDA 2012)
Testowanie aplikacji mobilnych (IxDA 2012) Testowanie aplikacji mobilnych (IxDA 2012)
Testowanie aplikacji mobilnych (IxDA 2012)
 
MS - Wprowadzenie do testów jednostkowych
MS - Wprowadzenie do testów jednostkowychMS - Wprowadzenie do testów jednostkowych
MS - Wprowadzenie do testów jednostkowych
 
Matka, żona, i...testerka
Matka, żona, i...testerkaMatka, żona, i...testerka
Matka, żona, i...testerka
 
Podstawy testowania oprogramowania INCO 2023.pptx
Podstawy testowania oprogramowania INCO 2023.pptxPodstawy testowania oprogramowania INCO 2023.pptx
Podstawy testowania oprogramowania INCO 2023.pptx
 
Testy eksploracyjne. Lucky shot czy zaplanowana akcja?
Testy eksploracyjne. Lucky shot czy zaplanowana akcja?Testy eksploracyjne. Lucky shot czy zaplanowana akcja?
Testy eksploracyjne. Lucky shot czy zaplanowana akcja?
 
Zawód tester. Wprowadzenie.
Zawód tester. Wprowadzenie.Zawód tester. Wprowadzenie.
Zawód tester. Wprowadzenie.
 
Bezstratna kompresja listy przypadków testowych
Bezstratna kompresja listy przypadków testowychBezstratna kompresja listy przypadków testowych
Bezstratna kompresja listy przypadków testowych
 
Bartek Mozyrko, Testing methods for mobile applications
Bartek Mozyrko, Testing methods for mobile applicationsBartek Mozyrko, Testing methods for mobile applications
Bartek Mozyrko, Testing methods for mobile applications
 
Edukacja testerska na Quality in IT
Edukacja testerska na Quality in ITEdukacja testerska na Quality in IT
Edukacja testerska na Quality in IT
 
Testowanie automatyczne 2024 INCO Academy
Testowanie automatyczne 2024 INCO AcademyTestowanie automatyczne 2024 INCO Academy
Testowanie automatyczne 2024 INCO Academy
 
Czas i pieniądze 4 developers
Czas i pieniądze 4 developersCzas i pieniądze 4 developers
Czas i pieniądze 4 developers
 
Od Produktywności do Sabotażu - Sławomir Radzymiński, KraQA #31
Od Produktywności do Sabotażu - Sławomir Radzymiński, KraQA #31Od Produktywności do Sabotażu - Sławomir Radzymiński, KraQA #31
Od Produktywności do Sabotażu - Sławomir Radzymiński, KraQA #31
 
Context Driven School of testing w prostych przykładach
Context Driven School of testing w prostych przykładachContext Driven School of testing w prostych przykładach
Context Driven School of testing w prostych przykładach
 
Testy eksploracyjne - podstawy i przykłady
Testy eksploracyjne - podstawy i przykładyTesty eksploracyjne - podstawy i przykłady
Testy eksploracyjne - podstawy i przykłady
 
Jak efektywnie podejść do certyfikacji w AWS?
Jak efektywnie podejść do certyfikacji w AWS?Jak efektywnie podejść do certyfikacji w AWS?
Jak efektywnie podejść do certyfikacji w AWS?
 
Test na testera. Sprawdź czy nadajesz się do tego zawodu.
Test na testera. Sprawdź czy nadajesz się do tego zawodu.Test na testera. Sprawdź czy nadajesz się do tego zawodu.
Test na testera. Sprawdź czy nadajesz się do tego zawodu.
 
Usability LAB - user testy w praktyce
Usability LAB - user testy w praktyceUsability LAB - user testy w praktyce
Usability LAB - user testy w praktyce
 

More from Radoslaw Smilgin

Automatyzacja w praktyce. Praktyka automatyzacji
Automatyzacja w praktyce. Praktyka automatyzacjiAutomatyzacja w praktyce. Praktyka automatyzacji
Automatyzacja w praktyce. Praktyka automatyzacji
Radoslaw Smilgin
 
Accessibility for all platforms and all people
Accessibility for all platforms and all peopleAccessibility for all platforms and all people
Accessibility for all platforms and all people
Radoslaw Smilgin
 
Kwestionowanie ISTQB
Kwestionowanie ISTQBKwestionowanie ISTQB
Kwestionowanie ISTQB
Radoslaw Smilgin
 
Transformacja od formalnego do eksploracyjnego testowania. Moja historia
Transformacja od formalnego do eksploracyjnego testowania. Moja historiaTransformacja od formalnego do eksploracyjnego testowania. Moja historia
Transformacja od formalnego do eksploracyjnego testowania. Moja historia
Radoslaw Smilgin
 
Testerska edukacja dzisiaj
Testerska edukacja dzisiajTesterska edukacja dzisiaj
Testerska edukacja dzisiaj
Radoslaw Smilgin
 
Tester eksploracyjny. Ostatni zawód na świecie.
Tester eksploracyjny. Ostatni zawód na świecie.Tester eksploracyjny. Ostatni zawód na świecie.
Tester eksploracyjny. Ostatni zawód na świecie.
Radoslaw Smilgin
 
Eksploracja w kulturze Agile i DevOps czyli o zwinnym testowaniu eksploracyjnym
Eksploracja w kulturze Agile i DevOps czyli o zwinnym testowaniu eksploracyjnymEksploracja w kulturze Agile i DevOps czyli o zwinnym testowaniu eksploracyjnym
Eksploracja w kulturze Agile i DevOps czyli o zwinnym testowaniu eksploracyjnym
Radoslaw Smilgin
 
Testy eksploracyjne. Wyższy poziom testowania.
Testy eksploracyjne. Wyższy poziom testowania.Testy eksploracyjne. Wyższy poziom testowania.
Testy eksploracyjne. Wyższy poziom testowania.
Radoslaw Smilgin
 
TestingCup 2017 - historia i nowości
TestingCup 2017 - historia i nowościTestingCup 2017 - historia i nowości
TestingCup 2017 - historia i nowości
Radoslaw Smilgin
 
60 minut testowania - czyli co tester może osiągnąć w jedną godzinę przy pomo...
60 minut testowania - czyli co tester może osiągnąć w jedną godzinę przy pomo...60 minut testowania - czyli co tester może osiągnąć w jedną godzinę przy pomo...
60 minut testowania - czyli co tester może osiągnąć w jedną godzinę przy pomo...
Radoslaw Smilgin
 
TestingCup 2016
TestingCup 2016TestingCup 2016
TestingCup 2016
Radoslaw Smilgin
 
TestArena Instrukcja obsługi dla wersji 3.0.929
TestArena Instrukcja obsługi dla wersji 3.0.929TestArena Instrukcja obsługi dla wersji 3.0.929
TestArena Instrukcja obsługi dla wersji 3.0.929
Radoslaw Smilgin
 
Zawód tester - spotkanie z autorem książki
Zawód tester - spotkanie z autorem książkiZawód tester - spotkanie z autorem książki
Zawód tester - spotkanie z autorem książki
Radoslaw Smilgin
 
AutoMagicTest – automatyzacja bez kodowania?
AutoMagicTest – automatyzacja bez kodowania? AutoMagicTest – automatyzacja bez kodowania?
AutoMagicTest – automatyzacja bez kodowania?
Radoslaw Smilgin
 
Continuous performance management with Gatling
Continuous performance management with GatlingContinuous performance management with Gatling
Continuous performance management with Gatling
Radoslaw Smilgin
 
Budowanie biznesu w testerskiej niszy
Budowanie biznesu w testerskiej niszy Budowanie biznesu w testerskiej niszy
Budowanie biznesu w testerskiej niszy
Radoslaw Smilgin
 
Zawód testerka. Proste drogi do zawodu.
Zawód testerka. Proste drogi do zawodu.Zawód testerka. Proste drogi do zawodu.
Zawód testerka. Proste drogi do zawodu.
Radoslaw Smilgin
 
TestingCup 2015 - prezentacja wprowadzająca do zawodów.
TestingCup 2015 - prezentacja wprowadzająca do zawodów.TestingCup 2015 - prezentacja wprowadzająca do zawodów.
TestingCup 2015 - prezentacja wprowadzająca do zawodów.
Radoslaw Smilgin
 
testerzy.pl katalog szkoleń praktycznych dla testerów oprogramowania 2015
testerzy.pl katalog szkoleń praktycznych dla testerów oprogramowania 2015testerzy.pl katalog szkoleń praktycznych dla testerów oprogramowania 2015
testerzy.pl katalog szkoleń praktycznych dla testerów oprogramowania 2015
Radoslaw Smilgin
 
Ile zarabia tester oprogramowania w 2014?
Ile zarabia tester oprogramowania w 2014?Ile zarabia tester oprogramowania w 2014?
Ile zarabia tester oprogramowania w 2014?
Radoslaw Smilgin
 

More from Radoslaw Smilgin (20)

Automatyzacja w praktyce. Praktyka automatyzacji
Automatyzacja w praktyce. Praktyka automatyzacjiAutomatyzacja w praktyce. Praktyka automatyzacji
Automatyzacja w praktyce. Praktyka automatyzacji
 
Accessibility for all platforms and all people
Accessibility for all platforms and all peopleAccessibility for all platforms and all people
Accessibility for all platforms and all people
 
Kwestionowanie ISTQB
Kwestionowanie ISTQBKwestionowanie ISTQB
Kwestionowanie ISTQB
 
Transformacja od formalnego do eksploracyjnego testowania. Moja historia
Transformacja od formalnego do eksploracyjnego testowania. Moja historiaTransformacja od formalnego do eksploracyjnego testowania. Moja historia
Transformacja od formalnego do eksploracyjnego testowania. Moja historia
 
Testerska edukacja dzisiaj
Testerska edukacja dzisiajTesterska edukacja dzisiaj
Testerska edukacja dzisiaj
 
Tester eksploracyjny. Ostatni zawód na świecie.
Tester eksploracyjny. Ostatni zawód na świecie.Tester eksploracyjny. Ostatni zawód na świecie.
Tester eksploracyjny. Ostatni zawód na świecie.
 
Eksploracja w kulturze Agile i DevOps czyli o zwinnym testowaniu eksploracyjnym
Eksploracja w kulturze Agile i DevOps czyli o zwinnym testowaniu eksploracyjnymEksploracja w kulturze Agile i DevOps czyli o zwinnym testowaniu eksploracyjnym
Eksploracja w kulturze Agile i DevOps czyli o zwinnym testowaniu eksploracyjnym
 
Testy eksploracyjne. Wyższy poziom testowania.
Testy eksploracyjne. Wyższy poziom testowania.Testy eksploracyjne. Wyższy poziom testowania.
Testy eksploracyjne. Wyższy poziom testowania.
 
TestingCup 2017 - historia i nowości
TestingCup 2017 - historia i nowościTestingCup 2017 - historia i nowości
TestingCup 2017 - historia i nowości
 
60 minut testowania - czyli co tester może osiągnąć w jedną godzinę przy pomo...
60 minut testowania - czyli co tester może osiągnąć w jedną godzinę przy pomo...60 minut testowania - czyli co tester może osiągnąć w jedną godzinę przy pomo...
60 minut testowania - czyli co tester może osiągnąć w jedną godzinę przy pomo...
 
TestingCup 2016
TestingCup 2016TestingCup 2016
TestingCup 2016
 
TestArena Instrukcja obsługi dla wersji 3.0.929
TestArena Instrukcja obsługi dla wersji 3.0.929TestArena Instrukcja obsługi dla wersji 3.0.929
TestArena Instrukcja obsługi dla wersji 3.0.929
 
Zawód tester - spotkanie z autorem książki
Zawód tester - spotkanie z autorem książkiZawód tester - spotkanie z autorem książki
Zawód tester - spotkanie z autorem książki
 
AutoMagicTest – automatyzacja bez kodowania?
AutoMagicTest – automatyzacja bez kodowania? AutoMagicTest – automatyzacja bez kodowania?
AutoMagicTest – automatyzacja bez kodowania?
 
Continuous performance management with Gatling
Continuous performance management with GatlingContinuous performance management with Gatling
Continuous performance management with Gatling
 
Budowanie biznesu w testerskiej niszy
Budowanie biznesu w testerskiej niszy Budowanie biznesu w testerskiej niszy
Budowanie biznesu w testerskiej niszy
 
Zawód testerka. Proste drogi do zawodu.
Zawód testerka. Proste drogi do zawodu.Zawód testerka. Proste drogi do zawodu.
Zawód testerka. Proste drogi do zawodu.
 
TestingCup 2015 - prezentacja wprowadzająca do zawodów.
TestingCup 2015 - prezentacja wprowadzająca do zawodów.TestingCup 2015 - prezentacja wprowadzająca do zawodów.
TestingCup 2015 - prezentacja wprowadzająca do zawodów.
 
testerzy.pl katalog szkoleń praktycznych dla testerów oprogramowania 2015
testerzy.pl katalog szkoleń praktycznych dla testerów oprogramowania 2015testerzy.pl katalog szkoleń praktycznych dla testerów oprogramowania 2015
testerzy.pl katalog szkoleń praktycznych dla testerów oprogramowania 2015
 
Ile zarabia tester oprogramowania w 2014?
Ile zarabia tester oprogramowania w 2014?Ile zarabia tester oprogramowania w 2014?
Ile zarabia tester oprogramowania w 2014?
 

Testowanie eksploracyjne - warsztat testerzy.pl na TestWarez 2011

  • 1. Testowanie w Projektach Internetowych Zbiorowe testy eksploracyjne Wersja 1.06
  • 2. Trener • Radosław Smilgin - tester i test manager • • • • • • W testowaniu od 2002 roku Mówca konferencji, autor publikacji Tłumacz sylabusa oraz pytań do ISTQB Fan śledzenia i użyteczności radoslaw.smilgin@testerzy.pl http://smilgin.pl [w budowie] © testerzy.pl 2
  • 4. Założenia Uczestnik wie czym jest: • testowanie • przypadek testowy Uczestnika posiada sprzęt do testowania. © testerzy.pl 4
  • 6. Jak testujemy oprogramowanie w testerzy.pl? [historia] © testerzy.pl 6
  • 7. Jak testujemy oprogramowanie w testerzy.pl? 1 rok działalności Klient: Dzień dobry. Ile kosztuje testowanie? testerzy.pl: Testowanie jest nieskończone, więc musimy posiadać więcej danych by dokonać wyceny przygotowania planu, przypadków testowych, skryptów, raportu… [sygnał przerwanego połączenia] © testerzy.pl 7
  • 8. Jak testujemy oprogramowanie w testerzy.pl? 2 rok działalności Klient: Dzień dobry. Ile kosztuje testowanie? testerzy.pl: To zależy… Klient: Ale konkretnie, więcej niż 10 złotych? testerzy.pl: Tak, ale otrzyma Pan plan, przypadki testowe… [sygnał przerwanego połączenia] © testerzy.pl 8
  • 9. Jak testujemy oprogramowanie w testerzy.pl? 3 rok działalności Klient: Dzień dobry. Ile kosztuje testowanie? testerzy.pl: 10 złotych. Klient: A co za to mogę otrzymać? testerzy.pl: 25 minut testów eksploracyjnych Klient: A co możecie zrobić w tym czasie? testerzy.pl: Możemy znaleźć „najwidoczniejsze” błędy aplikacji. Klient: Poproszę. © testerzy.pl 9
  • 10. Jak testujemy oprogramowanie w testerzy.pl? •E k s p l o r a c y j n i e • Dlaczego? • • • • Cena Jakość (liczona jako ilość znalezionych błędów) Brak specyfikacji Szybki rezultat © testerzy.pl 10
  • 11. Testowanie eksploracyjne nieformalna technika projektowania testów, w której tester projektuje testy w czasie, gdy są one wykonywane i wykorzystuje informacje zdobyte podczas testowania do projektowania nowych i lepszych testów. © testerzy.pl 11
  • 12. Testowanie eksploracyjne nieformalna technika projektowania testów, w której tester projektuje testy w czasie, gdy są one wykonywane i wykorzystuje informacje zdobyte podczas testowania do projektowania nowych i lepszych testów © testerzy.pl 12
  • 13. Testowanie eksploracyjne nieformalna – ad hocowa (?), nieplanowana (?), nieprzygotowana (?), bez procesu, bez planów, przypadków, skryptów, pokrycia © testerzy.pl 13
  • 14. Testowanie eksploracyjne nieformalna technika projektowania testów ? © testerzy.pl 14
  • 15. Testowanie eksploracyjne nieformalna technika projektowania testów, w której tester – musi być doświadczony, musi mieć wiedzę, musi mieć motywację, musi umieć testować oprogramowanie, musi lubić swoją pracę, musi mieć umiejętności analityczne, musi ewaluować ryzyko, musi używać narzędzi, musi mieć zmysł dostrzegania zagadkowych i nietypowych zachowań © testerzy.pl 15
  • 16. Testowanie eksploracyjne nieformalna technika projektowania testów, w której tester projektuje testy w czasie, gdy są one wykonywane – uruchomienie oprogramowania z intencją szukania błędów © testerzy.pl 16
  • 17. Testowanie eksploracyjne nieformalna technika projektowania testów, w której tester projektuje testy w czasie, gdy są one wykonywane i wykorzystuje informacje - uczy się, dowiaduje, poznaje, odkrywa, analizuje © testerzy.pl 17
  • 18. Testowanie eksploracyjne nieformalna technika projektowania testów, w której tester projektuje testy w czasie, gdy są one wykonywane i wykorzystuje informacje zdobyte podczas testowania do projektowania nowych i lepszych testów – uczy się na błędach © testerzy.pl 18
  • 19. Testowanie eksploracyjne Idealne rozwiązanie na outsourcing testowy © testerzy.pl 19
  • 20. ZADANIE – ZNAJDŹ BŁĄD © testerzy.pl 20
  • 21. ZADANIE – ZNAJDŹ BŁĄD © testerzy.pl 21
  • 22. Testowanie eksploracyjne • Cem Kaner („Testing Computer Software”): • „Exploratory testing” - użyte pierwszy raz • „Imagine crime scene investigators • (real investigators of real crime scenes) • following a script. • How effective do you think they would be?” • „Learning, design, execution, interpretation” © testerzy.pl 22
  • 23. Testowanie eksploracyjne • James Bach („Exploratory Testing Explained”): • „Exploratory software testing is a powerful approach, yet widely misunderstood. In some situations, it can be orders of magnitude more productive than scripted testing.” • „(…) simultaneous learning, test design and test execution.” • „Over a period of time, a tester interacts with a product to fulfill a testing mission, and reporting results.” • „A bug is something that bugs somebody.” © testerzy.pl 23
  • 24. Testowanie eksploracyjne • James Whittaker („Exploratory Software Testing”): • „Testing without a pre-defined test plan.” • „ Overinvesting in testing too early can mean a lot of things get thrown away.” © testerzy.pl 24
  • 25. Testowanie eksploracyjne Testowanie bez lub ze znikomą ilością dokumentacji = BRAK WYROCZNI TESTOWEJ © testerzy.pl 25
  • 26. ZADANIE – ZNAJDŹ BŁĄD • Czy to jest błąd? [happyday.pl] • Udowodnij. © testerzy.pl 26
  • 27. ZADANIE – ZNAJDŹ BŁĄD • Czy to jest błąd? [materiały szkoleniowe ISTQB] • Udowodnij. © testerzy.pl 27
  • 28. ZADANIE – ZNAJDŹ BŁĄD • Czy to jest błąd? • Udowodnij. [instalacja produktu Logitech] © testerzy.pl 28
  • 29. ZADANIE – ZNAJDŹ BŁĄD • Czy to jest błąd? [zlastrona.org] • Udowodnij. © testerzy.pl 29
  • 30. ZADANIE – ZNAJDŹ BŁĄD • Czy to jest błąd? [testcompetence.com w IE6] • Udowodnij. © testerzy.pl 30
  • 31. Testowanie eksploracyjne: Zalety • • • • Szybkie (Dość) efektywne Efektowne Redukuje nakłady pracy związane z utrzymaniem wcześniej przygotowanej dokumentacji • Idealne w środowisku internetowym © testerzy.pl 31
  • 32. Testowanie eksploracyjne: Wady • • • • • • • • • Brak powtarzalności Brak części miar Duże wymagania na testera Nie sprawdza się w części organizacji Nie wpisuje się w formalny proces Może nie znaleźć najważniejszych błędów Może pominąć obszary do testowania Brak możliwości generowania pokrycia Brak wiedzy historycznej © testerzy.pl 32
  • 33. Testowanie eksploracyjne: Składowe • Tester eksploracyjny • Testowany obiekt • Narzędzia wspomagające © testerzy.pl 33
  • 34. Testowanie eksploracyjne: Narzędzia • Screenshot: – Prnt Scr (Prnt Scr+Alt) + narzędzie do grafiki – Czasowy • Wink http://www.debugmode.com/wink/ – FastStone Capture • http://www.faststone.org/FSCaptureDetail.htm © testerzy.pl 34
  • 35. Testowanie eksploracyjne: Narzędzia • Wideo – CamStudio http://camstudio.org/ – FastStone Capture • http://www.faststone.org/FSCaptureDetail.htm © testerzy.pl 35
  • 36. Testowanie eksploracyjne: Narzędzia • Rejestracja działań [dla użytkowników Windows 7] – psr.exe – Monitor wydajności – Monitor zasobów © testerzy.pl 36
  • 37. Testowanie eksploracyjne: Narzędzia • Wtyczki dla FireFox https://addons.mozilla.org/pl/firefox/ – – – – Selenium IDE FireBug YSlow … © testerzy.pl 37
  • 38. ZADANIE – PRZETESTUJ MNIE! • Podział na dwie grupy: • GRUPA 1 • GRUPA 2 • Napisz przypadki testowe dla funkcji zegara i daty w systemie Windows. © testerzy.pl • Przetestuj funkcje zegara i daty w systemie Windows. 39
  • 39. ZADANIE – PRZETESTUJ MNIE! Masz: … minut © testerzy.pl 40
  • 40. Testowanie eksploracyjne Rozwiązanie. 1. … 2. … 3. … 4. … 5. … 6. … 7. … … Obserwacje. 1. … 2. … 3. … 4. … 5. … 6. … 7. … … © testerzy.pl 41
  • 41. Testowanie eksploracyjne: Zarządzanie • SBTM Session Based Test Management – Sesje testowe (test session) • • • • 60-90 minut Nieprzerwane Zorientowane na statut Odkrywanie nowych szans – Statut testu (test charter) • Misja i taktyka testowania • Deklaracja celów i pomysłów – Podsumowanie sesji (Session Sheet) – wyniki: notatki, defekty, „znaleziska”, metryki (czas na testy, defekty) • Log – co się wydarzyło – Spotkanie z liderem testów w celu podsumowania © testerzy.pl 42
  • 42. Testowanie eksploracyjne: Zarządzanie • Statut • „Test all fields that allow data entry (you know the drill: function, stress, and limits, please).” • „Check UI against Windows interface standards.” • „Test integration with external applications, especially Microsoft Word.” http://www.satisfice.com/sbtm/demo/reports/status.htm • Wynik – Minimum: raport z defektów – Pełny (podsumowanie sesji): notatki i raporty © testerzy.pl 43
  • 43. Testowanie eksploracyjne: Zarządzanie • Podsumowanie sesji: – – – – – – – – Statut (misja i obszary) Imię testera Data i czas rozpoczęcia Podział zadań (metryka TBS: Test design and execution, bug investigation and reporting, and session setup) Pliki danych Notatki testowe Znaleziska Defekty © testerzy.pl 44
  • 44. SBTM: narzędzia • Session Tester © testerzy.pl 45
  • 45. SBTM: narzędzia • RapidReporter – http://testing.gershon.info/reporter/ – Zapisywanie sesji eksploracyjnej – [intuicyjność - mierny] © testerzy.pl 46
  • 46. Testowanie eksploracyjne: Narzędzia • RapidReporter – http://testing.gershon.info/reporter/ – Zapisywanie sesji eksploracyjnej – [intuicyjność - mierny] © testerzy.pl 47
  • 47. Testowanie eksploracyjne: Narzędzia • RapidReporter – Zapisywanie sesji w czytelniejszym formacie: © testerzy.pl 48
  • 48. ZADANIE • Testowanie z podziałem na misje – Definicja misji – Wybór misji do testowania © testerzy.pl 49
  • 49. Materiały i źródła • http://www.satisfice.com/sbtm/ • http://www.satisfice.com/blog/archives/77 • http://www.satisfice.com/articles/what_is_et.shtml • http://testingeducation.org/ © testerzy.pl 50
  • 50. Testowanie w Projektach Internetowych Dziękuję za obecność i uwagę Pytania / odpowiedzi ? © testerzy.pl 51