Increase profits from software testing by cut about 50% time for execution regression testing without increase product risk.

1. Bezstratna
kompresja listy
przypadków
testowych
Zwiększenie zysków poprzez
skrócenie o 50% czasu wykonywania
testów regresywnych (bez
podwyższania ryzyka produktowego)
© 2012 Tieto Corporation
Piotr Piotrowski
Test Engineer
Tieto Poland Sp. z o.o.

2. Główne punkty planu prezentacji
• Jak można stworzyć innowację? Potrzeba i jej zaspokojenie
• Jak przeprowadzać bezstratną kompresję liczby
przypadków testowych? Studium przypadku
• Gdzie i jak zastosować minimalizację liczby przypadków
testowych? Pozostałe warunki i rozszerzenie zastosowań
• Oryginalność i zalety rozwiązania. Podobne rozwiązania.
Czas wykonywania testów, ryzyko produktowe, zmiany w
oprogramowaniu
2 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

3. O prelegencie
• Badania i Rozwój, Telekomunikacja,
Informatyka, Jakość,
Samoprzywództwo
• Inżynier testów w Tieto Poland,
Industrial R&D
• Szkoleniowiec w Altkom Akademia
• Współpracownik w c0re Magazine
• Pełnoprawny członek w ISPE
• Inne: http://www.goldenline.pl/piotr-
piotrowski27
3 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

4. Historia
pomysłu
Powstanie potrzeby, sposób myślenia
przy opracowywaniu rozwiązania
© 2012 Tieto Corporation

5. Potrzeba i sposób jej realizacji
• Zaczęło się od wystąpienia potrzeby efektywnego wykonywania
zadań testerskich pod kątem czasu przy jednoczesnym
nieobniżaniu jakości działań i niemożności ich automatyzacji
• Po zapoznaniu się z przypadkami testowymi odkryto możliwość
ich znacznie szybszego wykonywania
• Określono przyczyny szybszej pracy i zapisano schemat myślenia
- od przyczyn do skutków
• Sprawdzono, czy zapisany schemat odpowiada rzeczywistości,
czy nie obniża standardów jakościowych wymaganych przez
organizację
5 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

6. Kompresja listy
przypadków
testowych
Przyjęty sposób działania, przykład
stosowania
© 2012 Tieto Corporation

7. Przyjęty sposób działania
7 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

8. Przykład stosowania (1) – lista
pierwotna...
• Dana jest określona postać pierwotnej listy przypadków
testowych zaprojektowanej na potrzeby nieregresywnej kampanii
testowej przez testera w postaci:
• Przypadek testowy Pt_A: Sprawdzanie działania cechy f_1
systemu
• Krok 1a: Uruchom narzędzie testowe nt_1 z opcją o_1
• Krok 2a: Uruchom narzędzie testowe nt_2 z opcją o_x
• Przypadek testowy Pt_B: Sprawdzanie działania cechy f_2
systemu
• Krok 1b: Skopiuj odpowiednie pliki w odpowiednie miejsca systemu
• Krok 2b: Uruchom narzędzie testowe nt_1 z opcją o_2
• Krok 3b: Uruchom narzędzie testowe nt_2 z opcją o_y
8 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

9. Przykład stosowania (2) – analiza
przypadku i kompresja
• Na podstawie instrukcji obsługi narzędzia testowego nt_1
wiadomo że, może być one uruchamiane jednocześnie z opcjami
o_1 i o_2
• Na podstawie instrukcji obsługi narzędzia testowego nt_2
wiadomo że, może być one uruchamiane jednocześnie z opcjami
o_x i o_y
• Aby opcja o_y dała prawidłowe rezultaty potrzebne są specjalne
dane testowe – pliki – w odpowiednich miejscach systemu
• Cechy f_1 i f_2 mogą działać jednocześnie
• Oba przypadki testowe stosują te same narzędzia testowe nt_1 i
nt_2
9 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

10. Przykład stosowania (3) – analiza
przypadku i kompresja
• Krok 1a i Krok 2b mogą być złożone do jednego kroku w postaci:
• Krok 1c: Uruchom narzędzie testowe nt_1 z opcją o_1 i o_2
• Krok 2a i Krok 3b mogą być złożone do jednego kroku w postaci:
• Krok 2c: Uruchom narzędzie testowe nt_2 z opcją o_x i o_y
10 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

11. Przykład stosowania (4) – końcowa
lista...
• Końcowa lista przypadków testowych, w formie Pt_C, ma postać:
• Krok 1c: Skopiuj odpowiednie pliki w odpowiednie miejsca systemu
• Krok 2c: Uruchom narzędzie testowe nt_1 z opcją o_1 i o_2
• Krok 3c: Uruchom narzędzie testowe nt_2 z opcją o_x i o_y
• Końcowa lista przypadków testowych zbudowana jest z jednego
przypadku testowego Pt_C i trzech kroków wykonania (Krok 1c-
3c)
11 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

12. Zastosowania
minimalizacji...
Warunki praktycznej realizacji, próba
rozszerzenia zastosowań
© 2012 Tieto Corporation

13. Warunki praktycznej realizacji
• Obie listy przypadków testowych powinny być przechowywane w
narzędziu do zarządzania testami co ułatwia ich obserwację oraz
edycję przez testera
• Wcześniejsze doświadczenie testera w projektowaniu i
wykonywaniu podobnych przypadków testowych znajdujących się
na pierwotnej liście:
• zwiększa efektywność czasową opracowania końcowej listy
przypadków testowych
• umożliwia wprowadzenie modyfikacji w zależności od potrzeb
organizacji i własnych preferencji testera
13 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

14. Próby rozszerzenia zastosowań
• Zapoznanie z rozwiązaniem innych testerów w organizacji
• Rozszerzenie zastosowań poza systemowe, czarno-skrzynkowe
testowanie, czy inne rodzaje narzędzi do wykonywania testów
• Wykorzystanie przyjętego sposobu myślenia i stojących za nim
wartości w tworzeniu innych innowacji
• Rozszerzenie zastosowań poza modele biznesowe, w których
wynik wynik finansowy jest bardzo silnie powiązany z czasem
pracy
14 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

15. Oryginalność i
zalety
rozwiązania
Innowacyjność? Czas testowania a
ryzyko produktowe a informacje o
zmianach oprogramowania
© 2012 Tieto Corporation

16. Publicznie dostępne strategie
testowania regresywnego
posiadają następujące właściwości:
• Biorą pod uwagę co zostało zmienione w oprogramowaniu, w tym
gdzie znaleziono błędy
• Przypadki testowe często podlegają automatyzacji, ponieważ są
powtarzalne
• Mogą być zróżnicowane w zależności od funkcjonalnej domeny
testów o różną postać danych testowych
• Przypadki testowe są z reguły priorytetyzowane w odpowiedzi na
potrzeby klienta lub wartość ryzyka
• Czasami zbiór przypadków testowych do testowania
regresywnego jest uruchamiany, gdy zbliża się kamień milowy
projektu lub dla nowego wydania kolejnej wersji oprogramowania
• Część strategii testowania regresywnego bazuje na kodzie
źródłowym (biało-skrzynkowe), pozostałe na cechach
oprogramowania (czarno-skrzynkowe)
16 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

17. Innowacyjność i podstawowe
zalety rozwiązania (1)
• Średnio o połowę krótsze przypadki testowe w
porównaniu z pierwotnymi listami przypadków
testowych zaprojektowanych w celu pokrycia każdego
wymagania zawartego w specyfikacji wymagań
testowanego systemu, a przez to:
• Skrócenie czasu prowadzenia testów regresywnych, gdzie
wielkość zaoszczędzonego w ten sposób czasu jest wyraźnie
większa od czasu przeznaczonego na opracowanie końcowej
listy przypadków testowych
• Prostota dzięki pominięciu wpływu informacji o
zmianach w oprogramowaniu i ryzyku produktowym na
końcowe listy przypadków testowych
17 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

18. Innowacyjność i podstawowe
zalety rozwiązania (2)
• Brak wzrostu ryzyka produktowego wskutek
uwzględnienia wszystkich danych pochodzących z
przypadków testowych znajdujących się na pierwotnej
liście
• Obniżony koszt wdrożenia poprzez możliwość
wykorzystania istniejących w przedsiębiorstwach
narzędzi zarządzania testami
18 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

19. Przykładowa literatura
• Poświęcona strategiom testów regresywnych, szczególnie
najbardziej zbliżonym do zaprezentowanego rozwiązania:
• Certified Tester. Advanced Level Syllabus. Version 2007. ISTQB™®.
http://www.istqb.org/downloads/finish/3/2.html [2 May 2012].
• Certified Tester. Expert Level Syllabus. Test Management. (Managing
Testing, Testers, and Test Stakeholders). 2011. ISTQB™®.
http://www.istqb.org/downloads/finish/18/81.html [2 May 2012].
• Chen Y. Specification-based Regression Testing Measurement with
Risk Analysis. School of Information Technology and Engineering. Ottawa.
Canada. October 2002. http://www.site.uottawa.ca/~ychen/MasterThesis.pdf
[2 May 2012]
• Gilleran M. Strategy for Designing and Executing an Effective
Regression Test Program. Journal of Software Testing Professionals.
September/December 2001.
http://www.testinginstitute.com/preview/journal_2001_dec.php#article3 [7
July 2011]
19 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

20. Podziękowania
• Dziękuję za wzięcie udziału w prezentacji
• Czy są jakieś pytania?
20 © 2012 Tieto Corporation Testwarez 2012 2012-07-25

21. Piotr Piotrowski
© 2012 Tieto Corporation
Test Engineer
Tieto Poland Sp. z o.o.
Industrial R&D
piotr.piotrowski@tieto.com