Najważniejsze informacje o zasadach prowadzenia Eliminacji i Finału TestingCup 2015.

1. Dla zawodników. Najważniejsze informacje.
Radek Smilgin

2. Reguły zawodów

3. Reguły ogólne TestingCup
• W fazie testowania i raportowania defektów komunikacja jest
ograniczona w poniższym zakresie:
1. Uczestnicy indywidualni mogą komunikować się tylko z Komisją Sędziowską
2. Członkowie jednej drużyny mogą komunikować się ze sobą
3. Kapitanowie drużyn mogą komunikować się z Komisją Sędziowską
• W fazie testowania i raportowania komunikacja jest całkowicie
zabroniona:
1. Pomiędzy członkami różnych drużyn
2. Pomiędzy uczestnikami indywidualnymi
3. Pomiędzy członkami drużyn a uczestnikami indywidualnymi
4. Pomiędzy uczestnikami testującymi oprogramowanie a widzami
5. Pomiędzy uczestnikami testującymi oprogramowanie a innymi osobami
niebiorącymi udziału w Mistrzostwach

4. Reguły ogólne TestingCup
• W fazach testowania i raportowania defektów bezwzględnie
zabronione jest:
1. Używanie debugerów i dekompilatorów
2. Korzystanie ze sprzętów elektronicznych, na przykład: telefony komórkowe i
tablety do celów innych niż komunikacja w zespole
3. Korzystanie z innych urządzeń […](podłączonych przewodowo lub
bezprzewodowo), w tym pendrive’ów (z wyjątkiem tych dostarczonych przez
Organizatora).

5. Reguły ogólne TestingCup
• Opuszczanie sali w trakcie fazy testowania i raportowania defektów
jest możliwe z poniższymi zastrzeżeniami:
1. Nie można opuszczać swojego stanowiska przez pierwsze 20 minut po
rozpoczęciu fazy testów
2. Należy przebywać przy swoim stanowisku przez ostatnie 20 minut przed
zakończeniem fazy testów
3. W trakcie opuszczania i powrotu do stanowiska nie można przeszkadzać
innym uczestnikom Mistrzostw
4. W jednym czasie, poza stanowiskiem, może przebywać tylko jeden członek
drużyny
5. Opuszczenie stanowiska jest możliwe po uzgodnieniu tego z osobą
wyznaczoną przez Organizatora

6. runda 1 - Eliminacje

7. Runda 1 - Eliminacje
• Eliminacje polegają na:
1. Rozwiązywaniu zadań związanych z poszukiwaniem defektów
2. Raportowaniu znalezionych defektów
• Liczba miejsc w Finale
• 10 zawodników indywidualnych
• 10 drużyn
• Liczy się kolejność zgłoszeń!
• W przypadku równej liczby punktów do finały przechodzą te drużyny i Ci
zawodnicy indywidualni, którzy ukończyli zadanie wcześniej (oddali raport)

8. Runda 1 - Eliminacje
• Rozpoczęcie pracy – sprawdź
czy ikona jest zielona

9. Runda 1 - Eliminacje
Wersja: Lider / Zawodnik indywidualny Wersja: Członek drużyny

10. Runda 1 - Eliminacje
• Reguły punktacji:
• Punkty są przypisane do każdego zadania (od 1 do 4 punkty)
• Zdobycie punktów jest możliwe tylko przy spełnieniu reguł:
• w aplikacji Mr Buggy 3 uruchomionej na wersji lidera albo zawodnika
indywidualnego zostanie zreprodukowany dany defekt bezpośrednio
przed zgłoszeniem defektu
• Pamiętaj, że nawigacja po pytaniach i odświeżenie zeruje kroki
reprodukcji
• zostanie wskazana poprawna kategoria defektu
• uzupełnienie opisu o zrozumiały i poprawny raport defektu
• W przypadku niewypełnienia jednej z reguł za zadanie
przyznawany jest punkt ujemny (-1 pkt).
• W przypadku braku udzielenia odpowiedzi punkty nie są
przyznawane

11. Runda 1 - Eliminacje
• Zgłaszanie defektów
• Kategoria defektów „Inny”
• Wskazanie tej kategorii oznacza, że udało
się znaleźć defekt spoza zdefiniowanych
kategorii.
• Uznajemy, że został znaleziony defekt
niecelowo wprowadzony do zadania
• Za rzeczywisty defekt otrzyma się 5
punktów
• Jeśli defekt nie istnieje, albo nie da się go
zreprodukować to zostanie odjętych 10
punktów

12. Runda 1 - Eliminacje
• Kategorie
Interfejs defekty związane z poprawnością wyświetlania interfejsu, w tym także niepoprawne komunikaty
Operacje matematyczne defekty będące wynikiem błędnych działań matematycznych
Przepływ sterowania
defekty będące następstwem niepoprawnego zaimplementowania procesu i przejść między stanami
w aplikacji
Przenaszalność
awaria powiązana z nie wspieraniem środowiska zdefiniowanego przez zamawiającego i problemy
związane z instalowalnością
Niezawodność
stabilność działania oprogramowania w funkcji czasu, dla określonej liczby operacji i w określonym
środowisku
Walidacja danych
defekty związane z poprawnym sprawdzeniem i przetwarzaniem danych wysłanych formularzem
przez użytkownika
Funkcjonalność
defekty związane z funkcjonowaniem aplikacji niezgodnie z wymaganiami, gdzie funkcja nie działa lub
też działa niepoprawnie
Informacja w interfejsie niezgodna z rzeczywistością informacja przekazana przez interfejs użytkownika jest nieprawdziwa, lub też wprowadzająca w błąd
Wydajność aplikacja nie odpowiada w czasie zdefiniowanym w wymaganiach
Dostępność defekty w których komponent lub system działa i jest niedostępny, gdy wymagane jest jego użycie
Walidacja wartości pola niepoprawna walidacja wartości wprowadzonych przez użytkownika w polu
Wartości graniczne i klasy równoważności
niepoprawna obsługa wartości wejścia lub wyjścia, która jest na granicy klasy równoważności, w
najbliższym sąsiedztwie lub też znajduje się w danej klasie
Dopasowanie
niezdolność oprogramowania do dostarczenia odpowiedniego zestawu funkcji dla określonych zadań i
celów użytkownika
Baza danych defekty związane z niepoprawnym przetwarzaniem w ramach bazy danych
Bezpieczeństwo
defekty, które wpływają na poziom ryzyka wystąpienia szkody w stosunku do ludzi, biznesu,
oprogramowania, majątku, danych lub środowiska w określonym kontekście użycia
Inny defekty nie ujęte w pozostałych kategoriach

13. Runda 1 - Eliminacje
• Zgłaszanie defektów
• Raporty defektów
mogą zostać
stworzone w języku
polskim lub
angielskim
• Raporty mają mieć
nie więcej niż 255
znaków

14. Runda 1 - Eliminacje
• Tablica wyników
• Informacja
poglądowa
• 10 najwyższych
miejsc

15. Runda 1 - Eliminacje
• Zakończenie Eliminacji:
• Po zakończeniu testowania raport z testów należy nagrać na pendrive
• Lider drużyny lub zawodnik, którzy ukończyli przed czasem zgłasza ten fakt do
Organizatorów przez podniesienie ręki
• Od lidera lub zawodnika indywidualnego odbierany jest pendrive, a na
kopertę wpisywany jest czas ukończenia testów (z dokładnością do jednej
minuty)
• Jeśli do końca testowania pozostało 15 minut, pendrive-y zbierane są przez
Organizatorów bez wpisywania czasu ukończenia. W takim wypadku czas nie
jest brany pod uwagę przy określaniu miejsca w klasyfikacji

16. Runda 1 - Eliminacje
• Eliminacje staną się Finałem jeśli:
• Ze względu na przesunięcia czasowe zabraknie czasu na rozegranie Finału
• Pojawią się problemy techniczne uniemożliwiające rozegranie Finału
• Zdarzą się inne nieprzewidziane okoliczności

17. runda 2 - Finał

18. Runda 2 - Finał
• Finał polega na:
1. Przetestowaniu dostarczonej aplikacji bazując na dostarczonej specyfikacji
Prosimy nie testować i nie raportować defektów specyfikacji
2. Raportowaniu znalezionych defektów i stworzeniu raportu testowego
opisującego całościową jakość oprogramowania oraz działań wykonanych
podczas testowania
Aplikacja zostanie ujawniona przed Finałem TestingCup

19. Runda 2 - Finał
• Reguły punktacji:
1. Nie ma dodatkowych punktów za jakość raportu defektu (zmiana względem 2014
roku)
2. Można zdobyć maksymalnie 10 punktów za sugestie
2 punkt za pojedynczą sugestie
3. Defekty oceniane w skali 0-5 punktów
-2 punkty (punkty ujemne) za zgłoszenie, które nie jest defektem
-2 punkty (punkty ujemne) za duplikat wcześniejszego zgłoszenia
4. Prosimy nie raportować defektów trywialnych aplikacji i specyfikacji (literówki,
przecinki, składnia, drobne problemy interfejsu itd.) – przyznajemy za nie 0
punktów
5. Otrzymuje się 30 punktów za stworzenie dobrego testerskiego raportu

20. Runda 2 - Finał
• Określenie miejsc w przypadku miejsc ex aequo:
• Jeśli na nagradzanym miejscu znajdzie się więcej niż jeden uczestnik/drużyna,
rozstrzygnięcie nastąpi na podstawie większej ilości defektów ocenionych na 5
punktów
• Jeśli to nie przyniesie rozstrzygnięcia oceniane będą defekty za 4 punkty itd.
aż do 1 punktu
• Jeśli i to nie przyniesie rozstrzygnięcia to pod uwagę wzięte zostaną wyniki z
Rundy 1 – Eliminacje
• Jeśli mimo wszystko nie uda się rozstrzygnąć kolejności miejsc, ogłoszony
zostanie remis, a podział nagród zostanie ustalony z poszczególnymi osobami
bądź drużynami

21. Powodzenia!