Skąd w badaniach użytkowników bierze się liczba 5

1,367 views

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,367
On SlideShare
0
From Embeds
0
Number of Embeds
99
Actions
Shares
0
Downloads
8
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Skąd w badaniach użytkowników bierze się liczba 5

  1. 1. Skąd w badaniach użytkowników bierze się liczba 5 Piotr Jardanowski A-Symetria
  2. 2. Ilu użytkowników badać? Skąd bierze się liczba 5 w badaniach użytkowników 5 3 8 10 15 … A-Symetria
  3. 3. Znana teoria Nielsena Skąd bierze się liczba 5 w badaniach użytkowników Liczba badanych 5 Odsetek wykrytych problemów użyteczności 85% A-Symetria
  4. 4. Co twierdzą eksperci? <ul><li>[Nielsen] W hy You Only Need to Test With 5 Users </li></ul><ul><li>[Woolrych & Cockton] Why and When Five Test Users aren’t Enough </li></ul><ul><li>[Perfetti & Landesman] E ight is Not Enough </li></ul><ul><li>[Spool & Schroeder] “Testing Web Sites : Five Users Is Nowhere Near Enough ” </li></ul><ul><li>“ The “Magic Number 5″: Is It Enough for Web Testing?” </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników A-Symetria
  5. 5. Rzut monetą <ul><li>P = 1/2 – prawdopodobieństwo wyrzucenia orła lub reszki </li></ul><ul><li>Ile razy musimy rzucić monetą, aby mieć 85% pewności, że przynajmniej raz zobaczymy reszkę? </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników <ul><li>Powtórzenia: 3 </li></ul><ul><li>30 prób (93%): 5 , 1, 1, 1, 2, 1, 2, 2, 1, 1, 2, 1, 1, 3, 5 , 1, 1, 3, 1, 3, 2, 1, 1, 1, 1, 1, 1, 2, 1, 2 </li></ul>A-Symetria
  6. 6. Rzut monetą <ul><li>P = 1/2 – prawdopodobieństwo wyrzucenia orła lub reszki </li></ul><ul><li>Ile razy musimy rzucić monetą, aby mieć 95% pewności, że przynajmniej raz zobaczymy reszkę? </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników <ul><li>Powtórzenia: 4 </li></ul>A-Symetria
  7. 7. Rzut kostką <ul><li>P = 1/6 – prawdopodobieństwo wyrzucenia cyfry z puli: 1,2,3,4,5,6 </li></ul><ul><li>Ile razy musimy rzucić kostką, aby mieć 85% pewności, że przynajmniej raz wyrzucimy 1? </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników <ul><li>Powtórzenia: 10 </li></ul><ul><li>30 prób (87%): 1, 1, 3, 2, 6, 2, 4, 6, 1, 2, 14 , 23 , 5, 7, 1, 7, 15 , 1, 6, 1, 4, 6, 1, 1, 13 , 1, 1, 1, 6, 2 </li></ul>A-Symetria
  8. 8. Rzut kostką <ul><li>P = 1/6 – prawdopodobieństwo wyrzucenia cyfry z puli: 1,2,3,4,5,6 </li></ul><ul><li>Ile razy musimy rzucić kostką, aby mieć 95% pewności, że przynajmniej raz wyrzucimy 1? </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników <ul><li>Powtórzenia: 16 </li></ul>A-Symetria
  9. 9. Zależność <ul><li>Powtórzenia = f(prawdopodobieństwo, pewność) </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników 3 = f(0,5; 0,85) (reszka) 4 = f(0,5; 0,95) (reszka) 10 = f(0,5; 0,85) („1”) 16 = f(0,5; 0,95) („1”) A-Symetria
  10. 10. Jak to odnieść do użytkownika Skąd bierze się liczba 5 w badaniach użytkowników P – prawdopodo. Pewność (85%, 95%) Powtórzenia Wystąpienia orła lub reszki Wystąpienia liczby z puli 1,2,3,4,5,6 Wyrzucenia jednej strony Wyrzucenia konkretnej liczby Liczba wykonanych rzutów Liczba wykonanych rzutów Wystąpienia błędu w serwisie Wykrycia błędu Liczba badań = liczba badanych A-Symetria
  11. 11. Liczba badanych - zależność <ul><li>Liczba badanych = f(prawdopodobieństwo, pewność) </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników 3 = f(0,5; 0,85) 4 = f(0,4; 0,85) 5 = f(0,3; 0,85) 9 = f(0,2; 0,85) 18 = f(0,1; 0,85) http:// www.measuringusability.com / problem_discovery.php#estp A-Symetria
  12. 12. Skąd zatem teoria Nielsena? Skąd bierze się liczba 5 w badaniach użytkowników Liczba badanych 5 Odsetek wykrytych problemów użyteczności 85% Prawdopodobieństwo wystąpienia błędu = 0,31 A-Symetria
  13. 13. Zmiana prawdopodobieństwa wystąpienia błędu Skąd bierze się liczba 5 w badaniach użytkowników A-Symetria
  14. 14. W czym tkwi problem <ul><li>Nikt nie wie, jakie jest prawdopodobieństwo, że użytkownik natrafi na jakiś problem. </li></ul><ul><li>Nikt nawet nie wie, że problem występuje, bo gdyby wiedział to by ten błąd naprawił. </li></ul><ul><li>Co dalej? </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników A-Symetria
  15. 15. Szacowanie prawdopodobieństwa wystąpienia błędu <ul><li>Zbudowanie macierzy wymaga wprowadzenia następujących elementów: </li></ul><ul><li>Liczba badanych, </li></ul><ul><li>Liczba wykrytych błędów, </li></ul><ul><li>Prawdopodobieństwo. </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników A-Symetria
  16. 16. Szacowanie prawdopodobieństwa wystąpienia błędu <ul><li>Uzupełniamy macierz w oparciu o wyniki wcześniej uzyskane np.: </li></ul><ul><li>Próba testowa, </li></ul><ul><li>Wcześniejsze badania. </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników A-Symetria
  17. 17. Szacowanie prawdopodobieństwa wystąpienia błędu <ul><li>Na podstawie powtarzalności wyników i zastosowania odpowiedniej formuły otrzymujemy informacje na temat przewidywanej wielkości próby. </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników A-Symetria
  18. 18. Testowanie cykliczne Skąd bierze się liczba 5 w badaniach użytkowników A-Symetria
  19. 19. Testowanie cykliczne w liczbach Skąd bierze się liczba 5 w badaniach użytkowników P=0,85 | Liczba badanych = 5 | P. błędu = 0,3 A-Symetria Cykl I Liczba błędów Pozostałych - Nowych 100 Dany cykl Wykryte 85 Niewykryte 15 Razem Wykryte 85
  20. 20. Testowanie cykliczne w liczbach Skąd bierze się liczba 5 w badaniach użytkowników P=0,85 | Liczba badanych = 5 | P. błędu = 0,3 A-Symetria Cykl I Cykl II Liczba błędów Pozostałych - 15 Nowych 100 42 Dany cykl Wykryte 85 48 Niewykryte 15 9 Razem Wykryte 85 133
  21. 21. Testowanie cykliczne w liczbach Skąd bierze się liczba 5 w badaniach użytkowników P=0,85 | Liczba badanych = 5 | P. błędu = 0,3 A-Symetria Cykl I Cykl II Cykl III Liczba błędów Pozostałych - 15 9 Nowych 100 42 24 Dany cykl Wykryte 85 48 28 Niewykryte 15 9 5 Razem Wykryte 85 133 161
  22. 22. Testowanie cykliczne w liczbach Skąd bierze się liczba 5 w badaniach użytkowników P=0,85 | Liczba badanych = 5 | P. błędu = 0,3 A-Symetria Cykl I Cykl II Cykl III Cykl IV Liczba błędów Pozostałych - 15 9 5 Nowych 100 42 24 14 Dany cykl Wykryte 85 48 28 16 Niewykryte 15 9 5 3 Razem Wykryte 85 133 161 177
  23. 23. Testowanie cykliczne w liczbach Skąd bierze się liczba 5 w badaniach użytkowników P=0,85 | Liczba badanych = 5 | P. błędu = 0,3 A-Symetria Cykl I Cykl II Cykl III Cykl IV Cykl V Liczba błędów Pozostałych - 15 9 5 3 Nowych 100 42 24 14 8 Dany cykl Wykryte 85 48 28 16 9 Niewykryte 15 9 5 3 2 Razem Wykryte 85 133 161 177 186
  24. 24. A gdybyśmy od razu testowali 15 Skąd bierze się liczba 5 w badaniach użytkowników P=0,85 | Liczba badanych = 15 | P. błędu = 0,3 Zmiany w projekcie generują nowych 50 błędów, których już nie badamy. A-Symetria Cykl I Liczba błędów Pozostałych - Nowych 100 Dany cykl Wykryte 100 Niewykryte 0 Razem Wykryte 100
  25. 25. 15 vs 3 x 5 Skąd bierze się liczba 5 w badaniach użytkowników P=0,85 | Łączna liczba badanych = 15 | P. błędu = 0,3 A-Symetria Cykl III Jeden cykl 15 Liczba badanych 15 161 Wykryte błędy 100 19 Pozostałe błędy 50
  26. 26. Uwaga <ul><li>Nielsen nigdy nie powiedział, że: „wystarczy przebadać 5 osób.” </li></ul>Skąd bierze się liczba 5 w badaniach użytkowników Nielsen powiedział: „Najlepsze wyniki pochodzą z testowania 5 użytkowników … … i przeprowadzenia tak wielu cyklów badawczych na ile cię stać”*. * „ The best results come from testing no more than 5 users and running as many small tests as you can afford ” http:// www.useit.com / alertbox /20000319.html A-Symetria
  27. 27. Dziękuję za uwagę Piotr Jardanowski [email_address]

×