Prezentacja Pawła Haltofa z YUUX w ramach World Usability Day Tour 2009!

1. Precyzyjny punkt widzenia

2. Precyzyjny punkt widzenia
Sposoby badania użyteczności w
społecznościach internetowych
Czyli 5 sposobów na udane badania
użyteczności w społecznościach

3. Precyzyjny punkt widzenia
Paweł Haltof, YUUX Research Director

4. Precyzyjny punkt widzenia
Inspiracja
Październik, 2008
• Zespół na szybko tworzy mechanizm jak
„zarodek” mechanizmu społecznościowego
DailyChallenge.org
• Małe dzienne kreatywne wyzwania mogą
zmienid cały świat

5. Precyzyjny punkt widzenia
Inspiracja
Marzec, 2009
• Po 5 miesiącach prezentowana jest nowa
wersja serwisu z wieloma usprawnieniami,
podwyższoną użytecznością i zmienioną
nawigacją

6. Precyzyjny punkt widzenia

7. Precyzyjny punkt widzenia
Czy użytecznośd zginie?

8. Precyzyjny punkt widzenia

9. Precyzyjny punkt widzenia
Użytecznośd w
społecznościach vs strony informacyjne
1. Aktywności i kontent są generalnie
stymulowane przez użytkowników

10. Precyzyjny punkt widzenia
Użytecznośd w
społecznościach vs strony informacyjne
1. Aktywności i kontent są generalnie
stymulowane przez użytkowników
2. Potrzebą użytkowników są zachowania na
stronie np.: interakcja z innymi, pisanie
postów, ocenianie, itp..

11. Precyzyjny punkt widzenia
Użytecznośd w
społecznościach vs strony informacyjne
1. Aktywności i kontent są generalnie
stymulowane przez użytkowników
2. Potrzebą użytkowników są zachowania na
stronie np.: interakcja z innymi, pisanie
postów, ocenianie, itp.
3. Oczekujemy, że użytkownicy będą powracad
na stronę i kontynuowad rozpoczęte
czynności

12. Precyzyjny punkt widzenia
Test 1

13. Precyzyjny punkt widzenia
W takim razie jak badad
użytecznośd w społeczności?
• Test 1:
– Znajdź super społecznośd
– Zacznij w aktywnie uczestniczyd
– Spisuj swoje aktywności i doświadczenia wraz ze
szczegółami interakcji

15. Precyzyjny punkt widzenia
Test 1.
• Metoda dzienniczkowa - spisujemy wszystkie
aktywności wraz z doświadczeniami
Wady: Skomplikowana analiza – dużo danych
Zalety: analizuje czasowe zależności i ich
charakter, wskazuje na konkretne relacje ze
znajomymi

16. Precyzyjny punkt widzenia
Test 2

17. Precyzyjny punkt widzenia
W takim razie jak badad
użytecznośd w społeczności?
• Test 2:
– Zaproś użytkownika wraz z znajomymi do badania
– Poproś ich o zalogowanie się do społeczności w
tym samym czasie (z wielu komputerów
jednocześnie)
– Obserwuj jedną osobę i analizuj zachowania
użytkownika względem całej grupy
Unmoderated User Testing

18. Precyzyjny punkt widzenia
Osoba badana
Obserwator
Osoba badana
Obserwacja użytkownika
Pozostali użytkownicy
podłączeni on-line do osoby
badanej w Laboratorium

19. Precyzyjny punkt widzenia
Społecznośd Gaminator.pl
Testy 10 osób,
w wieku 17-33 lat na
działającej wersji
serwisu Gaminator.pl

20. Precyzyjny punkt widzenia
Test 2.
• Metoda testów niemoderowanych –nadajemy
interpretacje specyficznym zachowaniom
użytkownika
Wady: Wymaga stymulacji do działania,
trudna synchronizacja osób w czasie badania,
trudno dobrad odpowiednie badania
Zalety: analizujemy bez wpływu na
użytkownika - naturalne reakcje
Link
Powodzenie aktywacji

21. Precyzyjny punkt widzenia
Test 3

22. Precyzyjny punkt widzenia
W takim razie jak badad
użytecznośd w społeczności?
• Test 3:
– Znajdź super społecznośd
– Każdy uczestnik wykonuje zadania ze swojego
komputera zdalnie (plug-in)
– Analizuje dane z wykonania konkretnych akcji w
zadaniach
Remote User Testing

23. Precyzyjny punkt widzenia
Test 4

24. Precyzyjny punkt widzenia
W takim razie jak badad
użytecznośd w społeczności?
• Test 4:
– Znajdź super społecznośd
– Wyślij do wielu użytkowników ankietę o
zachowaniach
– Analizuje dane statystyczne
Remote Research
4
7
5
2
4
1
3
6
0 0
1
0
z łatwością z trudnością nieukooczone

25. Precyzyjny punkt widzenia
Badania jako
wiedza pochodząca ze społeczności

26. Precyzyjny punkt widzenia
Doświadczenia są łatwo dostępne
• Poznaj doświadczenia użytkowników – czyli to
co już napisali o problemach (analiza treści
serwisów internetowych)

27. Precyzyjny punkt widzenia
Motywuj grupy zaangażowanych
• Poznaj doświadczenia innych użytkowników –
poprzez stworzenie im specjalnych miejsc
grupowania problemów i pomysłów

28. Precyzyjny punkt widzenia
Analizuj istniejące środowisko
• Nieskuteczne systemy możemy sprawdzid w
istniejących społecznościach
• Nie warto eksperymentowad jeśli rozwiązania
już kilka razy się nie sprawdziły (lokalizacja
profilu na mapie)
• Warto zauważyd dlaczego niektóre z pomysłów
się sprawdziły (quizy)

29. Precyzyjny punkt widzenia
Porównanie mechanizmów przez
publikacją na dwóch grupach (testy
A/B)
• Systemy można przetestowad w wąskich
grupach przez publikacją (testy nowego
interfejsu na Yahoo!)

30. Precyzyjny punkt widzenia
Zapytaj bezpośrednio
użytkowników
• Wybierz użytkowników ze społeczności, z
bagażem doświadczeo i nawiąż z nimi kontakt
• Zaproś użytkowników na badania –
przeprowadź wywiad
• Wybierz użytkowników ze społeczności, z
bagażem doświadczeo i zbadaj ich w sytuacji
laboratorium

31. Precyzyjny punkt widzenia
Zalety
 przejrzysty sposób pogrupowania informacji
 stosunkowa łatwośd korzystania z serwisu
 ilośd informacji, ich obiektywnośd (weryfikacja przez większą grupę czytelników)
 mnogośd przydatnych informacji, szata graficzna,
 zawansowana edycja
 na tej stronie człowiek znajdzie to, czego szuka
 możliwośd dodawania własnych materiałów
 serwis zawsze jest dostępny i bez przerwy aktualizowany
Wady
 kilka obszarów nie jest wystarczająco precyzyjnie opisanych (np. profil użytkownika)
 czas weryfikacji niektórych dodanych screenów i innych materiałów jest zbyt długi
zalety i wady serwisu Gaminator.pl?

32. Precyzyjny punkt widzenia
Efektywnośd – liczba błędów popełnionych w zadaniach
4
0
2
11
7
0 0
1
3
1
3
2
3
1 1
2
5
0 0 0
1
2
0
2
Liczba popełnionych błędów w zadaniach
4
0
2
11
7
0 0
1
3
1
3
2
3
1 1
2
5
0 0 0
1
2
0
2
Wypełnianie
formularzy
Błąd ładowania
captcha i problemy
z aktywacją konta
Niewidocznośd zakładek
„Ostatnie wypowiedzi” i
„Ostatnie komentarze”
Problem ze znalezieniem linku
„Dodaj grę do lubionych”

33. Precyzyjny punkt widzenia
Efektywnośd – liczba asyst potrzebnych do realizacji zadao
1 1
4 4 4
0 0
2
1
0
1
2
0
3
1
2
1
0
7
0 0
2
1
2
Liczba użytych asyst w zadaniach
1 1
4 4 4
0 0
2
1
0
1
2
0
3
1
2
1
0
7
0 0
2
1
2
Problem ze znalezieniem linku
do edycji avatara, dodaniem
gry do ulubionych oraz
dodaniem gry do serwisu
Trudności ze
znalezieniem funkcji
łączenia paneli

34. Precyzyjny punkt widzenia
2,5
1,3
1,9
6,2
4,0
1,5
3,9
1,4
2,1
1,9
1,5
2,5
1,7
2,1
0,7 0,9
1,7
0,3
1,7
0,2
0,9 0,7 0,6
1,5
0,0
1,0
2,0
3,0
4,0
5,0
6,0
7,0
Średni czas wykonania zadao (minuty)
Wydajnośd – jak czytad wyniki?
Dodawanie video do
serwisu zajęło
osobom badanym
średnio 6 minut
Usunięcie zakładki
recenzji średnio zajęło
badanym 2 sekundy

35. Precyzyjny punkt widzenia
Jaka jest przyszłośd badacza?

36. Precyzyjny punkt widzenia
Przyszłośd badacz ulega zmianie
• Produkty są coraz bardziej złożone
• Komputeryzacja staje się coraz bardziej
powszechna w każdym urządzeniu
• Nowe produkty są coraz prostsze do
samodzielnego stworzenia
• Użytkownicy mogą projektowad własne
rozwiązania

37. Precyzyjny punkt widzenia
Rola badacza musi się zmienid
• Nasza praca musi w znacznie większej mierze
iteracyjna (Agile testing)
• Wykorzystanie wszechobecności może byd
dużą zaletą (dane z Flickr czy Twittera)
• Wyjście badaczy z laboratorium do
użytkownika (testy w terenie)
• Włączanie użytkowników w proces
projektowania (współuczestnictwo)

38. Precyzyjny punkt widzenia
Użytecznośd w społecznościach
…a co nas czeka
za kolejne 10 lat?

39. Precyzyjny punkt widzenia
Dziękujemy!