Moderování testů použitelnosti - Jakub Franc

1,166 views

Published on

Přednáška v rámci Prague ACM SIGCHI.

Moderování testů použitelnosti - Jakub Franc

  1. 1. Moderování testůpoužitelnostiJakub Franc
  2. 2. Nic z toho,co tu dnes uslyšíte,nemusí být pravda. Lhář
  3. 3. Klasické uspořádání testu Děkuju, Zdeňku
  4. 4. Cílemtestování použitelnosti je: Zjišťování problémů v použitelnosti
  5. 5. Zjišťování problémů v použitelnostiPochopení přirozeného chování uživatele
  6. 6. Zjišťování problémů v použitelnosti Pochopení přirozeného chování uživateleZlepšení UX
  7. 7. Zjišťování problémů v použitelnosti Pochopení přirozeného chování uživatele Získání týmu pro změnuZlepšení UX
  8. 8. Zjišťování problémů v použitelnosti Pochopení přirozeného chování uživatele Získání týmu pro změnuPosun firemní kultury ve směru UXZlepšení UX
  9. 9. Zjišťování problémů Výzkumný v použitelnosti Pochopení přirozeného nástroj chování uživatele Získání týmu pro změnuPosun firemní kultury ve směru UXZlepšení UX
  10. 10. Zjišťování problémů Výzkumný v použitelnosti Pochopení přirozeného nástroj chování uživatele Získání týmu pro změnuPosun firemní kultury ve směru UXZlepšení UX
  11. 11. Zjišťování problémů Výzkumný v použitelnosti Pochopení přirozeného nástroj chování uživatele Získání týmu pro změnuPosun firemní kultury ve směru UXZlepšení UX
  12. 12. Nástroj změny Zjišťování problémů v použitelnosti Pochopení přirozeného chování uživatele Získání týmu pro změnu Posun firemní kultury ve směru UX Zlepšení UX
  13. 13. Měření úspěšnostitestováníVýzkumný nástrojKritérium: počet nalezených problémů v použitelnostiNástroj změnyKritérum: počet pozorovatelů během testu
  14. 14. 3 role moderátorapodle Jareda Spoola (2008)VědecSportovní komentátorLetuška
  15. 15. Slovní ChovánívýpověďCo lidé říkají a co lidé dělají, jsou dvě zcela odlišné věci. Margaret Mead
  16. 16. Myšlení nahlasVerbalizování obsahů vědomí během vykonáváníúkoluEricsson a Simon (1984) “Think aloud protocol” Mentální procesy a obsahy procházejí krátkodobou pamětí a tam jsou přístupné verbálnímu sdělení
  17. 17. Myšlení nahlas - kritika Nevědomé obsahy Nesdělitelné obsahy Interference s primárním úkolem Zahlcení Chybné prompty Přesměrování pozornosti
  18. 18. Jak se neptatLíbí se vám to?Je to jednoduché?Je to to, co byste zde očekával/a?
  19. 19. Index blábolení(Molich, 2010 )index blábolení = čas, kdy mluví moderátor neboparticipant nabízí své názory / celkový čas studieObvykle: až 0.30Ideál: 0.05 - 0.10
  20. 20. S čím participant přichází Neví, co očekávat Neví, co je očekáváno od něj Je nervózní Nechce si připadat hloupě
  21. 21. Vztah mezi vámi aparticipantemJste autoritou (vzbuzuje širokou škálu reakcí odvzdoru po submisivní chování)Participant neví, co od vás očekávat (fantazie dokážedivy)Vy platíte (syndrom zaměstnance)Dotýkáte se sebevědomí participanta (vzbuzuješirokou škálu reakcí od úzkosti po přehnanoumotivaci)
  22. 22. Vliv stresu na výkon
  23. 23. Role moderátoraSledovat výzkumné cíleZprostředkovat kontakt mezi pozorovateli aparticipantem Postarat se o participanta Postarat se o pozorovateleZaměřit participanta na úkolyPosouvat studii kupředu podle scénáře
  24. 24. Prostředky interakce sparticipantemVerbální 20%Neverbální 80%
  25. 25. Etické principy Nonmaleficence Beneficence Ochrana osobních údajů
  26. 26. Fáze testování
  27. 27. Příprava na test Před testem Důkladné seznámení se se scénářem Sestavení checklistu Mezi sezeními probrat s pozorovateli průběh posledního sezení seznámit sebe i pozorovatele s profilem participanta vydechnout si
  28. 28. Lámání ledůPomožte participantůpřekonat prvotní stres aúzkost.První momenty určujípodobu celého sezeníNavažte raport“Diagnostická fáze”
  29. 29. Úvodní fázeVytvoření bezpečného rámce Netestujeme participanta, ale produkt Uživatel je v pořádku, design někdy selhává Nejsou správné a špatné odpovědiPopis celé situaceNahráváníPodepsání smlouvy
  30. 30. Rozhovor před testemZjišťuje data nutná pro interpretaci participantovachování v reálném časePřípadné ověření naplnění rekrutovacích kritériíNevyzraďte svými otázkami víc než je nutné
  31. 31. Sběr datZachovat neutrální, nehodnotící postojNepoužívání návodných instrukcí / otázekNepoužívání jiných intervencí než těch zcelanezbytných (nepřirozené přesunutí pozornosti, změnaworkflow)Soustředit se na přirozené chování uživatele
  32. 32. Rozhovor po testuCelkové posouzení, často kvantitativníLidé často fabulují, když si nepamatují, co a pročudělali před několika minutamiNěkdy opakovaný průchod úkolem
  33. 33. DebriefingUjistěte se, v jakém stavu participant odcházíNechte ho vyjádřit své pocity
  34. 34. Problematičtí participanti
  35. 35. Dominantní participant Vy jste ten, kdo řídí sezení Připomeňte kontext testové situace Často je původ dominantního chování v úzkosti (vaší úzkosti?)
  36. 36. Nejistý participant Nejistota projevená skrze: nemluvení nebo nebo přílišné mluvení zakrývání motivů výrazně extrapunitivní nebo intrapunitivní jednání Přesměrujte pozornost k cílům studie Připomeňte rámec testu
  37. 37. ExpertDesignuje, extrapoluje na ostatníZdůrazňujte důležitost jejich vlastnízkušenosti, “ostatní” jsou ve vašemvzorku zastoupeniProfesionálové by měli být běhemrekrutingu vyřazeni
  38. 38. Nevhodný participantChyby v rekrutingu jsou poměrně častéMohu zde něco zjistit?
  39. 39. Typické chyby moderátorů
  40. 40. Příliš pečující moderátor Vaším cílem je v první řadě naplnění cílů testu Malá nepohoda participanta nemusí být na škodu Pomůžete i zbylým 100 tisícům uživatelům? Zdržte se pochval
  41. 41. Příliš aktivní moderátorVaše role spočívá v pozorování, jak se testovásituace vyvíjíMluviti stříbro, mlčeti zlato
  42. 42. Omnipotentní moderátorKaždá metoda má svoje omezeníKlíčem je pozorování a nasloucháníVynechte otázky začínající slovem “kdyby”
  43. 43. Co si odtud odnést?Vy jste zodpovědní za výsledek testování.Testování má pomoci ke zlepšení UX produktu.Ostatní pozorovatelé nejsou zběhlí v interpretacipozorování testu.Klíčem je chování, ne slova.Vaši participanti často přicházejí s úzkostí.Nezapomeňte ani na jednu stranu hřiště.
  44. 44. Chcete se dozvědět víc?Userfocus: Usability Test Moderation ComicsDumas, J., Loring, B.:Moderating Usability TestsKuniavsky, M.: Observing The User ExperienceLazar: Research Methods in Computer-HumanInteraction
  45. 45. Chcete se naučit víc?TrénujteTrénujteTrénujte(pokud možno se supervizí nebo intervizí)
  46. 46. Děkuji za pozornostmojekřestníjméno.mojepříjmení@gmail.com(ne doslova:)

×