• Like
  • Save
Moderování testů použitelnosti - Jakub Franc
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

Moderování testů použitelnosti - Jakub Franc

  • 699 views
Published

Přednáška v rámci Prague ACM SIGCHI.

Přednáška v rámci Prague ACM SIGCHI.

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
699
On SlideShare
0
From Embeds
0
Number of Embeds
2

Actions

Shares
Downloads
0
Comments
0
Likes
4

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Moderování testůpoužitelnostiJakub Franc
  • 2. Nic z toho,co tu dnes uslyšíte,nemusí být pravda. Lhář
  • 3. Klasické uspořádání testu Děkuju, Zdeňku
  • 4. Cílemtestování použitelnosti je: Zjišťování problémů v použitelnosti
  • 5. Zjišťování problémů v použitelnostiPochopení přirozeného chování uživatele
  • 6. Zjišťování problémů v použitelnosti Pochopení přirozeného chování uživateleZlepšení UX
  • 7. Zjišťování problémů v použitelnosti Pochopení přirozeného chování uživatele Získání týmu pro změnuZlepšení UX
  • 8. Zjišťování problémů v použitelnosti Pochopení přirozeného chování uživatele Získání týmu pro změnuPosun firemní kultury ve směru UXZlepšení UX
  • 9. Zjišťování problémů Výzkumný v použitelnosti Pochopení přirozeného nástroj chování uživatele Získání týmu pro změnuPosun firemní kultury ve směru UXZlepšení UX
  • 10. Zjišťování problémů Výzkumný v použitelnosti Pochopení přirozeného nástroj chování uživatele Získání týmu pro změnuPosun firemní kultury ve směru UXZlepšení UX
  • 11. Zjišťování problémů Výzkumný v použitelnosti Pochopení přirozeného nástroj chování uživatele Získání týmu pro změnuPosun firemní kultury ve směru UXZlepšení UX
  • 12. Nástroj změny Zjišťování problémů v použitelnosti Pochopení přirozeného chování uživatele Získání týmu pro změnu Posun firemní kultury ve směru UX Zlepšení UX
  • 13. Měření úspěšnostitestováníVýzkumný nástrojKritérium: počet nalezených problémů v použitelnostiNástroj změnyKritérum: počet pozorovatelů během testu
  • 14. 3 role moderátorapodle Jareda Spoola (2008)VědecSportovní komentátorLetuška
  • 15. Slovní ChovánívýpověďCo lidé říkají a co lidé dělají, jsou dvě zcela odlišné věci. Margaret Mead
  • 16. Myšlení nahlasVerbalizování obsahů vědomí během vykonáváníúkoluEricsson a Simon (1984) “Think aloud protocol” Mentální procesy a obsahy procházejí krátkodobou pamětí a tam jsou přístupné verbálnímu sdělení
  • 17. Myšlení nahlas - kritika Nevědomé obsahy Nesdělitelné obsahy Interference s primárním úkolem Zahlcení Chybné prompty Přesměrování pozornosti
  • 18. Jak se neptatLíbí se vám to?Je to jednoduché?Je to to, co byste zde očekával/a?
  • 19. Index blábolení(Molich, 2010 )index blábolení = čas, kdy mluví moderátor neboparticipant nabízí své názory / celkový čas studieObvykle: až 0.30Ideál: 0.05 - 0.10
  • 20. S čím participant přichází Neví, co očekávat Neví, co je očekáváno od něj Je nervózní Nechce si připadat hloupě
  • 21. Vztah mezi vámi aparticipantemJste autoritou (vzbuzuje širokou škálu reakcí odvzdoru po submisivní chování)Participant neví, co od vás očekávat (fantazie dokážedivy)Vy platíte (syndrom zaměstnance)Dotýkáte se sebevědomí participanta (vzbuzuješirokou škálu reakcí od úzkosti po přehnanoumotivaci)
  • 22. Vliv stresu na výkon
  • 23. Role moderátoraSledovat výzkumné cíleZprostředkovat kontakt mezi pozorovateli aparticipantem Postarat se o participanta Postarat se o pozorovateleZaměřit participanta na úkolyPosouvat studii kupředu podle scénáře
  • 24. Prostředky interakce sparticipantemVerbální 20%Neverbální 80%
  • 25. Etické principy Nonmaleficence Beneficence Ochrana osobních údajů
  • 26. Fáze testování
  • 27. Příprava na test Před testem Důkladné seznámení se se scénářem Sestavení checklistu Mezi sezeními probrat s pozorovateli průběh posledního sezení seznámit sebe i pozorovatele s profilem participanta vydechnout si
  • 28. Lámání ledůPomožte participantůpřekonat prvotní stres aúzkost.První momenty určujípodobu celého sezeníNavažte raport“Diagnostická fáze”
  • 29. Úvodní fázeVytvoření bezpečného rámce Netestujeme participanta, ale produkt Uživatel je v pořádku, design někdy selhává Nejsou správné a špatné odpovědiPopis celé situaceNahráváníPodepsání smlouvy
  • 30. Rozhovor před testemZjišťuje data nutná pro interpretaci participantovachování v reálném časePřípadné ověření naplnění rekrutovacích kritériíNevyzraďte svými otázkami víc než je nutné
  • 31. Sběr datZachovat neutrální, nehodnotící postojNepoužívání návodných instrukcí / otázekNepoužívání jiných intervencí než těch zcelanezbytných (nepřirozené přesunutí pozornosti, změnaworkflow)Soustředit se na přirozené chování uživatele
  • 32. Rozhovor po testuCelkové posouzení, často kvantitativníLidé často fabulují, když si nepamatují, co a pročudělali před několika minutamiNěkdy opakovaný průchod úkolem
  • 33. DebriefingUjistěte se, v jakém stavu participant odcházíNechte ho vyjádřit své pocity
  • 34. Problematičtí participanti
  • 35. Dominantní participant Vy jste ten, kdo řídí sezení Připomeňte kontext testové situace Často je původ dominantního chování v úzkosti (vaší úzkosti?)
  • 36. Nejistý participant Nejistota projevená skrze: nemluvení nebo nebo přílišné mluvení zakrývání motivů výrazně extrapunitivní nebo intrapunitivní jednání Přesměrujte pozornost k cílům studie Připomeňte rámec testu
  • 37. ExpertDesignuje, extrapoluje na ostatníZdůrazňujte důležitost jejich vlastnízkušenosti, “ostatní” jsou ve vašemvzorku zastoupeniProfesionálové by měli být běhemrekrutingu vyřazeni
  • 38. Nevhodný participantChyby v rekrutingu jsou poměrně častéMohu zde něco zjistit?
  • 39. Typické chyby moderátorů
  • 40. Příliš pečující moderátor Vaším cílem je v první řadě naplnění cílů testu Malá nepohoda participanta nemusí být na škodu Pomůžete i zbylým 100 tisícům uživatelům? Zdržte se pochval
  • 41. Příliš aktivní moderátorVaše role spočívá v pozorování, jak se testovásituace vyvíjíMluviti stříbro, mlčeti zlato
  • 42. Omnipotentní moderátorKaždá metoda má svoje omezeníKlíčem je pozorování a nasloucháníVynechte otázky začínající slovem “kdyby”
  • 43. Co si odtud odnést?Vy jste zodpovědní za výsledek testování.Testování má pomoci ke zlepšení UX produktu.Ostatní pozorovatelé nejsou zběhlí v interpretacipozorování testu.Klíčem je chování, ne slova.Vaši participanti často přicházejí s úzkostí.Nezapomeňte ani na jednu stranu hřiště.
  • 44. Chcete se dozvědět víc?Userfocus: Usability Test Moderation ComicsDumas, J., Loring, B.:Moderating Usability TestsKuniavsky, M.: Observing The User ExperienceLazar: Research Methods in Computer-HumanInteraction
  • 45. Chcete se naučit víc?TrénujteTrénujteTrénujte(pokud možno se supervizí nebo intervizí)
  • 46. Děkuji za pozornostmojekřestníjméno.mojepříjmení@gmail.com(ne doslova:)