Usability Testing Gastcollege voor 4e-jaars CMD-studenten aan de HRO Ferry den Dopper

Tam Tam Fullservice Internetbureau 100+, Delft en Utrecht Communicatie, zelfservice, samenwerken www.tamtam.nl Ferry Interactieontwerp / Usability, Informatiearchitectuur, Online communicatie www.den-dopper.com www.frankwatching.com

Tam Tam

Fullservice Internetbureau

100+, Delft en Utrecht

Communicatie, zelfservice, samenwerken

www.tamtam.nl

Ferry

Interactieontwerp / Usability, Informatiearchitectuur, Online communicatie

www.den-dopper.com

www.frankwatching.com

Programma Onderzoek opstarten Scenario’s en taken opstellen Problemen identificeren en oplossen Rapporteren en communiceren

Onderzoek opstarten

Scenario’s en taken opstellen

Problemen identificeren en oplossen

Rapporteren en communiceren

Gastcollege Usability Testing – Hogeschool Rotterdam – CMD jaar 2 Ferry den Dopper – Tam Tam Your user is not You !

Gebruiker vs. Jij Gebruiker heeft minder kennis van: Jouw organisatie Jouw product / dienst Jouw markt / jargon Jouw website En mogelijk van: Computers/internet

Gebruiker heeft minder kennis van:

Jouw organisatie

Jouw product / dienst

Jouw markt / jargon

Jouw website

En mogelijk van:

Computers/internet

1. Onderzoek opstarten Welke methode?

Welke methode?

Je hebt 50 uur voor het onderzoek. Wat levert meer op?

“ Met maar 1 facilitator en zonder video zie je mogelijk belangrijke bevindingen over het hoofd .”

“ Met maar 1 facilitator en zonder video zie je mogelijk belangrijke bevindingen over het hoofd .”

Discount Usability Testing Als een probleem in 1 test voorkomt, is het vast niet belangrijk . Als er een catastrofe plaatsvindt, heb je genoeg tijd om het te noteren . Als een probleem in 2 of meer testen voorkomt, zal het je opvallen en kun je het noteren .

Als een probleem in 1 test voorkomt, is het vast niet belangrijk .

Welke aanpak? Je hebt geen onbeperkte resources. Streef naar optimale kosten/baten ratio.

Je hebt geen onbeperkte resources.

Streef naar optimale kosten/baten ratio.

Welke methode is het meest productief?

Resources - Productiviteit Gevonden key issues per team © Rolf Molich

Resources - Productiviteit Gevonden key-issues per uur © Rolf Molich

Resources - Productiviteit © Rolf Molich

Remote Usability Testing Remote: zelfde tijd, andere plaats Unattended: andere tijd, andere plaats Effect? © Rolf Molich

Remote: zelfde tijd, andere plaats

Unattended: andere tijd, andere plaats

Effect?

Conclusie Overweeg je resources. Ken de sterkten en zwakten van de methoden. Ken het doel van de methoden. Mix methoden.

Overweeg je resources.

Ken de sterkten en zwakten van de methoden.

Ken het doel van de methoden.

Mix methoden.

2. Scenario’s en taken opstellen Wat is een goede taak? Typen taken Taken vs Scenario’s Best practice

Wat is een goede taak?

Typen taken

Taken vs Scenario’s

Best practice

Oefening 1: Wat is een goede taak?

“ Create a personal signature. Having done so, send a small greeting to me with your personal signature.”

“ Create a personal signature. Having done so, send a small greeting to me with your personal signature.”

“ Create a personal signature. Having done so, send a small greeting to me with your personal signature.”

“ Create a personal signature. Having done so, send a small greeting to me with your personal signature.”

Verborgen hint Als een taak een hint bevat, testen we het herkennen van een trefwoord i.p.v. het begrijpen van de taak. De meeste usability onderzoeken bevatten 1 of meer taken met dit soort hints.

Als een taak een hint bevat, testen we het herkennen van een trefwoord i.p.v. het begrijpen van de taak.

De meeste usability onderzoeken bevatten 1 of meer taken met dit soort hints.

“ You want your name and address to appear at the end of all messages you send. Show me a simple way to do this.”

“ You want your name and address to appear at the end of all messages you send. Show me a simple way to do this.”

“ You want your name and address to appear at the end of all messages you send. Show me a simple way to do this.”

“ You want your name and address to appear at the end of all messages you send. Show me a simple way to do this.”

“ You want your name and address to appear at the end of all messages you send. Show me a simple way to do this. ”

“ You want your name and address to appear at the end of all messages you send. Show me a simple way to do this. ”

“ You want your name and address to appear at the end of all messages you send. Is there a way to do this?”

“ You want your name and address to appear at the end of all messages you send. Is there a way to do this?”

Oefening 2: Beoordeel 6 taken

Wat moet je beoordelen? Gebruikers krijgen 6 opdrachten op kaartjes Wat is er goed en wat niet? Is de taak representatief voor ‘real life’ situaties?

Gebruikers krijgen 6 opdrachten op kaartjes

Wat is er goed en wat niet?

Is de taak representatief voor ‘real life’ situaties?

1. Een vriend vertelt je over een nieuwe online CD-winkel. Het heet Marko’s CD-sjop. Vind de homepage van deze website.

2. Is het ontwerp van de homepage geschikt voor Marko’s CD-sjop?

3. Registreer jezelf op de website. Je kunt een valse naam opgeven als je wilt.

4. Koop “The Lord of the Rings (original soundtrack)” voor je twee neefjes, met wie je de film vorige week gekeken hebt. Laat ze met cadeauverpakking versturen naar: Parry Hotter Nimbusstraat 2000 1234 AA Hogwarts Stop op het punt dat je creditcard-gegevens worden gevraagd. Frodo Balings Mount Doom 1 9800 ZZ Mordor

5. Je hoorde net een leuk liedje op de radio. Volgens de DJ was het van Liza Minnelli. Wat heeft de winkel van haar muziek?

6. Je wilt een CD als cadeau naar een vriend in Duitsland sturen. Kan dat met deze winkel?

Oefening 2: Taken beoordelen “ Marko’s CD-sjop” is te exact. Vraag niet of het design geschikt is voor Sid’s. Gebruikers zijn geen ontwerpers. Als je een mening wilt horen, vraag dan of het ontwerp ze aanspreekt. Dit is geen gebruikersdoel. Laat ze liever een CD kopen. Door CD titels op te geven stuur je gedrag nl. zoeken i.p.v. rondkijken De taak bevat verborgen hints, nl. dat je het kunt laten inpakken. Gebruik geen humoristische voorbeelden. Laat de gebruiker liever zijn eigen gegevens invoeren. De taak stopt wanneer het interessant wordt. Betaling is juist goed om te testen. Twee adressen in één bestelling is niet bepaald doorsnee.

“ Marko’s CD-sjop” is te exact.

Vraag niet of het design geschikt is voor Sid’s. Gebruikers zijn geen ontwerpers. Als je een mening wilt horen, vraag dan of het ontwerp ze aanspreekt.

Dit is geen gebruikersdoel. Laat ze liever een CD kopen.

Door CD titels op te geven stuur je gedrag nl. zoeken i.p.v. rondkijken De taak bevat verborgen hints, nl. dat je het kunt laten inpakken. Gebruik geen humoristische voorbeelden. Laat de gebruiker liever zijn eigen gegevens invoeren. De taak stopt wanneer het interessant wordt. Betaling is juist goed om te testen. Twee adressen in één bestelling is niet bepaald doorsnee.

Oefening 2: Taken beoordelen Als je dit op de radio hoort, verzin je dan deze spelling? Verder goede taak. Goede taak. En er waren natuurlijk meer verbeterpunten te vinden in de taken.

Als je dit op de radio hoort, verzin je dan deze spelling? Verder goede taak.

Goede taak.

En er waren natuurlijk meer verbeterpunten te vinden in de taken.

Bedacht door facilitator of user? Koop de dvd Confessions van Madonna. Koop een cd met klassieke muziek die je aanspreekt. Koop wat je wilt bij Marko’s CD-sjop. Wij vergoeden je maximaal 50 euro.

Koop de dvd Confessions van Madonna.

Koop een cd met klassieke muziek die je aanspreekt.

Koop wat je wilt bij Marko’s CD-sjop. Wij vergoeden je maximaal 50 euro.

Systeem- of gebruiker-georiënteerd? Probeer het Hotmail helpsysteem. Registreer op deze website. Stuur een bericht naar een van je vrienden.

Probeer het Hotmail helpsysteem.

Registreer op deze website.

Stuur een bericht naar een van je vrienden.

Subjectief of objectief antwoord? Hoe vind je de indeling van je inbox? Kun je je inbox meer naar je hand zetten? Sorteer je inbox op afzender.

Hoe vind je de indeling van je inbox? Kun je je inbox meer naar je hand zetten?

Sorteer je inbox op afzender.

Zelftest of vergelijkend? Registreer je. Registreer je zowel op Yahoo als op Hotmail. Welke registratieprocedure vind je het fijnst?

Registreer je.

Registreer je zowel op Yahoo als op Hotmail. Welke registratieprocedure vind je het fijnst?

Maak niet de fout: Specialistische taken te testen voordat je de kerntaken hebt getest. Alleen beginnerstaken te testen. Grenssituaties niet te testen , bv. een bijna volle inbox.

Specialistische taken te testen voordat je de kerntaken hebt getest.

Alleen beginnerstaken te testen.

Grenssituaties niet te testen , bv. een bijna volle inbox.

Taken vs Scenario’s Taak: Stel een wekelijkse herinnering in. Scenario: Iedere donderdag ga je trainen. Je wilt dat Hotmail je er wekelijks een uur van tevoren aan herinnert, omdat je het nogal eens vergeet. Taak: Zoek Jan de Vries op in de Hotmail Membership Directory. Scenario: Jan de Vries gebruikt Hotmail. Hij woont in Den Haag. Stuur hem een email.

Taak: Stel een wekelijkse herinnering in.

Scenario: Iedere donderdag ga je trainen. Je wilt dat Hotmail je er wekelijks een uur van tevoren aan herinnert, omdat je het nogal eens vergeet.

Taak: Zoek Jan de Vries op in de Hotmail Membership Directory.

Scenario: Jan de Vries gebruikt Hotmail. Hij woont in Den Haag. Stuur hem een email.

Hoe krijg je een goede set taken? Creëer je eigen set zonder naar de website te kijken. Creëer draagvlak door het productteam te betrekken bij het opstellen van de taken. Anders is het heel gemakkelijk voor ze om de test in twijfel te trekken als de resultaten hen niet bevallen. Vraag de gebruiker na iedere test b.v.: Waren de taken realististisch? Zou je deze taken ook zelf uitvoeren? Welke taken mis je?

Creëer je eigen set zonder naar de website te kijken.

Creëer draagvlak door het productteam te betrekken bij het opstellen van de taken. Anders is het heel gemakkelijk voor ze om de test in twijfel te trekken als de resultaten hen niet bevallen.

Vraag de gebruiker na iedere test b.v.:

Waren de taken realististisch?

Zou je deze taken ook zelf uitvoeren?

Welke taken mis je?

In het kort: Test primaire taken voor specialistische taken. Voorkom verborgen hints. Schrijf scenario’s, niet alleen taken. Maak de eerste taak heel simpel. Deel taken op zodat gebruikers vaker een taak volbrengen. Voorkom humoristische taken en data.

Test primaire taken voor specialistische taken.

Voorkom verborgen hints.

Schrijf scenario’s, niet alleen taken.

Maak de eerste taak heel simpel.

Deel taken op zodat gebruikers vaker een taak volbrengen.

Voorkom humoristische taken en data.

3. Problemen identificeren en oplossen Problemen vinden Aanbevelingen doen

Problemen vinden

Aanbevelingen doen

Wat is een usability probleem? Systeem fout ? Gebruikers fout ? Gebruikers voorkeur ? Gebruikers houding ? Gebruikers opmerking ?

Systeem fout ?

Gebruikers fout ?

Gebruikers voorkeur ?

Gebruikers houding ?

Gebruikers opmerking ?

Hoeveel problemen vind je? 8

Hoeveel problemen vind je? CUE met 8 teams © Rolf Molich Hotmail case Alle taken Registratie Totaal gevonden problemen 310 48 Gevonden door 7 teams 1 1 6 teams 1 0 5 teams 4 0 4 teams 5 2 3 teams 17 4 2 teams 50 7 1 team 232 (75%) 34 (71%)

CUE met 8 teams

Hoe kan dit? De teams gebruikten andere taken. 25 taken werden getest door 1 team. 7 taken door 2 teams. 5 taken door 3 teams. 8 taken door 4 teams. 3 taken door 5 teams. 1 taak door 7 teams. 2 taken werden getest door alle 8 teams. Totaal 51 taken.

De teams gebruikten andere taken.

25 taken werden getest door 1 team.

7 taken door 2 teams.

5 taken door 3 teams.

8 taken door 4 teams.

3 taken door 5 teams.

1 taak door 7 teams.

2 taken werden getest door alle 8 teams.

Totaal 51 taken.

Hoe kan dit? Hotmail is een grote en complexe website. En zo zijn er veel. Van grote sites kun je zelfs de basistaken niet allemaal vatten in één usability test. Alleen als je allemaal dezelfde methode en taken gebruikt, zul je sneller de curve zien buigen. Maar dat betekent niet dat je alle of de meeste problemen gevonden hebt.

Hotmail is een grote en complexe website. En zo zijn er veel. Van grote sites kun je zelfs de basistaken niet allemaal vatten in één usability test.

Alleen als je allemaal dezelfde methode en taken gebruikt, zul je sneller de curve zien buigen.

Maar dat betekent niet dat je alle of de meeste problemen gevonden hebt.

Conclusie Focus op productiviteit, niet op kwantiteit. In 25 uur kun je al goede resultaten boeken. 5x zoveel tijd levert niet 5x zoveel resultaat op. Probeer dus niet alle problemen te vinden. Het zal je niet lukken.

Focus op productiviteit, niet op kwantiteit.

In 25 uur kun je al goede resultaten boeken. 5x zoveel tijd levert niet 5x zoveel resultaat op.

Probeer dus niet alle problemen te vinden. Het zal je niet lukken.

Conclusie Het motto moet niet zijn: “Vijf gebruikers zijn genoeg om 70% van de problemen te vinden.” Maar: “Vijf gebruikers zijn genoeg om een nuttig, iteratief proces aan te drijven.”

Het motto moet niet zijn: “Vijf gebruikers zijn genoeg om 70% van de problemen te vinden.”

Maar: “Vijf gebruikers zijn genoeg om een nuttig, iteratief proces aan te drijven.”

Wat is een usability probleem? Een catastrofe: De gebruiker kan de taak niet afmaken. De gebruiker weigert de taak af te maken. De gebruiker toont grote ontevredenheid over de site. De gebruiker voltooit de taak met een verkeerd resultaat zonder het zelf te merken. Een serieus probleem: De gebruiker wordt een aantal minuten vertraagd, maar voltooit uiteindelijk wel de taak. Een klein probleem: De gebruiker wordt slechts kort vertraagd.

Een catastrofe:

De gebruiker kan de taak niet afmaken.

De gebruiker weigert de taak af te maken.

De gebruiker toont grote ontevredenheid over de site.

De gebruiker voltooit de taak met een verkeerd resultaat zonder het zelf te merken.

Een serieus probleem:

De gebruiker wordt een aantal minuten vertraagd, maar voltooit uiteindelijk wel de taak.

Een klein probleem:

De gebruiker wordt slechts kort vertraagd.

Wat maakt een goede aanbeveling? Een effectieve aanbeveling lost het probleem volledig op. (max. 150 woorden) Een bruikbare aanbeveling communiceert precies en in redelijk detail wat het team moet doen om de usability te verbeteren. Geef voorbeelden. Baseer aanbevelingen op data, niet op meningen.

Een effectieve aanbeveling lost het probleem volledig op. (max. 150 woorden)

Een bruikbare aanbeveling communiceert precies en in redelijk detail wat het team moet doen om de usability te verbeteren. Geef voorbeelden.

Baseer aanbevelingen op data, niet op meningen.

Het belang van goede aanbevelingen Veel usability testteams vinden dezelfde problemen, maar geven verschillende aanbevelingen. Iedereen kan een usability test uitvoeren. Cliënten huren jou in omdat zij geloven dat jij goede aanbevelingen kan doen.

Veel usability testteams vinden dezelfde problemen, maar geven verschillende aanbevelingen.

Iedereen kan een usability test uitvoeren. Cliënten huren jou in omdat zij geloven dat jij goede aanbevelingen kan doen.

Tips voor goede aanbevelingen Als je niet volledig zeker bent over een aanbeveling, geef hem dan toch , maar adviseer de wijziging te testen (op usability) voor oplevering. Gebruik geen uitroeptekens , beledig niet het development team. Laat niet blijken dat je denkt dat zij stomme dingen hebben gedaan. Geef één aanbeveling per issue.

Als je niet volledig zeker bent over een aanbeveling, geef hem dan toch , maar adviseer de wijziging te testen (op usability) voor oplevering.

Gebruik geen uitroeptekens , beledig niet het development team. Laat niet blijken dat je denkt dat zij stomme dingen hebben gedaan.

Geef één aanbeveling per issue.

4. Rapporteren en communiceren Het testrapport De resultaten communiceren

Het testrapport

De resultaten communiceren

Bevindingen opschrijven Type bevinding Classificatie Beschrijving Aanbeveling

Type bevinding

Classificatie

Beschrijving

Aanbeveling

Type bevinding Positieve bevinding Probleem – klein Probleem – serieus Probleem – kritiek Suggestie voor verbetering Systeemfout (bug)

Positieve bevinding

Probleem – klein

Probleem – serieus

Probleem – kritiek

Suggestie voor verbetering

Systeemfout (bug)

Type bevinding Gebruik symbolen voor ieder type: Document beter te scannen Aantrekkelijker

Gebruik symbolen voor ieder type:

Document beter te scannen

Aantrekkelijker

Classificatie Frequentie Hoe vaak treedt het probleem op? Impact Hoe groot is het probleem als het optreedt? Hardnekkigheid Leren gebruikers het probleem te omzeilen / voorkomen?

Frequentie Hoe vaak treedt het probleem op?

Impact Hoe groot is het probleem als het optreedt?

Hardnekkigheid Leren gebruikers het probleem te omzeilen / voorkomen?

Frequentie en impact % van gebruikers: Heeft geen last van dit probleem. Ondervindt kleine problemen (korte vertraging). Ervaart serieuze problemen (vertraging, maar volbrengt uiteindelijk wel de taak). Ervaart een catastrofe (kan taak niet volbrengen, is sterk geïrriteerd, lost taak verkeerd op).

% van gebruikers:

Heeft geen last van dit probleem.

Ondervindt kleine problemen (korte vertraging).

Ervaart serieuze problemen (vertraging, maar volbrengt uiteindelijk wel de taak).

Ervaart een catastrofe (kan taak niet volbrengen, is sterk geïrriteerd, lost taak verkeerd op).

Hardnekkigheid Gebruikers leren met het probleem om te gaan: Snel Na enkele keren Nooit

Gebruikers leren met het probleem om te gaan:

Snel

Na enkele keren

Nooit

Positieve bevindingen Zijn belangrijk: Voor de betrouwbaarheid van het rapport. Om de productteamleden open te laten staan voor kritiek. Om te voorkomen dat het productteam features weghaalt die gebruikers waarderen.

Zijn belangrijk:

Voor de betrouwbaarheid van het rapport.

Om de productteamleden open te laten staan voor kritiek.

Om te voorkomen dat het productteam features weghaalt die gebruikers waarderen.

Positieve bevindingen In de managementsamenvatting staat: “Over het algemeen zijn gebruikers erg blij met Hotmail.” Maar in de lijst met bevindingen is niet één bevinding te vinden die bovenstaande bewering onderbouwt. Dit komt niet ten goede aan de betrouwbaarheid van het rapport.

In de managementsamenvatting staat: “Over het algemeen zijn gebruikers erg blij met Hotmail.”

Maar in de lijst met bevindingen is niet één bevinding te vinden die bovenstaande bewering onderbouwt. Dit komt niet ten goede aan de betrouwbaarheid van het rapport.

Beschrijving Vage probleembeschrijvingen zijn niet bruikbaar : “ Ernstig probleem: Terminologie was vaak verwarrend, vooral wanneer verschillende termen refereerden aan gelijksoortige features of wanneer dezelfde feature benaderd kan worden via verschillende termen.”

Vage probleembeschrijvingen zijn niet bruikbaar :

“ Ernstig probleem: Terminologie was vaak verwarrend, vooral wanneer verschillende termen refereerden aan gelijksoortige features of wanneer dezelfde feature benaderd kan worden via verschillende termen.”

Een bruikbaar rapport Houd het kort (12-15 pagina’s excl. bijlagen). Managementsamenvatting (1 pagina). Stop scenario’s, profielen, vragenlijsten e.d. in de bijlagen. Vermeld bij bevindingen het type, ernst en aantal gebruikers. Geef 1 aanbeveling per bevinding. Neem ook positieve bevindingen op. Neem ook screenshots op. Vermijd meningen, wees niet cru.

Houd het kort (12-15 pagina’s excl. bijlagen).

Managementsamenvatting (1 pagina).

Stop scenario’s, profielen, vragenlijsten e.d. in de bijlagen.

Vermeld bij bevindingen het type, ernst en aantal gebruikers.

Geef 1 aanbeveling per bevinding.

Neem ook positieve bevindingen op.

Neem ook screenshots op.

Vermijd meningen, wees niet cru.

Hoofddoel van een usability test Het verbeteren van de user interface. NIET: Het schrijven van een goed usability rapport.

Het verbeteren van de user interface.

NIET: Het schrijven van een goed usability rapport.

Hoe komen de resultaten het beste aan? Zorg dat belanghebbenden / betrokkenen de test ondersteunen: Betrek het productteam bij het opstellen van de taken en gebruikersprofielen. Vraag belanghebbenden de test bij te wonen. Maak het laagdrempelig voor ze. Betrek de belanghebbenden bij het identificeren en classificeren van de problemen.

Zorg dat belanghebbenden / betrokkenen de test ondersteunen:

Betrek het productteam bij het opstellen van de taken en gebruikersprofielen.

Vraag belanghebbenden de test bij te wonen. Maak het laagdrempelig voor ze.

Betrek de belanghebbenden bij het identificeren en classificeren van de problemen.

KJ-methode (door Jiro Kawakita) Iedere aanwezige bij de test schrijft ieder belangrijk probleem op een post-it. Verzamel alle post-its, verwijder duplicaten en groepeer per aandachtsgebied. Stem voor de belangrijkste problemen (iedereen krijgt 10 stemmen). Sommige usability professionals zijn tegen deze methode, omdat: Ze zelf willen beslissen wat er tijdens de test gebeurde. Ze vinden dat zij de enige zijn die de nodige conclusies kunnen trekken. Maar vergeet niet dat de usability er niet bij gebaat is als de belanghebbenden het onderzoek niet dragen.

Iedere aanwezige bij de test schrijft ieder belangrijk probleem op een post-it.

Verzamel alle post-its, verwijder duplicaten en groepeer per aandachtsgebied.

Stem voor de belangrijkste problemen (iedereen krijgt 10 stemmen).

Sommige usability professionals zijn tegen deze methode, omdat:

Ze zelf willen beslissen wat er tijdens de test gebeurde.

Ze vinden dat zij de enige zijn die de nodige conclusies kunnen trekken.

Maar vergeet niet dat de usability er niet bij gebaat is als de belanghebbenden het onderzoek niet dragen.

Draagvlak = Politiek Veel ontwerpers, programmeurs en functioneel eigenaren vatten kritiek op de website persoonlijk op. Je moet verkopen, motiveren en obstakels wegnemen. Onderbouw de kritiek met feiten, niet met je mening. “ Waarom is jouw mening beter dan de mijne?”

Veel ontwerpers, programmeurs en functioneel eigenaren vatten kritiek op de website persoonlijk op.

Je moet verkopen, motiveren en obstakels wegnemen.

Onderbouw de kritiek met feiten, niet met je mening.

“ Waarom is jouw mening beter dan de mijne?”

Vragen?