Loading…

Flash Player 9 (or above) is needed to view presentations.
We have detected that you do not have it on your computer. To install it, go here.

Like this presentation? Why not share!

Like this? Share it with your network

Share

Er brukerne dumme? (Frokostseminar om brukertesting)

on

  • 1,258 views

Frokostseminar av Making Waves om brukertesting. Holdt 9. november 2010 i Røde Kors huset. 87 deltakere.

Frokostseminar av Making Waves om brukertesting. Holdt 9. november 2010 i Røde Kors huset. 87 deltakere.

Statistics

Views

Total Views
1,258
Views on SlideShare
1,257
Embed Views
1

Actions

Likes
0
Downloads
8
Comments
0

1 Embed 1

http://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Er brukerne dumme? (Frokostseminar om brukertesting) Presentation Transcript

  • 1. Er brukerne dumme? Frokostseminar – Making Waves – 9. november 2010
  • 2. HVA SKAL VI SNAKKE OM? Brukertesting • Både Tarantell og Making Waves har lang erfaring med brukertesting. Vi har utført tester for en rekke norske virksomheter, blant annet Norwegian, Finanstilsynet, Helly Hansen, Norsk Tipping og Sparebanken Vest. • På dette frokostseminaret vil vi dele våre erfaringer og vise hvordan funn fra brukertester kan gi deg fornøyde brukere som oppfører seg slik du ønsker på nett og dermed øker inntjeningen din. • Vi ser på hvordan en brukertest bør gjennomføres og hvilke resultater du kan oppnå når den gjøres riktig. Du får vite når du bør gjennomføre en test, hva den kan gi svar på, hvordan den bør utformes og hvordan brukere bør velges ut. • Gjennom konkrete eksempler vil vi vise hvorfor brukertesting er oppskriften på smarte, resultatgenererende og fornøyde brukere.
  • 3. HVA SKAL VI SNAKKE OM? Agenda 08.30 Er brukerne dumme? Hvorfor brukertest? Hva kan brukertesten gi svar på? 09.15 Kaffe og frukt + Spørsmål samles inn i esken 09.30 Hvordan gjennomfører vi en god brukertest? Hvordan kommer man fra brukertesten til resultat og de gode tiltakene? 10.15 Oppsummering og diskusjon 10.30 Takk for nå!
  • 4. HVEM ER VI? Haakon Halvorsen Leder for Experience research Erfaring • Ca. 10 års erfaring som konsulent i hhv. Razorfish, Creuna, Tarantell og Making Waves • Ca. 10 års erfaring med informasjonsarkitektur • Jevnlig brukertesting av ulike løsninger og nettsteder de siste 10 år Utdanning • Cand.mag. fra UiO
  • 5. HVEM ER VI? Ragnhild Ask Torvik Experience researcher Erfaring • Brukertesting og evaluering av nettsteder i Tarantell og Making Waves • Brukerinvolvering i design, funksjonelle kravspesifikasjoner og evaluering av kontrollrom i Scandpower Risk Management • Utprøving av integrerte operasjoner og nye samarbeidsformer ved Statoils forskningssenter Utdanning • Sivilingeniør i industriell design fra NTNU • Bachelor i sosialantropologi fra UiB
  • 6. Er brukerne er dumme? Av og til kan det virke slik…
  • 7. ER BRUKERNE DUMME? Hvorfor gjør brukerne slik? • Hvorfor forlater brukerne fulle handlekurver i nettbutikken eller ledige flyseter midt i bookingen? • Hvorfor overser de viktig informasjon og klikker seg videre i feil retning?
  • 8. ER BRUKERNE DUMME? Topp 7 frustrasjoner 1. De er dumme! 2. De har tunnelsyn! 3. De er late! 4. De er trege! 5. De juger! 6. De liker ikke forandring! 7. De glemmer!
  • 9. ER BRUKERNE DUMME? MEN: Brukerne har ALLTID rett :D OG: Det er din feil!
  • 10. ER BRUKERNE DUMME? Hva gjør at de feiler? • Vi har prinsipper for design og usability • Bygger på bl.a. kognitiv psykologi • Er informasjonsarkitektur, interaksjonsdesign og grafisk design godt utført? • OG: Fungerer det i denne brukssituasjonen?
  • 11. ER BRUKERNE DUMME? Ergonomi
  • 12. ER BRUKERNE DUMME? Brukeropplevelse er sammensatt av 7 faktorer • Tilbyr du noe som brukerne har behov for og kan se verdien av? Morvilles kube
  • 13. ER BRUKERNE DUMME? Forventninger • Hvor mye truer du brukerne dine til å gjøre før de får noe tilbake? • Hvor mye forlanger du at de skal investere i sin tid for at du skal gi de det de ba om i første omgang? • Hvem tar oppvasken? "I'm Not Here To Be In a Relationship"
  • 14. ER BRUKERNE DUMME? Jakob's Law of the Web User Experience “Users spend most of their time on other websites."
  • 15. Hvorfor brukertest? Alt du lurer på om brukertesting men ikke turde å spørre om… 11.11.2010 © MAKING WAVES 20
  • 16. HVORFOR BRUKERTEST? Hvorfor brukertesting? • «Vi ønsker å forsikre oss at det er brukervennlig før vi lanserer!» • «Vi er uenige med avdeling XYZ om en rekke ting og vi tar en brukertest for å finne ut hva som er riktig» • «Vi har penger igjen på budsjettet og må bruke det opp før jul (!)» • «Jeg har blitt anbefalt av en venn å gjennomføre brukertesting på nettsidene våre, det er visst veldig artig og gir bra resultat» • «Kunden har spesifisert at brukertesting er inkludert i prosjektet» 11.11.2010 © MAKING WAVES 22
  • 17. HVORFOR BRUKERTEST? forts. hvorfor brukertesting? • «Sjefen min tror at nettstedet er perfekt og tror at vi ikke trenger penger på neste års budsjett til videreutvikling av nettstedet» • «Vi har fått levert en elendig løsning fra vår leverandør og ønsker bevis for at det er så dårlig som vi tror…» • «Vi er opptatt av at løsningen er så enkel å bruke som mulig» • «Vi er opptatt av resultater og ønsker at det blir minst 5% færre handlekurver som forlates på nettstedet vårt» 11.11.2010 © MAKING WAVES 23
  • 18. HVORFOR BRUKERTEST? Hva lurer våre oppdragsgivere på? • «Liker brukerne nettsidene våre?» • «Finner de frem på nettsidene våre?» • «Har de problemer med navigasjonen vår?» • «Klarer brukerne å bestille flybilletter?» • «Klarer brukerne å betale regningene sine eller bestille fond?» • «Hvor får de problemer på nettsiden vår?» • «Skjønner de det nye kommunikasjonskonseptet vårt?» • «Ser de innloggingen? Og klarer de å logge inn?» 11.11.2010 © MAKING WAVES 24
  • 19. HVORFOR BRUKERTEST? ROI på brukertesting • Det finnes mange eksempler på at brukertesting lønner seg. • De mest kjente eksemplene er akkurat nå: – «How one extra field cost $12m» (Expedia, 2010) – «The $300m button» (Ukjent, 2009 – se uie.com) • How Changing a Button Increased a Site's Annual Revenues by $300 Million – «Hvordan Making Waves (Tarantell) sørget for et titalls millioner kroner ekstra på bunnlinjen for Norwegian» (2009) 11.11.2010 © MAKING WAVES 25
  • 20. Hva kan brukertesten gi svar på? Når bør du gjennomføre brukertest og når kan en annen metode gi svar på dine spørsmål? 11.11.2010 © MAKING WAVES 26
  • 21. HVA KAN BRUKERTESTEN GI SVAR PÅ? Hva svarer brukertesten på? • Donald Norman bruker begrepene – visceral (om det estetiske m.m.) – behavioral (om adferd) – reflective (om det intellektuelle) • Brukertesten svarer på spørsmål knyttet til adferd - behavioral. • Den kan ikke fortelle om brukeren syns ditt nettsted er visuelt tiltalende eller intellektuelt utfordrende og spennende.
  • 22. HVA KAN BRUKERTESTEN GI SVAR PÅ? Andre metoder KVALITATIV Ekspertevaluering Brukerintervjuer Brukertesting Feltstudier Fokusgrupper Eyetracking Cardsorting HOLDNING Personas ADFERD Persepsjonsanalyse Finnbarhetstest Sidetrafikk Polling Logganalyser Spørreundersøkelser KVANTITATIV
  • 23. HVA KAN BRUKERTESTEN GI SVAR PÅ? Data driven design • Større internasjonale aktører som f.eks. Expedia bruker analytics aktivt for å optimalisere design • Komplementært til design og usability ”If you stare at the dashboard, you crash”
  • 24. HVA KAN BRUKERTESTEN GI SVAR PÅ? Video: Er engelsk greit? • Video fra brukertest av Helly Hansen hvor alle brukerne sier noe slikt som: – «Jeg har ikke problemer med engelsk, men alle andre derimot…» og – «Helly Hansen er norsk, hvorfor har de ikke norske sider» • Det egentlige høydepunktet kommer når en av brukerne skal betale for varene, men lurer på om det blir toll på varene fordi det er et engelsk nettsted. Så lurer han på om det er et engelsk nettsted og er egentlig veldig usikker… • Eksemplet viser at noen ganger er det også riktig og viktig å høre hva brukerne sier.
  • 25. PAUSE Husk å legge dine spørsmål i esken!
  • 26. Hvordan gjennomfører vi en god brukertest?
  • 27. Oppmerksomhetstesten: Tell antall pasninger mellom de hvitkledde spillerne
  • 28. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Resultatet 50% Ser ikke den dansende bjørnen i det hele tatt. NB! En gruppe som fikk i oppdrag å se på de svarte spillerne la merke til bjørnen dobbelt så mange ganger! 38
  • 29. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Praktiske spørsmål • «Kan vi være med på brukertestingen selv?» • «Hvor mye koster det?» • «Blir det billigere om vi stiller med egne folk til å gjøre testen?» • «Blir det billigere om vi ikke bruker lab?» • «Hvor mange brukere må vi teste?» • «Når bør vi gjøre testen?» 11.11.2010 © MAKING WAVES 39
  • 30. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Brukertesten fra A til Å • Lag en testplan • Vurder om testen skal kjøres i lab eller annet sted • Rekrutteringskriterier og rekruttering av brukere • Forbered oppgaver til testen • Pilottest • Utfør brukertesten • Oppsummering med kunden • Analysere funn og redigere video • Prioritere funn og tiltak • Workshop/ presentasjon
  • 31. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Rekruttering Rekrutter personer som kan være reelle brukere. • Velg dine viktigste målgrupper • Både demografi og interesser kan være kriterier • For Helly Hansen var ett av kriteriene at de måtte være interessert i utendørssport • Unngå ”eksperter”, med mindre du lager noe helt spesielt – vi unngår å rekruttere folk fra IT og media til de fleste av våre tester
  • 32. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Målgrupper • Stor forskjell på brukerne, selv om du har rekruttert f.eks to kvinnelig sykepleier på 32 år. • Ofte har én bruker i testen fremstått som en ”superbruker”, som raser gjennom alle oppgavene og får til alt slik kunden hadde forventet DERFOR ANBEFALER VI • Minst 3 fra hver målgruppe • IKKE bruk egne ansatte eller folk med IT bakgrunn
  • 33. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Antall brukere Hvor mange brukere trenger du? • Noen sier at 5 – 6 er det magiske nummeret, men vår anbefaling om 3 brukere fra hver målgruppe tilsier at 6-8 brukere er bedre. • Desto mer komplekse problemstillinger og oppgaver, desto flere brukere trenger vi. • Vi opplever ofte at det blir færre funn når vi kommer til bruker nr 8 og 9, men det kan være nye ting som avdekkes der også.
  • 34. Oppgaver til testscript • Open ended vs scripted • Vi har ofte ca 8 oppgaver • De gås igjennom med oppdragsgiver og med pilotbruker før testen • Bruker ofte 40 – 50 minutter i selve testen Et typisk testscript: • Introduksjonsspørsmål for at brukeren skal slappe av • Praktiske oppgaver • Debrief og brukerens opplevelse av site
  • 35. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Hvem bør observere testen? • Brukertest bør sees av hele prosjektgruppen – Designer – Informasjonsarkitekt – Prosjektleder – Programmerere • Fra kunde bør deltakere komme fra: – Ledelse – Markedsføring – Kundestøtte – IKT! • MEN sørg for at hver person ser minst 2 personer. • Det er veldig lett å få et helt feil bilde av en test dersom man er uheldig og observerer en person som enten er «for god» eller «for dårlig». 45
  • 36. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Testoppsett Brukeren blir presentert for en rekke testoppgaver Interaksjonen som skjer med systemet blir tatt opp og lagret som videofiler. Han/hun blir filmet med to videokameraer og blir også På observasjonsrommet registreres overvåket fra PC til PC brukerens handlinger, analyseres og forbindelse for å se loggføres av observatør(er) musbevegelser mm.
  • 37. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Aktører Oppdragsgiver: Den som bestiller brukertesten. Testdeltaker: Forsøkspersonene som blir rekruttert til å delta i brukertesten. Testleder: Veileder brukerne og gir testoppgavene ut fra testskriptet. Hovedobservatør: Vår observatør, som noterer, markerer videoklipp og gjennomgår funn med oppdragsgiver underveis. Observatører: Alle representanter fra Oppdragsgiver som har interesse av å observere brukertesten fra observasjonsrommet.
  • 38. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Testdeltakerne (brukerne)
  • 39. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Moderering Å være en god moderator/ testleder er ikke lett… Du må være • tålmodig • nysgjerrig • ikke avbryte • ikke lede for mye • ikke bekrefte • få dem til å tenke høyt
  • 40. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Retningslinjer for observatører • Bruk «innestemmen» • Behandle deltakerne med respekt • Se hva brukerne gjør, ikke legg vekt på subjektive meninger om design eller interaksjon. • Diskuter funn med de andre i pausen mellom deltakerne • Ta med en stor dose tålmodighet! • Hvis du bare kommer for å spise pizza og drikke brus…. Ok, det hadde vært billigere å sitte på Peppes ;) 50
  • 41. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Observasjon • Vit hva du skal se etter: – Tenk igjennom mulige scenarier og test oppgavene på deg selv og vær forberedt! – Legg inn stikkord i testscriptet slik at du og alle som skal observere vet litt hva de skal se etter. • Brukere skal sees ikke høres! – Mer om dette kommer…. • Noter gjerne banale hendelser og marker tidspunktet for når noe vesentlig skjer slik at det er lett å finne tilbake. – Dette ser man ofte etter at det har skjedd og man rekker ofte ikke å skrive ned hva som faktisk skjedde. – Banale hendelser skaper ofte et mønster som du får bruk for senere. 51
  • 42. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Brukere skal sees, ikke høres! • Når testdeltakere bruker ord og setninger som: – «Jeg ville ha…» – «Andre ville ha gjort…» – «Hvis denne knappen hadde vært rød…» – «Jeg klarte ikke dette, men andre ville ha…» • Dvs. alle antakelser og hypoteser brukerne gjør om sine egne og andres handlinger kan du se bort fra! • MEN… 52
  • 43. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Lytt til brukerne dine! • Når de gir svar på spørsmål som: – «Hva tror du vil skje hvis du klikker på denne?» – «Kan du forklare meg hva du kan gjøre her?» – «Hva er dine erfaringer med dette fra før?» – «Hva forventer du å finne på nettsiden?» – Dvs. deres forventninger til hva som skal skje og hva de har opplevd før kan måles opp mot det som faktisk skjer der og da! – All informasjon som er nyttig for å forstå hvordan de tenker er også nyttig. 53
  • 44. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Faktorer som påvirker resultatet • Open ended vs. Scripted testoppgaver • Realisme – skal brukeren kjøpe noe? • Situasjon – testsituasjonen påvirker bl.a. tålmodighet etc. • Antall brukere • Demografi? Hvor viktig er dette og hva? • Erfaring med tema, erfaring med internett etc. • Testleder (ledende spørsmål etc)
  • 45. Huskelister For bedre gjennomføring
  • 46. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Forberedelse Ansvarlig Beskrivelse Tidspunkt Oppdragsgiver og MW Oppdragsgiver og MW Min. 1 uke før testen Oppdragsgiver og MW Utarbeide verveguide til rekruttering av deltakere Helst 2 uker før testen Oppdragsgiver og Rekruttere testdeltakere – husk å ha 2(1) deltakere i reserve Helst 2(1) uker før testen rekrutteringsbyrå Oppdragsgiver Utarbeide innhold til prototypen Min 1 uke før testen Rekrutteringsbyrå / MW Sett opp timeplan for testen. Minimum 15 minutters pause Min. 1 uke før testen mellom deltakerne. Rekrutteringbyrå Minne deltakere om brukertest Dagen før Oppdragsgiver og MW Avstemme testscript Min. 4 dager før testen MW Booke test-rommene Min. 2 uker før testen Oppdragsgiver Kjøp deltakerpremie eller sørg for at disse er tilgjengelig. Min. 1 uke før testen Gavekort på 500,- er standard.
  • 47. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Pilottest Ansvarlig Beskrivelse Tidspunkt Testleder og test- Gjennomfør minimum 1 pilottest med spørreskjema og PILOTTEST, helst 3 dager medhjelper etterintervju før hovedtest MW Gjør endringer i testopplegget (testscript/prototyp) dersom Etter pilottest det er nødvendig etter pilottesten MW Ta utskrift av taushetserklæringen hvis nødvendig Dagen før testen MW Kjøp forfriskninger til bruk under testen (farris, cola etc.) Dagen før testen Oppdragsgiver Evt. godkjenning av justert testscript Etter pilottest
  • 48. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Brukertesten Ansvarlig Beskrivelse Tidspunkt Making Waves Informer resepsjonen om at testen skal gjennomføres og gi Før testen timeplan for testen (med navn) Making Waves Heng timeplanen på døra til testplanen. Informer alle på Før testen teststedet om testen Making Waves Ha Kaffe og forfriskninger til Testdeltakerne klart Rett før testen Making Waves Sjekk at det er film i kameraene Rett før testen Making Waves Sørg for at prototypen er resatt og satt til å vise førstesiden Rett før testen (minimer) Making Waves Be deltaker signere taushetserklæring TESTEN Making Waves Gjennomfør spørreundersøkelse TESTEN Making Waves Gjennomfør praktisk test TESTEN Making Waves Gjennomfør etterintervju TESTEN Making Waves Gi deltakeren deltakerpremie TESTEN Making Waves Skriv problemrapport med funn fra brukertesten. Etter testen Making Waves Opptak fra testen klargjøres til leveranse dersom dette er Etter testen avtalt på forhånd Making Waves og Overlevere problemrapport til Oppdragsgiveren i et eget Etter at rapporten er ferdig Oppdragsgiveren presentasjonsmøte Oppdragsgiveren godkjenner problemrapporten.
  • 49. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Møter Ansvarlig Beskrivelse Tidspunkt Making Waves Making Waves/ Oppdragsgiver Oppstartsmøte Making Waves Making Waves/ Oppdragsgiver Avstemming av testscript Making Waves Making Waves/ Oppdragsgiver Presentasjon av testresultater
  • 50. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Testmaler For å gjennomføre en brukervennlighetstest kreves følgende maler: • Verveguide • Taushetserklæring • Timeplan og deltakerliste • Excelark til testmedhjelper • Forintervju • Testskript • Etterintervju • Skjema for utfylling av potensielle testdeltakere
  • 51. Video: eksempel Et reellt eksempel fra en Brukertest • Du vil få se en 4 minutter lang video • Noter hva som skjer • Deretter viser vi hvordan vi analyserte testen
  • 52. Fra funn til tiltak 11.11.2010 © MAKING WAVES 62
  • 53. «The usability test and cardsort has nothing to do with creating a good design, you can create an incredible crappy design from using these... We have proven this time and time again!» - Jared Spool: IA Summit keynote 2008
  • 54. Fra prioritert tiltaksliste til skisse • Nedenfor er det illustrert hvordan en typisk testprosess ser ut: – En prioritert liste over tiltak med løsningsforslag fra brukertesten som fører til en wireframeskisse og grafisk uttrykk
  • 55. Anbefaling 11.11.2010 © MAKING WAVES 65
  • 56. Designbrief: Vi endrer designet på selve filtreringen 1 2 4 5 3 «Collection» må forklares / Activity må showcases forklares og Denne inndelingen «Technology» må settes under må splittes opp og forklares og eventuelt «Gender» i restruktureres ny navngiving rekkefølge 66
  • 57. Før
  • 58. Etter
  • 59. Diskusjon/ spørsmål
  • 60. Oppsummering
  • 61. BRUKERTESTING Oppsummering • Ikke gjør brukerne dine dumme! • Design for virkelige mennesker og situasjoner • Test og test igjen • Få med flest mulig fra din organisasjon til å observere testen
  • 62. Ta kontakt! Haakon Halvorsen Manager Experience Research haakon.halvorsen@makingwaves.no mobil 992 96 717 twitter: @haakonha