• Like
  • Save
You manage what you measure af Thomas Snitker, SnitkerGroup
Upcoming SlideShare
Loading in...5
×
 

You manage what you measure af Thomas Snitker, SnitkerGroup

on

  • 406 views

Oplægget blev holdt ved InfinIT-arrangementet "Kan usability-arbejde virkelig betale sig?" der blev afholdt den 25. september 2013. Læs mere om arrangementet her: ...

Oplægget blev holdt ved InfinIT-arrangementet "Kan usability-arbejde virkelig betale sig?" der blev afholdt den 25. september 2013. Læs mere om arrangementet her: http://infinit.dk/dk/hvad_kan_vi_goere_for_dig/viden/reportager/kan_usability-arbejde_virkelig_betale_sig-.htm

Statistics

Views

Total Views
406
Views on SlideShare
282
Embed Views
124

Actions

Likes
0
Downloads
1
Comments
0

2 Embeds 124

http://infinit.dk 76
http://www.infinit.dk 48

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    You manage what you measure af Thomas Snitker, SnitkerGroup You manage what you measure af Thomas Snitker, SnitkerGroup Presentation Transcript

    • You manage what you measure Om at måle på brugervenlighed, og at måle mangel på brugervenlighed eBay 23.9.2013 SnitkerGroup Usability Specialist, CEO Thomas Visby Snitker
    • 2
    • Hvad er problemet med at måle og styre brugervenlighed? For eksempel, et website; • Problemer med brugervenligheden koster noget: omsætning, brugere osv • Brugerne vælger konkurrenten – de synes det er for besværligt, langsomt, indviklet, overfladisk eller … • Brugerne laver fejl som skal rettes gennem Support/Service/Kundecenter • Brugerne bruger for lidt tid på sitet, der mangler relevant indhold/funktionalitet • Brugervenligheden indgår ikke i de strategiske mål og i de regelmæssige målinger/KPI’er • Den daglige ledelse har svært ved at skabe overblik over brugervenligheden af sitet. • Man måler ikke afkastet på investeringen. • Man måler ikke brugervenligheden og kan derfor ikke styre den. • Brugervenligheden indgår ikke i udviklingen af sitet 3 SnitkerGroup
    • At måle og styre • Hvad kan vi måle og styre? • Hvornår i processen? • Hvad kan vi miste og opnå? • Hvad kræver det af os? SnitkerGroup 4
    • Christian Rohrer • Director of Customer Intelligence eBay, Inc. (2007-2008) • Chief Design Officer & VP, McAfee (nu) • When To Use Which User Research Methods • Jakob Nielsen's Alertbox on useit.com • October 6, 2008 SnitkerGroup 5
    • SnitkerGroup 6
    • SnitkerGroup 7
    • SnitkerGroup 8
    • Faseopdelt efter produktets/tjenestens stadie Product Development Phase Strategize Optimize Assess Goal: Inspire, explore and choose new directions and opportunities Inform and optimize designs in order to reduce risk and improve usability Measure product performance against itself or its competition Approach: Qualitative and Quantitative Mainly Qualitative (formative) Mainly Quantitative (summative) Typical methods: Ethnographic field studies, focus groups, diary studies, surveys, data mining or analytics Cardsorting, field studies, participatory design, paper prototype and usability studies, desirability studies, customer emails Usability benchmarking, online assessments, surveys, A/B testing SnitkerGroup 9
    • SnitkerGroup 10
    • Forstå målgruppen, konteksten og behovet SnitkerGroup 11 Optimér UX/Usability KPI Tilpas konceptet Tilpas flows og designs Tilpas den samlede brugeroplevelse
    • SnitkerGroup 12 UX KPI
    • Hvad er Usability-KPI? Usability KPI: • Hvad gør kendte brugere når de skal løse kendte opgaver på sitet? • Hvilken succesrate har kendte brugere når de skal løse kendte opgaver på sitet? (Succes, mislykket, katastrofe) • Hvor lang tid tager opgaveløsningen dem? (Optimal tid vs reel tid) • Hvor tilfredse er de med at bruge sitet? • Output: et scorecard, fx pr kvartal • Strategisk udviklingsfokus SnitkerGroup 13
    • At måle og styre • Hvad kan vi måle og styre? • Hvornår i processen? • Hvad kan vi miste og opnå? • Hvad kræver det af os? SnitkerGroup 14
    • Et eksempel – e-handel Spiludbyder, abonnementsprodukt • Værdien af hver sign-up er 3.000 kr • De ville udsende breve til 140.000 personer • Totalt kunne kampagne indbringe 420 mio kr. Men konverteringen var kun 24% • Testen viste at ingen af seks testpersoner kunne gennemføre processen uden problemer. Anslået 25% af brugerne ville afstå fra at gennemføre processen. Anslået 25% af brugerne ville kontakte Kundeservice for at kunne gennemføre processen. Anslået 50% af brugerne ville blive frustrerede og vil ikke anbefale deres venner at gennemføre processen. • En løsning som blev tilrettet på baggrund af testen løftede konverteringen fra 24% til 28%. • Tabet ved den testede løsning var 4% af 420 mio kr= 16,8 mio kr 15 SnitkerGroup
    • Et eksempel – en mellemstor virksomheds hjemmeside Førende leverandør af betalingssystemer (2,5+ mia.kr omsætning årligt) • 120.000 besøgende årligt • Testen viste at ingen af ti testpersoner kunne finde informationer og løse testopgaverne uden problemer. Anslået 50% af brugerne kunne ikke løse de vigtigste opgaver. Anslået 50% af brugerne ville afstå fra at besøge hjemmesiden igen. Anslået 25% af brugerne ville kontakte Kundeservice for at kunne få svar. • Mistede gevinster pga hjemmesiden: – 60.000 (potentielle) kunder årligt der ikke kan finde de vigtigste informationer – 60.000 (potentielle) kunder årligt der ikke vil besøge sitet igen – 30.000 (potentielle) kunder årligt der ringer eller skriver i stedet for at betjene sig selv • Mistede gevinster ved den bruger-optimerede løsning er 0. 16 SnitkerGroup
    • Et eksempel – intranet Intranet med ca. 2.000 brugere • Værdien af hver medarbejders time er 500 kr • Testen viste at det tager 10 minutter at rejseafregne og 2 minutter at finde specifikke oplysninger i personalehåndbogen. Opgaverne forekommer en gang månedligt. • Totalt koster intranet-brugen til disse to opgaver: 12/60 * 500 * 2.000 = 200.000 kr/md = 2.400.000 kr/årl • Intranettet tilpasses derefter så tidsforbruget ved de to opgaver halveres til 6 minutter/mdl. • Omkostningen ved den efter testen tilrettede løsning kan ligge på ca 100.000 kr/md. En besparelse på 2.400.000 kr/årl 17 SnitkerGroup
    • At måle og styre • Hvad kan vi måle og styre? • Hvornår i processen? • Hvad kan vi miste og opnå? • Hvad kræver det af os? SnitkerGroup 18
    • Hvad kræver det at gøre noget ved brugervenligheden? Mindre involvering Mellem involvering Høj involvering • Spørgeskemaer • Adfærdstracking • Logfilsanalyse • Samle input fra kundeservice • Spørg-din-kollega-test • Interne evalueringer • Usability KPI • Ekspertevaluering • Brugerworkshops • Fokusgrupper • Personas • Brugervenlighedstest 19 SnitkerGroup
    • Hvad kræver det at gøre noget ved brugervenligheden? Og hvilken type udbytte får man? Mindre involvering Mellem involvering Høj involvering • Spørgeskemaer • Adfærdstracking • Logfilsanalyse • Samle input fra kundeservice • Spørg-din-kollega-test • Interne evalueringer • Usability KPI • Ekspertevaluering • Brugerworkshops • Fokusgrupper • Personas • Brugervenlighedstest - HVAD, HVOR MANGE - Kun få eller ingen rigtige brugere – HVAD, HVOR MANGE – HVORDAN kan vi forbedre? – HVORFOR går det godt/skidt? – Kun få eller ingen rigtige brugere – HVAD, HVEM – HVORDAN kan vi forbedre? – HVORFOR går det godt/skidt? – HVORFOR er det ikke optimalt?20 SnitkerGroup
    • Fx Google Analytics Hvem er bruger- ne? Hvor mange og hvor kom-mer de fra? Hvad ønsker de at opnå? Hvilke sider ser de? Hvor forlader de sitet? Hvor længe er de på sitet? Hvilket udbytte har de? Kan de finde rundt? Hvor glade er de for sitet? Hvor bruger- venligt er sitet? ? ! ? ! ! ! ? ? ? ? 21 SnitkerGroup
    • Hvad U-KPI gør udover Google Analytics Hvem er bruger- ne? Hvor mange og hvor kom-mer de fra? Hvad ønsker de at opnå? Hvilke sider ser de? Hvor forlader de sitet? Hvor længe er de på sitet? Hvilket udbytte har de? Kan de finde rundt? Hvor glade er de for sitet? Hvor bruger- venligt er sitet? ! ! ! ! ! ! ! ! ! ! Usability KPI: • Hvad gør kendte brugere når de skal løse kendte opgaver på sitet? • Hvilken succesrate har kendte brugere når de skal løse kendte opgaver på sitet? (Succes, mislykket, katastrofe) • Hvor lang tid tager opgaveløsningen dem? (Optimal tid vs reel tid) • Hvor tilfredse er de med at bruge sitet? 22 SnitkerGroup
    • Hvordan måles brugervenlighed? • Usability: the extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use. ISO 9241-11 23 SnitkerGroup
    • Hvordan måles brugervenlighed? • effectiveness, efficiency and satisfaction; – Task completion; Er brugerne i stand til at løse relevante opgaver? Følger brugerne den tiltænkte vej gennem sitet? Error rate: Er der problemer; Laver de fejl, misforstår de tekster, bliver de forvirrede over funktionalitet eller opbygningen osv? – Time on task; Hvor lang tid tager det? Tager det for lang tid? – Satisfaction; Hvor tilfredse er de med oplevelsen? Vil de anbefale andre at bruge sitet? 24 SnitkerGroup
    • Hvad er usability KPI? • En let og systematisk måling brugervenligheden ud fra de tre ISO brugervenlighedsparametre • En kvartalsmåling af brugervenligheden vhja eksisterende adfærdstracking – fx Google Analytics eller SiteCatalyst • Udbytte: score på de tre ISO parametre (task completion/error rate, time on task, satisfaction), og en sum 25 U KPI = succesrate x (optimal tid / median tid) Et eksempel: En defineret opgave burde tage 40 sekunder (optimal tid), men testpersonerne bruger 100 sekunder (median tid). 9 af 15 klarer at fuldføre opgaven = succesrate på 60 procent. Regnestykket bliver så: U KPI = 0,60 x (40 / 100) = 0,24 = 24% SnitkerGroup
    • Hvordan gennemføres usability KPI? • Opsætning af målepunkter (1-2 dage) – Møde/workshop – Opsætning af adfærdstracking koder på websitet – Opsætning af KPI og specifikation af testopgaver • Nul-punktsmåling (2-3 dage) – Rekruttering og honorering af respondenter – 5 brugervenlighedstest (kvalitativt) og – 5 brugervenlighedstest gennem adfærdstracking (kvantitativt) – Rapportering • Måling efter 3 mdr, 6 mdr og 9 mdr. – 10 brugervenlighedstest gennem adfærdstracking (kvantitativt) – Rapportering 26 SnitkerGroup
    • Opsummering: Brug brugerne! Kombiner metoderne. Mål og styr! • Mange kilder til viden om brugerne og brugen (fx på www) – Kvalitative undersøgelser • enkelt- eller gruppe-interview • .. mens de løser deres opgaver (lab-test eller feltundersøgelser) – Kvantitative undersøgelser • spørgeskemaer (surveys), før under eller efter brug • med målgruppen eller brugergruppen – Tekniske undersøgelser • performance og tilgængelighed (svar- og loadtid mv) • Adfærds- og trafikanalyse (trafiktal og -mønstre) • tracking (trafikspor og konverteringsrater) • Brug kilderne i hele processen fra projektstart til launch og løbende tilpasning – Strategisk og taktisk SnitkerGroup 27
    • Hvad kan man ellers gøre? • Meld dig ind i Brugercentrisk Netværksgruppe - tre netværksgrupper for folk der arbejder brugercentrisk (gerne vil arbejde mere brugercentrisk) og som ønsker at udvide deres horisont sammen med ligesindede. - 4-6 møder årligt ude hos medlemmerne. - Oplæg om fx metoder og konkrete cases. - Workshops om deltagernes egne udfordringer. • Læs mere og bliv medlem: www.brugercentrisk.dk 28 SnitkerGroup
    • SnitkerGroup Nytorv 17 | 1450 København K | 70 27 42 83 | info@snitkergroup.com Thomas Visby Snitker Usability Specialist thomas@snitkergroup.com +45 5180 0766 Hent gratis min egen ”Brug brugerne” (2001, 140 sider): google ‘brugbrugerne.pdf’