Mäta mer och tycka mindre. Presentation på Analyticsdagarna 2014.
1. Intro
När man gissar och tycker:
Hur långt ska snöret vara?
Grönt!Kort!
Gigantiskt!
Mångfärgat
och hjärtformat!
Med en kattunge!
Internet älskar
kattungar
2. Intro
När man gissar och tycker:
Hur långt ska snöret vara?
Grönt!Kort!
Gigantiskt
!
Mångfärgat
och hjärtformat!
Med en kattunge!
Internet älskar
kattungar
När man frågar:
Vad vill du ha snöret till?
3. Mäta mer och tycka mindre
Andreas Hallgren
Digitala kanaler på
Chalmers tekniska högskola
KONTAKT: andreas.hallgren@chalmers.se
TWITTER @hallgren
4. 3 nyckelord
för arbetet
Mät mer, tyck mindre
Besökarna har alltid
en uppgift att utföra.
Vårt jobb = gör den enkel att utföra
Det är besökarnas webbplats,
inte vår hemsida.
5. Vilken webb
borde vi ge
våra
besökare?
Kundnöjdhets-
enkäter
2013 börjar vi mer
strukurerat följa upp
digitala kanaler
Juni 2014 startar vi
upp ett litet team
kring digital
kommunikation och
kanaler
Vi testar oss fram...
... och funderar på
vilka frågor vi borde
ställa.
10. Var frågvis och nyfiken
Att sätta nyckeltal är att ställa frågor kring sin webbplats.
Hur beter man sig på min webbplats?
Vad skulle jag vilja att man gjorde?
Finns det något riktvärde att jämföra med?
Vilka möjligheter har jag att påverka?
15. Börja med små steg
Involvera organisationen
Utbilda internt, både i verktyg,
tänk och frågeställningar
Red ut begrepp och nyckeltal,
så alla mäter likadant.
Mät, ändra, mät igen, ändra osv
17. Vet bara
det du
behöver
veta
Samla inte in data
du inte behöver nu
Väg användarnytta
mot risker
Diskutera
integritetsfrågor
Storebror är du
18. Paketera för förståelse
Paketera
för förståelse
Gör ledningen delaktig för att skapa
förändring
Visualisering ger bättre förståelse av
målgrupper och kanaler
Skapa faktabaserade diskussioner
Våra verktyg: Excel, Google
analytics-rapporter och Kibana
19. Exempel: Rapporter
Löpande rapporter till
intressegrupper
Vi skissar på format för
löpande rapporter kring
nyckeltal, genomslag
och omvärldsbevakning
till ledningen
20. Exempel: Stortavlor
Något vi experimenterar med i
verktyget Kibana.
Stort genomslag.
Till och med testdata får spontan
high-five.
21. Att ta med dig hem
Börja smått och väx i egen takt
Gör dina frågor till dina nyckeltal och mål
Mät bara det tänker agera på
Vet bara det du behöver veta
Visualisera mera
Mät mer och tyck mindre
22. BILDER:
INTRO:
Emilian Robert Vico. CC: BY
(https://www.flickr.com/photos/free-stock)
Alyson Hurt. CC: BY (https://www.flickr.com/photos/alykat)
Evan Bench. CC: BY
(https://www.flickr.com/photos/austinevan)
Wicker Paradise. CC: BY
(https://www.flickr.com/photos/wicker-furniture)
Belal Khan. CC: BY (https://www.flickr.com/photos/albaraa)
JD Hancock. CC: BY
(http://www.flickr.com/photos/jdhancock/)
Tape measure greyscale: antony_mayfield CC: BY-SA
(http://www.flickr.com/photos/antonymayfield/)
Tape Measures: musicisentropy CC: BY-SA
(http://www.flickr.com/photos/bandfan/)
Crystal ball: Jakub T. Jankiewicz CC: BY-SA
(http://www.flickr.com/photos/jcubic)
Learning Zone: DaveBleasdale. CC: BY
(http://www.flickr.com/photos/sidelong/)
Street: Steven Harris CC: BY
(http://www.flickr.com/photos/stevenharris/)
Hoover Dam Construction: Alan Stark CC-BY-SA
(https://www.flickr.com/photos/squeaks2569/)
SPYING: Ludovic Bertron. CC: BY
(https://www.flickr.com/photos/23912576@N05)
SKETCHES: Lauren Manning. CC:BY
(https://www.flickr.com/photos/laurenmanning/)
Screen: UNM Research Data Service. CC: BY-SA
(http://www.flickr.com/photos/102136163@N02)
GRAPHS: See-ming Lee: CC: BY-SA
(https://www.flickr.com/photos/seeminglee/)
Diffussion of knowledge: Quinn.Anya, CC: BY-SA
(http://www.flickr.com/photos/quinnanya/)
Editor's Notes
Hur långt är ett snöre?
Vad vill målgruppen egentligen ha?
Visuellt:
Olika input som förändrar snörlängd, färg etc. Visar sig att kunden eg. vill ha paketsnöre till present.
TALMANUS
Universitet är ett tyckmycket ställe. Bra med diskussioner, men utgå från kunden/anvädnaren
-----
Bildcredits
String. Emilian Robert Vico. CC: BY (https://www.flickr.com/photos/free-stock)
Small string. Alyson Hurt. CC: BY (https://www.flickr.com/photos/alykat)
Large ball of string: Evan Bench. CC: BY (https://www.flickr.com/photos/austinevan)
Multicolor hearts. Wicker Paradise. CC: BY (https://www.flickr.com/photos/wicker-furniture)
Kitten holding string: Belal Khan. CC: BY (https://www.flickr.com/photos/albaraa)
Ever present: JD Hancock. CC: BY (http://www.flickr.com/photos/jdhancock/)
VÄG: Long road ahead: Jon Rawlinson CC: BY-SA (http://www.flickr.com/people/94571281@N00)
BRO: Hoover Dam Construction: Alan Stark CC-BY-SA (https://www.flickr.com/photos/squeaks2569/)
MASSA MÅTTBAND: musicisentropy CC: BY-SA (http://www.flickr.com/photos/bandfan/)
GATA MED MÅTTBAND: Steven Harris CC: BY (http://www.flickr.com/photos/stevenharris/)
MÅTTBAND GRÅSKALA: antony_mayfield CC: BY-SA (http://www.flickr.com/photos/antonymayfield/)
Crystal ball: Jakub T. Jankiewicz CC: BY-SA (http://www.flickr.com/photos/jcubic)
SPYING: Ludovic Bertron. CC: BY (https://www.flickr.com/photos/23912576@N05)
SKETCHES: Lauren Manning. CC:BY (https://www.flickr.com/photos/laurenmanning/)
Learning Zone: DaveBleasdale. CC: BY (http://www.flickr.com/photos/sidelong/)
Diffussion of knowledge: Quinn.Anya, CC: BY-SA (http://www.flickr.com/photos/quinnanya/)
GRAFER: See-ming Lee: CC: BY-SA (https://www.flickr.com/photos/seeminglee/)
TALMANUS
Mät mer
Beslut ska baseras på faktaunderlag så långt det är möjligt. Naturligtvis även kombinerat med erfarenhet och kunskap från våra webbredaktörer/kommunikatörer samt omvärldsfaktorer
Uppgift
Ingen slösurfar på chalmers.se. Det finns alltid en uppgift: söka en utbildning, hitta en kontaktperson, veta mer om ett forskningsområde.
Besökarnas webbplats
Hemma kan vi sätta upp vilka tavlor vi vill, spela vår musik så högt och behålla den skönt insuttna med nu rätt luggslitna favoritfåtöljen. I allmänna miljöer behöver vi, om vi vill få folk att trivas, ha en mer praktisk approach.
Besökarna väljer förstås var de vill vara och röstar med fötterna/musklicken om vi inte är relevanta nog
Som vi såg i enkäten behöver vi svänga om fartyget mer mot de anvädnare vi faktiskt har. Inte på bekostnad på externa målgrupper såklart, men ha ett fokus på att ta hand om kunderna oavsett var i processen den befinner sgi.
TALMANUS
Läs punkterna.
Team: Vi är två personer på kommunikationsavdelningen som bland annat har i uppdrag att följa upp och förbättra våra digitala kanaler och kommunikationseffektivetet, samt rådge organisationen kring digitala kanaler. Inte bara webb utan även sociala media etc.
--
Exempel på en övergripande fråga är “vilken webb borde vi ge våra besökare?” Vilka uppgifter vill de lösa? Vilken information är de intresserade av? Varför är de hos oss?
Vi gör många olika undersökningar...
Besökenkäten i september förra året var inte minst avslöjande...
Chalmers.se byggdes uttryckligen för externa målgrupper. I vår besöksenkät 2013 ställde vi två väldigt enklare frågor: Vem är du? Vad gör du här?
Svaret överraskade. 60% av besökarna var befintliga studenter (borde ha varit på Studentportalen) 17% var personal (borde ha varit på intranätet).
- självklart måste det svaret påverka hur vi jobbar med webbplatsen i grunden. Det är en långsam omsvängning vi jobbar med nu och där diskussionerna är baserade på faktaunderlag snarare än tyckande.
BILD: chalmers.se
TALMANUS
Det är väldigt lätt att drunkna i siffror, flödesscheman och pajdiagram, inte minst i Google Analytics.
Det är lätt att bli överväldigad.
Viktigt att fråga sig vilken data man har nytta av.
Och vad man tänker göra med de svar man får.
Lärdom:
Om du inte vet vad du tänker göra med de svar du får på dina frågor, kanske du inte är reda att ställa dessa ännu.
TALMANUS
Ett tydligt exempel på agerande.
I en gammalt styrdokument var Chrome inte en supportad plattform för våra IT-system, inklusive webb.
Så snart vi började ta fram webbläsarstatistik såg vi att detta var helt galet. Och tog ett direkt beslut om att ändra inriktningen, samt att ändra uppdraget för våra utvecklare och testare.
TALMANUS
Vi ser också relativt låg mobilanvändning.
15-20 % på chalmers.se
20-25% på Studentportalen.
Och relativt långsam ökning.
Därför har vi inte haft panik kring att vi saknat mobilanpassade webbplatser.
TALMANUS
Att jobba med webbanalys handlar framför allt om att komma på vilka frågor som är relevanta för just din webbplats.
Med frågorna i hand kan man göra en nollbasmätning och få ett nuläge.
Många av dessa frågor kan sedan bli dina nyckeltal. Vissa tillfälliga, andra permanenta.
Målet är ju det önskade läget, men det är lättare att kvantifiera målet (sätta en siffra på det) om man först fått grepp om vad som är realistiskt och relevant för ens egna webbplats.
Man behöver också titta på om man kan påverka siffrorna i någon riktning. Har jag resurser, tid, pengar, teknik etc som kan förändra beteendet på webbplatsen?
EXEMPEL:
Antal besök på webbplatsen kan iofs vara intressant att mäta som basfakta. Men det kan samtidigt vara svårt att påverka den siffran. Eller dyrt i alla fall.
Så det är kanske inte ett helt användbart nyckeltal. Tid på webbplatsen, besök som tar sig till en underavdelning etc kan däremot vara mer relevant.
Allt beroende på syfte med webbplatsen förstås.
Nyckeltal är föränderliga över tid.
Dock viktigt att tänka långsiktigt i uppföljning. Man vill kunna mäta förändring, man vill se trender.
VERKTYG
Innometrics gör det enkelt att skapa händelsespårning i Google Analytics, utan att ta in våra utvecklare för varje punkt.
TALMANUS
Vi använder en tjänst som tillför mer data till Google Analytics.
Vi kan t.ex. mäta vilken länk en besökare klickar på, om det finns flera länkar med samma mål på en sida.
Får in data som Händelsetracking i Google Analytics.
Megamanyn:
En funktion på webbplatsen som är lite ifrågasatt internt. Och som haft tekniska bekymmer.
Vad tycker användarna? Använder de den?
Om inte bör vi avskaffa den.
VAD ÄR SVARET
Inte i den utsträckning som motiveras av platsen på webbplatsen.
Lite svår att mäta eftersom toppmenyn knapparna räknas in i mätningen.
Men troligtvis kommer funktionen ses över i samband med mobilanpassning.
Vilka länkar fungerar bäst? Hur gör vi det så enkelt som möjligt för befintliga studenter att lösa sina uppgifter?
Mäta – ändra – mäta igen – ändra igen osv
VAD ÄR SVARET
Sidfotslänken har 98,5% av alla klick till Studentportalen. Megameny-länken 1,5%
Hyffsat tydligt svar.
TALMANUS
En ny funktion som infördes för att underlätta för besökarna att få svar på sina frågor. Viktigt att få den förankrad i organisationen och såklart få den att fungera.
Det var tidigare svårt att hitta kontaktytor på chalmers.se.
Har den nya funktionen förbättrat upplevelsen och servicen för användarna?
VAD ÄR SVARET?
Inte ofta. ca 250 ggr i september.
Men förhoppningsvis får de som gör det enklare och snabbare svar än tidigare.
Vidare frågeställningar, t.ex. i en enkät behövs för att få veta mer.
TALMANUS
Besöksstatistik talar om vad man gör på sajten.
Sök talar om vad man skulle vilja göra.
Sökanalys är en mycket viktigt del för att få veta
informationsbrister på webbplatsen.
vilken information saknas eller behöver lyftas fram.
Vi håller på att ta fram verktyg för sökstatistik, och administration för att löpande följa upp vad man söker på och förbättra sökresultat.
Börja med små steg – försök inte förändra allt på samma gång.
Utgå från vilka resurser ni har, både kring uppföljning men också möjligheter att agera på svaren.
Om ni har en större organisation, börja sprida användningen av t.ex. Google Analytics inom organisationen så att informationsägarna själva kan följa upp sina aktiviteter
MEN var noga med att ni alla mäter på samma sätt och tolkar siffror/begrepp likadant. Annars kan man ligga risigt till.
EXEMPEL
Utöver centrala mätningar sätter vi upp profiler för institutioner och centrumwebbplatser så att data börjar ticka in. Då kan man få koll på en viss del av webben utan att behöva filtrera bort helheten varje gång.
När de vill ha det ger vi utbildningar utbildning internt kring uppföljning.
bas för att hitta i verktyget och bland rapporter
samt sätta igång funderingarna kring vilka frågor man vill ha svar på för sin del av verksamheten.
och att kolla trender snarare än enstaka siffror.
- jämför med dig själv och inte med andra.
Ofta kommer behovet av uppföljning, tex av ett arrangemang eller kampanj, upp alldeles för sent. Ofta först när kampanjen är igång eller redan genomförts. Det finns stora möjligheter att följa upp digital kommunikation på detaljnivå, men bara om man planerad för detta redan från start.
Man kan behöva nollmätningar på webben för att se förändring av en kampanj, kanske skapa en hashtag för ett event, sätta upp kampanjtaggar i nyhetsbrev etc.
Vi jobbar internt med att få upp tänket att alla aktiviteter ska följas upp och att upplägg för uppföljning, mål och mätverktyg måste komma upp redan på planeringsfasen.
I linje med att inte drunkna i siffror. Ta heller inte in användardata som du inte har nytta av. Det finns stora möjligheter att spåra användares beteende, och med lite finurlighet kanske till och med koppla det till individer.
Det kan ge stor användarnytta och mer relevans i kommunikationen vilket är positivt. Men man behöver också fundera och diskutera kring integritet i sin organisation. Övervakning är inte något som storebror i första hand sysslar med, utan något vi alla är en del av både som företag och som privatpersoner.
TALMANUS
För att göra förflyttning från “vår hemsida” till “besökarnas webbplats” behöver man ledningens stöd.
Ledningen / beslutsfattarna / de med pengarna måste förstå besökarna bättre
De måste få beslutsunderlag som går snabbt och enkelt att sätta sig in i.
Visualisering är viktigt för förståelsen.
VARNING
Visualisering är alltså väldigt viktigt och har stor påverkan. Och naturligtvis också ett stort ansvar. Det sägs ju att det finns lögn, förbannad lögn och statistik. Visualiseringar och infographics är lätta att förleda med, men det är ju när de ger ett bra faktaunderlag som vi faktiskt kan få rätt förändringar utifrån dem.
---
Ledning behöver stöd i frågor kring digitala kanale och kommuniktion. Verkligheten och beteendemönster förändras snabbt. Vi måste mäta, ställa frågor, följa upp, förändra och vara agila för att hänga med.
TALMANUS
För att göra förflyttning från “vår hemsida” till “besökarnas webbplats” behöver man ledningens stöd.
Ledningen / beslutsfattarna / de med pengarna måste förstå besökarna bättre
De måste få beslutsunderlag som går snabbt och enkelt att sätta sig in i.
Visualisering är viktigt för förståelsen.
VARNING
Visualisering är alltså väldigt viktigt och har stor påverkan. Och naturligtvis också ett stort ansvar. Det sägs ju att det finns lögn, förbannad lögn och statistik. Visualiseringar och infographics är lätta att förleda med, men det är ju när de ger ett bra faktaunderlag som vi faktiskt kan få rätt förändringar utifrån dem.
---
Ledning behöver stöd i frågor kring digitala kanale och kommuniktion. Verkligheten och beteendemönster förändras snabbt. Vi måste mäta, ställa frågor, följa upp, förändra och vara agila för att hänga med.
LEDNINGSRAPPORTER
Bl.a.
Sammanfattning av nyckeltal och undersökningar: Månadsvis/kvartalsvis
Uppföljning av genomslag i andras kanaler: Månadsvis
Omvärldsbevakning: halvårsvis löpande, samt vid behov
EXEMPEL
Vi lägger upp visualisering med testdata på en stor skärm i en gemensam yta på kontoret, bara för att se hur det fungerar. En ledningsperson råkar gå förbi och gör spontant high-five för inititiativ och tydlighet.
- Börja smått och väx i egen takt.
- Vilka frågor vill du ha svar på? - Sätt nyckeltal utifrån detta?
- Mät bara det du tänker agera på
- Vad gör ni om ni får svar X eller Y på frågan? Om det inte finns någon handlingplan, strunta i att mäta frågan just nu.
- Vet bara det du behöver veta
Diskutera integritetsfrågor internt. Var tydlig mot användarna vad ni gör och varför.
- Visualisera mera
Först när uppföljningen leder till förändring gör den nytta. Och alla gillar ett snyggt diagram.
Och framför allt:
basera beslut på faktaunderlag, inte gissningar och tyckande, eller för att summera summeringen:
MÄT MER och TYCK MINDRE.