Är du intresserad av att fördjupa dig inom analyticsområdet men tycker det verkar krångligt, svårt och lätt att göra misstag? Här en fast forward förbi fallgropar jag ramlat i.

1. 16 misstag jag gjort
inom digital analys
(och hur du undviker
dem)
Daniel Hansson 6 mars 2018

2. #1
Jag har använt korrupt data i
mina analyser

3. Korrupt data
● Drar du ut data över en lång tid innehåller den nästan alltid
felaktigheter
● Har du allt annat än standardspårning så slutar nästan alltid att
fungera då och då
● Lätt att missa när du ställer in regler för filtrering och/eller
segmentering

5. Hantera korrupt data
● Gå igenom spårningshistoriken med erfarna analytiker som känner till historien
● Gå igenom annoteringar
○ Sätt upp en struktur för annoteringar om det saknas
● Sätt upp alerts som varnar vid anomaliteter
○ Feeda in dem i Slack eller andra kanaler som flera i teamet monitorerar
● Sätt upp automatiska tester som kontrollerar spårningsskript
● Ha alltid minst en profil med ofiltrerad data

6. #2
Jag har missat
säsongsvariationer

8. Exempel på säsongsvariationer jag stöter på hos SVT
● Tittning på sport hänger helt ihop med rättigheter. T.ex. mycket vanligare
med sporttittning på helger under vintern p.g.a. Vinterstudion
● Begränsat utbud av drama under maj-augusti gör att tittningen går ner för
den här typen av innehåll
● Tablåanvändning peakar under julhelgerna
● Stora titlar som Julkalendern ger extra transittrafik till andra tjänster

9. Tablåanvändning
är klart mer
populärt under
julhelgerna jämfört
med övriga året
Felaktig generalisering p.g.a. för kort tidsperiod

10. Jämför med samma period tidigare år

11. Hantera säsongsvariationer
● Jämför med samma period tidigare år + justera för andra faktorer som kan påverka.
T.ex. organisk tillväxt, innehåll, kampanjer etc.
● Ha en tveksam inställning till uppdrag där du misstänker att säsongsvariationer
påverkar värdet du kan skapa med ditt analysarbete.
○ Du kan inte jämföra med tidigare år
○ Du ska genomföra A/B-test under perioder som inte är signifikanta för generella användning.
● Dra ut historisk data för lång tid tillbaka för att förstå kontext och bransch. Prata med
erfarna analytiker inom området.

12. #3
Jag har kommunicerat fel data

15. Finns otroligt många fallgropar
● Felaktigt uppsatta segment, t.ex. att en satt upp segment på visit- istället
för visitor- eller hit-nivå.
● Felaktigt uppsatta filter som gör att relevant data saknas
● Korrupt spårning som gör att relevant data saknas eller är felaktig
● UX-problem i analysverktyget som gör att en använt fel rapporter, fel
segment, eller felaktig metric i kombination med dimension

16. Hantera osäkerheten
● Låt andra analytiker se över din data, dina rapporter och slutsatser.
○ Är du fortfarande osäker, kommunicera osäkerheten istället för att dölja den.
● Ha en ödmjuk attityd till dina analyser, hypoteser och rekommendationer

17. #4
Jag har missat suboptimering

18. Experiment: ökar “MENY” användning av mobilmeny?

19. Exempel från ett pågående experiment som ser ut att gå bra

20. I själva verket kan vi inte se någon positiv effekt för det övergripande målet

21. STEG 1
9,7%
(205 000)
100%
(2 100 000)

22. Dropoff: Antal besök som går vidare från startsidan genom tombolan

24. Exempel: CTR på löpet ökar ju mer
redaktionellt innehåll (lila) vi publicerar
Samtidigt leder redaktionellt innehåll till
lägre måluppfyllnad, jämfört med SVT
Play-puffar (gröna).

25. Få en så fullständig bild av användningen som möjligt
● De flesta av de tjänster jag jobba med mäts på räckvidd och lojalitet
● Ta för vana att, förutom testets mål, stämma av mot:
● Time spent i kontexten som testas/besök + /unik besökare (sticky eller ej?)
● Time spent hela tjänsten/besök + /unik besökare
● Bounce rate
● Besök / unik besökare (lojalitet)
● Återkommandegrad funktionalitet/innehåll (olika intervall - använd cohortdiagram)
● Videostarter / besök + /unik besökare
● Nya titelstarter / besök +/unik besökare (upptäckandegrad)
● Time spent nytt innehåll / besök + /unik besökare (stickyness i upptäckandet)

26. A: Original B: Under populärt
D: Över språk E: Utan historik
C: Flytta populärt och historik
längst ned

27. KPI:er A: Original B: Under populärt
C: Flytta populärt och
historik sist
D: Över språk E: Utan historik
Spenderad tid nya titlar/unik
besökare
00:15:18 0,00% 00:15:57 4,25% 00:18:15 19,28% 00:17:39 15,36% 00:18:19 19,72%
Besök/unik besökare 3,98 0,00% 3,97 -0,28% 4,00 0,45% 3,94 -1,10% 3,93 -1,23%
Bounce rate 15,37% 0,00% 15,65% 1,82% 15,30% -0,46% 15,35% -0,13% 15,44% 0,46%
SÄMST BÄST

28. Vikt KPI:er A: Original B: Under populärt
C: Flytta populärt och historik
sist
D: Över språk E: Utan historik
1,6 Spend. tid nya titlar/unik besökare (tt:mm:ss) 00:15:18 0,00% 00:15:57 4,25% 00:18:15 19,28% 00:17:39 15,36% 00:18:19 19,72%
1,5 Besök/unik besökare 3,98 0,00% 3,97 -0,28% 4,00 0,45% 3,94 -1,10% 3,93 -1,23%
1,4 Bounce rate 15,37% 0,00% 15,65% 1,82% 15,30% -0,46% 15,35% -0,13% 15,44% 0,46%
1,4 Spenderad tid nya titlar/besök (tt:mm:ss) 00:03:50 0,00% 00:04:01 4,78% 00:04:33 18,70% 00:04:26 15,65% 00:04:39 21,30%
1,3 Nya titelstarter/unik besökare 2,57 0,00% 2,69 4,39% 3,04 18,07% 2,92 13,56% 3,10 20,52%
1,3 Nya titelstarter/besök 0,65 0,00% 0,68 4,64% 0,76 17,65% 0,73 13,62% 0,79 22,14%
1,0 Spenderad tid/besök (tt:mm:ss) 00:26:27 0,00% 00:26:23 -0,25% 00:26:29 0,13% 00:26:42 0,95% 00:26:19 -0,50%
1,0 Spenderad tid/unik besökare (tt:mm:ss) 01:45:20 0,00% 01:44:47 -0,52% 01:45:58 0,60% 01:46:22 0,98% 01:43:29 -1,76%
0,8 Videostarter/besök 4,32 0,00% 4,29 -0,83% 4,28 -1,02% 4,35 0,69% 4,36 0,83%
0,8 Videostarter/unik besökare 17,21 0,00% 17,02 -1,10% 17,12 -0,55% 17,34 0,73% 17,14 -0,41%
Score 65 51 100 100 89
Viktad score 58 50 100 90 86
SÄMST BÄST

31. Rek - andra = Populärt
Rek - historik = Tombola +
Svansen
Rek - red = För de äldsta + För
de yngsta + Tips
Se om = Du har sett
Leta = A-Ö + Sök

33. Risker med suboptimering
● Nya features och nytt innehåll leder till beteende som påverkar de
övergripande målen negativt.
○ Det kan handla om att ny funktionalitet lockar till sig klick och beteende som
sedan leder till hög exit rate.
○ Samtidigt som produktens mål är att jobba för ökad time spent.
○ Den nya funktionaliteten kan också skapa sämre lojalitet till produkten
jämfört med annan funktionalitet.

35. #5
Jag har missat kannibalism

36. Hur påverkar en ny feature övriga videokontexter?

38. Hantera kannibalism
● Inta en skeptisk hållning
○ Även om ditt experiment visar på bra resultat kanske det bara flyttar
användning från ett ställe till ett annat.
○ Vanligt när en lägger till eller flyttar liknande element
● Var noggrann med att mäta användning av alla element för att se hur
klick flyttas, ökar eller minskar. Bencha mot övergripande mål.

39. Exempel: Gör du en förändring i en
lista/element på Barnplays startsida behöver
du också - detaljerat - mäta alla andra
konkurrerande element

40. #6
Jag har dragit generaliserande
slutsatser på för lite data

41. Exempel på när du inte ska chansa
● Du känner dig pressad av team, chefer eller stakeholders att komma med insikter på
begränsad tid
○ T.ex. efter en lansering, “Hur har det gått?”
● Du får inte ut den data du behöver på rätt sätt
○ T.ex. på en aggregerad nivå eller så segmenterat som du vill, “Kan du inte göra stickprov?”
● Du ska förklara varför något har hänt
○ T.ex.: “Varför har det gått så bra 2017?”

44. #7
Jag har blandat ihop
korrelation med kasualitet

46. “Människor uppvisar en kraftig tendens att
tolka observerade korrelationer som
orsakssamband; detta leder ofta till
missförstånd, och utnyttjas ibland
medvetet.”
- Skolverkets lärarhandledning för gymnasiet

47. Exempel: Längre vy med fler alternativ leder till minskad exit rate
A → B
A B

48. Exempel: Många användare leder till lång total spenderad tid (snarare än tvärtom)
A ← B
A B

49. Exempel: Snabbare laddtider leder till minskad bounce rate som leder till
ökad genomsnittlig spenderad tid
A → B → C
A CB

50. Exempel: Mer populärt innehåll, i kombination med färre appkrascher leder
till fler antal besökare
A + B → C
A C
B

51. Exempel: Bättre organisk SEO leder både till ökat antal besökare och ökat
antal besök
C → A ◦ B
A B
C

52. Exempel: Storbarnsserier har ökat i popularitet i takt med att exit rate på
inställningssidan minskat
A | B
A B

53. Exempel: Storbarnsserier är en del av innehållet “För de äldsta”
A ⦿ B
A
B

54. Hur blir du säker på orsakssamband?
● Genomför A/B-test
● Testa en förändring åt gången
○ Testar du flera justeringar åt gången kan du inte vara säker på
vilken förändring som ledde till förändring

55. #8
Jag har låtit känslor påverka
analys och slutsatser

56. Hantera känslor och bias
● Mobba även analysarbete
○ Bjud in och låt andra bli delaktiga i analysarbetet
● Vänta ut förändringskurvan innan du avslutar experiment
○ Det är lätt att frestas till att avsluta experiment som validerar din
hypotes, innan tillräckligt med data har samlats in
● Sätt upp teamregel: uppföljningstest ska alltid genomföras

57. #9
Jag har genomfört för
begränsade A/B-test

58. Förändringskurvan
“Verkar fungera!”
Experiment
Tid

59. Förändringskurvan
Tid
Experiment
“Verkar inte fungera”

60. Förändringskurvan
Tid
“Förändringskurvan verkar ha stabiliserats”

61. Efter tre dagar har variationerna samma resultat:

62. Efter tre, fyra dagar har variationerna samma resultat:

63. Förändringskurvan
● Användarnas change curve kan variera beroende på en rad faktorer.
○ T.ex. andel lojala användare och hur stor förändringen är.
● Försök förstå hur förändringskurvan ser ut för din produkt.
○ Titta på historiska releaser (och ta med säsongsvariationer i analysen)
○ Prata med erfarna analytiker som kan branschen/produkten
● Vänta in statistisk signifikans över 95%
○ Vid vissa förändringskurvor kan signifikansen gå upp över 95% för att
sedan backa tillbaka.

64. Beslutet att utveckla funktionaliteten
togs efter ett tvåveckors-A/B-test + 7
användningstest
Resultatet: halverad användning efter
två månader
Exempel: ny feature i Barnplay

65. Ta ut svängarna i experiment
● Det är oftast svårt att veta innan vilken variation som kommer prestera bäst
○ Genom att i första testomgången testa brett snarare än små skillnader av samma element
ökar sannolikheten att hitta en större positiv effektförändring
● Testa flera parametrar
○ Exempel förbättra utforskning nya titlar: relevansranking rekommendationer nya titlar,
släpp nytt innehåll på olika sätt, testa olika funktionalitet för utforskning
● Designa experiment efter hur du lär dig snabbast (hint: våga mer)
○ Ha inte en lean ux-approach till experiment

67. #10
Jag har dragit slutsatser av för
få experiment

68. Genomför alltid (alltid!) uppföljningstest
● Resultatet av första testet kan vara skevt p.g.a:
○ Säsongsvariationer som lov, helg, jul och nyår…
○ Onormalt (im)populärt innehåll som Skam, Bron, Sommarlov,
terrorattack, sportevenemang, valspurt…
○ Transittrafik som spiller över
● Första testet kan ha varit fel uppsatt eller haft problem med
spårning av data
● Du kan vilja göra mindre justeringar på första testet
● Timeboxa inte experimentperioder

69. #11
Jag har kommunicerat resultat
av A/B-test som förväntade
framtida effekter

70. Hantera förväntningar
● Den statistiska signifikansen i ett
A/B-test gäller att variation X är
bättre eller sämre än originalet
● Gör jag uppföljningstest och får
liknande resultat med hög signifikans
kan jag ibland räkna på potentiella
framtida effekter.
○ Det gäller framförallt när jag vill
övertyga intressenter att prioritera
upp en hypotes som visar potential.

72. #12
Jag har missat att skicka
A/B-testdata till mitt
analysverktyg

73. Gå inte miste om värdefull data
● Adobe Analytics och Google Analytics kan
oftast mäta mycket mer än externa
A/B-testverktyg:
○ Spenderad tid
○ Återkommandegrad
○ Typ av besökare (daglig, lojal, sällan)
○ Detaljerade trafikkällor
○ Anpassade dimensioner just för din produkt
● Skicka med testets variationer/spannar som
anpassade metrics/dimensioner eller liknande

74. #13
Jag har missat att segmentera
A/B-test

75. Gå inte miste om värdefull data
● Ibland kan det generiska resultatet
visa på minimal förändring jämfört
med originalet
● Ta för vana att också undersök
segmenterade resultat, t.ex.:
○ Typ av enhet: mobil, platta, desktop
○ Typ av användare: lojal, sällan,
daglig eller förstagångs
○ Typ av landning: startsida,
undersida
○ Trafikkälla: sök, social media,
direkt, länk

77. #14
Jag har underskattat
användarens motivation

80. Lägg inte tid på arbete som riskerar att bli waste
● Viss användning är så motivationsdriven att det är svårt att påverka/förbättra önskad effekt,
oavsett hur dålig upplevelsen är.
● Exempel:
○ Innehåll som en bara kan komma åt på ett ställe: Game of Thrones
○ Uppgifter som en bara kan lösa på ett ställe: köpa konsertbiljetter
○ När en redan har gjort sitt val: boka tid hos plastikkirurg
● Försök att först förstå hur stor motivationen är hos användarna, om de kan genomföra processen
på andra sätt eller hos konkurrenter. Och hur höga barriärerna är för alternativa sätt.

81. #15
Jag har lagt ned analystid på
saker som jag inte kan påverka

82. Lägg inte tid på arbete som riskerar att bli waste
● Organisationer som säger att de jobbar datadrivet men bara agerar bara på “rätt” data
● När metoder används på felaktigt sätt
○ T.ex. A/B-test på på tok för lite trafik
● När det finns rigida idéer kring vad som ska göras, trots på förhand uppenbart begränsat
värde
○ T.ex. experiment som är uppsatta så att de inte leder till lärande
● När det finns små möjligheter att justera spårning,
○ T.ex. hos företag som saknar tag management-system och samtidigt har få releaser.

83. Hantera risk för analytics-waste
● Kolla upp organisationens/teamets kultur, politik, bemanning och andra förutsättningar
innan du tackar ja till uppdrag.
● En bra fråga för att kolla kulturen är:
○ “När tog ni senast bort en skeppad feature från er produkt?”.
○ Svaret visar ofta på hur väl organisationen följer upp och agerar på data.

84. #16
Jag har jobbat som specialist
utanför utvecklingsteamet

85. Varför är det en dum idé?
● Det är svårt att påverka prioriteringar i backloggen (t.ex. features och
spårning som är vitala för ditt analysarbete)
● Det blir ofta en extra uppförsbacke trovärdighetsmässigt när en
presenterar analyser och föreslår hypoteser att validera (Not invented
here-syndromet)
● Det är lätt att missa produktjusteringar, buggar och insikter som bara
kommuniceras informellt inom teamet
● Avståndet mellan analytiker och UX/konceptutvecklare blir för stort

86. Om du verkligen vill förändra
● Tacka nej till analysarbete utanför utvecklingsteam om det inte finns starka skäl
● Utväxlingen är nästan alltid större när dina metoder naturligt integreras i det vanliga
produktutvecklingsarbetet:
○ i research
○ i hypotesvalidering
○ i uppföljning
○ i prioritering
● Förändringen sker då organiskt och hållbart. Och blir mycket mindre personberoende.

87. Tack!
daniel@superconfidence.se
@joopey
medium.com/daniel-hansson