Veel conversie-testen mislukken. Met een betere aanpak gaat het succes enorm omhoog. Deze presentatie laat zien hoe webanalytics in combinatie met A/B test software leidt tot een hogere succesratio

1. ClickValue | Rhijnspoorplein 28 | 1018 TX Amsterdam | Bel ons op +31 (0)20 675 1621
Winnen met testen:
Verhoog het rendement op je conversie-optimalisatie
Google Analytics User Conference
April 2016

2. Wij zijn goed in veel zaken, maar de beste in online marketing. Van visie
tot uitvoering, van samenwerken met uw interne marketeers tot leveren
van alle benodigde kennis en vaardigheden om concurrerend te zijn.
Wij hebben alles in huis voor uw online groei!
Wat is de beste besteding van uw volgende euro?

3. Groeien met ClickValue
Duurzame Online Groei
Maximaliseren
Klantwaarde
Optimaliseren
Conversie
Werven
Bezoekers
Effectieve Inzet van Marketingtechnologie
Onderbouwde Besluitvorming door Web Intelligence
Doel
Activiteiten
Faciliteiten
Van visie tot uitvoering, samen gaan we voor duurzame groei. Zo zien wij uw online
groeiproces.

4. Wie wij zijn
Wij maken uw online marketingafdeling compleet
Vanuit ons kantoor in hartje Amsterdam zorgen wij dat onze klanten alle benodigde online marketing
kennis in huis hebben. Zo completeren we de online afdelingen van opdrachtgevers als New York
Pizza, het Concertgebouw en The Body Shop.
Wij zorgen al sinds 2003 voor online groei bij bedrijven zoals die van u. Inmiddels zijn we
gegroeid naar 25 medewerkers. Samen met onze klanten vormen we een goed team en
realiseren we resultaat.

5. Groeiende interesse in CRO

6. Realiteit
Belofte
Belofte en realiteit van AB testen

7. CRO heeft beperkt rendement
• 1 op 4-10 tests heeft een winnaar
• Control niet verslagen
• Geen duidelijke winnaar
• Wel winnaar maar niet significant
• Wel winnaar maar te klein effect
• Verwachtingen komen niet uit
• Frustrerend voor team en organisatie
• Ingewikkelder dan gedacht
• Kennis ontbreekt

8. Winnen

9. Winnaars hebben een andere mindset
• Duidelijke zakelijke doelen
• Procesmatige aanpak
• Gebruiker staat centraal
Leren over de gebruik is het doel. Conversie-verhogen is bijvangst
Onderzoeken
Analyseren
Hypothese
Testen

10. Stop met zoeken van gemiddelde oplossingen voor de
gemiddelde bezoeker
Gemiddelden
• Gemiddelde oplossingen voor alle bezoekers
• Evalueren resultaat op alle bezoekers
Segmenten
• Leer de segmenten op je site kennen
• Onderzoek problemen per segment
• Zoek in testresultaten naar de segmenten met effect

11. Wil niet oversteken
Kan niet oversteken
Conversie gezien als kloven overbruggen
Probleem: performance en functionaliteit
Scope: alle bezoekers
Aanpak:
 Problemen identificeren
 Direct oplossen
Probleem: Propositie, Site
Scope: bezoekers segmenten
Aanpak:
 Problemen identificeren
 Oorzaak analyseren
 Hypotheses testen
 Bewezen oplossingen doorvoeren

12. Case voor een investering in mobiel
Device en
Operating System #Sessies %Sessies €Omzet per Sessie
desktop 52.204 57% € 7,30
Windows 40.558 44% € 6,79
Macintosh 10.654 12% € 9,59
Linux 992 1% € 3,57
mobile 25.974 28% € 0,88
iOS 12.957 14% € 0,93
Android 12.338 13% € 0,71
Windows Phone 358 0,4% € 0,00
Windows 321 0,4% € 6,22
tablet 13.394 15% € 2,30
iOS 10.253 11% € 2,57
Android 2.880 3% € 1,29
Windows 261 0,3% € 2,98
Totaal 91.572 100,0% € 4,74

13. Case voor een investering in mobiel

14. Onderzoeken

15. Gesegmenteerd onderzoek begint bij klanttypen
0: kent je niet
• Kent jou niet
• Offline Campagne
• Geen aankoop
urgentie
• Nieuwe bezoekers
• Weinig engagement
1: oriënteerder
• Kijken kijken niet
kopen
• Affiliate, Vergelijker,
Generic Search
• Gericht zoeken en
Vergelijken
• Winkelmand als
verlanglijst
• Geen checkout
2: koper
• Weten wat ze willen,
nog klein zetje
nodig
• Komen direct of
branded op de
website
• Herhaalbezoek
• Checkout bezoek
3: klant
• Service zoeken
• Direct, email
• Inloggen
Los gebaseerd op REAN, RACE en STDC

16. Kans op Conversie en segmenten
Kans op conversie
%Bezoeken
0% 100%
100%
0 1 2 3
Centrale vraag: hoe groot is het beïnvloedbare deel van de bezoekers

17. Funnelstap en segmenten
Alle bezoekers
Product
Cart
Koper

18. Drop off analyse op segmenten
Row Labels All Sessions No productview No Add to Cart Abandon Cart
New Visitor -44% -94% -77%
Generic Paid Search -55% -94% -78%
Organic Search -42% -95% -73%
Direct -43% -92% -76%
Affiliates -50% -94% -65%
Branded Paid Search -36% -85% -89%
Returning Visitor -60% -88% -65%
Generic Paid Search -42% -90% -61%
Organic Search -53% -90% -59%
Direct -68% -84% -71%
Affiliates -61% -82% -47%
Branded Paid Search -52% -78% -79%
Grand Total -52% -92% -70%
1
2
3
1.Hoge No Product voor vroege oriënteerders
2.Dubbel zo hoge drop off op productpage voor nieuwe bezoekers
3.Opvallend hoge verlaten winkelwagen voor bekende klanten

19. Segmentatiemogelijkheden
Device
• Desktop
• Tablet
• Mobiel
• Browser
• O.S.
• Resolutie
Bezoeker
• Land/stad
• Tijdstip
• Frequentie
• Recentheid
• Login
• Demografie
Kanaal
• Earned
• Owned
• Paid
• Campagne
• Keyword
Site Gedrag
• Landingpagina
• Zoekgedrag
• Browsegedrag
• Engagement
• Shopgedrag

20. Testen Evalueren

21. Testuitkomsten

22. De wetenschapper heeft andere belangen dan de ondernemer
• Er is 91% kans op een conversietoename van 36,1%
• De business case:
• Kosten implementatie: €1.000
• Huidige conversie: 1%
• Huidige winst per maand: €10.000
• Extra winst: 91% x 36,1% x €10.000 = €3258
• Verwachte terugverdientijd: 10 dagen
1.000 / 3258 = 0,3 maand
De kans op deze waarneming berust voor 19% op toeval.
Geen wetenschappelijk tijdschrift zal dat accepteren.

23. Best Practices met significantie
• +95% significantie
• Kennis als doel
• Hoge kosten van implementatie
• +80% significantie
• Snelheid als doel
• Kosten van valse positief zijn laag
• Banners
• Landingpagina’s
• Emails
• Campagnes
• Functies
• Content vervangen
• Productintro’s
• Hypotheses over
gedrag
• Significantie verhogen van 80% naar 90% verdubbelt vaak de testduur.
Van 90% naar 95% verdubbelt de tijd opnieuw
• Bovenstaande aanpak verhoogt testsnelheid en minimaliseert verlies

24. Aanpak minimale verschillen

25. Gesegmenteerde analyse
• Integreer Analytics met de testsoftware zodat de testvarianten zichtbaar
zijn als Custom Dimension
• Exporteer naar Excel voor verdere analyse
• Exporteer rauwe data, bepaal ratio’s in Excel

26. Bepaal KPI’s in een Pivot tableformule
• Gebruik pivot tables voor snelle analyse
• Gebruik meerdere KPI’s voor evaluatie

27. Evaluatie met extra KPI’s
Variant %Conversie €Revenue per User
Control 1,69% € 1,61
V1 1,79% € 1,70
V2 1,82% € 2,04
• Conversie scheelt niet veel (6-8%)
• Revenue toont grote verschillen. V2 27% boven control

28. Evaluatie met 1 segment
Variant %Conversie €Revenue per User
New Visitor 1,12% € 0,99
Control 1,13% € 1,05
V1 1,10% € 1,03
V2 1,14% € 0,89
Returning Visitor 2,46% € 2,53
Control 2,13% € 2,04
V1 2,55% € 2,45
V2 2,82% € 3,28
• Bij nieuwe bezoekers zijn de verschillen negatief V2 of insignificant
• Bij herhaalbezoek zijn de verschillen enorm tussen de 20% en 60%

29. Evaluatie met 2 segmenten
Row Labels %Conversie €Revenue per User
Branded Paid Search 4,25% € 4,59
New Visitor 3,33% € 3,09
Control 3,12% € 3,05
V1 3,95% € 3,82
V2 2,95% € 2,41
Returning Visitor 4,88% € 5,61
Control 3,34% € 3,04
V1 5,90% € 7,13
V2 6,37% € 8,26
Generic Paid Search 1,16% € 0,96
New Visitor 0,75% € 0,52
Control 0,71% € 0,49
V1 0,78% € 0,54
V2 0,76% € 0,54
Returning Visitor 1,69% € 1,52
Control 1,57% € 1,33
V1 1,92% € 1,72
+171%
-21%
+29%
+18%
• Grote verschillen
per segment
• Grote impact op
CPA maakt rule
based
implementatie
noodzakelijk
• Connectie met
marketing geeft
basis voor
retargetting

30. Zonder
segmenten
Met
segmenten
Evaluatie met segmenten genereert vaker positieve
uitkomsten
Uitkomst Actie
 Positief Doorvoeren
Negatief Aanpassen of stoppen
Insignificant Aanpassen of stoppen
Uitkomst Actie
 Positief op alle segmenten Doorvoeren
 Positief op één of meerdere segmenten
en geen effect op andere
Doorvoeren
 Positief op één en negatief op een ander Doorvoeren met rules
Op alle segmenten negatief Aanpassen of stoppen

31. What’s next

32. Watson

33. Beslisboom voor €RPU

34. 5 dingen om morgen mee te starten
Stop met gemiddelde oplossingen voor gemiddelde bezoekers
Kennis over de bezoeker is het doel. Rendement is bijvangst
Evalueer gesegmenteerd op meerdere KPI’s: Conversie en €
Rapporteer business cases
Gebruik rules voor implementatie

35. Vragen
Daniel Markus
020 6751 621
06 5208 5432
daniel@clickvalue.nl
www.clickvalue.nl
Twitter.com/ClickValue
Facebook.com/ClickValue
Volg ons blog voor meer kennis, tips en technieken
blog.clickvalue.nl