Wilt u er zeker van zijn dat de aanpassingen in uw webshop uw omzet structureel verhoogt? Ga dan A/B-testen! Wie bepaalt idealiter de kleur van de bestelbutton in uw webshop waar bezoekers het liefst op klikken om zijn bestelling af te ronden? Juist, dat is uw bezoeker. Kleine aanpassingen kunnen al grote impact hebben op uw omzet. Een A/B-test opzetten waarbij u variant A test met variant B klinkt heel simpel en.. dat is het ook, mits u op de juiste manier te werk gaat. Danny vertelt u hoe u direct aan de slag kunt met A/B-testen, geeft onmisbare tips en laat inspirerende voorbeelden zien van succesvolle A/B-testen en de meest voorkomende fouten.
28. Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
4. De succesvolle aanpak voor A/B-testen
4. De aanpak voor succesvolle A/B-testen
39. 4. De aanpak voor succesvolle A/B-testen
...Eerder uitgevoerde A/B tests
40. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
41. 4. De succesvolle aanpak voor A/B-testen
4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
43. Verbeterpunten Pagina Device Analyse
Vermijd het gebruik van scrollbars bij filters
Dit is niet gebruiksvriendelijk, zeker niet bij tablets.Toon liever de belangrijkste merken
(minimaal6, maximaal 10) en een ‘Toon meer’ button/tekstlink. Categoriepagina alle devices Expert review okt-15
Doorvoeren loyalty e-mail campagnes campagne alle devices Data Analyse
Vermeld prominent verzendkosten, levertijden en overige voorwaarden voor bestellen vanuit België en Duitsland
Plaats een duidelijke link of button naar een pagina met verzendkosten, levertijden, etc. voor in ieder geval België en Duitsland. Deze landen zijn verantwoordelijk voor zo’n 5% van de omzet en voor deze bezoekers moet
direct duidelijk zijn wat voor hen de voorwaarden zijn. Alle pagina's alle devices Expert review okt-15
AB test: Buttontekst aanpassen ‘Verder naar bestellen’
Wat met ‘Naar uw gegevens’ wordt bedoeld is mogelijk niet voor iedere bezoeker duidelijk. Een AB test kan uitwijzen of een buttontekst zoals ‘Verder/Doorgaan met bestellen’ tot een hoger doorklikratioleidt. Winkelmand alle devices Expert review okt-15
Toon een shop reviews widget, incl. klantcijfer en aantal beoordelingen
Toon een shop reviews widget waarbij minimaaléén klantreviewzichtbaar is. Winkelmand alle devices Expert review okt-15
Toon duidelijk een telefoonnummer van de klantenservice
De klantenserviceverhoogt het conversiepercentage.Zorg dat het telefoonnummer en e-mailadres van de klantenservice
prominenterin beeld is, tezamen met de tijden waarop deze bereikbaar is. Winkelmand alle devices Expert review okt-15
Toon levertijd in de winkelmand
Geef de levertijd weer van de producten in de winkelmand Winkelmand alle devices Expert review okt-15
Klantbeoordelingen prominenter tonen, inclusief cijfer, boven de vouw (lieft in de header) Alle pagina's alle devices Heatmap analyse
Weergeven van Thuiswinkel Waarvorg logo boven de vouw (heaer)
Een bekend keurmerk versterkt het vertrouwen in de webshop, met name bij nieuwe bezoekers. Toon dit keurmerk daarom prominent op iedere pagina. Alle pagina's alle devices Expert review okt-15
Klantreviews (reviews over de shop zelf) + klantcijfer tonen
Toon deze prominent en dynamisch op de detailpagina. Productpagina alle devices Expert review okt-15
Micro-copywriting* onder bestelbutton
Een vlot bestelproces is altijd prettig voor bezoekers . Geef daarom onder de button middels micro-copywriting aan dat bij Jeroen Beekman snel besteld kan worden zonder een account aan te maken. Tip: Een A/B test kan
uitwijzen of deze tekst de CTR doet verhogen. Winkelmand alle devices Expert review okt-15
Toon tijdens het bestelproces altijd het betreffendebesteloverzicht.
Zorg dat de artikelendie de bezoeker wil bestellen in een kort overzicht, tijdens het bestelproces altijd in beeld zijn.
Zo weet de bezoeker ten aller tijde wat hij straks gaat bestellen. Door dit overzicht sticky te maken,
blijft deze altijd zichtbaarwanneer naar beneden gescrold wordt. Checkout alle devices Expert review okt-15
Klantreviews (reviews over de shop zelf) + klantcijfer tonen
Toon deze prominent en dynamisch op de overzichtpagina,liefst met minimaal één klantreview. Categoriepagina alle devices Expert review okt-15
Toon productreviews (sterren)
Versterk hiermee de sociale bevestiging bij bezoekers en help ze hun keuze te vereenvoudigen. Categoriepagina alle devices Expert review okt-15
Prominent tonen shopreviews + cijfer.
Jeroen Beekman maakt gebruik van shopreviews, echter wordt dit niet duidelijk boven de vouw gecommuniceerd. Toon de gemiddeldeklantbeoordelingpromintent(in de header) inclusief cijfer en aantal beoordelingen. Homepage alle devices Expert review okt-15
Toon voorraadstatus in de winkelmand
Geef de voorraadstatus weer van de producten in de winkelmand en speel in op schaarste: “Nog 1 op voorraad!” Winkelmand alle devices Expert review okt-15
“Kassakoopjes” eenvoudig toevoegen aan winkelmand
Geef de mogelijkheid om “Kassakoopjes” (zoals waterdicht spray) direct toe te voegen aan
de winkelmand voor eenvoudige up-sell. Winkelmand alle devices Expert review okt-15
Toon de totale korting (indien aanwezig)
En geef aan dat deze al verrekend is. Geef bezoekers een ‘feel good’ gevoel door te laten zien wat zij besparen op hun bestelling Winkelmand alle devices Expert review okt-15
Vandaag besteld, actuele datum+tijdstip in huis.
Geef dynamisch aan wanneer de bezoeker zijn bestelling in huis heeft wanneer hij nu besteld om het gevoel van mentaal bezit nemen te versterken. Productpagina alle devices Expert review okt-15
Toon de best verkochte merken als eerst in het filter
Zodra de bezoeker kiest voor ‘Toon meer’, toon dan de producten op alfabetische volgorde. Zelfde
geldt voor categorieën. Categoriepagina alle devices Expert review okt-15
4. De aanpak voor succesvolle A/B-testen
44. 4. De aanpak voor succesvolle A/B-testen
Waar moeten we beginnen?
45. 4. De aanpak voor succesvolle A/B-testen
ImportancePotential Ease
1 = heel weinig pijn
10 = heel veel pijn
1 = zeer lage impact
10 = zeer hoge impact
1 = zeer complex
10 = zeer eenvoudig
Prioriteit
Het gemiddelde van bovenstaande 3
bepaalt de prioriteit én de A/B-test waar
je als eerste mee begint!
++
P I E
46. 4. De aanpak voor succesvolle A/B-testen
Inzichten Pagina(groep) Potential Importance Ease Prioriteit
Verbeterpunt A Winkelwagen 9 7 9 8,3
Verbeterpunt B Checkout stap 2 6 5 10 7,0
Verbeterpunt C Productdetailpagina’s 8 6 10 8,0
Verbeterpunt D Homepage 4 5 6 5,0
Verbeterpunt E Categoriepagina’s 7 8 2 5,7
47. 4. De aanpak voor succesvolle A/B-testen
Inzichten Pagina(groep) Potential Importance Ease Prioriteit
Verbeterpunt A Winkelwagen 9 7 9 8,3
Verbeterpunt C Productdetailpagina’s 8 6 10 8,0
Verbeterpunt B Checkout stap 2 6 5 10 7,0
Verbeterpunt E Categoriepagina’s 7 8 2 5,7
Verbeterpunt D Homepage 4 5 6 5,0
48. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
49. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
51. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
52. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
53. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
54. A/B testen Pagina(groep) Verwachte
impact
Importance Moeilijkheid Prioriteit
Test A Winkelwagen 9 7 9 8,3
Test C Productdetailpagina’s 8 6 10 8,0
Test B Checkout stap 2 6 5 10 7,0
Test E Categoriepagina’s 7 8 2 5,7
Test D Homepage 4 5 6 5,0
4. De aanpak voor succesvolle A/B-testen
55. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
56. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”
59. Fase 1: Stel een goede hypothese op
Een account aanmaken is niet verplicht.
‘Bestelling afronden’ klinkt erg definitief en voelt als ‘pijn’
60. iets waarvan je verwacht dat
het obstakel zal wegnemen
Fase 1: Stel een goede hypothese op
Het veranderen van
het obstakel dat uit je
analyse naar voren komt in
verhoogt / verlaagt de test KPI bij de doelgroep
61. Buttontekst:
Verder met bestellen
Fase 1: Stel een goede hypothese op
Het veranderen van
Buttontekst:
Bestelling afronden in
verhoogt / verlaagt het conversiepercentage bij desktop verkeer
62. Bestel snel: Een account
aanmaken is niet verplicht
Fase 1: Stel een goede hypothese op
Het veranderen van Geen tekst in
verhoogt / verlaagt het conversiepercentage bij desktop verkeer
63. Fase 1: Stel een goede hypothese op
Door de buttontekst te wijzigen naar “Verder met bestellen” én door
een tekst toe te voegen onder de button “Bestel snel: Een account
aanmaken is NIET verplicht”, rondt een hoger percentage van de
desktop bezoekers hun bestelling af.
De hypothese
64. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”
2
65. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen
66. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen
68. Fase 2: Maak je testplan
TestaltijddeKPIdiedebedrijfsdoelenhetdichtstnadert
Voorwaarden
1. DeKPImoetmeetbaarzijn
2. Voldoendetrafficenconversies
3. Duurvanaankoopprocesaanzienlijkkorterdantestduur
69. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen
70. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
Hoge impactConversie-effect
toewijzen
(aan specifieke aanpasing)
71. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
Conversie-effect
toewijzen
(aan specifieke aanpasing)
“1 element tegelijk testen”
Hoge impact
1
73. Fase 2: Maak je testplan
VS
ORIGINEEL A VARIANT B
Korte testduur
Conversie-effect toewijzen
74. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
Hoge impactConversie-effect
toewijzen
(aan specifieke aanpasing)
• “1 element tegelijk testen over
meerdere A/B testen”
• “Multivariate testen*”
*Alleen bij voldoende traffic en conversies
2
75. Fase 2: Maak je testplan
VS
ORIGINEEL A VARIANT B
Conversie-effect toewijzen
Hoge impact
Test 1
VSTest 2
VSTest 3
76. Fase 2: Maak je testplan
VS
VS
VS
ORIGINEEL A
VARIANT B
VARIANT C
VARIANT D
Conversie-effect toewijzen
Hoge impact
77. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
Hoge impactConversie-effect
toewijzen
(aan specifieke aanpasing)
“Meerdere elementen
tegelijk testen”
3
78. Fase 2: Maak je testplan
VS
ORIGINEEL A VARIANT B
Korte testduur
Hoge impact
79. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen
80. Fase 2: Maak je testplan
?
?
?
Bron: vwo.com/ab-split-test-duration/
81. Fase 2: Maak je testplan
Periode: Afgelopen 30 dagen 277 pageviews per dag (totaal/30)
83. Fase 2: Maak je testplan
Periode: Afgelopen 30 dagen 2344 transacties
Conversiepercentage winkelmand pagina:
Aantal transacties / Aantal unieke paginaweergaven winkelmand
(2344/8308)*100% =
28.21%
85. Fase 2: Maak je testplan
Een testplan opzetten
VaststellenvandetestKPI’s
Eentestmethodekiezen
Testduurbepalen
86. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”
2
3
88. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”
2
3
4
89. Fase 4: Zet je test live en monitor
WACHT! Test voordat je écht live gaat nog het volgende:
90. Fase 4: Zet je test live en monitor
Test of alle elementen op je testpagina correct functioneren
Werken alle functionaliteiten op de testpagina nog?
Zijn er geen elementen verschoven?
Check verschillende browsers
Check verschillende browserversies (Internet Explorer)
Check de zoomfunctie per browser
Check verschillende resoluties
Test op één device tegelijk, sluit andere devices uit.
Sluit ander niet-relevant verkeer uit (per test afhankelijk)
91. Fase 4: Zet je test live en monitor
Koppel je testdata aan Google Analytics
92. Fase 4: Zet je test live en monitor
Koppel je testdata aan Google Analytics
93. Fase 4: Zet je test live en monitor
Monitoren
1. StatistiekeninA/Btestsoftware
2. StatistiekeninGoogleAnalytics
3. Verschillenhiertussen
94. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”
2
3
4
5
95. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”
2
3
4
5
96. VS
ORIGINEEL A VARIANT B
Korte testduur
Hoge impact
Fase 5: Analyseer je testresultaten
118. Fase 6: Voer je winnaar door of voer niet door
2 mogelijkheden
119. Fase 6: Voer je winnaar door of voer niet door
Winnaar!
Je hypothese is bevestigd!De hypothese is bevestigdz
Dehypo
Geen winnaar!
Je hypothese is niet bevestigd
Verder analyseren (Learnings)
Winnaar doorvoeren
Verder analyseren (Learnings)
Learnings post-testen /
Volgende A/B test
120. 4. De succesvolle aanpak voor A/B-testen
4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
Welkom en leuk dat jullie hier aanwezig zijn bij de Masterclass “Conversie Optimalisatie”.
Korte vragen mogen tussendoor, de wat uitgebreidere vragen gelieve achteraf stellen.
Ik ga jullie vertellen wat dé aanpak is voor succesvolle AB Testen. Maar ik zal mezelf eerst even kort introduceren
Adviseren en begeleiden van onze klanten om structureel de conversie te verhogen, met onder andere AB Testen.
Veel voorbeelden gebruiken
Om jullie een idee te geven wat we gaan behandelen vandaag..
Als eerste; WAT is AB Testen, vervolgens ga ik je vertellen waarom het zo belangrijk is om te doen, met als vervolg, wanneer je dat dan gaat doen.
Als laatste vertel ik jullie wat de succesvolle aanpak is voor AB Testen, zoals wij deze voor al onze klanten toepassen.
Wie van jullie weet wat AB Testen is?
Wie heeft er weleens een AB test opgezet?
AB Test> Neemt je bezoekers, verdeelt deze over 2 groepen en toont iedere groep iets anders
AB Test kunnen we middels diverse tools doen, waaronder Optimizely en VWO
Bij een A/B-test worden bezoekers verdeeld over het origineel (versie A) en een variant (versie B)
Button kleur > aller eenvoudigst
Om het concreet te maken, neem ik een voorbeeld > review blok vs geen review blok
Reviews > hele goede klanttevredenheid >niet zichtbaar > eeuwig zonde! Dus
Hier tonen we dus het hele hoge cijfer 9,6 náást de Call-to-action > in winkelmand button
Wat denken jullie dat het effect is geweest, een schatting? > iemand vragen! Interactie!
Ik wil jullie graag het effect laten zien van deze aanpassing
Een stijging van maarliefst 11% in conversie!
Nu ik jullie heb verteld wat AB testen is, wil ik jullie meenemen naar de beweegreden.. WAAROM ga je AB testen?
Waarom niet in analytics kijken voor stijging?
Je kunt wijzigingen gewoon doorvoeren en het effect in Analytics terugzien.. Toch?
Voorbeeld..!
Stel: In april conversie van 1
In mei doen we een aanpassing aan de website
Voila, het werkt, conversie gestegen met 50% dankzij ..., toch?
Artikel gelezen.. Menu weghalen
Dit is het menu, weghalen, meer focus, minder afleiding meer aandacht voor het bestelproces
We kijken bij de grotere partijen van Nederland...
Bol.com, ook geen navigatie in checkout!
Checkout van deze webshop, kijken wat er gebeurt als we het weghalen
Stel: In april conversie van 1
In mei voeg je een ... Toe aan je website
Voila, het werkt, conversie gestegen met 50% dankzij ..., toch?
Stel: In april conversie van 1
In mei voeg je een ... Toe aan je website
Voila, het werkt, conversie gestegen met 50% dankzij ..., toch?
Nee! We kunnen dit effect niet toewijzen aan deze wijziging, omdat er tal van andere factoren van invloed kunnen zijn op dit effect
Neem deze shop als er geen sale is
En als er wél sale is
Is er iets veranderd aan deze webshop? Nee!Is de conversie structureel verbeterd? Nee!
Oorzaak: Sale (en mogelijk ook andere factoren)
Andere invloeden
Verandering in Analytics kunnen we niet aan wijziging toewijzen!
AB TESTEN IS DE ENIGE MANIER OM DIT UIT TE SLUITEN
Oh ja, en het verbergen van de menu navigatie hebben we trouwens ook ge-AB test, het resultaat:
Bij Bol.com werktie wel, bij deze shop niet.
En dáárom is AB testen zo belangrijk!
Bij Bol.com werktie wel, bij deze shop niet.
En dáárom is AB testen zo belangrijk!
Is dit erg? Nee!
Naast het uitsluiten van andere factoren, gebruiken we AB testing natuurlijk ook voor learnings
Ander voorbeeld waarom we A/B testen:
Daarnaast leer je jouw bezoekersgedrag beter begrijpen en kan je je learnings doorvoeren in andere marketingkanalen.
Ander voorbeeld waarom we A/B testen:
Daarnaast leer je jouw bezoekersgedrag beter begrijpen en kan je je learnings doorvoeren in andere marketingkanalen.
Door A/B-testen bouw je een ‘database’ met learnings op.
Toepasbaar op andere momenten.
Volgende A/B Tests >> Lucardi
Standard slide to introduce new/other topic.
Deze piramide, afgeleid van de piramide van Maslov, heeft Jurjen ook al kort getoond vandaag. Deze piramide representeert de basisbehoeften van een webshop, waar je van onder naar boven de webshop dient te verbeteren. Het heeft geen zin om bovenaan te sleutelen aan het reduceren van onzekerheid (emotie), wanneer jouw bezoeker geen reden heeft om bij jouw bedrijf te kopen ten opzichte van je concurrent (unieke waarde propositie).
Echter wil ik deze even puur toepassen voor deze sessie; AB Testen.
Verbeterpunten komen in elk onderdeel van de piramide voor, waardoor we ahv deze piramide kunnen bepalen of we verbeterpunten direct kunnen doorvoeren of als input voor een hypothese moeten gebruiken.
Voorbeelden:
Unieke waarde propositie: definitie + gratis verzendkosten/hoog klantcijfer
Technologie: definitie + Geen producten toevoegen in bepaalde browser/device > MOET je oppakken
Functionaliteit: definitie + Kwaliteit van de zoekresultaten van de zoekfunctie binnen de webshop
Usability: definitie + Button groot genoeg om ook op mobile makkelijk te kunnen ‘tappen’?
Intuïtie: definitie + Duidelijke feedback en feedforward bij handelingen van de bezoekers?
Emotie: definitie + Verleidingstechnieken (Sociale Bevestiging)
Gebruiken om je verbeterpunten mee in te delen
Is een stukje techniek kapot? Direct repareren!
Idealiter testen we alles!
Verleidingselementen (emotie) altijd testen!
Nu ik jullie heb laten zien wat AB test is, waarom we het moeten doen en wanneer we het moeten inzetten (ahv de pyramide), wil ik jullie onze aanpak is voor het succesvol ab testen
Altijd dit model, gestructureerd conversie verbeteringen, niet op onderbuikgevoel maar onderbouwd door a/b test resultaten
Dit is het model
Ik neem jullie stapje voor stapje door het model heen
Als eerste dienen we te zorgen voor inzichten, die we uit diverse bronnen halen, waaronder Webanalytics data.
Ik wil de stappen doorlopen aan de hand van een praktijkcase: LUCARDI
Voor Lucardi doorlopen we dit traject al een tijdje en ik heb een specifiek voorbeeld genomen van Lucardi om het model te visualiseren.
We hebben diverse soorten analyses die ieder dichterbij een hogere impact op conversie hebben. We beginnen onderaan, kwantitatieve data.
Data analyse gedaan voor Lucardi en wat blijkt nou voor desktop bezoekers...
Gekeken naar de funnel vanaf de winkelmand tot aan een transactie..
En daar kwam naar voren dat maarliefst 63% bezoekers de winkelmand verlaten!
Hier loopt Lucardi omzet mis!
Hoe meer we met deze analyses dezelfde pijnpunten kunnen achterhalen, hoe krachtiger onze hypothese voor (hopelijk) winnende AB test.
Onsite klantfeedback zorgde voor reacties omtrent de twijfel over het moeten aanmaken van een account en het direct moeten afrekenen in de winkelmand
Conversietraject, deze analyses.
Hoe meer we met deze analyses dezelfde pijnpunten kunnen achterhalen, hoe krachtiger onze hypothese voor (hopelijk) winnende AB test.
Conversietraject, deze analyses.
Hoe meer we met deze analyses dezelfde pijnpunten kunnen achterhalen, hoe krachtiger onze hypothese voor (hopelijk) winnende AB test.
Expert analyse; onze expert-blik toegepast op de webshop van Lucardi.
Expert analyse; onze expert-blik toegepast op de webshop van Lucardi.
GROEN zijn de onderdelen mbt PLEZIERROOD zijn de onderdelen mbt PIJN > CTA-button
Maar natuurlijk ook onze learnings uit andere A/B tests
Onderste herken je misschien nog wel van zojuist
Na al deze analyses hebben we veel (nieuwe) inzichten verzameld.. Maar wat nu?
Er zijn een heleboel bronnen gebruikt voor inzichten.. Wat resulteert in deze dit soort lijsten
Heel veel inzichten, heel veel input aan verbeterpunten, WAARONDER de voorbeelden van zojuist, maar waar beginnen we?
Impact; zoals wij dat inschatten, op basis van onze expertise, learnings en onderzoeken
Importance; hoeveelheid PIJN op pagina/device > zoals wouter net heeft laten zien, nadruk op device én pijn op pagina
Moeilijkheid; hoe complex is het om deze verbetering door te voeren/testen > vraag developer/designer
Daar komt een score uit en dan krijgen we dit..
PIE volgorde aanpassen
Potential; potentie van de impact op conversie; zoals wij dat inschatten, op basis van onze expertise, learnings en onderzoeken
Importance; hoeveelheid PIJN op pagina/device > zoals wouter net heeft laten zien, nadruk op device én pijn op pagina
Ease; hoe complex is het om deze verbetering door te voeren/testen > vraag developer/designer
Daar komt een score uit en dan krijgen we dit..
Even sorteren van hoog naar laag...
We hebben nu duidelijk de prioriteiten in kaart gebracht
We nemen de verbeterpunten met de hoogste prio’s en kunnen delen onderverdelen in 2 backlogs.
CHANGE backlog
TEST backlog
Dit doen we ahv de pyramide, welke ik al heb laten zien. We nemen deze er nog even bij.
Als we deze pyramide naast de verbeterpunten houden, kunnen we ze indelen in de backlogs.
We hebben een verbeterpunt waaruit blijkt dat er iets technisch misgaat, stel; Laadtijd van de checkout is gigantisch hoog > CHANGE BACKLOG
Dat gaat vervolgens via een ticket naar Development, zij pakken dit op en voeren dit door.
Stel we hebben een verbeterpunt omtrent het reduceren van onzekerheid omtrent het nemen van een volgende stap, dan.. TEST BACKLOG
Voorbeeld van een test backlog, zodat we kunnen bepalen met welke test we moeten beginnen.
Ook hier houden we de prio’s aan om te bepalen welke als eerste dient te worden opgepakt.
Vervolgens nemen we de test met de hoogste prio naar de volgende fase in het model.
Deze bestaat uit 6 fasen, waarbij we beginnen bij fase 1; het opstellen van de hypothese.
De hypothese moet toetsbaar zijn waarbij kan worden bewezen of deze juist of onjuist is.
De hypothese moet toetsbaar zijn waarbij kan worden bewezen of deze juist of onjuist is.
Blz 150
Veel input/inzichten dankzij de analyses die zijn gedaan.
Neem het voorbeeld van Lucardi:
Analyses tonen aan dat veel bezoekers de winkelmand verlaten.
Oorzaken:
Onduidelijkheid over account aanmaken
Onduidelijkheid over bestelling afronden
Test A uit de backlog, betrekking op de winkelmand van Lucardi.
Inzichten verkregen zoals..
>> Account is niet verplicht
>> Gepercipieerde pijn weghalen
Inzichten verkregen zoals..
>> Account is niet verplicht
>> Bestelling afronden definitieve klank > feedforward kan beter.
Doelgroep expliciet noemen
Zelfde voor toevoeging: Een account aanmaken is niet verplicht
Deze voegen we samen en komen tot de hypothese
Rustmoment.
Hypothese, check. Vervolgstap: testplan maken
Bestaat uit 3 stappen
KPI’s vaststellen
Testmethode
Duur
Test altijd de KPI die het dichts bij de bedrijfsdoelen komt en haalbaar is.
Dit figuur visualiseert de funnel, bovenaan alle bezoekers, onderaan de meest loyale, terugkerende klanten.
Lukt het niet om onderaan de KPI vast te stellen, dan gaan we steeds een stapje terug naar boven, totdat het wel haalbaar is.
Ik weet wat jullie willen horen: vuistregels, dus ik zal het proberen samen te vatten met DRIE voorwaarden
Lucardi: omzet (op basis van conversiepercentage bij gelijkblijvende orderwaarde)
KPI moet meetbaar zijn; Analytics, andere webanalytics tool
Voldoende; 300 conversies per maand
Aankoop van een electrische fiets tegenover een armbandje > 2x een journey testen
Deze drie voorwaarden zijn van toepassing op het vaststellen van je KPI
Door naar stap 2; testmethode kiezen
3 factoren
Korte testuur (Snelheid)
Conversie effect toewijzen (Wat heeft tot verbetering geleid)
Hoge impact (Een groot verschil maken)
Bij iedere test kun je er maar 2 van de 3 kiezen
1 element:
De winkelmand-pagina van Lucardi en ons verbeterpunt; de CTA-button
Duurt ontzettend lang om deze na elkaar te testen > klant wil resultaat, hebben 2 verbeteringen met een hoge impact op dezelfde KPI
Ook hier lange testduur nodig omdat bij meer varianten ook meer bezoekers en conversies nodig zijn voor een betrouwbaar resultaat
Vuistregel ISM: 300 conversies per variant per maand (dubbele nodig tov 2 varianten). We gaan hier verder niet op in voor nu.
De methode die we nemen, op basis van de opgestelde hypothese.
Korte testduur + hoge impact!
Dat zou er dan vervolgens zo uit moeten zien:
Hoge impact omdat we twee elementen testen waarvan we conversieverbetering verwachten
Als we een verbetering aantonen weten we niet aan welke wijziging we het conversie-effect kunnen toewijzen
Commerciele insteek geven; klant wil hoge impact, sneller effect en te maken met omzet
KPI’s bepaald, methode gekozen.. Hoe lang moet de test draaien voordat er een betrouwbaar resultaat uit voortkomt?
Hier gebruiken we een tool voor om de testduur te bepalen.
Slides zijn achteraf inzichtelijk, mocht het te snel gaan omtrent het berekenen..!
Conversie %
Verwachte verbetering
Aantal variaties (inclusief origineel)
Gemiddelde dagelijkse uniek bezoekers
Procent bezoekers opgenomen in de test
Relevante, vergelijkbare periode pakken
Test op één device-type draaien, bezoeker kan door middel van meerdere devices dubbel in de test belanden, dat wil je niet!
Conversiepercentage van de TESTPAGINA
Conversiepercentage van de TESTPAGINA
Hou je vast aan deze testduur!
Niet langer dan 30 dagen testen, ivm cookies van bijvoorbeeld Analytics
Test plan DONE. Door naar stap 3
Bij Lucardi hebben wij gekozen voor korte testduur met hoge impact.
Als we een effect zien, kunnen we niet met zekerheid zeggen of de buttontekst of de microcopy voor dit effect heeft gezorgd.
Voordeel, snel resultaat, snelle learnings, snel door naar de volgende test.
AB Test live zetten! Toch?
TEST JE EIGEN TEST
Draai de test op je eigen IP adres en check:
Je wil echt niet dat dit fout gaat!! Al je data vervuild en zonde van je energie en tijd!
Functioneel, visueel, browsers
Flinke checklist, maar essentieel voor een goede inzet van je AB Test!
Wij gebruiken nooit onze tool om te analyseren
Uiteindelijk een uitgebreid rapport in Analytics om te analyseren!
Monitor je test
Hanteer een marge van 5% is acceptabel
We zijn 20 dagen verder, de test is beëindigd!
Nu: Analyseren!
Werken we uit in een rapportage, met verschillende onderdelen. Deze onderdelen gaan we nu doorlopen voor onze AB Test van Lucardi.
Recap! Dit was de AB Test.
De resultaten...
Winnaar! Conversieverbetering van 7 ,9 %!
Moet je nagaan wat dit op jaarbasis aan extra omzet verzorgt!
Verschil is significant; 99% zekerheid dat het beter is dan het origineel
Van te voren bepalen met welke zekerheid je variant heeft gewonnen; 90 of 95 met testen, wetenschappelijk 99%
Leuk dat de tool 99% aangeeft, maar gebruik de statistieken uit Analytics om het zelf te berekenen
Leuk dat de tool 99% aangeeft, maar gebruik de statistieken uit Analytics om het zelf te berekenen
We zagen een duidelijke winnaar, tool en berekening significantie, dus doorgevoerd!
Flink wat extra omzet verzorgd!
Anders als in; niet direct een significant resultaat
Anders als in; niet direct een significant resultaat
Mooie verhoging in conversie, MAAAR
Niet significant volgens de tool. Wat doe je dan?
Segmenteren middels Analytics
Er kwamen ook veel Belgen op de webshop, groot effect voor Nederlandse bezoekers
Wél significant voor NL bezoekers > Opnieuw testen voor NL bezoekers, inzicht voor nieuwe test
We zien dat Nederlandse bezoekers zich anders gedragen
Let op!
Vuistregel: minimaal 300 conversies per variant
Anders als in; niet direct een significant resultaat
Popup getest die zegt; Laagste prijsgarantie
Maar; segmenteren!
Wél een verschil bij nieuwe gebruikers, maar .....
Blijkt niet significant te zijn, dus werd niet doorgevoerd
Na analyse en rapporteren heb je 2 mogelijkheden
Cirkeltje rond, even herhalen.
Dit is onze aanpak voor succesvolle AB Testen!