A/B-testen is een onmisbaar middel voor iedere webshop die structureel de digitale omzet wil verhogen. Variant A met variant B vergelijken klinkt heel simpel, maar de uitvoering blijkt toch vaak ingewikkeld te zijn.
A/B-testen is tegenwoordig erg populair en tools maken het eenvoudig om een test op te zetten. Er zijn echter een aantal elementen waarmee u rekening dient te houden bij de opzet van een A/B-test. Niet correct een dergelijke test opzetten betekent dat u resultaten gaat interpreteren die niet weergeven wat u wilde meten. Een verkeerde conclusie is dan snel getrokken.
Tijdens haar presentatie legde ISM'er Mayke van de Ven uit wat het belang is van A/B-testen en hoe u een test correct opzet.
Digitale transformatie door de jaren heen. Wat zijn de learnings en kansen?
De aanpak voor succesvol A/B-testen
1. Mayke van de Ven
Webanalytics & Conversie Optimalisatie
Consultant
De aanpak voor succesvolle A/B-testen
Voorkom de 9 meest gemaakte fouten!
2. Mayke van de Ven – Webanalytics & Conversie Optimalisatie Consultant
Tilburg University
Msc. Economic
Psychology
Coca Cola Enterprises
Shopper Marketeer
Lead Today
Junior Online Markteteer
ISM eCompany
Webanalytics & Conversie
Optimalisatie Consultant
• Werkt o.a. voor
Mayke van de Ven
Webanalytics & Conversie
Optimalisatie Consultant
m.vandeven@ism.nl
06 – 12092492 |
www.linkedin.nl/maykevandeven
60%
3. Agenda
1. Wat is A/B-testen?
2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
5. Wat je niet mag vergeten!
6. Vragen
15. 1. Wat is A/B-testen?
2. Waarom ga je A/B-testen?
0%
5%
10%
15%
20%
25%
%impactopconversiepercentage
A/B-test: Winnaar
+ learnings
doelgroep
A/B-test: Winnaar
+ learnings
doelgroep
A/B test: Winnaar
+ learnings
doelgroep
A/B-test: Winnaar
+ learnings
doelgroep
A/B-test: Geen
winnaar +
learnings
doelgroep
A/B-test: Geen
winnaar +
learnings
doelgroep
Datagedreven werkwijze – A/B testen
16. 1. Wat is A/B-testen?
2. Waarom ga je A/B-testen?
Meest gemaakte A/B-test fouten
#2
Verbeteringen doorvoeren en perioden
vergelijken
17. 1. Wat is A/B-testen?
2. Waarom ga je A/B-testen?
April
Conversiepercentage 1%
+ 50%??
ORIGINEEL A VARIANT B
Mei
Conversiepercentage 1.5%
18. 1. Wat is A/B-testen?
2. Waarom ga je A/B-testen?
Uitsluiten
✓ Sale
✓ Wijzigingeninonline/offlinecampagnes
✓ Wijzigingeninassortiment
✓ Seizoensinvloeden
✓ Feestdagen
✓ Overigewijzigingenaandewebshop
20. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
Meest gemaakte A/B-test fouten
#3
Verbeterpunten aandragen op basis van gevoel
21. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
22. kan de schoen soms niet op een voet zien, of in
een totaalbeeld, wat juist erg fijn zou zijn om
hem juist te kunnen inschatten
22
wil de schoenen in zijn geheel zien
kan niet inzoomen en 360graden check
zou graag de vorm van de neus van
de schoen zien. Nu niet zichtbaar
plaatje is door tweeën maar sluit niet op
elkaar aan als afbeelding
1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
Klantfeedback
beeld in tweeën
23. 23
1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
Scrollmap analyse:
Veel bezoekers krijgen niet eens de
beste product-afbeeldingen te zien
24. 24
1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
Benchmark vs Fred: relatief lage visitor to cart
Benchmark: percentage bezoek naar
winkelmand op dekstop hoger dan mobile
Fred de la Bretoniere: percentage bezoek naar
winkelmand op dekstop lager dan mobile
25. Verschil productpagina mobile en desktop
Op mobile is het gehele product vrijwel direct zichtbaar boven de vouw, op desktop niet!
25
1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
26. Verschil productpagina mobile en desktop
Op mobile is het gehele product vrijwel direct zichtbaar boven de vouw, op desktop niet!
26
1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
Inzicht omzetten in verbeterpunt:
Zorg dat op desktop het gehele
product direct zichtbaar is boven
de vouw op de productpagina
27. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
28. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
Potential Importance
Ease
ADVANCED PIE MODEL
Score = Prioriteit
29. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
Score = Prioriteit
Potential Importance
Ease
ADVANCED PIE MODEL
• Direct zichtbaar?
• Wetenschappelijk onderbouwd?
• Eerder bewezen met AB-testen?
• Klantfeedback?
• Usability onderzoek?
• Webinteractie?
• Webanalytics data?
• Type verbeterpunt?
30. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
TYPE VERBETERPUNT
31. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
Score = Prioriteit
Potential Importance
Ease
ADVANCED PIE MODEL
Apparaat
Pagina
32. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
Score = Prioriteit
Potential Importance
Ease
ADVANCED PIE MODEL
33. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen?
3. Wat ga je A/B-testen?
35. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
36. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
AANLEIDING: data-gedreven onderzoek
Hypothese:
WAT: de productfoto's compacter weergeven waarbij het hele product direct boven de vouw
zichtbaar + mogelijkheid tot sliden en inzoomen
WAAROM: meer bezoekers zullen de hele productafbeelding zien waardoor zij gestimuleerd worden
om meerdere productfoto's te bekijken en in te zoomen waardoor zij een beter beeld van het
product kunnen vormen
EFFECT: meer bezoekers producten in winkelmand toevoegen en meer transacties afronden
WAAR: op desktop op de productdetailpagina
37. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Door op desktop (apparaat) op de productdetailpagina (testlocatie) de productfoto's compacter weer te
geven waarbij het hele product direct boven de vouw zichtbaar is en de productweergave een
mogelijkheid tot sliden en inzoomen heeft (aanpassing) zullen meer bezoekers de hele
productafbeelding zien, sneller gestimuleerd worden om meerdere productfoto's te bekijken en in te
zoomen, waardoor zij een beter beeld van het product kunnen vormen (impact gevoel/gedrag) en
waardoor zij sneller geneigd zullen zijn het product aan de winkelmand toe te voegen en vaker een
bestelling zullen plaatsen (KPI).
Hypothese:
38. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Meest gemaakte A/B-test fouten
#4
Geen of slechte hypothese
39. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Meest gemaakte A/B-test fouten
#5
Testen op alle apparaten
40. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
41. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Aanleiding
Locatie
Varianten
Hypothese
KPI
Testduur
42. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Meest gemaakte A/B-test fouten
#6
P- hacking
Testduur berekenen
Continu monitoren van het experiment en deze stoppen zodra de waargenomen p-waarde onder een
drempelwaarde daalt, en dus significant is
43. 4. Hoe creëer je een succesvolle AB-test?
Testduur berekenen
44. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Testduur berekenen
Periode: 30 dagen
Aantal unieke paginaweergaven:
Totaal / data-range
Conversiepercentage productpagina – desktop:
Aantal transacties / aantal unieke paginaweergaven
(8308 / 30 dagen) = 277 (2344 / 8308 ) * 100% = 28.21%
45. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Testduur berekenen
46. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
47. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Varianten
Pas je meerdere elementen aan in de variant of is
het één specifieke aanpassing?
Wie ontwerpt de varianten? Kijkt er een UX designer mee?
48. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Pas je meerdere elementen aan in de variant of is het één specifieke aanpassing?
49. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
“1 element tegelijk testen”
Pas je meerdere elementen aan in de variant of is het één specifieke aanpassing?
50. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
• “1 element tegelijk testen over
meerdere A/B testen”
• “Multivariate testen”
Pas je meerdere elementen aan in de variant of is het één specifieke aanpassing?
51. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
“Meerdere elementen
tegelijk testen”
Pas je meerdere elementen aan in de variant of is het één specifieke aanpassing?
52. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Pas je meerdere elementen aan in de variant of is het één specifieke aanpassing?
Hoge impact
Korte testduur
53. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Wie ontwerpt de varianten? Kijkt er een UX designer mee?
54. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Wie ontwerpt de varianten? Kijkt er een UX designer mee?
ORIGINEEL A VARIANT B
+ 4.7 % uplift
in transacties
55. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Wie ontwerpt de varianten? Kijkt er een UX designer mee?
ORIGINEEL A VARIANT B
+ 5.63 % uplift
in transacties
56. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
57. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Test of alle elementen op je testpagina correct functioneren
✓Werken alle functionaliteiten op de testpagina nog?
✓Zijn er geen elementen verschoven?
✓Check verschillende browsers
✓Check verschillende browserversies
✓Check verschillende resoluties
58. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Meest gemaakte A/B-test fouten
#7
Test-tool niet koppelen aan
statistiekprogramma
59. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
60. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
61. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
4 weken later .....
63. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
64. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Hypothese
Door op desktop (apparaat) op de productdetailpagina (testlocatie) de productfoto's compacter weer te geven
waarbij het hele product direct boven de vouw zichtbaar is en de productweergave een mogelijkheid tot sliden
en inzoomen heeft (aanpassing) zullen meer bezoekers de hele productafbeelding zien, sneller gestimuleerd
worden om meerdere productfoto's te bekijken en in te zoomen, waardoor zij een beter beeld van het product
kunnen vormen (impact gevoel/gedrag) en waardoor zij sneller geneigd zullen zijn het product aan de
winkelmand toe te voegen en vaker een bestelling zullen plaatsen (KPI).
65. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
66. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
+ 15.05 % uplift
in transacties
67. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
68. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Meest gemaakte A/B-test fouten
#8
Winnaars niet doorvoeren naar live
69. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Omzetbijdrage
70. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Wat als het nu anders loopt?
De test is niet significant?
71. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
ORIGINEEL A VARIANT B
72. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
73. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
74. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
75. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Variant B
Origineel A
76. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
77. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
SegmentatiemogelijkhedenvoorAnalyse
✓ Nieuwevsterugkerendebezoekers
✓ Verkeersbronnen
✓ Prijs-ofproductcategorieën
✓ Leeftijd
✓ Browsers
78. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Letop!
✓ Segmenten(minstens300transacties)moetengrootgenoegzijnomvalideconclusiestetrekken,
anderseennieuwetestopzetten.
79. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
80. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Meest gemaakte A/B-test fouten
#9
De testvariant verliest, dus je test is mislukt..
81. 1. Wat is A/B-testen?
2. Waarom ga je A/B-testen?
0%
5%
10%
15%
20%
25%
%impactopconversiepercentage
A/B-test: Winnaar
+ learnings
doelgroep
A/B-test: Winnaar
+ learnings
doelgroep
A/B test: Winnaar
+ learnings
doelgroep
A/B-test: Winnaar
+ learnings
doelgroep
A/B-test: Geen
winnaar +
learnings
doelgroep
A/B-test: Geen
winnaar +
learnings
doelgroep
Datagedreven werkwijze – A/B testen
82. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
ORIGINEEL A VARIANT B
-10.2% in
transacties
83. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen?
4. Hoe zet je een succesvolle A/B-test op?
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
85. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen? | 4. Hoe zet je een succesvolle A/B-test op?
5. Wat je niet mag vergeten!
Meest gemaakte A/B-test fouten
1. De variant werkt op webshop A dus dan werkt het bij ons ook!
2. Verbeteringen doorvoeren en perioden vergelijken
3. Verbeterpunten aandragen op basis van gevoel
4. Geen of slechte hypothese
5. Testen op alle apparaten
6. P-hacking
7. Test-tool niet koppelen aan statistiekprogramma
8. Winnaars niet doorvoeren naar live
9. De testvariant verliest, dus je test is mislukt..
86. Evenementen – meld u aan www.ism.nl/evenementen:
[Webinar] Online marketingstrategie opstellen: overbodig of broodnodig?
Donderdag 13 september
Sander Lems, Online Marketing Strateeg
Shopping Today
Donderdag 20 september
ISM is aanwezig met 3 sprekerssessies
Masterclass E-mailmarketing
Donderdag 27 september
Team E-mail, ISM eCompany
[Webinar] Boost de conversie van uw e-mailcampagnes
Donderdag 18 oktober
Michelle Brinkhuis E-mailmarketing & Marketing-automation Consultant
LET OP: aanstaande donderdag!
88. 1. Wat is A/B-testen? | 2. Waarom ga je A/B-testen? | 3. Wat ga je A/B-testen? | 4. Hoe zet je een succesvolle A/B-test op? | 5. Wat je niet mag vergeten!
6. Vragen?
Mocht ik je vraag nu niet behandelen,
stuur een e-mail naar:
m.vandeven@ism.nl
89. Van Nelleweg 1, 3044 BC Rotterdam +31 (0)10 243 60 000 info@ism.nl www.ism.nl
Bedankt voor je tijd en aandacht!