Wilt u er zeker van zijn dat de aanpassingen in uw webshop uw omzet structureel verhoogt? Ga dan A/B-testen! Wie bepaalt idealiter de kleur van de bestelbutton in uw webshop waar bezoekers het liefst op klikken om zijn bestelling af te ronden? Juist, dat is uw bezoeker. Kleine aanpassingen kunnen al grote impact hebben op uw omzet. Een A/B-test opzetten waarbij u variant A test met variant B klinkt heel simpel en.. dat is het ook, mits u op de juiste manier te werk gaat. Danny vertelt u hoe u direct aan de slag kunt met A/B-testen, geeft onmisbare tips en laat inspirerende voorbeelden zien van succesvolle A/B-testen en de meest voorkomende fouten.

1. Dé aanpak voor succesvolle A/B-testen!
Danny Loeffen
Webanalytics & Conversie optimalisatie consultant

2. Danny Loeffen
Webanalytics & Conversie optimalisatie consultant| ISM eCompany
d.loeffen@ism.nl
linkedin.com/in/dannyloeffen
ISM eCompany
2015 - 2016 Webanalytics & Conversie-optimalisatie consultant
Shoeby
2014 - 2015 Conversie specialist & Front-end Developer
Symfony
2011 - 2014 Conversie specialist & Front-end Developer
Avans Hogeschool ‘s-Hertogenbosch
Communicatie & Multimedia Design

3. Agenda
1. Wat is A/B-testen?
2. Waarom ga je A/B-testen?
3. Wanneer ga je A/B-testen?
4. De succesvolle aanpak voor A/B-testen

4. 1. Wat is A/B-testen?

5. 1. Wat is A/B testen?

6. 1. Wat is A/B testen?
ORIGINEEL A

7. 1. Wat is A/B testen?
VARIANT B

8. 1. Wat is A/B testen?

9. 2. Waarom ga je A/B-testen?

10. 2. Waarom ga je A/B-testen?
Periode Conversiepercentage Verbetering
april 1%
mei ?

11. 2. Waarom ga je A/B-testen?

12. 2. Waarom ga je A/B-testen?

13. 2. Waarom ga je A/B-testen?

14. 2. Waarom ga je A/B-testen?

15. Periode Conversiepercentage Verbetering
april 1%
mei 1.5% +50%
2. Waarom ga je A/B-testen?

16. 2. Waarom ga je A/B-testen?
Reguliere periode

17. 2. Waarom ga je A/B-testen?
Sale periode

18. 2. Waarom ga je A/B-testen?
Uitsluiten
 Sale
 Wijzigingeninonline/offlinecampagnes
 Wijzigingeninassortiment
 Overigewijzigingenaandewebshop
 Seizoensinvloeden
 Feestdagen

19. 2. Waarom ga je A/B-testen?
ORIGINEEL A
VARIANT B

20. 2. Waarom ga je A/B-testen?

21. 2. Waarom ga je A/B-testen?
Learnings

22. 2. Waarom ga je A/B-testen?

23. 2. Waarom ga je A/B-testen?
ORIGINEEL A
VARIANT B

24. 2. Waarom ga je A/B-testen?
Learningstoepassenbij
 GoogleAdwordsadvertenties
 Facebookadvertenties
 E-mailmarketingcampagnes
 USP’svandewebshop
 Anderepaginatemplatesbinnendewebshop
 VolgendeA/Btests

25. 3. Wanneer ga je A/B-testen?

26. Technologie
Functionaliteit
Usability
Intuïtie
Emotie Obstakels wegnemen
Hypotheses altijd A/B testen
Obstakels wegnemen
Hypotheses altijd A/B testenUnieke waarde propositie
Obstakels wegnemen
Hypotheses A/B testen of webshop direct aanpassen
Obstakels wegnemen
Webshop direct aanpassen
3. Wanneer ga je A/B-testen?

27. 4. De aanpak
voor succesvolle A/B-testen

28. Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
4. De succesvolle aanpak voor A/B-testen
4. De aanpak voor succesvolle A/B-testen

29. 4. De aanpak voor succesvolle A/B-testen

30. 4. De aanpak voor succesvolle A/B-testen

31. 4. De aanpak voor succesvolle A/B-testen
 63% van de bezoekers die de winkelmand bereiken, verlaat deze zonder verder te gaan met bestellen

32. 4. De aanpak voor succesvolle A/B-testen

33. 4. De aanpak voor succesvolle A/B-testen
 Voor diverse bezoekers bleek het niet duidelijk te zijn dat een account aanmaken niet verplicht is

34. 4. De aanpak voor succesvolle A/B-testen

35. 4. De aanpak voor succesvolle A/B-testen
 Diverse bezoekers lijken te twijfelen om door te gaan naar de checkout en verlaten de webshop

36. 4. De aanpak voor succesvolle A/B-testen

37. 4. De aanpak voor succesvolle A/B-testen
(gepercipieerd) plezier (gepercipieerde) pijn
Product
Gemak
Ervaren voordeel
Service
Kwaliteit
Ontzorging
Geld
(overstap) tijd
Inspanning
Risico
Onzekerheid

38. 4. De aanpak voor succesvolle A/B-testen

39. 4. De aanpak voor succesvolle A/B-testen
 ...Eerder uitgevoerde A/B tests

40. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen

41. 4. De succesvolle aanpak voor A/B-testen
4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen

42. 4. De aanpak voor succesvolle A/B-testen

43. Verbeterpunten Pagina Device Analyse
Vermijd het gebruik van scrollbars bij filters
Dit is niet gebruiksvriendelijk, zeker niet bij tablets.Toon liever de belangrijkste merken
(minimaal6, maximaal 10) en een ‘Toon meer’ button/tekstlink. Categoriepagina alle devices Expert review okt-15
Doorvoeren loyalty e-mail campagnes campagne alle devices Data Analyse
Vermeld prominent verzendkosten, levertijden en overige voorwaarden voor bestellen vanuit België en Duitsland
Plaats een duidelijke link of button naar een pagina met verzendkosten, levertijden, etc. voor in ieder geval België en Duitsland. Deze landen zijn verantwoordelijk voor zo’n 5% van de omzet en voor deze bezoekers moet
direct duidelijk zijn wat voor hen de voorwaarden zijn. Alle pagina's alle devices Expert review okt-15
AB test: Buttontekst aanpassen ‘Verder naar bestellen’
Wat met ‘Naar uw gegevens’ wordt bedoeld is mogelijk niet voor iedere bezoeker duidelijk. Een AB test kan uitwijzen of een buttontekst zoals ‘Verder/Doorgaan met bestellen’ tot een hoger doorklikratioleidt. Winkelmand alle devices Expert review okt-15
Toon een shop reviews widget, incl. klantcijfer en aantal beoordelingen
Toon een shop reviews widget waarbij minimaaléén klantreviewzichtbaar is. Winkelmand alle devices Expert review okt-15
Toon duidelijk een telefoonnummer van de klantenservice
De klantenserviceverhoogt het conversiepercentage.Zorg dat het telefoonnummer en e-mailadres van de klantenservice
prominenterin beeld is, tezamen met de tijden waarop deze bereikbaar is. Winkelmand alle devices Expert review okt-15
Toon levertijd in de winkelmand
Geef de levertijd weer van de producten in de winkelmand Winkelmand alle devices Expert review okt-15
Klantbeoordelingen prominenter tonen, inclusief cijfer, boven de vouw (lieft in de header) Alle pagina's alle devices Heatmap analyse
Weergeven van Thuiswinkel Waarvorg logo boven de vouw (heaer)
Een bekend keurmerk versterkt het vertrouwen in de webshop, met name bij nieuwe bezoekers. Toon dit keurmerk daarom prominent op iedere pagina. Alle pagina's alle devices Expert review okt-15
Klantreviews (reviews over de shop zelf) + klantcijfer tonen
Toon deze prominent en dynamisch op de detailpagina. Productpagina alle devices Expert review okt-15
Micro-copywriting* onder bestelbutton
Een vlot bestelproces is altijd prettig voor bezoekers . Geef daarom onder de button middels micro-copywriting aan dat bij Jeroen Beekman snel besteld kan worden zonder een account aan te maken. Tip: Een A/B test kan
uitwijzen of deze tekst de CTR doet verhogen. Winkelmand alle devices Expert review okt-15
Toon tijdens het bestelproces altijd het betreffendebesteloverzicht.
Zorg dat de artikelendie de bezoeker wil bestellen in een kort overzicht, tijdens het bestelproces altijd in beeld zijn.
Zo weet de bezoeker ten aller tijde wat hij straks gaat bestellen. Door dit overzicht sticky te maken,
blijft deze altijd zichtbaarwanneer naar beneden gescrold wordt. Checkout alle devices Expert review okt-15
Klantreviews (reviews over de shop zelf) + klantcijfer tonen
Toon deze prominent en dynamisch op de overzichtpagina,liefst met minimaal één klantreview. Categoriepagina alle devices Expert review okt-15
Toon productreviews (sterren)
Versterk hiermee de sociale bevestiging bij bezoekers en help ze hun keuze te vereenvoudigen. Categoriepagina alle devices Expert review okt-15
Prominent tonen shopreviews + cijfer.
Jeroen Beekman maakt gebruik van shopreviews, echter wordt dit niet duidelijk boven de vouw gecommuniceerd. Toon de gemiddeldeklantbeoordelingpromintent(in de header) inclusief cijfer en aantal beoordelingen. Homepage alle devices Expert review okt-15
Toon voorraadstatus in de winkelmand
Geef de voorraadstatus weer van de producten in de winkelmand en speel in op schaarste: “Nog 1 op voorraad!” Winkelmand alle devices Expert review okt-15
“Kassakoopjes” eenvoudig toevoegen aan winkelmand
Geef de mogelijkheid om “Kassakoopjes” (zoals waterdicht spray) direct toe te voegen aan
de winkelmand voor eenvoudige up-sell. Winkelmand alle devices Expert review okt-15
Toon de totale korting (indien aanwezig)
En geef aan dat deze al verrekend is. Geef bezoekers een ‘feel good’ gevoel door te laten zien wat zij besparen op hun bestelling Winkelmand alle devices Expert review okt-15
Vandaag besteld, actuele datum+tijdstip in huis.
Geef dynamisch aan wanneer de bezoeker zijn bestelling in huis heeft wanneer hij nu besteld om het gevoel van mentaal bezit nemen te versterken. Productpagina alle devices Expert review okt-15
Toon de best verkochte merken als eerst in het filter
Zodra de bezoeker kiest voor ‘Toon meer’, toon dan de producten op alfabetische volgorde. Zelfde
geldt voor categorieën. Categoriepagina alle devices Expert review okt-15
4. De aanpak voor succesvolle A/B-testen

44. 4. De aanpak voor succesvolle A/B-testen
Waar moeten we beginnen?

45. 4. De aanpak voor succesvolle A/B-testen
ImportancePotential Ease
1 = heel weinig pijn
10 = heel veel pijn
1 = zeer lage impact
10 = zeer hoge impact
1 = zeer complex
10 = zeer eenvoudig
Prioriteit
Het gemiddelde van bovenstaande 3
bepaalt de prioriteit én de A/B-test waar
je als eerste mee begint!
++
P I E

46. 4. De aanpak voor succesvolle A/B-testen
Inzichten Pagina(groep) Potential Importance Ease Prioriteit
Verbeterpunt A Winkelwagen 9 7 9 8,3
Verbeterpunt B Checkout stap 2 6 5 10 7,0
Verbeterpunt C Productdetailpagina’s 8 6 10 8,0
Verbeterpunt D Homepage 4 5 6 5,0
Verbeterpunt E Categoriepagina’s 7 8 2 5,7

47. 4. De aanpak voor succesvolle A/B-testen
Inzichten Pagina(groep) Potential Importance Ease Prioriteit
Verbeterpunt A Winkelwagen 9 7 9 8,3
Verbeterpunt C Productdetailpagina’s 8 6 10 8,0
Verbeterpunt B Checkout stap 2 6 5 10 7,0
Verbeterpunt E Categoriepagina’s 7 8 2 5,7
Verbeterpunt D Homepage 4 5 6 5,0

48. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen

49. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen

50. Technologie
Functionaliteit
Usability
Intuïtie
Emotie Obstakels wegnemen
Hypotheses altijd A/B testen
Obstakels wegnemen
Hypotheses altijd A/B testenUnieke waarde propositie
Obstakels wegnemen
Hypotheses A/B testen of webshop direct aanpassen
Obstakels wegnemen
Webshop direct aanpassen
4. De aanpak voor succesvolle A/B-testen

51. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen

52. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen

53. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen

54. A/B testen Pagina(groep) Verwachte
impact
Importance Moeilijkheid Prioriteit
Test A Winkelwagen 9 7 9 8,3
Test C Productdetailpagina’s 8 6 10 8,0
Test B Checkout stap 2 6 5 10 7,0
Test E Categoriepagina’s 7 8 2 5,7
Test D Homepage 4 5 6 5,0
4. De aanpak voor succesvolle A/B-testen

55. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen

56. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”

57. Fase 1: Stel een goede hypothese op

58. Fase 1: Stel een goede hypothese op

59. Fase 1: Stel een goede hypothese op
 Een account aanmaken is niet verplicht.
 ‘Bestelling afronden’ klinkt erg definitief en voelt als ‘pijn’

60. iets waarvan je verwacht dat
het obstakel zal wegnemen
Fase 1: Stel een goede hypothese op
Het veranderen van
het obstakel dat uit je
analyse naar voren komt in
verhoogt / verlaagt de test KPI bij de doelgroep

61. Buttontekst:
Verder met bestellen
Fase 1: Stel een goede hypothese op
Het veranderen van
Buttontekst:
Bestelling afronden in
verhoogt / verlaagt het conversiepercentage bij desktop verkeer

62. Bestel snel: Een account
aanmaken is niet verplicht
Fase 1: Stel een goede hypothese op
Het veranderen van Geen tekst in
verhoogt / verlaagt het conversiepercentage bij desktop verkeer

63. Fase 1: Stel een goede hypothese op
Door de buttontekst te wijzigen naar “Verder met bestellen” én door
een tekst toe te voegen onder de button “Bestel snel: Een account
aanmaken is NIET verplicht”, rondt een hoger percentage van de
desktop bezoekers hun bestelling af.
De hypothese

64. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”
2

65. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen

66. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen

67. Fase 2: Maak je testplan

68. Fase 2: Maak je testplan
TestaltijddeKPIdiedebedrijfsdoelenhetdichtstnadert
Voorwaarden
1. DeKPImoetmeetbaarzijn
2. Voldoendetrafficenconversies
3. Duurvanaankoopprocesaanzienlijkkorterdantestduur

69. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen

70. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
Hoge impactConversie-effect
toewijzen
(aan specifieke aanpasing)

71. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
Conversie-effect
toewijzen
(aan specifieke aanpasing)
“1 element tegelijk testen”
Hoge impact
1

72. Fase 2: Maak je testplan

73. Fase 2: Maak je testplan
VS
ORIGINEEL A VARIANT B
 Korte testduur
 Conversie-effect toewijzen

74. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
Hoge impactConversie-effect
toewijzen
(aan specifieke aanpasing)
• “1 element tegelijk testen over
meerdere A/B testen”
• “Multivariate testen*”
*Alleen bij voldoende traffic en conversies
2

75. Fase 2: Maak je testplan
VS
ORIGINEEL A VARIANT B
 Conversie-effect toewijzen
 Hoge impact
Test 1
VSTest 2
VSTest 3

76. Fase 2: Maak je testplan
VS
VS
VS
ORIGINEEL A
VARIANT B
VARIANT C
VARIANT D
 Conversie-effect toewijzen
 Hoge impact

77. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
Hoge impactConversie-effect
toewijzen
(aan specifieke aanpasing)
“Meerdere elementen
tegelijk testen”
3

78. Fase 2: Maak je testplan
VS
ORIGINEEL A VARIANT B
 Korte testduur
 Hoge impact

79. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen

80. Fase 2: Maak je testplan
?
?
?
Bron: vwo.com/ab-split-test-duration/

81. Fase 2: Maak je testplan
Periode: Afgelopen 30 dagen 277 pageviews per dag (totaal/30)

82. Fase 2: Maak je testplan
?
?

83. Fase 2: Maak je testplan
Periode: Afgelopen 30 dagen 2344 transacties
Conversiepercentage winkelmand pagina:
Aantal transacties / Aantal unieke paginaweergaven winkelmand
(2344/8308)*100% =
28.21%

84. Fase 2: Maak je testplan

85. Fase 2: Maak je testplan
Een testplan opzetten
 VaststellenvandetestKPI’s
 Eentestmethodekiezen
 Testduurbepalen

86. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”
2
3

87. Fase 3: Testvarianten maken
VS
ORIGINEEL A VARIANT B
 Korte testduur
 Hoge impact

88. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”
2
3
4

89. Fase 4: Zet je test live en monitor
WACHT! Test voordat je écht live gaat nog het volgende:

90. Fase 4: Zet je test live en monitor
Test of alle elementen op je testpagina correct functioneren
 Werken alle functionaliteiten op de testpagina nog?
 Zijn er geen elementen verschoven?
 Check verschillende browsers
 Check verschillende browserversies (Internet Explorer)
 Check de zoomfunctie per browser
 Check verschillende resoluties
 Test op één device tegelijk, sluit andere devices uit.
 Sluit ander niet-relevant verkeer uit (per test afhankelijk)

91. Fase 4: Zet je test live en monitor
Koppel je testdata aan Google Analytics

92. Fase 4: Zet je test live en monitor
Koppel je testdata aan Google Analytics

93. Fase 4: Zet je test live en monitor
Monitoren
1. StatistiekeninA/Btestsoftware
2. StatistiekeninGoogleAnalytics
3. Verschillenhiertussen

94. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”
2
3
4
5

95. 4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
1
“6 fasen”
2
3
4
5

96. VS
ORIGINEEL A VARIANT B
 Korte testduur
 Hoge impact
Fase 5: Analyseer je testresultaten

97. Fase 5: Analyseer je testresultaten

98. Fase 5: Analyseer je testresultaten

99. Fase 5: Analyseer je testresultaten
Bron: abtestguide.com/calc/

100. Fase 5: Analyseer je testresultaten

101. Fase 5: Analyseer je testresultaten
Maar wat nou als het anders verloopt?

102. Fase 5: Analyseer je testresultaten
Andere AB Test als voorbeeld

103. Fase 5: Analyseer je testresultaten
ORIGINEEL A

104. Fase 5: Analyseer je testresultaten
VARIANT B

105. Fase 5: Analyseer je testresultaten

106. Fase 5: Analyseer je testresultaten

107. Fase 5: Analyseer je testresultaten
Vergeet niet te segmenteren

108. Fase 5: Analyseer je testresultaten
Variant B
Origineel A

109. Fase 5: Analyseer je testresultaten
Bron: abtestguide.com/calc/

110. Fase 5: Analyseer je testresultaten
Segmentatie mogelijkheden voorAnalyse
 Nieuwevsterugkerendebezoekers
 Landen
 Verkeersbronnen
 Prijs-ofproductcategorieën
 Leeftijdscategorieën

111. Fase 5: Analyseer je testresultaten
Let op!
 Segmentenmoetengrootgenoegzijnomvalideconclusiestetrekken,
anderseennieuwetestopzetten.
 Controleerdezesteekproefgroottemeteentestduurcalculator
 Controleerofdeverbeteringsignificantis
 Controleerofdoorvoerengeennegatiefeffectheeftopanderesegmenten
 Testopnieuwuitvoerengerichtopsegment

112. Fase 5: Analyseer je testresultaten
Nog een voorbeeld…

113. Fase 5: Analyseer je testresultaten
ORIGINEEL A

114. Fase 5: Analyseer je testresultaten
VARIANT B

115. Fase 5: Analyseer je testresultaten

116. Fase 5: Analyseer je testresultaten
+ 11,7%
X %

117. Fase 5: Analyseer je testresultaten

118. Fase 6: Voer je winnaar door of voer niet door
2 mogelijkheden

119. Fase 6: Voer je winnaar door of voer niet door
Winnaar!
Je hypothese is bevestigd!De hypothese is bevestigdz
Dehypo
Geen winnaar!
Je hypothese is niet bevestigd
Verder analyseren (Learnings)
Winnaar doorvoeren
Verder analyseren (Learnings)
Learnings post-testen /
Volgende A/B test

120. 4. De succesvolle aanpak voor A/B-testen
4. De aanpak voor succesvolle A/B-testen
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen

121. Bedankt voor je aandacht

122. Vragen?