U wilt er zeker van zijn dat de aanpassingen in uw webshop uw omzet structureel verhoogt? Ga dan A/B-testen! Wie bepaalt idealiter de kleur van de bestelbutton in uw webshop waar bezoekers het liefst op klikken om zijn bestelling af te ronden? Juist, dat is uw bezoeker. Kleine aanpassingen kunnen al grote impact hebben op uw omzet. Een A/B-test opzetten waarbij u variant A test met variant B klinkt heel simpel en.. dat is het ook, mits u op de juiste manier te werk gaat. In deze presentatie ziet u hoe u direct aan de slag kunt met A/B-testen.

1. Dé aanpakvoorsuccesvolle A/B-testen!
Bezoek onze stand: A27
Wouter Wensing
Teamlead Conversion & Webanalytics
Webwinkel Vakdagen 2016| Jaarbeurs Utrecht| 20 januari 2016

2. Wouter Wensing
Teamlead Conversion&Webanalytics| ISM eCompany
w.wensing@ism.nl
linkedin.com/in/wouterwensing
ISM eCompany
2015 Teamlead Conversion& Webanalytics
2014 Webanalytics& conversie-optimalisatieconsultant
2012 Online marketingconsultant
Erasmus Universiteit Rotterdam
Arbeids-& OrganisatiePsychologie

3. jaar
e-Commerce experience
20+
100+
e-Marketing klantenSana & Magento Shops
500+
Design klanten
100+
Netherlands | USA | Indonesia| UK |
Belgium | Australia | Ukraine |
Sri Lanka | Austria
10offices
e-Commerce
specialisten
350+

5. Wij zijn trots om te werken voor
AGENDAAGENDA

6. Agenda
1. Wat is A/B-testen?
2. Waarom ga je A/B-testen?
3. Wanneer ga je A/B-testen?
4. De succesvolle aanpak voor A/B-testen

7. 1. Wat is A/B-testen?

8. 1. Opzet A/B test

9. 1. Opzet A/B test
ORIGINEEL A

10. 1. Opzet A/B test
VARIANT B

11. 1. Opzet A/B test

12. 2. Waarom ga je A/B-testen?

13. 2. Waarom ga je A/B-testen?
Periode Conversiepercentage Verbetering
april 1%
mei ?

14. 2. Waarom ga je A/B-testen?

15. 2. Waarom ga je A/B-testen?

16. 2. Waarom ga je A/B-testen?

17. 2. Waarom ga je A/B-testen?

18. Periode Conversiepercentage Verbetering
april 1%
mei 1.5% +50%
2. Waarom ga je A/B-testen?

19. 2. Waarom ga je A/B-testen?
Non-sale periode

20. 2. Waarom ga je A/B-testen?
Sale periode

21. 2. Waarom ga je A/B-testen?
Uitsluiten
 Sale
 Wijzigingeninonline/offlinecampagnes
 Wijzigingeninassortiment
 Overigewijzigingenaandewebshop
 Seizoensinvloeden
 Feestdagen

22. 2. Waarom ga je A/B-testen?
ORIGINEEL A
VARIANT B

23. 2. Waarom ga je A/B-testen?

24. 2. Waarom ga je A/B-testen?
Learnings

25. 2. Waarom ga je A/B-testen?

26. 2. Waarom ga je A/B-testen?
ORIGINEEL A
VARIANT B

27. 2. Waarom ga je A/B-testen?
Learningstoepassenbij
 GoogleAdwordsadvertenties
 Facebookadvertenties
 E-mailmarketingcampagnes
 USP’s vandewebshop
 Anderepaginatemplatesbinnendewebshop
 VolgendeA/Btests

28. 3. Wanneer ga je A/B-testen?

29. Technologie
Functionaliteit
Usability
Intuïtie
Emotie Obstakels wegnemen
Hypotheses altijd A/B testen
Obstakels wegnemen
Hypotheses altijd A/B testenUnieke waarde propositie
Obstakels wegnemen
Hypotheses A/B testenof webshop direct aanpassen
Obstakels wegnemen
Webshop direct aanpassen
4. De succesvolle aanpak voor A/B-testen

30. 4. De succesvolle aanpak
voor A/B-testen

31. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhale
n
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
4. De succesvolle aanpak voor A/B-testen

32. 4. De succesvolle aanpak voor A/B-testen

33. 4. De succesvolle aanpak voor A/B-testen

34. 4. De succesvolle aanpak voor A/B-testen
 63% van de bezoekers die de winkelmand bereiken, verlaat deze zonder verder te gaan met bestellen

35. 4. De succesvolle aanpak voor A/B-testen

36. 4. De succesvolle aanpak voor A/B-testen
 Voor diverse bezoekers bleek het niet duidelijk te zijn dat een account aanmaken niet verplicht is

37. 4. De succesvolle aanpak voor A/B-testen

38. 4. De succesvolle aanpak voor A/B-testen
 Diverse bezoekers lijken te twijfelen om door te gaan naar de checkout en verlaten de webshop

39. 4. De succesvolle aanpak voor A/B-testen

40. 4. De succesvolle aanpak voor A/B-testen
 Conversie expert reviewop basis van eigen expertise, gebruikersonderzoeken, best practices en...

41. 4. De succesvolle aanpak voor A/B-testen
 ...Eerder uitgevoerde A/B tests

42. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhale
n
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
4. De succesvolle aanpak voor A/B-testen

43. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhale
n
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
4. De succesvolle aanpak voor A/B-testen

44. 4. De succesvolle aanpak voor A/B-testen

45. Verbeterpunten Pagina Device Analyse
Vermijd het gebruik van scrollbars bij filters
Dit is niet gebruiksvriendelijk, zeker niet bij tablets.Toon liever de belangrijkste merken
(minimaal 6, maximaal 10) en een ‘Toon meer’ button/tekstlink. Categoriepagina alle devices Expert review okt-15
Doorvoeren loyalty e-mail campagnes campagne alle devices Data Analyse
Vermeld prominent verzendkosten, levertijden en overige voorwaarden voor bestellen vanuit België en Duitsland
Plaats een duidelijke link of button naar een pagina met verzendkosten, levertijden, etc. voor in ieder geval België en Duitsland. Deze landen zijn verantwoordelijk voor zo’n 5% van de omzet en voor deze bezoekers moet
direct duidelijk zijn wat voor hen de voorwaarden zijn. Alle pagina's alle devices Expert review okt-15
AB test: Buttontekst aanpassen ‘Verder naar bestellen’
Wat met ‘Naar uw gegevens’ wordt bedoeld is mogelijk niet voor iedere bezoeker duidelijk. Een AB test kan uitwijzen of een buttontekst zoals ‘Verder/Doorgaan met bestellen’ tot een hoger doorklikratio leidt. Winkelmand alle devices Expert review okt-15
Toon een shop reviews widget, incl. klantcijfer en aantal beoordelingen
Toon een shop reviews widget waarbij minimaal één klantreview zichtbaar is. Winkelmand alle devices Expert review okt-15
Toon duidelijk een telefoonnummer van de klantenservice
De klantenservice verhoogt het conversiepercentage.Zorg dat het telefoonnummer en e-mailadres van de klantenservice
prominenter in beeld is, tezamen met de tijden waarop deze bereikbaar is. Winkelmand alle devices Expert review okt-15
Toon levertijd in de winkelmand
Geef de levertijd weer van de producten in de winkelmand Winkelmand alle devices Expert review okt-15
Klantbeoordelingen prominenter tonen, inclusief cijfer, boven de vouw (lieft in de header) Alle pagina's alle devices Heatmap analyse
Weergeven van Thuiswinkel Waarvorg logo boven de vouw (heaer)
Een bekend keurmerk versterkt het vertrouwen in de webshop, met name bij nieuwe bezoekers. Toon dit keurmerk daarom prominent op iedere pagina. Alle pagina's alle devices Expert review okt-15
Klantreviews (reviews over de shop zelf) + klantcijfer tonen
Toon deze prominent en dynamisch op de detailpagina. Productpagina alle devices Expert review okt-15
Micro-copywriting* onder bestelbutton
Een vlot bestelproces is altijd prettig voor bezoekers . Geef daarom onder de button middels micro-copywriting aan dat bij Jeroen Beekman snel besteld kan worden zonder een account aan te maken. Tip: Een A/B test kan
uitwijzen of deze tekst de CTR doet verhogen. Winkelmand alle devices Expert review okt-15
Toon tijdens het bestelproces altijd het betreffende besteloverzicht.
Zorg dat de artikelen die de bezoeker wil bestellen in een kort overzicht, tijdens het bestelproces altijd in beeld zijn.
Zo weet de bezoeker ten aller tijde wat hij straks gaat bestellen. Door dit overzicht sticky te maken,
blijft deze altijd zichtbaar wanneer naar beneden gescrold wordt. Checkout alle devices Expert review okt-15
Klantreviews (reviews over de shop zelf) + klantcijfer tonen
Toon deze prominent en dynamisch op de overzichtpagina, liefst met minimaal één klantreview. Categoriepagina alle devices Expert review okt-15
Toon productreviews (sterren)
Versterk hiermee de sociale bevestiging bij bezoekers en help ze hun keuze te vereenvoudigen. Categoriepagina alle devices Expert review okt-15
Prominent tonen shopreviews + cijfer.
Jeroen Beekman maakt gebruik van shopreviews, echter wordt dit niet duidelijk boven de vouw gecommuniceerd. Toon de gemiddelde klantbeoordeling promintent (in de header) inclusief cijfer en aantal beoordelingen. Homepage alle devices Expert review okt-15
Toon voorraadstatus in de winkelmand
Geef de voorraadstatus weer van de producten in de winkelmand en speel in op schaarste: “Nog 1 op voorraad!” Winkelmand alle devices Expert review okt-15
“Kassakoopjes” eenvoudig toevoegen aan winkelmand
Geef de mogelijkheid om “Kassakoopjes” (zoals waterdicht spray) direct toe te voegen aan
de winkelmand voor eenvoudige up-sell. Winkelmand alle devices Expert review okt-15
Toon de totale korting (indien aanwezig)
En geef aan dat deze al verrekend is. Geef bezoekers een ‘feel good’ gevoel door te laten zien wat zij besparen op hun bestelling Winkelmand alle devices Expert review okt-15
Vandaag besteld, actuele datum+tijdstip in huis.
Geef dynamisch aan wanneer de bezoeker zijn bestelling in huis heeft wanneer hij nu besteld om het gevoel van mentaal bezit nemen te versterken. Productpagina alle devices Expert review okt-15
Toon de best verkochte merken als eerst in het filter
Zodra de bezoeker kiest voor ‘Toon meer’, toon dan de producten op alfabetische volgorde. Zelfde
geldt voor categorieën. Categoriepagina alle devices Expert review okt-15
4. De succesvolle aanpak voor A/B-testen

46. 4. De succesvolle aanpak voor A/B-testen
Hoeveelheid bezoekers Impact op conversie Moelijkheid
1 = heel weinig bezoekers
10 = heel veel bezoekers
1 = zeer lage impact
10 = zeer hoge impact
1 = zeer complex
10 = zeer eenvoudig
Prioriteit
Het gemiddelde van bovenstaande3
bepaalt de prioriteit én de A/B-test waar
je als eerste mee begint!
++

47. 4. De succesvolle aanpak voor A/B-testen
Inzichten Pagina(groep) Verwachte
impact
Hoeveelheid
bezoekers
Moeilijkheid Prioriteit
Verbeterpunt A Winkelwagen 9 7 9 8,3
Verbeterpunt B Checkout stap 2 6 5 10 7,0
Verbeterpunt C Productdetailpagina’s 8 6 10 8,0
Verbeterpunt D Homepage 4 5 6 5,0
Verbeterpunt E Categoriepagina’s 7 8 2 5,7

48. 4. De succesvolle aanpak voor A/B-testen
Inzichten Pagina(groep) Verwachte
impact
Hoeveelheid
bezoekers
Moeilijkheid Prioriteit
Verbeterpunt A Winkelwagen 9 7 9 8,3
Verbeterpunt C Productdetailpagina’s 8 6 10 8,0
Verbeterpunt B Checkout stap 2 6 5 10 7,0
Verbeterpunt E Categoriepagina’s 7 8 2 5,7
Verbeterpunt D Homepage 4 5 6 5,0

49. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhale
n
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
4. De succesvolle aanpak voor A/B-testen

50. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhale
n
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
4. De succesvolle aanpak voor A/B-testen

51. Technologie
Functionaliteit
Usability
Intuïtie
Emotie Obstakels wegnemen
Hypotheses altijd A/B testen
Obstakels wegnemen
Hypotheses altijd A/B testenUnieke waarde propositie
Obstakels wegnemen
Hypotheses A/B testenof webshop direct aanpassen
Obstakels wegnemen
Webshop direct aanpassen
4. De succesvolle aanpak voor A/B-testen

52. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhale
n
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
4. De succesvolle aanpak voor A/B-testen

53. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhale
n
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
4. De succesvolle aanpak voor A/B-testen

54. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhale
n
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
4. De succesvolle aanpak voor A/B-testen

55. 4. De succesvolle aanpak voor A/B-testen
A/B testen Pagina(groep) Verwachte
impact
Hoeveelheid
bezoekers
Moeilijkheid Prioriteit
Test A Winkelwagen 9 7 9 8,3
Test C Productdetailpagina’s 8 6 10 8,0
Test B Checkout stap 2 6 5 10 7,0
Test E Categoriepagina’s 7 8 2 5,7
Test D Homepage 4 5 6 5,0

56. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhale
n
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
4. De succesvolle aanpak voor A/B-testen

57. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
4. De succesvolle aanpak voor A/B-testen
1
“6 fasen”

58. Fase 1: Stel een goede hypothese op

59. Fase 1: Stel een goede hypothese op
 Een account aanmaken is niet verplicht. Dit wordt niet gecommuniceerd in de winkelmand
 ‘Bestelling afronden’ klinkt erg definitief. In deze stap wordt de bestelling nog niet afgerond

60. Fase 1: Stel een goede hypothese op
Het veranderenvan
het obstakel dat uit je analyse
naar voren komt in
iets waarvan je verwacht dat
het obstakel zal wegnemen
verhoogt/ verlaagt de test KPI bij de doelgroep

61. Fase 1: Stel een goede hypothese op
Het veranderenvan
Buttontekst:
Bestelling afronden in
Buttontekst:
Verder met bestellen
verhoogt/ verlaagt
het conversiepercentage
bij desktop verkeer

62. Fase 1: Stel een goede hypothese op
Het veranderenvan Geen tekst in
Bestel snel: Een account
aanmaken is niet verplicht
verhoogt/ verlaagt
het conversiepercentage
bij desktop verkeer

63. Fase 1: Stel een goede hypothese op
Door de buttontekst te wijzigen naar “Verder met bestellen” én door
een tekst toe te voegen onder de button “Bestel snel: Een account
aanmaken is NIET verplicht”, rondt een hoger percentage van de
desktop bezoekers hun bestelling af.

64. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
De succesvolle aanpak voor A/B-testen
1
2

65. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen

66. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen

67. Fase 2: Maak je testplan

68. Fase 2: Maak je testplan
TestaltijddeKPIdiedebedrijfsdoelenhetdichtstnadert
Voorwaarden
1. DeKPI moetmeetbaarzijn
2. Voldoendetraffic enconversies
3. Duurvanaankoopprocesaanzienlijkkorterdantestduur

69. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen

70. Fase 3: Maak je testplanHoeveelwijzigingentegelijkertijd testen?

71. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
HogeimpactConversie-effect
toewijzen
(aan specifiekeaanpasing)
“Meerdereelementen
tegelijk testen”
• “1 elementtegelijk testenover
meerdereA/B testen”
• “Multivariatetesten*”
“1 elementtegelijk testen”
*Alleenbij voldoende trafficen conversies

72. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
Conversie-effect
toewijzen
(aan specifiekeaanpasing)
“1 elementtegelijk testen”
Hogeimpact

73. Fase 2: Maak je testplan

74. Fase 2: Maak je testplan
VS
ORIGINEEL A VARIANT B
 Korte testduur
 Conversie-effect toewijzen

75. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
HogeimpactConversie-effect
toewijzen
(aan specifiekeaanpasing)
“Meerdereelementen
tegelijk testen”

76. Fase 2: Maak je testplan
VS
ORIGINEEL A VARIANT B
 Korte testduur
 Hoge impact

77. Fase 2: Maak je testplan
Kies er 2!
Korte testduur
HogeimpactConversie-effect
toewijzen
(aan specifiekeaanpasing)
• “1 elementtegelijk testenover
meerdereA/B testen”
• “Multivariatetesten*”
*Alleenbij voldoende trafficen conversies

78. Fase 2: Maak je testplan
VS
ORIGINEEL A VARIANT B
 Conversie-effect toewijzen
 Hoge impact
Test 1
VSTest 2
VSTest 3

79. Fase 2: Maak je testplan
VS
VS
VS
ORIGINEEL A
VARIANT B
VARIANT C
VARIANT D
 Conversie-effect toewijzen
 Hoge impact

80. Fase 2: Maak je testplan
Een testplan opzetten
1. VaststellenvandetestKPI’s
2. Eentestmethodekiezen
3. Testduurbepalen

81. Fase 2: Maak je testplan
?
?
?
Bron: vwo.com/ab-split-test-duration/

82. Fase 2: Maak je testplan
Periode: Afgelopen 30 dagen 277 pageviews per dag (totaal/30)

83. Fase 2: Maak je testplan
Periode: Afgelopen 30 dagen
Conversiepercentagewinkelmand pagina:
Aantal transacties / Aantal unieke paginaweergaven winkelmand
(***/8308)*100% =
**.**%

84. Fase 2: Maak je testplan
***
12
***

85. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
De succesvolle aanpak voor A/B-testen
1
2
3

86. Fase 3: Testvarianten maken
VS
ORIGINEEL A VARIANT B
 Korte testduur
 Hoge impact

87. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
De succesvolle aanpak voor A/B-testen
1
2
3
4

88. Fase 4: Zet je test live en monitor
WACHT! Test voordat je écht live gaat nog het volgende:

89. Fase 4: Zet je test live en monitor
Test of alle elementenop je testpagina correct functioneren
 Werken alle functionaliteitenop de testpagina nog?
 Zijn er geen elementenverschoven?
 Check verschillendebrowsers
 Check verschillendebrowserversies (Internet Explorer)
 Check de zoomfunctieper browser
 Check verschillenderesoluties
 Test op één device tegelijk, sluit andere devices uit.
 Sluit buitenlandsverkeer uit
 Sluit ander niet-relevantverkeer uit (per test afhankelijk)

90. Fase 4: Zet je test live en monitor
Koppelje testdataaan GoogleAnalytics

91. Fase 4: Zet je test live en monitor
Koppelje testdataaan GoogleAnalytics

92. Fase 4: Zet je test live en monitor
Monitoren
1. StatistiekeninA/Btestsoftware
2. StatistiekeninGoogleAnalytics
3. Verschillenhiertussen

93. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
De succesvolle aanpak voor A/B-testen
1
2
3
4
5

94. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
De succesvolle aanpak voor A/B-testen
1
2
3
4
5

95. VS
ORIGINEEL A VARIANT B
 Korte testduur
 Hoge impact
Fase 5: Analyseer je testresultaten

96. Fase 5: Analyseer je testresultaten

97. Fase 5: Analyseer je testresultaten

98. Fase 5: Analyseer je testresultaten
Bron: abtestguide.com/calc/

99. Fase 5: Analyseer je testresultaten

100. Fase 5: Analyseer je testresultaten
ORIGINEEL A

101. Fase 5: Analyseer je testresultaten
VARIANT B

102. Fase 5: Analyseer je testresultaten

103. Fase 5: Analyseer je testresultaten

104. Fase 5: Analyseer je testresultaten
Vergeet niet te segmenteren

105. Fase 5: Analyseer je testresultaten
Variant B
Origineel A

106. Fase 5: Analyseer je testresultaten
Bron: abtestguide.com/calc/

107. Fase 5: Analyseer je testresultaten
Segmentatie mogelijkheden voor Analyse
 Nieuwevsterugkerendebezoekers
 Landen
 Verkeersbronnen
 Prijs-ofproductcategorieën
 Leeftijdscategorieën

108. Fase 5: Analyseer je testresultaten
Let op!
 Segmentenmoetengrootgenoegzijnomvalideconclusiestetrekken,
anderseennieuwetestopzetten.
 Controleer dezesteekproefgrootte meteentestduurcalculator
 Controleer ofdeverbetering significantis
 Controleer ofdoorvoeren geennegatief effect heeft opandere segmenten

109. Fase 5: Analyseer je testresultaten
ORIGINEEL A

110. Fase 5: Analyseer je testresultaten
VARIANT B

111. Fase 5: Analyseer je testresultaten

112. Fase 5: Analyseer je testresultaten
+ 3%
X %

113. Fase 5: Analyseer je testresultaten

114. Fase 6: Voer je winnaar door of voer niet door
Winnaar!
Je hypothese is bevestigd!D e hypot hese isbevesti gdz
D e hypo
Geen winnaar!
Je hypothese is niet bevestigd
Verder analyseren (Learnings)
Winnaar doorvoeren
Verder analyseren (Learnings)
Learnings post-testen/
Volgende A/B test

115. 4. De succesvolleaanpak voor A/B-testen
Bronnen voor
conversieverbeteringen
Inzichten
Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhale
n
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Interviewsmetklanten
o Sessie recordinganalyses
o Onsite klantfeedback
o Usabilityonderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Etc.
4. De succesvolle aanpak voor A/B-testen
1
2
3
4
5

116. Bedankt voor je aandacht

117. ADVIES // PRESENTATIE // VRAGEN
Leverje VISITEKAARTJEin en
ontvang alseersteGRATISdepresentatieinje mailbox
OF LOOPLANGSDESTANDNR A27

118. Vragen?