De aanpak voor succesvolle A/B-testen

1. Dé aanpak voor succesvolle A/B-testen! Danny Loeffen Webanalytics & Conversie optimalisatie consultant CRO Masterclass | 09 maart 2017

2. Danny Loeffen Webanalytics & Conversie optimalisatie consultant| ISM eCompany d.loeffen@ism.nl linkedin.com/in/dannyloeffen ISM eCompany 2015 - 2017 Webanalytics & Conversie-optimalisatie consultant Shoeby 2014 - 2015 Conversie specialist & Front-end Developer Symfony 2011 - 2014 Conversie specialist & Front-end Developer Avans Hogeschool ‘s-Hertogenbosch Communicatie & Multimedia Design

3. Agenda 1. Wat is A/B-testen? 2. Waarom ga je A/B-testen? 3. Wanneer ga je A/B-testen? 4. De succesvolle aanpak voor A/B-testen

4. 1. Wat is A/B-testen?

5. 1. Wat is A/B testen?

6. 1. Wat is A/B testen? ORIGINEEL A

7. 1. Wat is A/B testen? VARIANT B

8. 1. Wat is A/B testen?

9. 2. Waarom ga je A/B-testen?

10. 2. Waarom ga je A/B-testen? Periode Conversiepercentage Verbetering april 1% mei ?

15. Periode Conversiepercentage Verbetering april 1% mei 1.5% +50% 2. Waarom ga je A/B-testen?

16. 2. Waarom ga je A/B-testen? Reguliere periode

17. 2. Waarom ga je A/B-testen? Sale periode

18. 2. Waarom ga je A/B-testen? Uitsluiten  Sale  Wijzigingeninonline/offlinecampagnes  Wijzigingeninassortiment  Overigewijzigingenaandewebshop  Seizoensinvloeden  Feestdagen

19. 2. Waarom ga je A/B-testen? ORIGINEEL A VARIANT B

21. 2. Waarom ga je A/B-testen? Learnings

23. 2. Waarom ga je A/B-testen? ORIGINEEL A VARIANT B

24. 2. Waarom ga je A/B-testen? Learningstoepassenbij  GoogleAdwordsadvertenties  Facebookadvertenties  E-mailmarketingcampagnes  USP’svandewebshop  Anderepaginatemplatesbinnendewebshop  VolgendeA/Btests

25. 3. Wanneer ga je A/B-testen?

26. Technologie Functionaliteit Usability Intuïtie Emotie Obstakels wegnemen Hypotheses altijd A/B testen Obstakels wegnemen Hypotheses altijd A/B testenUnieke waarde propositie Obstakels wegnemen Hypotheses A/B testen of webshop direct aanpassen Obstakels wegnemen Webshop direct aanpassen 3. Wanneer ga je A/B-testen?

27. 4. De aanpak voor succesvolle A/B-testen

28. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usability onderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnen voor conversieverbeteringen 4. De succesvolle aanpak voor A/B-testen 4. De aanpak voor succesvolle A/B-testen

31. 4. De aanpak voor succesvolle A/B-testen  63% van de bezoekers die de winkelmand bereiken, verlaat deze zonder verder te gaan met bestellen

33. 4. De aanpak voor succesvolle A/B-testen  Voor diverse bezoekers bleek het niet duidelijk te zijn dat een account aanmaken niet verplicht is

35. 4. De aanpak voor succesvolle A/B-testen  Diverse bezoekers lijken te twijfelen om door te gaan naar de checkout en verlaten de webshop

37. 4. De aanpak voor succesvolle A/B-testen (gepercipieerd) plezier (gepercipieerde) pijn Product Gemak Ervaren voordeel Service Kwaliteit Ontzorging Geld (overstap) tijd Inspanning Risico Onzekerheid

39. 4. De aanpak voor succesvolle A/B-testen  ...Eerder uitgevoerde A/B tests

40. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usability onderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnen voor conversieverbeteringen

41. 4. De succesvolle aanpak voor A/B-testen 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usability onderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnen voor conversieverbeteringen

43. Verbeterpunten Pagina Device Analyse Vermijd het gebruik van scrollbars bij filters Dit is niet gebruiksvriendelijk, zeker niet bij tablets.Toon liever de belangrijkste merken (minimaal6, maximaal 10) en een ‘Toon meer’ button/tekstlink. Categoriepagina alle devices Expert review okt-15 Doorvoeren loyalty e-mail campagnes campagne alle devices Data Analyse Vermeld prominent verzendkosten, levertijden en overige voorwaarden voor bestellen vanuit België en Duitsland Plaats een duidelijke link of button naar een pagina met verzendkosten, levertijden, etc. voor in ieder geval België en Duitsland. Deze landen zijn verantwoordelijk voor zo’n 5% van de omzet en voor deze bezoekers moet direct duidelijk zijn wat voor hen de voorwaarden zijn. Alle pagina's alle devices Expert review okt-15 AB test: Buttontekst aanpassen ‘Verder naar bestellen’ Wat met ‘Naar uw gegevens’ wordt bedoeld is mogelijk niet voor iedere bezoeker duidelijk. Een AB test kan uitwijzen of een buttontekst zoals ‘Verder/Doorgaan met bestellen’ tot een hoger doorklikratioleidt. Winkelmand alle devices Expert review okt-15 Toon een shop reviews widget, incl. klantcijfer en aantal beoordelingen Toon een shop reviews widget waarbij minimaaléén klantreviewzichtbaar is. Winkelmand alle devices Expert review okt-15 Toon duidelijk een telefoonnummer van de klantenservice De klantenserviceverhoogt het conversiepercentage.Zorg dat het telefoonnummer en e-mailadres van de klantenservice prominenterin beeld is, tezamen met de tijden waarop deze bereikbaar is. Winkelmand alle devices Expert review okt-15 Toon levertijd in de winkelmand Geef de levertijd weer van de producten in de winkelmand Winkelmand alle devices Expert review okt-15 Klantbeoordelingen prominenter tonen, inclusief cijfer, boven de vouw (lieft in de header) Alle pagina's alle devices Heatmap analyse Weergeven van Thuiswinkel Waarvorg logo boven de vouw (heaer) Een bekend keurmerk versterkt het vertrouwen in de webshop, met name bij nieuwe bezoekers. Toon dit keurmerk daarom prominent op iedere pagina. Alle pagina's alle devices Expert review okt-15 Klantreviews (reviews over de shop zelf) + klantcijfer tonen Toon deze prominent en dynamisch op de detailpagina. Productpagina alle devices Expert review okt-15 Micro-copywriting* onder bestelbutton Een vlot bestelproces is altijd prettig voor bezoekers . Geef daarom onder de button middels micro-copywriting aan dat bij Jeroen Beekman snel besteld kan worden zonder een account aan te maken. Tip: Een A/B test kan uitwijzen of deze tekst de CTR doet verhogen. Winkelmand alle devices Expert review okt-15 Toon tijdens het bestelproces altijd het betreffendebesteloverzicht. Zorg dat de artikelendie de bezoeker wil bestellen in een kort overzicht, tijdens het bestelproces altijd in beeld zijn. Zo weet de bezoeker ten aller tijde wat hij straks gaat bestellen. Door dit overzicht sticky te maken, blijft deze altijd zichtbaarwanneer naar beneden gescrold wordt. Checkout alle devices Expert review okt-15 Klantreviews (reviews over de shop zelf) + klantcijfer tonen Toon deze prominent en dynamisch op de overzichtpagina,liefst met minimaal één klantreview. Categoriepagina alle devices Expert review okt-15 Toon productreviews (sterren) Versterk hiermee de sociale bevestiging bij bezoekers en help ze hun keuze te vereenvoudigen. Categoriepagina alle devices Expert review okt-15 Prominent tonen shopreviews + cijfer. Jeroen Beekman maakt gebruik van shopreviews, echter wordt dit niet duidelijk boven de vouw gecommuniceerd. Toon de gemiddeldeklantbeoordelingpromintent(in de header) inclusief cijfer en aantal beoordelingen. Homepage alle devices Expert review okt-15 Toon voorraadstatus in de winkelmand Geef de voorraadstatus weer van de producten in de winkelmand en speel in op schaarste: “Nog 1 op voorraad!” Winkelmand alle devices Expert review okt-15 “Kassakoopjes” eenvoudig toevoegen aan winkelmand Geef de mogelijkheid om “Kassakoopjes” (zoals waterdicht spray) direct toe te voegen aan de winkelmand voor eenvoudige up-sell. Winkelmand alle devices Expert review okt-15 Toon de totale korting (indien aanwezig) En geef aan dat deze al verrekend is. Geef bezoekers een ‘feel good’ gevoel door te laten zien wat zij besparen op hun bestelling Winkelmand alle devices Expert review okt-15 Vandaag besteld, actuele datum+tijdstip in huis. Geef dynamisch aan wanneer de bezoeker zijn bestelling in huis heeft wanneer hij nu besteld om het gevoel van mentaal bezit nemen te versterken. Productpagina alle devices Expert review okt-15 Toon de best verkochte merken als eerst in het filter Zodra de bezoeker kiest voor ‘Toon meer’, toon dan de producten op alfabetische volgorde. Zelfde geldt voor categorieën. Categoriepagina alle devices Expert review okt-15 4. De aanpak voor succesvolle A/B-testen

44. 4. De aanpak voor succesvolle A/B-testen Waar moeten we beginnen?

45. 4. De aanpak voor succesvolle A/B-testen P I E Potential Importance Ease Prioriteit+ + =

48. PrioVerbeterpunten Potential Importance Ease

55. Technologie Functionaliteit Usability Intuïtie Emotie Obstakels wegnemen Hypotheses altijd A/B testen Obstakels wegnemen Hypotheses altijd A/B testenUnieke waarde propositie Obstakels wegnemen Hypotheses A/B testen of webshop direct aanpassen Obstakels wegnemen Webshop direct aanpassen 4. De aanpak voor succesvolle A/B-testen

61. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usability onderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnen voor conversieverbeteringen 1 “6 fasen”

62. Fase 1: Stel een goede hypothese op

63. Fase 1: Stel een goede hypothese op

64. Fase 1: Stel een goede hypothese op  Een account aanmaken is niet verplicht.  ‘Bestelling afronden’ klinkt (onterecht) erg definitief en voelt als ‘pijn’

65. Fase 1: Stel een goede hypothese op 1. Testlocatie 2. Apparaat 3. Aanpassing 4. Impact op gedrag/gevoel 5. Testpopulatie 6. Test-KPI De button-tekst in de winkelwagen Desktop Toevoegen microcopy (“Bestel snel: een account aanmaken is niet verplicht”) en aanpassen tekst in “Verder met bestellen” Gepercipieerde pijn verlagen / onzekerheid reduceren Bezoekers in de winkelwagen Conversie percentage (transacties/gebruikers)

66. Fase 1: Stel een goede hypothese op Door de buttontekst in de winkelwagen (testlocatie) op een desktop (apparaat) te wijzigen naar ‘Verder met bestellen’ én door een tekst toe te voegen onder de button ‘Bestel snel: Een account aanmaken is NIET verplicht’ (aanpassing), verlaagt de ‘gepercipieerde pijn van het betalen’ (impact op gedrag/gevoel), waardoor meer bezoekers die de winkelwagen bereiken (testpopulatie) een transactie plaatsen (test-KPI) De hypothese

67. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usability onderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnen voor conversieverbeteringen 1 “6 fasen” 2

68. Fase 2: Maak je testplan Een testplan opzetten 1. VaststellenvandetestKPI’s 2. Eentestmethodekiezen 3. Testduurbepalen 4. Minimalekansopverbeteringbepalen

70. Fase 2: Maak je testplan

73. Fase 2: Maak je testplan Kies er 2! Korte testduur Hoge impactConversie-effect toewijzen (aan specifieke aanpasing)

74. Fase 2: Maak je testplan Kies er 2! Korte testduur Conversie-effect toewijzen (aan specifieke aanpasing) “1 element tegelijk testen” Hoge impact 1

76. Fase 2: Maak je testplan VS ORIGINEEL A VARIANT B  Korte testduur  Conversie-effect toewijzen

77. Fase 2: Maak je testplan Kies er 2! Korte testduur Hoge impactConversie-effect toewijzen (aan specifieke aanpasing) • “1 element tegelijk testen over meerdere A/B testen” • “Multivariate testen*” *Alleen bij voldoende traffic en conversies 2

78. Fase 2: Maak je testplan VS ORIGINEEL A VARIANT B  Conversie-effect toewijzen  Hoge impact Test 1 VSTest 2 VSTest 3

79. Fase 2: Maak je testplan VS VS VS ORIGINEEL A VARIANT B VARIANT C VARIANT D  Conversie-effect toewijzen  Hoge impact

80. Fase 2: Maak je testplan Kies er 2! Korte testduur Hoge impactConversie-effect toewijzen (aan specifieke aanpasing) “Meerdere elementen tegelijk testen” 3

81. Fase 2: Maak je testplan VS ORIGINEEL A VARIANT B  Korte testduur  Hoge impact

84. Fase 2: Maak je testplan ? ? ? Bron: vwo.com/ab-split-test-duration/

85. Fase 2: Maak je testplan Periode: Afgelopen 30 dagen 277 pageviews per dag (totaal/30)

86. Fase 2: Maak je testplan ? ?

87. Fase 2: Maak je testplan Periode: Afgelopen 30 dagen 2344 transacties Conversiepercentage winkelmand pagina: Aantal transacties / Aantal unieke paginaweergaven winkelmand (2344/8308)*100% = 28.21%

91. Fase 2: Maak je testplan Drie keuzes 1. Allesboven95%kansaccepteren 2. Allesboven90%kansaccepteren 3. Allesboven80%kansaccepteren(Bayesian)

92. Fase 2: Maak je testplan Wel of niet doorvoeren? AB-test Conversie variant 1 Kans om control te verslaan Significantie 90% Bayesian >80% 1 5% 98% Ja Ja 2 3% 86% Ja 3 4% 89% Ja 4 3% 84% Ja 5 2% 74% 6 5% 97% Ja Ja Doorgevoerde varianten 2 5 Verwachte omzetstijging € 350,000 € 600,000 Verwacht risico € 17,500 € 120,000 Risico % 5% 20% Totaal verwachte omzet € 333,375 € 504,000

93. Fase 2: Maak je testplan Een testplan opzetten  VaststellenvandetestKPI’s  Eentestmethodekiezen  Testduurbepalen  Minimalekansopverbeteringbepalen

94. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usability onderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnen voor conversieverbeteringen 1 “6 fasen” 2 3

95. Fase 3: Testvarianten maken VS ORIGINEEL A VARIANT B  Korte testduur  Hoge impact

96. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usability onderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnen voor conversieverbeteringen 1 “6 fasen” 2 3 4

97. Fase 4: Zet je test live en monitor WACHT! Test voordat je écht live gaat nog het volgende:

98. Fase 4: Zet je test live en monitor Test of alle elementen op je testpagina correct functioneren  Werken alle functionaliteiten op de testpagina nog?  Zijn er geen elementen verschoven?  Check verschillende browsers  Check verschillende browserversies (Internet Explorer)  Check de zoomfunctie per browser  Check verschillende resoluties  Test op één device tegelijk, sluit andere devices uit.  Sluit ander niet-relevant verkeer uit (per test afhankelijk)

99. Fase 4: Zet je test live en monitor Koppel je testdata aan Google Analytics

100. Fase 4: Zet je test live en monitor Koppel je testdata aan Google Analytics

101. Fase 4: Zet je test live en monitor Monitoren 1. StatistiekeninA/Btestsoftware 2. StatistiekeninGoogleAnalytics 3. Verschillenhiertussen

102. Fase 5: Analyseer je testresultaten 20 dagen later…

103. Fase 5: Analyseer je testresultaten Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usability onderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnen voor conversieverbeteringen 1 “6 fasen” 2 3 4 5

105. VS ORIGINEEL A VARIANT B  Korte testduur  Hoge impact Fase 5: Analyseer je testresultaten

106. Fase 5: Analyseer je testresultaten

108. Fase 5: Analyseer je testresultaten Bron: abtestguide.com/calc/

112. Fase 5: Analyseer je testresultaten Maar wat nou als het anders verloopt? Andere AB Test als voorbeeld

113. Fase 5: Analyseer je testresultaten ORIGINEEL A

114. Fase 5: Analyseer je testresultaten VARIANT B

117. Fase 5: Analyseer je testresultaten Vergeet niet te segmenteren

118. Fase 5: Analyseer je testresultaten Variant B Origineel A

119. Fase 5: Analyseer je testresultaten Bron: abtestguide.com/calc/

120. Fase 5: Analyseer je testresultaten Segmentatie mogelijkheden voorAnalyse  Nieuwevsterugkerendebezoekers  Landen  Verkeersbronnen  Prijs-ofproductcategorieën  Leeftijdscategorieën

121. Fase 5: Analyseer je testresultaten Let op!  Segmentenmoetengrootgenoegzijnomvalideconclusiestetrekken, anderseennieuwetestopzetten.  Controleerdezesteekproefgroottemeteentestduurcalculator  Controleerofdeverbeteringsignificantis  Controleerofdoorvoerengeennegatiefeffectheeftopanderesegmenten  Testopnieuwuitvoerengerichtopsegment

122. Fase 6: Voer je winnaar door of voer niet door 2 mogelijkheden En veel combinaties…

123. BAYESIAN Winnaar! Je hypothese is bevestigd!De hypothese is bevestigdz Dehypo Geen winnaar! Je hypothese is niet bevestigd < 70% Doorvoeren Niet doorvoeren. Huilen en weer doorgaan. Hypothese nog niet bevestigd, wel indicatie Winnaar / geen winnaar Doorvoeren ja/neeResultaat Primair testdoel Kans om controle te verslaan 70% - 80% 80% - 90% < 90% + 90% + 90% Hypothese nog niet bevestigd, wel sterke indicatie Resultaat Secundair testdoel Kans om controle te verslaan Fase 6: Voer je winnaar door of voer niet door

124. 4. De succesvolle aanpak voor A/B-testen 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usability onderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnen voor conversieverbeteringen

125. 125 Tot slot… Nu weet je …  watA/BTestenis  waaromjemoetA/BTesten  wanneerjemoetA/BTesten  ….enhoejeditsuccesvolkuntaanpakken!

126. Bedankt voor je aandacht

127. Vragen?

De aanpak voor succesvolle A/B-testen

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (16)

Similar to De aanpak voor succesvolle A/B-testen

Similar to De aanpak voor succesvolle A/B-testen (20)

More from valantic NL

More from valantic NL (20)

De aanpak voor succesvolle A/B-testen

Editor's Notes