This document discusses A/B testing in online marketing. It provides an overview of the A/B testing process for various online marketing channels including conversion optimization, online advertising, email marketing, and social media advertising. For each channel, it discusses how to generate insights, prioritize tests, set up test plans, run tests, analyze results, and implement changes. It provides examples of elements that can be tested, such as website designs, ad text, email content and frequency. The goal of A/B testing is to improve key performance indicators by identifying the most effective variants.

1. A/B-testen binnen Online Marketing

2. Elske Hesen
Conversie-optimalisatie
Consultant
Monique Zwanenburg
E-mailmarketing
Consultant
Feiko Bierman
Online Advertising
Consultant
Alain van den Donk
Social Media Advertising
Consultant
Sprekers
Nick Jelsma
SEO Strateeg

3. Agenda
1. Conversie-optimalisatie
2. Online Advertising
3. E-mailmarketing
4. Social Media Advertising
5. Zoekmachine-optimalisatie (SEO)

4. Full colour afbeelding kun je hier ook achter de tekstballon plaatsen
Conversie-optimalisatie

5. Conversie-optimalisatie
3
15
Winkelmand
50
Bekijkt productaanbod
100
Bezoekt webshop
1000
Marktpotentieel • Kent de webshop niet
• Kan de webshop niet vinden
90%

6. Conversie-optimalisatie
3
15
Winkelmand
50
Bekijkt productaanbod
100
Bezoekt webshop
1000
Marktpotentieel • Kent de webshop niet
• Kan de webshop niet vinden
90%
• Vindt de webshop te druk
• Vindt de webshop te traag
50%

7. Conversie-optimalisatie
3
15
Winkelmand
50
Bekijkt productaanbod
100
Bezoekt webshop
1000
Marktpotentieel • Kent de webshop niet
• Kan de webshop niet vinden
90%
• Vindt de webshop te druk
• Vindt de webshop te traag
50%
• Zoekt meer informatie
• Heeft onzekerheid over voorraad
• Wil vergelijken
70%

8. Conversie-optimalisatie
3
15
Winkelmand
50
Bekijkt productaanbod
100
Bezoekt webshop
1000
Marktpotentieel • Kent de webshop niet
• Kan de webshop niet vinden
90%
• Vindt de webshop te druk
• Vindt de webshop te traag
50%
• Zoekt meer informatie
• Heeft onzekerheid over voorraad
• Wil vergelijken
70%
• Loopt vast bij betaling
• Kan geen verzendkosten vinden
• Vertrouwt de webshop niet
80%

9. Conversie-optimalisatie
3
15
Winkelmand
50
Bekijkt productaanbod
100
Bezoekt webshop
1000
Marktpotentieel
Verwijder obstakels!
• Kent de webshop niet
• Kan de webshop niet vinden
90%
• Vindt de webshop te druk
• Vindt de webshop te traag
50%
• Zoekt meer informatie
• Heeft onzekerheid over voorraad
• Wil vergelijken
70%
• Loopt vast bij betaling
• Kan geen verzendkosten vinden
• Vertrouwt de webshop niet
80%

10. Inzichten Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee Ja
Verwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
A
B C
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
CRO Consultant volgt en implementeert datagedreven CRO-proces

11. Inzichten Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee Ja
Verwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
A
B C
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
CRO Consultant volgt en implementeert datagedreven CRO-proces

12. CRO-proces – Inzichten – voorbeeld Google Analytics funnel analyse

13. CRO-proces – Inzichten – voorbeeld klantfeedback

14. CRO-proces – Inzichten – voorbeeld scrollmaps & heatmaps

15. CRO-proces – Inzichten – voorbeeld recordings

16. Inzichten Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee Ja
Verwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
A
B C
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
CRO consultant volgt en implementeert datagedreven CRO proces

17. Inzichten Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee Ja
Verwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
A
B C
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
CRO consultant volgt en implementeert datagedreven CRO proces

18. Altijd AB-testen
Conversie piramide
Altijd AB testen

19. Altijd AB-testen
Direct doorvoeren
Conversie piramide
Altijd AB testen

20. Altijd AB-testen
Direct doorvoeren
Conversie piramide
AB-testen of direct
doorvoeren
Altijd AB testen

21. Altijd AB-testen
Direct doorvoeren
AB-testen of direct
doorvoeren
Conversie piramide
AB-testen of direct
doorvoeren
Altijd AB testen

22. Altijd AB-testen
Direct doorvoeren
AB-testen of direct
doorvoeren
Altijd AB testen
Conversie piramide
AB-testen of direct
doorvoeren
Altijd AB testen

23. Inzichten Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee Ja
Verwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
A
B C
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
CRO consultant volgt en implementeert datagedreven CRO proces

24. Inzichten Prioriteren
Test backlog
Hoog
Laag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee Ja
Verwerpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
A
B C
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
CRO consultant volgt en implementeert datagedreven CRO proces

25. CRO process - A/B testen
Doelgroep Varianten KPI’s

26. CRO process - A/B testen
Doelgroep Varianten KPI’s

27. CRO process - A/B testen
Users met een transactie
Doelgroep Varianten KPI’s

28. CRO process - A/B testen
Users met een transactie
Users in de checkout
Doelgroep Varianten KPI’s

29. CRO process - A/B testen
Users met een transactie
Users in de checkout
Users in de winkelwagen
Doelgroep Varianten KPI’s

30. Data
A/B
testing
Hypotheses
CRO process – Uitvoering A/B-testen
CRO Consultant

31. Data
A/B
testing
Hypotheses
Design
Development
CRO process – Uitvoering A/B-testen
CRO Consultant

32. Data
A/B
testing
Hypotheses
Design
Development
Klant
CRO process – Uitvoering A/B-testen
CRO Consultant

33. Data
A/B
testing
Hypotheses
Design
Development
CRO Consultant
CRO process – Uitvoering A/B-testen
Front-End Developer
& Designer

34. Full colour afbeelding kun je hier ook achter de tekstballon plaatsen
Online Advertising

35. Waarom A/B-testen?
Marktaandeel
vergroten
Winstgevendheid
vergroten
Aantal leads
vergroten
Fysieke winkels
ondersteunen […]
Omzetstrategie
KPI’s: Impression
share, klikken,
conversies, omzet
Rendementsstrategie
KPI’s: ROAS, POAS,
CPA
Leadgeneratiestrategie
KPI’s: Conversies, CPA
Lokale strategie
KPI’s: Store visits, CPSV

36. Hoe test je binnen Google Ads?
Google Ads account
Campagne #1 Campagne #2
Adgroep #1 Adgroep #2 Adgroep #3
Zoekwoord(en) Zoekwoord(en) Zoekwoord(en)
Advertentie(s) Advertentie(s) Advertentie(s)

37. Hoe test je binnen Google Ads?
Google Ads account
Campagne #1 Campagne #2
Adgroep #1 Adgroep #2 Adgroep #3
Zoekwoord(en) Zoekwoord(en) Zoekwoord(en)
Advertentie(s) Advertentie(s) Advertentie(s)
Campagne #2
Adgroep #3
Zoekwoord(en)
Advertentie(s)
Experiment

38. A/B-test proces
Analyseren
Opzetten
Testen
Doorvoere
n

39. Wat A/B-testen binnen Online Advertising?

40. Wat A/B-testen binnen Online Advertising?
Biedstrategieën Advertentie-elementen

41. Wat is een biedstrategie?
Handmatig
bieden
Biedstrategie
Campagne
Adgroep
Zoekwoord(en) Biedingen

42. Waarom biedstrategieën testen?
Biedstrategie > Handmatig bieden?

43. Waarom biedstrategieën testen?
Biedstrategie > Handmatig bieden?
50% van de tijd

44. A/B-testen: typen biedstrategieën
Conversies
maximaliseren
Doel CPA Doel ROI

45. A/B-testen: typen biedstrategieën
Conversies
maximaliseren
Doel CPA Doel ROI
29% 69% 69%
Succesratio:

46. ROI biedstrategie testen

47. ROI biedstrategie testen

48. ROI biedstrategie testen

49. ROI biedstrategie testen

50. ROI biedstrategie testen

51. Wat A/B-testen binnen Online Advertising?
Biedstrategieën Advertentie-elementen

52. A/B-testen: Advertentie-elementen
Advertentie-elementen
• Max. 3 koppen
• Max. 2 beschrijvingen
• Max 2 URL-paden
• Landingspagina

53. A/B-testen: Advertentie-elementen
Ad-teksten

54. E-mail

55. Versie A
Versie B
Sanitairwinkel.nl
Sanitairwinkel.nl
Sanitairwinkel.nl
Sanitairwinkel.nl
Op = op! Regendoucheset
46%

56. Versie A
Versie B
A/B-testen op: onderwerp

57. Versie A
Versie B
A/B-testen op: frequentie

58. A/B-testen op: content in de e-mail
Versie A
Versie B

59. A/B-testen binnen het proces
4. Verbeteringen doorvoeren
en/of A/B-testen
2. Pijnpunten
achterhalen
3. Prioriteren
1. KPI’s monitoren
Nieuwsbrieven
&
Automatische
campagnes

60. E-mail funnel
1. Ontvangers
2. Aflevering
3. Inbox
4. Open
5. Kliks
6. Conversie
Verbeteringen direct doorvoeren
A/B testen

61. De 6 fases van AB testen in e-mail
6
5
4
3
2
1
Inzichten opdoen
Prioriteren
Testplan maken
Testen
Analyseren
Doorvoeren

62. Inzichten opdoen
Kwantitatief
Intern
• Google Analytics
• E-mail software
6
5
4
3
2
1
Extern
• Benchmarks (DDMA)
Kwalitatitief
• Webshop A/B-testen
• Usability onderzoek
• Feedback van ontvangers
• Klantenservice vragen
• Interviews met klanten
• Input winkelpersoneel
• Blogs
• Whitepapers
• Events
• Whitepapers
• Webinars
• Expert analyse

63. Inzichten opdoen (Google Analytics)
A/B-test (2x) Hertest (versie A naar B
en andersom)
Di ipv woe Test 1: niet significant,
wel indicatie
Test 2: Significant 100%
Uplift opens 16%
Significant 100%
Uplift opens 11%
Do ipv vrij Significant 100%
Uplift opens 9%
Niet significant 76%
Oud mailritme: zondag – woensdag – vrijdag
Nieuw mailritme: zondag – dinsdag – donderdag

64. Inzichten opdoen (usability onderzoek)

65. Inzichten opdoen (usability onderzoek)
Versie A
Complete your outfit with these shoes... 👟
Versie B
Maak je outfit compleet met deze schoenen... 👟

66. A/B-testen in e-mail!
Snel data verzameld voor analyse
(1 tot enkele dagen na de A/B-test)
Betrouwbare data
dankzij hertesten
Veel impact op e-mail KPI’s
Wil je weten hoeveel omzet jouw e-mailmarketing kan opleveren?
Zie: https://www.ism.nl/kennisbank/whitepapers/em/hoeveel-omzet-kan-emailmarketing-opleveren-voor-mijn-webshop
Eenvoudig externe
invloeden uitsluiten

67. Social

68. AB Testen op verschillende niveaus
1. Campagneniveau
2. Adsetniveau
3. Adniveau

69. Facebook Experimenten

70. APPARAAT & PLAATSING DOELGROEP CREATIE & COPY
OPTIMALISATIEDOEL
campagneniveau adsetniveau adsetniveau adniveau

71. Een AB tests starten
1. Kies de campagne groepen, campagnes of
doelgroepen om je AB test mee op te zetten
2. Kies hoe lang de AB test moet lopen
3. Geef je test een naam

72. Wat is de key metric?
Kies een metric die het succes van de campagne
bepaalt
Awareness
CPM
Cost per 1,000 people reached
Consideration
Cost per landing
Click through rate
Conversion
ROAS
Conversieratio
De variant die het beste presteert op de gekozen
metric of KPI wint

73. Stel het budget en de looptijd af voor een Test Power van > 80%

74. A/B-testen bij ISM

75. Doelgroepen

76. Klanten komen in veel vormen en maten

77. Recency, Frequency, Monetary Value

78. Wat zijn lookalikes?

79. Resultaten
Doelgroep New visitors CPLV Pagina’s bekeken Time on Site Bounce
Loyal Lookalikes 301 €0,15 2,86 00:52 57%
Facebook Lookalikes 224 €0,19 3,02 1:04 57%
Doelgroep Landings Purchases Conversion rate Omzet* ROAS*
Loyal Lookalikes 1.630 81 4,97% € 12.226,00 48,90
Facebook Lookalikes 1.316 66 5,02% € 10.091,20 40,36

80. Facebook Lookalikes vs Loyal Lookalikes
Loyal lookalikes
Facebook lookalikes

81. Creaties
(Branding)

82. Long videos vs short videos
Short 20s
ROAS +81%
Long 30s
VS

83. Creaties
(Conversies)

84. Bannerwise
Bannerwise Facebook

85. Bannerwise
➢ Bannerwise won Conversieratio: 10% vs 3%
➢ Bannerwise won ROAS: 115.87 vs 57.11
➢ Bannerwise verloor CTR: 4,79% vs 3,02%
➢ Bannerwise verloor CPC: €0,10 vs € 0,27

86. Wat ga jij testen?

87. SEO

88. A/B-testing variaties binnen SEO
Samenwerking tussen SEO & SEA

89. A/B-testing variaties binnen SEO
Samenwerking tussen SEO & SEA
• Strategisch: Rendabiliteit van nieuwe pagina's testen met SEA -> SEO prioriteit bepalen

90. A/B-testing variaties binnen SEO
Samenwerking tussen SEO & SEA
• Operationeel: Meta data A/B testen in Google Ads
• Strategisch: Rendabiliteit van nieuwe pagina's testen met SEA -> SEO prioriteit bepalen

91. A/B-testing variaties binnen SEO
Samenwerking tussen SEO & SEA
SEO A/B testen: On-page & technische SEO optimalisaties A/B testen
• Operationeel: Meta data A/B testen in Google Ads
• Strategisch: Rendabiliteit van nieuwe pagina's testen met SEA -> SEO prioriteit bepalen

92. SEO A/B-testen

93. SEO A/B-testen versus CRO A/B-testen
CRO A/B-testen SEO A/B-testen

94. SEO A/B-testen versus CRO A/B-testen
CRO A/B-testen SEO A/B-testen
• On-site focus • On-site focus

95. SEO A/B-testen versus CRO A/B-testen
CRO A/B-testen SEO A/B-testen
• Doelgroep georiënteerd • Pagina georiënteerd
• On-site focus • On-site focus

96. SEO A/B-testen versus CRO A/B-testen
CRO A/B-testen SEO A/B-testen
• Testen op pagina niveau
• Doelgroep georiënteerd • Pagina georiënteerd
• Testen op paginagroep niveau
• On-site focus • On-site focus

97. SEO A/B-testen versus CRO A/B-testen
CRO A/B-testen SEO A/B-testen
• Testen op pagina niveau
• Testvariant geserveerd aan gebruikers
• Doelgroep georiënteerd • Pagina georiënteerd
• Testen op paginagroep niveau
• Testvariant geserveerd aan gebruikers en bots
• On-site focus • On-site focus

98. SEO A/B-testen versus CRO A/B-testen
CRO A/B-testen SEO A/B-testen
• Testen op pagina niveau
• Testvariant geserveerd aan gebruikers
• Data analyse via bijv. Bayesian
• Doelgroep georiënteerd • Pagina georiënteerd
• Testen op paginagroep niveau
• Testvariant geserveerd aan gebruikers en bots
• Data analyse via Causal Impact model
• On-site focus • On-site focus

99. Data analyse met het Causalimpact model van Google
Bronnen
• https://google.github.io/CausalImpact/CausalImpact.html
• https://www.blabladata.com/2014/10/18/causal-impact-in-time-series/

100. Het Causalimpact model in werking
Voorspellen "normale" trendverloop

101. Het Causalimpact model in werking
Voorspellen "normale" trendverloop
Achteraf vergelijken met het feitelijke
trendverloop

102. Het Causalimpact model in werking
Voorspellen "normale" trendverloop
Achteraf vergelijken met het feitelijke
trendverloop
Model houdt rekening met externe factoren zoals:
• Seizoensinvloeden
• Overige externe macrofactoren

103. Model is toepasbaar op meer dan Google Search Console KPI's
• Impressies
• Klikken
• CTR
• Posities
• (SEO)Transacties
• (SEO) Omzet

104. Wat kun je zoal SEO A/B-testen?
Alles! Denk aan...
• Template wijzigingen
• Alle on-page (content) elementen
• Meta data optimalisaties
• Web performance optimalisaties
• Structured data

105. Wat heb je nodig om te SEO A/B-testen?
1. Een oplossing om wijzigingen op slechts een deel van de website door te voeren.

106. Wat heb je nodig om te SEO A/B-testen?
1. Een oplossing om wijzigingen op slechts een deel van de website door te voeren.
2. Een manier om de data te analyseren met het Causal Impact model.

107. Wat heb je nodig om te SEO A/B-testen?
1. Een oplossing om wijzigingen op slechts een deel van de website door te voeren.
2. Een manier om de data te analyseren met het Causal Impact model.
Er zijn bestaande tools die dit mogelijk maken, zoals Distilled ODN.

108. Voordelen SEO A/B-testen
• Betere bewijslast impact SEO en performance optimalisaties

109. Voordelen SEO A/B-testen
• Betere bewijslast impact SEO en performance optimalisaties
• Kan draagvlak voor SEO vergroten binnen (grote) organisaties

110. Key takeaways

111. Key take aways
➢ A/B-testen binnen elke online marketingdienst mogelijk
➢ A/B-testen op verschillende niveaus
➢ Wil je uitgebreidere informatie over A/B-testen binnen een specifieke dienst, neem dan
contact op
➢ Gezien de webinar door verschillende consultants is gegeven, kan je je vragen in de chat
stellen of sturen naar event@ism.nl. Dan beantwoorden wij deze persoonlijk op een later
moment.

112. Bedankt!