A/B testen is binnen conversie-optimalisatie dé methode om te bewijzen of je gedrag hebt veranderd van je websitebezoekers. Maar stel: je hebt te weinig verkeer en conversies om te kunnen A/B testen. Bijvoorbeeld op een bepaald onderdeel van je website. Of misschien heb je op je hele website wel te weinig verkeer en conversies. Hoe kun je dan toch je potentiële verbeteringen valideren? Namens de expertgroep Conversion Optimization van Shopping Tomorrow deelt Jurjen de top 5 beste methoden als alternatief voor A/B testen. Aan de hand van praktijkcases van o.a. Beerwulf, Bol, en Praxis krijg je veel tips en inspiratie.

2. Hét kennisnetwerk voor digital commerce in
Nederland.

3. www.linkedin.com/jurjenjongejan
www.twitter.com/jurjenjongejan

5. Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verwerpen en naar
volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.

6. Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verwerpen en naar
volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.

7. Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verwerpen en naar
volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.

8. Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verwerpen en naar
volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.

10. Ontdekking tijdens het usability
onderzoek:
- Veel gebruikers gingen direct scrollen
naar de mobiele telefoons, waardoor ze
de filterknop helemaal over het hoofd
zagen.
- Op het moment dat gebruikers bij de
telefoons zijn, krijgen ze behoefte om te
filteren, maar de filterknop is dan niet
meer zichtbaar.

11. 80% kiest voor
Samsung of Apple

12. Origineel A Variant B
Statische filterknop +
meest gebruikte
filters uitgeklapt
+ 19%, 100% succeskans

13. Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verwerpen en naar
volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.

15. Vuistregel: < 1.000 conversies
per maand per device!

18. Origineel A
Variant B
10%
conversie
15%
conversie
+ 50%
28 dagen
LIVE deployment

19. huidige pagina A nieuwe pagina B
28 dagen 28 dagen
LIVE
10% conversie 15% conversie + 50%

20. LET OP! Do’s en don’ts vind je in onze Bluepaper op shoppingtomorrow.nl

22. Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verwerpen en naar
volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.

23. Wijnvoordeel.be
Na het analyseren van het
filtergebruik in Google Analytics
concluderen we een groot verschil in
gebruik én conversie tussen
Wijvoordeel.be en Wijnvoordeel.nl.

24. Wijnvoordeel.nlWijnvoordeel.be

25. Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verwerpen en naar
volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.

26. 3 weken
LIVE
9,4% filtergebruik 12,4% filtergebruik + 31,9%
vóór de aanpassing ná de aanpassing
3 weken

27. 3 weken
LIVE
2,6% conversie op transacties
voor dit segment
2,7% conversie op transacties
voor dit segment
+ 6,9%
vóór de aanpassing ná de aanpassing
3 weken

30. Een GOOB is een vorm van guerrilla usability onderzoek waarbij
participanten (passanten) ter plekke designs voorgelegd
krijgen.
Zij geven hun voorkeur aan en beantwoorden een eventuele
onderzoeksvraag gedurende een sessie van een paar minuten.
Bij bol.com is dit een frequent gebruikte tool om designs
vroegtijdig in het proces te valideren op de behoefte van hun
klanten.

31. Onderzoeksvraag: wat werkt beter?
A. Het gebruik van een ‘toggle’ om Select aan te zetten?
B. Het gebruik van radio buttons om te kiezen uit twee offers waarvan één inclusief Select?
A
B

32. Validatie: zowel The Toggle (A) en the Radio Button (B) werden goed begrepen.
A
B

33. Onderzoeksvraag:
Begrijpen gebruikers wat Select is en/of kunnen ze erachter komen wat Select is?

34. Validatie: Klikken op het label “Exclusief voor Select-leden” bij de radio button lijkt een
drempel te zijn. Het wordt direct geassocieerd met een lidmaatschap, waar de (test)gebruikers
niet op zitten te wachten.

35. Validatie: Daarom wordt The Toggle gevalideerd als winnaar.

40. ✓ Sterk oplopende levertijden
✓ Verminderde beschikbaarheid van producten op de webshop én in de bouwmarkt

41. ✓ Capaciteit fulfillment vergroot
✓ Duidelijke communicatie op de productpagina en de checkout over de drukte en de gevolgen
voor de klant
✓ Aanpassingen aan de productpagina en checkout om mensen te bewegen meer naar de
bouwmarkt te komen (om het levertijdenprobleem te omzeilen)
✓ Gericht verzendkosten rekenen en een orderdrempel instellen om de vraag te perken en meer
online leveringen in de bouwmarkt aan te moedigen

45. In de feedback tool én tijdens usability testing sessies, kreeg
Beerwulf regelmatig de suggestie van klanten en bezoekers om
een bier-abonnement aan te bieden.
Tijdens concurrentie- en marktanalyses zag Beerwulf dat meerdere
concurrenten al een bier-abonnement aanbieden.
Een abonnement is een interessant businessmodel – je kunt beter
voorspellen hoeveel je gaat verkopen, en wanneer.

46. Na een click op het content blok kreeg de
bezoeker een pagina te zien waarop:
Gecommuniceerd werd dat Beerwulf nog geen bier-abonnementen heeft,
maar dat Beerwulf graag wil weten of er interesse is.

47. In 1 van de content blokken in de
wekelijkse e-mail werd er een
afbeelding getoond met de tekst
‘bier abonnement’ getoond

48. Land Medium
Interest rate
Clicked subscription tile
NL
Mail 3,85%
Homepage 2,04%
Succesvolle validatie: interest rate > 2% (o.b.v. benchmark andere contentblokken)

52. “Ik weet niet wie deze site
ontworpen heeft, maar die
moet toch echt beter zijn
best doen. Kan producten
moeilijk vinden”
“Beter
categoriseren”
“Assortiment overzicht
verbeteren! Producten
niet logisch gegroepeerd”

53. Eén van de opdrachten:
“Stel, je wilt de groene aanslag van je oprit
verwijderen met een hogedrukreiniger.
Waar vind je dit product?”

54. De hypothese wordt gevalideerd door 100 respondenten via treetesting. Naast de 0-meting
met de huidige navigatie worden andere varianten van de navigatie getest.
Primaire KPI: succes-score
De success-score is het percentage van de respondenten die het “correcte” antwoord
hebben gegeven bij alle taken.
Secundaire KPI: directheid-score
De directheid-score geeft aan hoeveel respondenten gemiddeld direct een goed
antwoord hebben gegeven, zonder dat ze weer een stap terug gingen in het menu.

55. Slechts 53% van de
respondenten vonden
het product onder de
juiste categorie

56. sommige respondenten
dachten het product
hier te vinden

57. Succes-score +9,7%
Directheidscore +3,5%

58. 4 weken
LIVE
O-meting op KPI’s meting op KPI’s VERBETERING
oude navigatie nieuwe navigatie
4 weken

59. 1.Conversie-optimalisatie = niet alleen A/B
testen
2.Te weinig vekeer & conversies? Ook zonder
A/B testen kun je je conversie verhogen en
valideren!
3.Gebruik deze top 5 beste validatiemethoden
4.Valideer en leer!

60. Heb je vragen over deze presentatie?
Neem contact op met:
Download voor nog meer informatie onze bluepaper met
do’s & don’ts per validatiemethode!
www.shoppingtomorrow.nl/bluepapers