Roel gaat in op hoe je door te werken vanuit een proces en methode een veel groter structureel resultaat kan boeken met AB-testing. Hierin deelt hij zijn persoonlijke aanpak en visie op basis van 10+ jaar online ervaring bij verschillende organisaties. Welke uitdagingen kom je als organisatie tegen binnen conversie trajecten, hoe zorg je voor een écht fact-based aanpak en zorg je daarmee voor continuïteit en structureel resultaat? Kortom; leer alles over het conversie optimalisatie proces; from start up to full speed operation.

1. ELIMINATE THE GUESS WORK
van quick fix naar structureel succes

2. ROEL
WILLEMS10+ jaar - digital analytics & conversie optimalisatie
Current: Senior Digital Analyst, Conversion optimization specialist
- Ahold
Former: Consultant / Product manager analytics conversion
- OrangeValley
consumer behaviour from a data perspective

3. ELIMINATE THE GUESS WORK
➤ Start van een conversie optimalisatie optimalisatie
➤ Ontwikkeling van een conversie traject
➤ Van quick fix naar structureel succes
➤ 3 key principes

4. START VAN EEN CONVERSIE TRAJECT

5. WAAROM OPTIMALISEREN?
Meer resultaat /
verhogen omzet
Meer verkeer
genereren
Conversie
verhogen
Hoger rendement
uit bestaande
kanalen
Extra kanalen
inzetten
Bestaande
onderdelen
optimaliseren
Nieuwe
functionaliteit
introduceren

6. CONVERSIE OPTIMALISATIE: MIDDEL
Meer resultaat /
verhogen omzet
Meer verkeer
genereren
Conversie
verhogen
Hoger rendement
uit bestaande
kanalen
Extra kanalen
inzetten
Bestaande
onderdelen
optimaliseren
Nieuwe
functionaliteit
introduceren

7. CONVERSIE OPTIMALISATIE MIDDELS CONTROLLED EXPERIMENTS
Conversie optimalisatie
A/B testing
Controlled experiments
Multi-variate
Significantie
Validiteit
Bayesiaanse statistiek
Statistiek
P-value
Random Sample
Multi-step
Bandit testing
Full factorial
Fractional factorial
Call2action
Factor
Variation
Interaction effect
Effect size
frequentistische statistiek
Split-testing
CRO
A/B/n test
Best practices
MVT

8. “93% van de de ondervraagde
organisatie geeft aan in 2016 bezig te
zijn met conversie optimalisatie of
hiermee te willen starten;
-source: eConsultancy Conversion Rate Optimization Report 2015

9. MARKS & SPENCER CASE

10. ONTWIKKELING VAN EEN
CONVERSIE TRAJECT

11. VOORBEELDRANDVOORWAARDEN: TEAM & TOOL

12. ART & SCIENCE

13. TAKE AWAYS
➤ Zorg dat alle kennis aanwezig is om het proces te doorlopen,
➤ houdt het team klein;
➤ Zorg dat tooling/techniek geen bottleneck is;
➤ Start met voorbereiding voor de tooling in plaats is (er is
genoeg te doen);
➤ Zorg voor tooling die aansluit bij de technische
infrastructuur;
➤ Wees voorbereid op verandering;
➤ Werk iteratief (agile/scrum).

14. VOORBEELDUITDAGING: WAAR EN WAT TESTEN?
?
HOMEPAGE CHECKOUT

15. “Resources, kennis en testideeën
worden gezien als de grootste
bottleneck…
-source: eConsultancy Conversion Rate Optimization Report 2015 & conversionXL state of the market 2016

16. VOORBEELDOPLOSSING:BEST PRACTICES GENOEG?

17. VOORBEELDCASE

18. VOORBEELDONTELBARE MOGELIJKHEDEN

19. “
… optimalisatietrajecten starten vaak
succesvol maar continuïteit blijkt de
echte uitdaging.

20. VAN QUICK FIX(ES) NAAR
STRUCTUREEL SUCCES

21. “74% of the survey respondents who
reported having a structured approach
to conversion also stated they had
improved their sales.
-source: Econsultancy Conversion Rate Optimization Report

22. 3 KEY PRINCIPES

23. VOORBEELDVAN AD HOC NAAR STRUCTUREEL SUCCES
-source: Adapted from Trochim, William M. The Research Methods Knowledge Base, 2nd Edition.
Result, but not reliable Reliable, but no result Reliable results

24. 1. ELIMINATE GUESS WORK

25. VOORBEELDOPLOSSING:
> Meer onderbuik gevoel
> Meer resources
> Focus op best practices
“LET’S SEE WHAT STICKS”-METHODE

26. VOORBEELDAD HOC / OPINION-BASED

27. “Most of the world will make decisions
by either guessing or using there gut.
They will be either lucky or wrong.
-Suhail Doshi

28. VOORBEELDLUCKY OR WRONG?

29. VOORBEELDSTRUCTUUR & PROCES
Ad hoc
Opinion-based
Testing discipline
Fact-based

30. VOORBEELDITERATIEVE AANPAK, PIN POINT RELEVANTE ELEMENTEN

31. VOORBEELDOPLOSSING:KLEINE AANPASSINGEN MET GROOT EFFECT
Kan ik gebruik
stimuleren door weg
nemen van
onzekerheid, te
overtuigen of te
verleiden
Kan ik het makkelijker/
duidelijker maken?
Welk element is
van invloed?

32. VOORBEELDOPLOSSING:OPBOUW VAN ITERATIEVE EXPERIMENTEN
Copy, psychologische
principes, design fine-
tuning
Vorm, kleur, positie,
afmeting
Tonen ja/nee

33. 2. LEARN FROM FAILURE

34. “
➤ Only one third of the ideas tested at Microsoft improved the
metric(s) they were designed to improve;
➤ at Google, only “about 10 percent of controlled experiments
were leading to business changes;
➤ Netflix considers 90% of what they try to be wrong;
➤ Etsy “nearly everything fails” and “it's been humbling to
realize how rare it is to succeed on the first attempt;
➤ “No matter how much you think it’s a no-brainer, how much
research you’ve done, or how many competitors are doing it,
sometimes, more often than you might think, experiment
ideas simply fail.” - Skyscanner.
-source: exp-platform.com Online Controlled Experiments and A/B Tests

35. VOORBEELDOPLOSSING:ACTION ORIENTED BIAS
➤ Meer testen betekend niet automatisch meer resultaat
➤ Doel: information discovery
-source: Andrew Anderson

36. VOORBEELDTESTING DISCIPLINE

37. VOORBEELDVERTROUW NIET OP INTUÏTIE MAAR ONDERZOEK ALTERNATIEVEN

38. “It ain’t what you don’t know that gets
you in trouble, it’s what you know for
sure that ain’t so.
-Mark Twain

39. VOORBEELDCASE

40. 3. FOCUS ON EFFICIENCY

41. ÍOPLOSSING:SINGLE BACKLOG
Backlog
Team
Bezoek
√succes / - failure

42. ÍOPLOSSING:VERSNELLEN? - MEER IDEEËN?
Backlog
Team
Bezoek
√succes / - failure

43. ÍOPLOSSING:VERSNELLEN? - MEER RESOURCES?
Backlog
Team
Bezoek
√succes / - failure

44. VOORBEELDOPLOSSING:SINGLE LANE TESTING
OF
HOMEPAGE CHECKOUT

45. VOORBEELDOPLOSSING:FOCUS OP EFFICIËNTIE …
HOMEPAGE
CHECKOUT
CATEGORIE PRODUCT
BASKET BEDANKT
√

46. VOORBEELDOPLOSSING:… MULTIPLE TESTING LANES
HOMEPAGE
CHECKOUT
CATEGORIE PRODUCT
BASKET BEDANKT
√

47. VOORBEELDCASE

48. VOORBEELDEFFICIENCY

49. TAKE AWAY

50. VOORBEELDOPTIMIZING THE ORGANIZATION
Eliminate the guess work learn from failure focus on efficiency

51. “Want to be a better marksman? Stop
looking for silver bullets, improve you
aiming.
Roel Willems
info@roelwillems.com
@roelwillems
linkedin.com/in/roelwillems
VOORBEELDCONTACT