Hoe voorkom ik dat mijn conversie-
optimalisatieproces stagneert,
doordat resources naar grotere
projecten gaan?
Expertgroep Revenue Optimization
© ShoppingTomorrow
Wat is ShoppingTomorrow?
ShoppingTomorrow is hét digital commerce-platform voor alle e-commerceprofessionals.
Gezamenlijk verkennen, onderzoeken en dragen we bij aan de transformatie van B2C- en B2B-
retail.
In 2013 geïnitieerd door Thuiswinkel.org en wordt inmiddels ondersteund door 20+ Nederlandse
branche- en belangenverenigingen.
© ShoppingTomorrow
Een initiatief van
Revenue Optimization
Dit online casedocument is opgesteld vanuit de Expertgroep Revenue Optimization. Vanuit het
ShoppingTomorrow-boek en onze bluepaper wordt doorverwezen naar cases over het
voorkomen van stagnatie van het conversie-optimalisatieproces in je organisatie. Deze cases
vind je in dit document.
© ShoppingTomorrow
Een initiatief van
Voorzitter expertgroep Revenue
Optimization
4© ShoppingTomorrow © ShoppingTomorrow
Jurjen Jongejan
CRO strateeg | Online Marketing Director
j.jongejan@ism.nl
Linkedin.com/jurjenjongejan
@jurjenjongejan
 Oprichter afdeling online marketing & optimalisatie bij ISM eCompany
 Meer dan 15 jaar ervaring in optimalisatie & e-Commerce
 Bestseller auteur
Expergroep Revenue Optimization
5© ShoppingTomorrow © ShoppingTomorrow
De grootste uitdaging volgende onze
leden
6© ShoppingTomorrow © ShoppingTomorrow
• Het conversie-optimalisatieproces stagneert, groeit
onvoldoende of valt zelfs stil
• Dit komt vaak door een gebrek aan resources,
voornamelijk tijd van development
• A/B testen worden niet gebouwd, of winnende testen
worden later geïmplementeerd.
• De testcapaciteit, en dus de capaciteit om te leren van
klantgedrag en de webshop te optimaliseren, wordt niet
benut
• Je loopt hierdoor veel omzet mis
• Resources worden besteed aan projecten waarvan de
waarde niet bekend is of niet bestaat
3 typen veranderingen aan een
website
7© ShoppingTomorrow © ShoppingTomorrow
TYPE 1: verbetering
Kleine verbeteringen en doorontwikkeling van de bestaande online omgeving,
inclusief bugfixing / security patches / pro-actief onderhoud
TYPE 2: vernieuwing
Fundamentele vernieuwing van de online omgeving
TYPE 3: innovatie
Fundamentele en digitale innovatie: een geheel nieuw verdien- en bedrijfsmodel
(‘game changer’)
Type 1: verbetering
8© ShoppingTomorrow © ShoppingTomorrow
Usability onderzoek learning:
Gebruikers missen de
‘Toevoegen’-button en gaan
verder naar de volgende
stap, zonder de kortingscode
toe te passen.
Voor Na
Type 2: vernieuwing
9© ShoppingTomorrow © ShoppingTomorrow
Type 3: innovatie
10© ShoppingTomorrow © ShoppingTomorrow
Oorzaken van stagnatie van het
proces
11© ShoppingTomorrow © ShoppingTomorrow
Oorzaken van stagnatie van het
proces
12© ShoppingTomorrow © ShoppingTomorrow
• Prioritering o.b.v. onderbuikgevoel en HiPPO
• Vernieuwingsdrang
• Te weinig draagvlak voor CRO door
ontbreken datagedreven cultuur
• Te weinig kennis over CRO, geen tijd om het
op de kaart te zetten
• Lastig om business value te bepalen
Oorzaken van stagnatie van het
proces
13© ShoppingTomorrow © ShoppingTomorrow
• Wel draagvlak, maar proces en resultaat
blijven toch achter
• Tegenstrijdige doelstellingen, belangen en
mindset in teams
• Resources worden gedeeld met hele
organisatie
• Grote projecten lopen steeds uit
• CRO proces zelf niet goed, waardoor impact
tegenvalt
Oplossingen om stagnatie te
voorkomen
14© ShoppingTomorrow © ShoppingTomorrow
1. Bereken de waarde
15© ShoppingTomorrow © ShoppingTomorrow
• Maak voor alle projecten en optimalisaties een business
case, zodat de waarde inzichtelijk
• Vergelijk projecten onderling door een single success metric
en consistente KPI-structuur te gebruiken
• Bereken de potentie van een A/B test vooraf én de impact
van implementatie achteraf
• Werk met pretotypes om de potentie van nieuwe
functionalitetien te onderzoeken
1. Bereken de
waarde
1. Bereken de waarde
16© ShoppingTomorrow © ShoppingTomorrow
Maak de KPI-structuur
inzichtelijk en pas deze
consistent toe. Gebruik een
single succes metric,
bijvoorbeeld omzet of winst
17© ShoppingTomorrow © ShoppingTomorrow
Bereken de waarde
Deze case is opgesteld door:
Melle Moorman, CRO Lead & Product Owner bij bol.com
1.1. Bereken de waarde
18© ShoppingTomorrow © ShoppingTomorrow
Bol.com heeft het
omzetverlies door het niet
direct implementeren van
een winnende variant
aangetoond, en daarmee
alsnog resources gekregen
19© ShoppingTomorrow © ShoppingTomorrow
Bereken de waarde
Deze case is opgesteld door:
Helene Hallebeek, CRO Specialist bij Transavia
1.2. Bereken de waarde
20© ShoppingTomorrow © ShoppingTomorrow
Achtergrond:
Bij Transavia kunnen klanten kiezen tussen een Basic, Plus en Max pakket. Bij Basic krijgen zij alleen het vliegticket en kunnen eventueel nog bagage of
een stoel bijkopen. Bij Plus en Max zit al ruimbagage en een stoel in, samen met nog wat flexibiliteit. Deze pakketten staan al jaren live en we wilden
graag weten wat de toegevoegde waarde is van de pakketten en ook wat de klant zou kiezen indien zij geen keus hebben tussen de pakketten en dus zelf
alles dient samen te stellen. We wilden graat testen wat klanten zouden doen als ze deze pagina niet meer kregen.
Voorberekening:
Het niet aanbieden van deze pakketten stuitte op veel onzekerheid binnen de organisatie, aangezien daar een flink deel van onze omzet vandaan komt.
Vooraf is een uitgebreide berekening gemaakt van de mogelijke impact. Hierbij zijn we uit gegaan dat klanten die normaal Basic kopen een zelfde gedrag
vertonen en bij klanten die normaal Plus of Max kopen dat 100%, 75% of 50% ook dezelfde soort ancillaries zouden bijkopen die in de pakketten zijn
opgenomen. Uit deze berekening kwam naar voren dat het break even point rond de 81% zat.
A/B test:
We hebben een A/B test uitgevoerd waarbij we deze pakketten pagina hebben overgeslagen. Alle klanten moesten dus zelf hun pakket samenstellen als
ze bagage of een stoel of andere ancillaries wilden bijboeken.
Uitkomst:
Het niet tonen van de pakketten pagina had geen significante impact op ticket verkoop. De attachrate van ruimbagage lag ongeveer gelijk aan de default,
de attachrate van stoelen was aanzienlijk lager. Wel zagen we een verschuiving in aantal kilo’s voor de ruimbagage en soort stoelen die geboekt werden.
Uiteindelijk zagen we dat het weghalen van de pakketten geen positieve impact had. Ook kregen we van bestaande klanten te horen dat zij de Plus en
Max misten, omdat daar ook flying blue miles en flexibiliteit in aangeboden wordt, welke we op het moment van testen niet los konden aanbieden.
Learnings:
Door vooraf een uitgebreide impact analyse te maken, kregen we de mogelijkheid om deze test door te voeren, waardoor we een aantal waardevolle
inzichten hebben verkregen. Deze test heeft mede inzichtelijk gemaakt dat het los aanbieden van kleinere producten zeer wenselijk is voor de klant.
Daarnaast geeft het input om de pakketten in de toekomst te herzien, zodat deze beter aansluiten op de wensen van de klant.
1.2. Bereken de waarde
21© ShoppingTomorrow © ShoppingTomorrow
• Transavia biedt Plus en Max pakketten waarin ruimbagage,
stoelkeuze en flexibiliteit inbegrepen is
• De wens bestond om de huidige opzet met pakketten te testen ten
opzichte van afzonderlijke keuzes voor extra’s, maar dit stuitte op
weerstand binnen de organisatie
• Door vooraf een uitgebreide analyse van de mogelijke impact te
maken konden stakeholders overtuigd worden om de test uit te
voeren
• Bovendien heeft dit geholpen me het beoordelen van de
testresultaten
• De testvariant was uiteindelijk geen winnaar, maar de test heeft veel
waardevolle inzichten opgeleverd
1.2. Bereken de waarde
22© ShoppingTomorrow © ShoppingTomorrow
De impact analyse vooraf
toont aan wat het break
even point is, en heeft
geholpen om stakeholders
te overtuigen en de
testresultaten te toetsen
aan de eerder gemaakte
inschatting.
Current Expected – 100% Expected – 75% Expected – 50%
Product Revenue Revenue Revenue Revenue
Flight XXX,XXX,XXX XXX,XXX,XXX XXX,XXX,XXX XXX,XXX,XXX
Seat reservation XX,XXX,XXX XX,XXX,XXX XX,XXX,XXX XX,XXX,XXX
Hold luggage XX,XXX,XXX XX,XXX,XXX XX,XXX,XXX XX,XXX,XXX
Total XXX,XXX,XXX XXX,XXX,XXX XXX,XXX,XXX XXX,XXX,XXX
Difference €2,541,731 -€925,147 -€4,392,024
% Difference 1.10% -0.40% -1.91%
Break even point= 81%
23© ShoppingTomorrow © ShoppingTomorrow
Bereken de waarde
Deze case is opgesteld door:
Jurjen Jongejan, Sr. Conversie-optimalisatie consultant bij ISM eCompany
1.3. Gebruik pretotyping
24© ShoppingTomorrow © ShoppingTomorrow
CRO Aanpak
VRAAG :
“We willen functionaliteit
toevoegen dat bezoekers
online de voorraad van onze
winkels kunnen bekijken!
Moeten we hier in
investeren?”
1.3. Gebruik pretotyping
25© ShoppingTomorrow © ShoppingTomorrow
CRO Aanpak
De techniek ‘pre-to-
typing’ is toegepast.
‘Schijnfunctionaliteit’
toegevoegd om te
toetsen of de behoefte
bij de bezoekers er is.
1.3. Gebruik pretotyping
26© ShoppingTomorrow © ShoppingTomorrow
1.3. Gebruik pretotyping
27© ShoppingTomorrow © ShoppingTomorrow
Bron: Hotjar
1.3. Gebruik pretotyping
28© ShoppingTomorrow © ShoppingTomorrow
Productpagina
Categoriepagina
Homepage
Checkout
Overzicht
€
Winkelmand
Fysieke winkel
Productpagina
Kassa
€
Voorraad check
Categoriepagina
Homepage
6,9%
Unieke bezoekers op productpagina: > 40.000
4,2%
De behoefte bij de bezoekers is
er. De investering is daardoor
goed te verantwoorden en
ondersteunt in de optimalisatie
van de klantreis.
Bron: Google Analytics
1.3. Gebruik pretotyping
29© ShoppingTomorrow © ShoppingTomorrow
30© ShoppingTomorrow © ShoppingTomorrow
Bereken de waarde
Deze case is opgesteld door:
Helene Hallebeek, CRO Specialist bij Transavia
1.4. Gebruik pretotyping
31© ShoppingTomorrow © ShoppingTomorrow
• Transavia runt de Stichting Peter Pan Vakantieclub, die vakanties organiseert voor jongeren die door
ziekte om omstandigheden niet in staat zijn om zelfstandig op vakantie te gaan. De stichting is voor een
groot deel afhankelijk van donaties.
• Doel van de A/B-test: meer donaties, zonder een negatief effect op het aantal boekingen.
• Op korte termijn was er geen developmenttijd beschikbaar om een volledig donatie-element te
ontwikkelen. Bovendien was er geen zekerheid over de impact van zo’n element.
• Daarom is met een pretotype getest wat de (mogelijke) impact is van het toevoegen van een
donatiefunctionaliteit.
1.4. Gebruik pretotyping
32© ShoppingTomorrow © ShoppingTomorrow
Toegevoegde
donatie-
mogelijkheid
• In de pretotype-test is een element toegevoegd aan het
boekingsscherm dat de donatie nog niet verwerkt in het
orderbedrag, maar bezoekers achteraf nog de mogelijkheid geeft
om te doneren.
• Het bouwen van de pretotype kon snel gebeuren, omdat hier
weinig developmentcapaciteit voor nodig was.
• Resultaat: 10% van de klanten had de intentie om te doneren, wat
bij een volledige functionaliteit tot aanzienlijk meer donaties zou
leiden. Er was geen impact op het aantal boekingen.
• Door een pretotype in te zetten kon de potentie van een echte
donatiefunctionaliteit bewezen worden met een minimale
investering. Met de resultaten van de test kon een business case
gemaakt worden om de volledige functionaliteit gebouwd te
krijgen.
2. Deel inzichten en resultaten
33© ShoppingTomorrow © ShoppingTomorrow
• Investeer in interne “CRO marketing”
• Deel resultaten en inzichten: successen én verliezers!
• Bepaal eerst wat je wilt verkopen en aan wie, en kies daar de
juiste vorm bij
• Gebruik visuele ondersteuning en kwalitatieve data
• Laat stakeholders en directieleden zelf meekijken bij usability
onderzoek
• Breng kennis vanuit eerdere tests en analyses in als er toch een
groot project is
2. Deel
inzichten en
resultaten
34© ShoppingTomorrow © ShoppingTomorrow
Deel inzichten en resultaten
Deze case is opgesteld door:
Melle Moorman, CRO Lead & Product Owner bij bol.com
35© ShoppingTomorrow © ShoppingTomorrow
2.1. Deel inzichten en resultaten
Bol.com gebruikt een
besloten Facebook-
groep om testresultaten
en –inzichten op een
interactieve manier te
delen. Hiermee is de
zichtbaarheid van het
CRO programma
aanzienlijk verbeterd.
36© ShoppingTomorrow © ShoppingTomorrow
Deel inzichten en resultaten
Deze case is opgesteld door:
Bernadette Bijkerk, Conversie specialist bij Sanoma
37© ShoppingTomorrow © ShoppingTomorrow
2.2. Deel inzichten en resultaten
Sanoma gebruikt Slack
om testresultaten en –
inzichten op een
interactieve manier te
delen. Hiermee is de
zichtbaarheid van het
CRO programma
aanzienlijk verbeterd.
38© ShoppingTomorrow © ShoppingTomorrow
2.2. Deel inzichten en resultaten
39© ShoppingTomorrow © ShoppingTomorrow
2.2. Deel inzichten en resultaten
40© ShoppingTomorrow © ShoppingTomorrow
Deel inzichten en resultaten
Deze case is opgesteld door:
Farshad Soleymani, Conversie Manager bij VodafoneZiggo
41© ShoppingTomorrow © ShoppingTomorrow
2.3. Deel inzichten en resultaten
VodafoneZiggo deelt
informatie op
verschillende manieren
voor verschillende
doelgroepen. Voor
hoger management een
heel beknopt dashboard
met alleen de KPI’s van
het CRO programma...
42© ShoppingTomorrow © ShoppingTomorrow
2.3. Deel inzichten en resultaten
... En voor andere
stakeholders een
uitgebreidere
rapportage. Hierin staat
een vast onderdeel met
KPI’s en een variërend
onderdeel dat verder
ingaat op learnings over
een test.
43© ShoppingTomorrow © ShoppingTomorrow
Deel inzichten en resultaten
Deze case is opgesteld door:
Jurrien Schouten, Lead UX & CRO bij fonQ
2.4. Deel inzichten en resultaten
44© ShoppingTomorrow © ShoppingTomorrow
FonQ organiseert elke
twee maanden usability
onderzoek waarbij
diverse stakeholders
kunnen aansluiten en
input aanleveren. Zo is
de betrokkenheid groot
en zien stakeholders
zelf de ervaring van
klanten
2.4. Deel inzichten en resultaten
• Sinds augustus gestart
• 1x per twee maanden, 2 dagen testen
• Onderwerpen; eigen input:
• Customer journey pijnpunten
• Nieuwe prototypes
• Maar ook faciliteren! Langs de relevante afdelingen topics/input
verzamelen/ophalen.
• Bv. Hoe shoppen klanten een zakelijke bestelling?
• Tijdens: Participatie door notities te plaatsen in Lookback.io,
korte evaluatie.
• Naderhand (week later), presenteren insights aan zo ongeveer
iedereen :-))
• Zorgt weer voor input voor de volgende keer!
45© ShoppingTomorrow © ShoppingTomorrow
46© ShoppingTomorrow © ShoppingTomorrow
Deel inzichten en resultaten
Deze case is opgesteld door:
Marlous Vennegoor op Nijhuis, Senior Product Owner bij De Bijenkorf
2.5. Deel inzichten en resultaten
47© ShoppingTomorrow © ShoppingTomorrow
De Bijenkorf heeft
kwalitatieve en visuele
inzichten vanuit neuro
usability onderzoek
gebruikt als extra
onderbouwing voor een
A/B test. Hierdoor werd
het belang voor
stakeholders duidelijker
48© ShoppingTomorrow © ShoppingTomorrow
Deel inzichten en resultaten
Deze case is opgesteld door:
Marijn Tijhuis, Senior Conversie Specialist bij BCC
2.6. Deel inzichten en resultaten
49© ShoppingTomorrow © ShoppingTomorrow
“De Hippo metafoor helpt BCC bewust te
zijn van de valkuilen van opinie gedreven
beslissingen en de toegevoegde waarde
van het sturen op data”.
Herman Bramer – Algemeen directeur BCC
Bij BCC is de Algemeen
Directeur overtuigd van het
belang van datagedreven
werken, en heeft hij dit poster
in zijn kantoor hangen om
zichzelf en anderen hier
scherp op te houden
50© ShoppingTomorrow © ShoppingTomorrow
Deel inzichten en resultaten
Deze case is opgesteld door:
Sascha van Eck, CRO Specialist bij Hunkemöller International
2.7. Deel inzichten en resultaten
51© ShoppingTomorrow © ShoppingTomorrow
AB TEST 1: USP IN BASKET
Hunkemoller heeft
voor een redesign
resultaten van
eerdere A/B-testen
ingebracht, zodat
learnings hieruit
toegepast konden
worden in het
nieuwe design
2.7. Deel inzichten en resultaten
52© ShoppingTomorrow © ShoppingTomorrow
AB TEST 2: USP OP PDP
2.7. Deel inzichten en resultaten
53© ShoppingTomorrow © ShoppingTomorrow
AB TEST 3: MICROCOPY
2.7. Deel inzichten en resultaten
54© ShoppingTomorrow © ShoppingTomorrow
AB TEST 4: ADD TO CART
CONFIRMATION
3. Verbeter je proces
55© ShoppingTomorrow © ShoppingTomorrow
• Breng eerst in kaart wáár in het proces de stagnatie optreedt
• Investeer in een gestructureerd CRO proces
• Gebruik een projectmanagementtool
• Bouw aan autonome teams die werken aan gezamenlijke
doelstellingen, waarin ook developers zijn betrokken bij het
optimalisatieproces
• Knip grote projecten net zo lang op totdat ze klein zijn
• Zorg voor nauwe samenwerking met eventuele externe
stakeholders, ook op locatie
3. Verbeter je
proces
56© ShoppingTomorrow © ShoppingTomorrow
Verbeter je proces
Deze case is opgesteld door:
Rudger de Groot, Digital Optimizer / Founder bij Mintminds
3.1. Verbeter je proces
57© ShoppingTomorrow © ShoppingTomorrow
Met een projectmanagementtool, zoals
Effective Experiments, een andere tool
of je eigen systeem, maak je
inzichtelijk waar in het proces de
stagnatie optreedt. Zo kun je daar op
focussen bij procesoptimalsiatie
58© ShoppingTomorrow © ShoppingTomorrow
Verbeter je proces
Deze case is opgesteld door:
Helene Hallebeek, CRO Specialist bij Transavia
3.2. Verbeter je proces
59© ShoppingTomorrow © ShoppingTomorrow
Samenwerking Transavia & iProspect
Transavia zorgt voor een optimalise
samenwerkign tussen verschillende
stakeholders en een bureau met een
wekelijkse CRO meeting. iProspect
blijft de rest van de dag op kantoor bij
Transavia
60© ShoppingTomorrow © ShoppingTomorrow
Verbeter je proces
Deze case is opgesteld door:
Erik van Houwelingen, Lead CRO & Web Analytics bij Intergamma B.V.
3.3. Verbeter je proces
61© ShoppingTomorrow © ShoppingTomorrow
Tweeledig doel:
• Aan de organisatie laten zien wat agile werken is, en waar scrum teams toe in staat zijn
• Een vernieuwende oplossing binnen 8 uur neerzetten
Uitvoering:
• 5 verschillende ideeën/thema’s worden gepitcht door de business
• Developers, product owners, designers en analisten konden een topic uitkiezen en vormden zo 5 teams
• Gedurende de dag wordt hier aan gewerkt, met op het einde van de dag een demo
• Afsluitend een borrel
Resultaat:
• Een gezellige dag
• Veel leuke feedback vanuit de organisatie
• 5 minimum viable products, die in de praktijk getest kunnen worden
https://www.intergamma.nl/over-ons/kijkje-achter-de-schermen/intergamma-innovatiedag/
Intergamma heeft
een Innovatiedag
georganiseerd om
developers beter te
betrekken bij het
optimalisatieproces
62© ShoppingTomorrow © ShoppingTomorrow
Verbeter je proces
Deze case is opgesteld door:
Melle Moorman, CRO Lead & Product Owner bij bol.com
3.4. Verbeter je proces
63© ShoppingTomorrow © ShoppingTomorrow
Bol.com test
regelmatig nieuwe
functionaliteit of
designs met guerilla
user testing op Utrecht
Centraal. Hierbij
sluiten o.a.
Developers, designs
en directors bij aan.
Dit levert direct
waardevolle
klantfeedback op en
zorgt voor betere
betrokkenheid van
stakeholders bij het
proces
Oplossingen om stagnatie te
voorkomen
64© ShoppingTomorrow © ShoppingTomorrow
Bedankt voor je aandacht!
Meer informatie:
Ontdek uw volwassenheid en groeikansen op
www.mijnconversiescore.nl
Bekijk mobiele conversiecases op
www.mijnconversiescore.nl/mobiele-cases

Zo voorkomt je stagnatie in het conversie-optimalisatieproces

  • 1.
    Hoe voorkom ikdat mijn conversie- optimalisatieproces stagneert, doordat resources naar grotere projecten gaan? Expertgroep Revenue Optimization © ShoppingTomorrow
  • 2.
    Wat is ShoppingTomorrow? ShoppingTomorrowis hét digital commerce-platform voor alle e-commerceprofessionals. Gezamenlijk verkennen, onderzoeken en dragen we bij aan de transformatie van B2C- en B2B- retail. In 2013 geïnitieerd door Thuiswinkel.org en wordt inmiddels ondersteund door 20+ Nederlandse branche- en belangenverenigingen. © ShoppingTomorrow Een initiatief van
  • 3.
    Revenue Optimization Dit onlinecasedocument is opgesteld vanuit de Expertgroep Revenue Optimization. Vanuit het ShoppingTomorrow-boek en onze bluepaper wordt doorverwezen naar cases over het voorkomen van stagnatie van het conversie-optimalisatieproces in je organisatie. Deze cases vind je in dit document. © ShoppingTomorrow Een initiatief van
  • 4.
    Voorzitter expertgroep Revenue Optimization 4©ShoppingTomorrow © ShoppingTomorrow Jurjen Jongejan CRO strateeg | Online Marketing Director j.jongejan@ism.nl Linkedin.com/jurjenjongejan @jurjenjongejan  Oprichter afdeling online marketing & optimalisatie bij ISM eCompany  Meer dan 15 jaar ervaring in optimalisatie & e-Commerce  Bestseller auteur
  • 5.
    Expergroep Revenue Optimization 5©ShoppingTomorrow © ShoppingTomorrow
  • 6.
    De grootste uitdagingvolgende onze leden 6© ShoppingTomorrow © ShoppingTomorrow • Het conversie-optimalisatieproces stagneert, groeit onvoldoende of valt zelfs stil • Dit komt vaak door een gebrek aan resources, voornamelijk tijd van development • A/B testen worden niet gebouwd, of winnende testen worden later geïmplementeerd. • De testcapaciteit, en dus de capaciteit om te leren van klantgedrag en de webshop te optimaliseren, wordt niet benut • Je loopt hierdoor veel omzet mis • Resources worden besteed aan projecten waarvan de waarde niet bekend is of niet bestaat
  • 7.
    3 typen veranderingenaan een website 7© ShoppingTomorrow © ShoppingTomorrow TYPE 1: verbetering Kleine verbeteringen en doorontwikkeling van de bestaande online omgeving, inclusief bugfixing / security patches / pro-actief onderhoud TYPE 2: vernieuwing Fundamentele vernieuwing van de online omgeving TYPE 3: innovatie Fundamentele en digitale innovatie: een geheel nieuw verdien- en bedrijfsmodel (‘game changer’)
  • 8.
    Type 1: verbetering 8©ShoppingTomorrow © ShoppingTomorrow Usability onderzoek learning: Gebruikers missen de ‘Toevoegen’-button en gaan verder naar de volgende stap, zonder de kortingscode toe te passen. Voor Na
  • 9.
    Type 2: vernieuwing 9©ShoppingTomorrow © ShoppingTomorrow
  • 10.
    Type 3: innovatie 10©ShoppingTomorrow © ShoppingTomorrow
  • 11.
    Oorzaken van stagnatievan het proces 11© ShoppingTomorrow © ShoppingTomorrow
  • 12.
    Oorzaken van stagnatievan het proces 12© ShoppingTomorrow © ShoppingTomorrow • Prioritering o.b.v. onderbuikgevoel en HiPPO • Vernieuwingsdrang • Te weinig draagvlak voor CRO door ontbreken datagedreven cultuur • Te weinig kennis over CRO, geen tijd om het op de kaart te zetten • Lastig om business value te bepalen
  • 13.
    Oorzaken van stagnatievan het proces 13© ShoppingTomorrow © ShoppingTomorrow • Wel draagvlak, maar proces en resultaat blijven toch achter • Tegenstrijdige doelstellingen, belangen en mindset in teams • Resources worden gedeeld met hele organisatie • Grote projecten lopen steeds uit • CRO proces zelf niet goed, waardoor impact tegenvalt
  • 14.
    Oplossingen om stagnatiete voorkomen 14© ShoppingTomorrow © ShoppingTomorrow
  • 15.
    1. Bereken dewaarde 15© ShoppingTomorrow © ShoppingTomorrow • Maak voor alle projecten en optimalisaties een business case, zodat de waarde inzichtelijk • Vergelijk projecten onderling door een single success metric en consistente KPI-structuur te gebruiken • Bereken de potentie van een A/B test vooraf én de impact van implementatie achteraf • Werk met pretotypes om de potentie van nieuwe functionalitetien te onderzoeken 1. Bereken de waarde
  • 16.
    1. Bereken dewaarde 16© ShoppingTomorrow © ShoppingTomorrow Maak de KPI-structuur inzichtelijk en pas deze consistent toe. Gebruik een single succes metric, bijvoorbeeld omzet of winst
  • 17.
    17© ShoppingTomorrow ©ShoppingTomorrow Bereken de waarde Deze case is opgesteld door: Melle Moorman, CRO Lead & Product Owner bij bol.com
  • 18.
    1.1. Bereken dewaarde 18© ShoppingTomorrow © ShoppingTomorrow Bol.com heeft het omzetverlies door het niet direct implementeren van een winnende variant aangetoond, en daarmee alsnog resources gekregen
  • 19.
    19© ShoppingTomorrow ©ShoppingTomorrow Bereken de waarde Deze case is opgesteld door: Helene Hallebeek, CRO Specialist bij Transavia
  • 20.
    1.2. Bereken dewaarde 20© ShoppingTomorrow © ShoppingTomorrow Achtergrond: Bij Transavia kunnen klanten kiezen tussen een Basic, Plus en Max pakket. Bij Basic krijgen zij alleen het vliegticket en kunnen eventueel nog bagage of een stoel bijkopen. Bij Plus en Max zit al ruimbagage en een stoel in, samen met nog wat flexibiliteit. Deze pakketten staan al jaren live en we wilden graag weten wat de toegevoegde waarde is van de pakketten en ook wat de klant zou kiezen indien zij geen keus hebben tussen de pakketten en dus zelf alles dient samen te stellen. We wilden graat testen wat klanten zouden doen als ze deze pagina niet meer kregen. Voorberekening: Het niet aanbieden van deze pakketten stuitte op veel onzekerheid binnen de organisatie, aangezien daar een flink deel van onze omzet vandaan komt. Vooraf is een uitgebreide berekening gemaakt van de mogelijke impact. Hierbij zijn we uit gegaan dat klanten die normaal Basic kopen een zelfde gedrag vertonen en bij klanten die normaal Plus of Max kopen dat 100%, 75% of 50% ook dezelfde soort ancillaries zouden bijkopen die in de pakketten zijn opgenomen. Uit deze berekening kwam naar voren dat het break even point rond de 81% zat. A/B test: We hebben een A/B test uitgevoerd waarbij we deze pakketten pagina hebben overgeslagen. Alle klanten moesten dus zelf hun pakket samenstellen als ze bagage of een stoel of andere ancillaries wilden bijboeken. Uitkomst: Het niet tonen van de pakketten pagina had geen significante impact op ticket verkoop. De attachrate van ruimbagage lag ongeveer gelijk aan de default, de attachrate van stoelen was aanzienlijk lager. Wel zagen we een verschuiving in aantal kilo’s voor de ruimbagage en soort stoelen die geboekt werden. Uiteindelijk zagen we dat het weghalen van de pakketten geen positieve impact had. Ook kregen we van bestaande klanten te horen dat zij de Plus en Max misten, omdat daar ook flying blue miles en flexibiliteit in aangeboden wordt, welke we op het moment van testen niet los konden aanbieden. Learnings: Door vooraf een uitgebreide impact analyse te maken, kregen we de mogelijkheid om deze test door te voeren, waardoor we een aantal waardevolle inzichten hebben verkregen. Deze test heeft mede inzichtelijk gemaakt dat het los aanbieden van kleinere producten zeer wenselijk is voor de klant. Daarnaast geeft het input om de pakketten in de toekomst te herzien, zodat deze beter aansluiten op de wensen van de klant.
  • 21.
    1.2. Bereken dewaarde 21© ShoppingTomorrow © ShoppingTomorrow • Transavia biedt Plus en Max pakketten waarin ruimbagage, stoelkeuze en flexibiliteit inbegrepen is • De wens bestond om de huidige opzet met pakketten te testen ten opzichte van afzonderlijke keuzes voor extra’s, maar dit stuitte op weerstand binnen de organisatie • Door vooraf een uitgebreide analyse van de mogelijke impact te maken konden stakeholders overtuigd worden om de test uit te voeren • Bovendien heeft dit geholpen me het beoordelen van de testresultaten • De testvariant was uiteindelijk geen winnaar, maar de test heeft veel waardevolle inzichten opgeleverd
  • 22.
    1.2. Bereken dewaarde 22© ShoppingTomorrow © ShoppingTomorrow De impact analyse vooraf toont aan wat het break even point is, en heeft geholpen om stakeholders te overtuigen en de testresultaten te toetsen aan de eerder gemaakte inschatting. Current Expected – 100% Expected – 75% Expected – 50% Product Revenue Revenue Revenue Revenue Flight XXX,XXX,XXX XXX,XXX,XXX XXX,XXX,XXX XXX,XXX,XXX Seat reservation XX,XXX,XXX XX,XXX,XXX XX,XXX,XXX XX,XXX,XXX Hold luggage XX,XXX,XXX XX,XXX,XXX XX,XXX,XXX XX,XXX,XXX Total XXX,XXX,XXX XXX,XXX,XXX XXX,XXX,XXX XXX,XXX,XXX Difference €2,541,731 -€925,147 -€4,392,024 % Difference 1.10% -0.40% -1.91% Break even point= 81%
  • 23.
    23© ShoppingTomorrow ©ShoppingTomorrow Bereken de waarde Deze case is opgesteld door: Jurjen Jongejan, Sr. Conversie-optimalisatie consultant bij ISM eCompany
  • 24.
    1.3. Gebruik pretotyping 24©ShoppingTomorrow © ShoppingTomorrow CRO Aanpak VRAAG : “We willen functionaliteit toevoegen dat bezoekers online de voorraad van onze winkels kunnen bekijken! Moeten we hier in investeren?”
  • 25.
    1.3. Gebruik pretotyping 25©ShoppingTomorrow © ShoppingTomorrow CRO Aanpak De techniek ‘pre-to- typing’ is toegepast. ‘Schijnfunctionaliteit’ toegevoegd om te toetsen of de behoefte bij de bezoekers er is.
  • 26.
    1.3. Gebruik pretotyping 26©ShoppingTomorrow © ShoppingTomorrow
  • 27.
    1.3. Gebruik pretotyping 27©ShoppingTomorrow © ShoppingTomorrow Bron: Hotjar
  • 28.
    1.3. Gebruik pretotyping 28©ShoppingTomorrow © ShoppingTomorrow Productpagina Categoriepagina Homepage Checkout Overzicht € Winkelmand Fysieke winkel Productpagina Kassa € Voorraad check Categoriepagina Homepage 6,9% Unieke bezoekers op productpagina: > 40.000 4,2% De behoefte bij de bezoekers is er. De investering is daardoor goed te verantwoorden en ondersteunt in de optimalisatie van de klantreis. Bron: Google Analytics
  • 29.
    1.3. Gebruik pretotyping 29©ShoppingTomorrow © ShoppingTomorrow
  • 30.
    30© ShoppingTomorrow ©ShoppingTomorrow Bereken de waarde Deze case is opgesteld door: Helene Hallebeek, CRO Specialist bij Transavia
  • 31.
    1.4. Gebruik pretotyping 31©ShoppingTomorrow © ShoppingTomorrow • Transavia runt de Stichting Peter Pan Vakantieclub, die vakanties organiseert voor jongeren die door ziekte om omstandigheden niet in staat zijn om zelfstandig op vakantie te gaan. De stichting is voor een groot deel afhankelijk van donaties. • Doel van de A/B-test: meer donaties, zonder een negatief effect op het aantal boekingen. • Op korte termijn was er geen developmenttijd beschikbaar om een volledig donatie-element te ontwikkelen. Bovendien was er geen zekerheid over de impact van zo’n element. • Daarom is met een pretotype getest wat de (mogelijke) impact is van het toevoegen van een donatiefunctionaliteit.
  • 32.
    1.4. Gebruik pretotyping 32©ShoppingTomorrow © ShoppingTomorrow Toegevoegde donatie- mogelijkheid • In de pretotype-test is een element toegevoegd aan het boekingsscherm dat de donatie nog niet verwerkt in het orderbedrag, maar bezoekers achteraf nog de mogelijkheid geeft om te doneren. • Het bouwen van de pretotype kon snel gebeuren, omdat hier weinig developmentcapaciteit voor nodig was. • Resultaat: 10% van de klanten had de intentie om te doneren, wat bij een volledige functionaliteit tot aanzienlijk meer donaties zou leiden. Er was geen impact op het aantal boekingen. • Door een pretotype in te zetten kon de potentie van een echte donatiefunctionaliteit bewezen worden met een minimale investering. Met de resultaten van de test kon een business case gemaakt worden om de volledige functionaliteit gebouwd te krijgen.
  • 33.
    2. Deel inzichtenen resultaten 33© ShoppingTomorrow © ShoppingTomorrow • Investeer in interne “CRO marketing” • Deel resultaten en inzichten: successen én verliezers! • Bepaal eerst wat je wilt verkopen en aan wie, en kies daar de juiste vorm bij • Gebruik visuele ondersteuning en kwalitatieve data • Laat stakeholders en directieleden zelf meekijken bij usability onderzoek • Breng kennis vanuit eerdere tests en analyses in als er toch een groot project is 2. Deel inzichten en resultaten
  • 34.
    34© ShoppingTomorrow ©ShoppingTomorrow Deel inzichten en resultaten Deze case is opgesteld door: Melle Moorman, CRO Lead & Product Owner bij bol.com
  • 35.
    35© ShoppingTomorrow ©ShoppingTomorrow 2.1. Deel inzichten en resultaten Bol.com gebruikt een besloten Facebook- groep om testresultaten en –inzichten op een interactieve manier te delen. Hiermee is de zichtbaarheid van het CRO programma aanzienlijk verbeterd.
  • 36.
    36© ShoppingTomorrow ©ShoppingTomorrow Deel inzichten en resultaten Deze case is opgesteld door: Bernadette Bijkerk, Conversie specialist bij Sanoma
  • 37.
    37© ShoppingTomorrow ©ShoppingTomorrow 2.2. Deel inzichten en resultaten Sanoma gebruikt Slack om testresultaten en – inzichten op een interactieve manier te delen. Hiermee is de zichtbaarheid van het CRO programma aanzienlijk verbeterd.
  • 38.
    38© ShoppingTomorrow ©ShoppingTomorrow 2.2. Deel inzichten en resultaten
  • 39.
    39© ShoppingTomorrow ©ShoppingTomorrow 2.2. Deel inzichten en resultaten
  • 40.
    40© ShoppingTomorrow ©ShoppingTomorrow Deel inzichten en resultaten Deze case is opgesteld door: Farshad Soleymani, Conversie Manager bij VodafoneZiggo
  • 41.
    41© ShoppingTomorrow ©ShoppingTomorrow 2.3. Deel inzichten en resultaten VodafoneZiggo deelt informatie op verschillende manieren voor verschillende doelgroepen. Voor hoger management een heel beknopt dashboard met alleen de KPI’s van het CRO programma...
  • 42.
    42© ShoppingTomorrow ©ShoppingTomorrow 2.3. Deel inzichten en resultaten ... En voor andere stakeholders een uitgebreidere rapportage. Hierin staat een vast onderdeel met KPI’s en een variërend onderdeel dat verder ingaat op learnings over een test.
  • 43.
    43© ShoppingTomorrow ©ShoppingTomorrow Deel inzichten en resultaten Deze case is opgesteld door: Jurrien Schouten, Lead UX & CRO bij fonQ
  • 44.
    2.4. Deel inzichtenen resultaten 44© ShoppingTomorrow © ShoppingTomorrow FonQ organiseert elke twee maanden usability onderzoek waarbij diverse stakeholders kunnen aansluiten en input aanleveren. Zo is de betrokkenheid groot en zien stakeholders zelf de ervaring van klanten
  • 45.
    2.4. Deel inzichtenen resultaten • Sinds augustus gestart • 1x per twee maanden, 2 dagen testen • Onderwerpen; eigen input: • Customer journey pijnpunten • Nieuwe prototypes • Maar ook faciliteren! Langs de relevante afdelingen topics/input verzamelen/ophalen. • Bv. Hoe shoppen klanten een zakelijke bestelling? • Tijdens: Participatie door notities te plaatsen in Lookback.io, korte evaluatie. • Naderhand (week later), presenteren insights aan zo ongeveer iedereen :-)) • Zorgt weer voor input voor de volgende keer! 45© ShoppingTomorrow © ShoppingTomorrow
  • 46.
    46© ShoppingTomorrow ©ShoppingTomorrow Deel inzichten en resultaten Deze case is opgesteld door: Marlous Vennegoor op Nijhuis, Senior Product Owner bij De Bijenkorf
  • 47.
    2.5. Deel inzichtenen resultaten 47© ShoppingTomorrow © ShoppingTomorrow De Bijenkorf heeft kwalitatieve en visuele inzichten vanuit neuro usability onderzoek gebruikt als extra onderbouwing voor een A/B test. Hierdoor werd het belang voor stakeholders duidelijker
  • 48.
    48© ShoppingTomorrow ©ShoppingTomorrow Deel inzichten en resultaten Deze case is opgesteld door: Marijn Tijhuis, Senior Conversie Specialist bij BCC
  • 49.
    2.6. Deel inzichtenen resultaten 49© ShoppingTomorrow © ShoppingTomorrow “De Hippo metafoor helpt BCC bewust te zijn van de valkuilen van opinie gedreven beslissingen en de toegevoegde waarde van het sturen op data”. Herman Bramer – Algemeen directeur BCC Bij BCC is de Algemeen Directeur overtuigd van het belang van datagedreven werken, en heeft hij dit poster in zijn kantoor hangen om zichzelf en anderen hier scherp op te houden
  • 50.
    50© ShoppingTomorrow ©ShoppingTomorrow Deel inzichten en resultaten Deze case is opgesteld door: Sascha van Eck, CRO Specialist bij Hunkemöller International
  • 51.
    2.7. Deel inzichtenen resultaten 51© ShoppingTomorrow © ShoppingTomorrow AB TEST 1: USP IN BASKET Hunkemoller heeft voor een redesign resultaten van eerdere A/B-testen ingebracht, zodat learnings hieruit toegepast konden worden in het nieuwe design
  • 52.
    2.7. Deel inzichtenen resultaten 52© ShoppingTomorrow © ShoppingTomorrow AB TEST 2: USP OP PDP
  • 53.
    2.7. Deel inzichtenen resultaten 53© ShoppingTomorrow © ShoppingTomorrow AB TEST 3: MICROCOPY
  • 54.
    2.7. Deel inzichtenen resultaten 54© ShoppingTomorrow © ShoppingTomorrow AB TEST 4: ADD TO CART CONFIRMATION
  • 55.
    3. Verbeter jeproces 55© ShoppingTomorrow © ShoppingTomorrow • Breng eerst in kaart wáár in het proces de stagnatie optreedt • Investeer in een gestructureerd CRO proces • Gebruik een projectmanagementtool • Bouw aan autonome teams die werken aan gezamenlijke doelstellingen, waarin ook developers zijn betrokken bij het optimalisatieproces • Knip grote projecten net zo lang op totdat ze klein zijn • Zorg voor nauwe samenwerking met eventuele externe stakeholders, ook op locatie 3. Verbeter je proces
  • 56.
    56© ShoppingTomorrow ©ShoppingTomorrow Verbeter je proces Deze case is opgesteld door: Rudger de Groot, Digital Optimizer / Founder bij Mintminds
  • 57.
    3.1. Verbeter jeproces 57© ShoppingTomorrow © ShoppingTomorrow Met een projectmanagementtool, zoals Effective Experiments, een andere tool of je eigen systeem, maak je inzichtelijk waar in het proces de stagnatie optreedt. Zo kun je daar op focussen bij procesoptimalsiatie
  • 58.
    58© ShoppingTomorrow ©ShoppingTomorrow Verbeter je proces Deze case is opgesteld door: Helene Hallebeek, CRO Specialist bij Transavia
  • 59.
    3.2. Verbeter jeproces 59© ShoppingTomorrow © ShoppingTomorrow Samenwerking Transavia & iProspect Transavia zorgt voor een optimalise samenwerkign tussen verschillende stakeholders en een bureau met een wekelijkse CRO meeting. iProspect blijft de rest van de dag op kantoor bij Transavia
  • 60.
    60© ShoppingTomorrow ©ShoppingTomorrow Verbeter je proces Deze case is opgesteld door: Erik van Houwelingen, Lead CRO & Web Analytics bij Intergamma B.V.
  • 61.
    3.3. Verbeter jeproces 61© ShoppingTomorrow © ShoppingTomorrow Tweeledig doel: • Aan de organisatie laten zien wat agile werken is, en waar scrum teams toe in staat zijn • Een vernieuwende oplossing binnen 8 uur neerzetten Uitvoering: • 5 verschillende ideeën/thema’s worden gepitcht door de business • Developers, product owners, designers en analisten konden een topic uitkiezen en vormden zo 5 teams • Gedurende de dag wordt hier aan gewerkt, met op het einde van de dag een demo • Afsluitend een borrel Resultaat: • Een gezellige dag • Veel leuke feedback vanuit de organisatie • 5 minimum viable products, die in de praktijk getest kunnen worden https://www.intergamma.nl/over-ons/kijkje-achter-de-schermen/intergamma-innovatiedag/ Intergamma heeft een Innovatiedag georganiseerd om developers beter te betrekken bij het optimalisatieproces
  • 62.
    62© ShoppingTomorrow ©ShoppingTomorrow Verbeter je proces Deze case is opgesteld door: Melle Moorman, CRO Lead & Product Owner bij bol.com
  • 63.
    3.4. Verbeter jeproces 63© ShoppingTomorrow © ShoppingTomorrow Bol.com test regelmatig nieuwe functionaliteit of designs met guerilla user testing op Utrecht Centraal. Hierbij sluiten o.a. Developers, designs en directors bij aan. Dit levert direct waardevolle klantfeedback op en zorgt voor betere betrokkenheid van stakeholders bij het proces
  • 64.
    Oplossingen om stagnatiete voorkomen 64© ShoppingTomorrow © ShoppingTomorrow
  • 65.
    Bedankt voor jeaandacht! Meer informatie: Ontdek uw volwassenheid en groeikansen op www.mijnconversiescore.nl Bekijk mobiele conversiecases op www.mijnconversiescore.nl/mobiele-cases