Personalisatie & ROI
Saskia Dikmans
Reinout Wolfert
SNS Bank
12 september 2012
Photo: http://www.sxc.hu/profile/asifthebesPhoto: http://www.sxc.hu/profile/asifthebes
De kapper
Photo: http://www.flickr.com/photos/jonhurd/2338249221, http://www.flickr.com/photos/doctorow/4618803489Photo: http://www.flickr.com/photos/jonhurd/2338249221, http://www.flickr.com/photos/doctorow/4618803489
AA BB CC DD
Photo: http://www.sxc.hu/profile/asifthebesPhoto: http://www.sxc.hu/profile/asifthebes
We missen het 1 op 1 contact
Conversie optimalisatie & SNS Bank
Multidisciplinaire teams
E-commerceteam
Productgroep
E-commerce
manager
Redacteur Webanalist
Beheerder
Media Design
In het voorjaar… op zoek naar ROI
Photo: http://www.flickr.com/photos/infomatique/5597147355Photo: http://www.flickr.com/photos/infomatique/5597147355
Uitkomt: een testplan, op basis van
vier criteria
1. Bijdrage (€) van het product
Photo:Photo: http://www.flickr.com/photos/phil_g/2047846638http://www.flickr.com/photos/phil_g/2047846638
2. Funnelforecast
Photo: http://www.flickr.com/photos/10543624@N04/4660538834/Photo: http://www.flickr.com/photos/10543624@N04/4660538834/
3. Campagneplanning
Photo: http://www.sxc.hu/photo/570617Photo: http://www.sxc.hu/photo/570617
4. Investering (€ en tijd)
Photo: http://www.sxc.hu/photo/1003409Photo: http://www.sxc.hu/photo/1003409
5 richtlijnen voor elke test
1.Hypothese
2.Eén plek tegelijk in funnel
3.Minimaal 50 conversies
per variant
4.Minimaal 95% significantie
5.Minimaal 2 weken
doorlooptijd
Aantal extra aanvragen
(door testen, cumulatief)
0
20.000
40.000
60.000
80.000
100.000
120.000
140.000
160.000
180.000
200.000
jan-2011feb-2011m
rt-2011apr-2011m
ei-2011jun-2011jul-2011aug-2011sep-2011okt-2011nov-2011dec-2011jan-2012feb-2012m
rt-2012apr-2012m
ei-2012jun-2012jul-2012aug-2012
Segmentatie & Personalisatie
““Personalization (or on-site behavioral targeting) is thePersonalization (or on-site behavioral targeting) is the
capability to identify valuable visitor segments and servecapability to identify valuable visitor segments and serve
customized content based on their characteristics.”customized content based on their characteristics.”
(BTBuckets.com)
Segment
Photo: http://www.flickr.com/photos/jonhurd/2338249221, http://www.flickr.com/photos/doctorow/4618803489Photo: http://www.flickr.com/photos/jonhurd/2338249221, http://www.flickr.com/photos/doctorow/4618803489
AA BB CC DD
2 Stappen
1. Testen op basis van segmenten om
inzicht te krijgen in waardevolle
segmenten
2. Personaliseren op basis van
testresultaten
Photo: http://www.flickr.com/photos/svaboda/4749196606/ http://www.flickr.com/photos/yuri-samoilov/4105603525Photo: http://www.flickr.com/photos/svaboda/4749196606/ http://www.flickr.com/photos/yuri-samoilov/4105603525
Stap 1: testen op basis van
segmenten
55% 45%
Gehele site
60% 40%
Sectie Verzekeren
70% 30%
Na aanvraag
Autoverzekering
Vrouwen <3 Autoverzekeringen?
““Vrouwen voelen zich door reguliere autoverzekeraars niet aangesproken”Vrouwen voelen zich door reguliere autoverzekeraars niet aangesproken”
““70% van de vrouwen vindt dat reclames70% van de vrouwen vindt dat reclames
hierover teveel op mannen gericht zijn”hierover teveel op mannen gericht zijn”
““Terwijl vrouwen juist vaak degenen zijn die de financiële beslissingen nemen,Terwijl vrouwen juist vaak degenen zijn die de financiële beslissingen nemen,
in driekwart van de gevallen is de vrouw in het gezin verantwoordelijkin driekwart van de gevallen is de vrouw in het gezin verantwoordelijk
voor de geldzaken!”voor de geldzaken!”
Bron: http://www.carwoman.nl/2012/01/24/autoverzekeraar-voor-vrouwen-biedt-service-met-een-hoofdletter/
Vrouwen…
70% 30%
Na aanvraag
Autoverzekering
73% 27%
Na aanvraag
Autoverzekering
(via de ‘oude’ versie)
67% 33%
Na aanvraag
Autoverzekering
(via de ‘vrouwen’ versie)
Resultaat
22%22% Niet
Niet
significant
significant
Tweede segmenttest: Regio
Het noorden
Het zuiden
Grote stedenGrote steden
Het origineel
Landelijk!
Stads
Wat levert het op?
Photo: http://www.flickr.com/photos/68751915@N05/6551534889/Photo: http://www.flickr.com/photos/68751915@N05/6551534889/
Grote stedenGrote steden
+111%+111%
-…%-…%
+…%+…%
En, wat kost het?
• Personele kosten
• Kosten voor Visual Website Optimizer
Positieve ROI!
Wat zijn de afwegingen?
• Beheersbaarheid van content
• Organisatie
Test &
vind je waardevolle segmenten
Photo: http://www.flickr.com/photos/rsgranne/22501987Photo: http://www.flickr.com/photos/rsgranne/22501987
Waar zit de hoogste ROI?
Dat is de vraag
Bedankt!

Personalisatie & ROI

Editor's Notes

  • #2 R
  • #3 R Ik ben Reinout blabla
  • #4 S Ik ben Saskia, bla bla
  • #5 R Hoe handelt een kapper? Een kapper kent je Weet wat je wilt Doet je voorstellen Knipt het uiteindelijk zoals jij het geknipt wilt hebben
  • #6 R Hoe handelt een A/B test? Wil je ‘t kaal? Wil je stekels? Wil je een permanentje? Wil je het geverfd? Wat ziet een site / A/B test? Het IP-nummer is 12.345.6.790 Locatie… ergens in de buurt van Amsterdam Browser, Internet Explorer 8 Resolutie, 1024x768 1 minuut en 35 seconden inactief Niet ingelogd
  • #7 R Waar baseert een kapper zijn mening op? Hé, iemand met lang haar Wat een leuke vrouw! Ze praat wel plat, volgens mij komt ze uit de buurt Ik schat… een jaartje of 28 Oooeeehhhhh, dooie punten!
  • #8 S
  • #9 S Onze afdeling Ecommerce is opgesplitst in Ecommerce teams die verantwoordelijk zijn voor een productgroep Deze Ecommerce teams bestaan uit ecom manager, redacteur webanalist en een beheerder. CO is belegd binnen de ecom teams en webanalist is hoofdverantwoordelijk/aanjager hiervan.
  • #10 S Aan het begin van het jaar wordt funnelanalyse gedaan: Welke pagina’s spelen een rol bij conversie Pagina’s met veel bezoek, laag CP -&gt; CO Pagina’s met laag bezoek hoge CP -&gt; Meer traffic ernaar toe Testplan gebaseerd op bijdrage van verzekeringsproduct (in euro) en de pagina’s (waar is het meeste winst te behalen) en campagneplanning. Begin van het jaar een funnelanalyse Waar is de hoogte ROI te behalen? Uitkomst: testplan Bijdrage van verzekeringsproduct (euro) Grootste winst te behalen (funnel) Campagneplanning Doorlopend testen op snsbank.nl (op dit moment: 44 tegelijk)
  • #12 Uitkomst: testplan Bijdrage van verzekeringsproduct (euro) Grootste winst te behalen (funnel) Campagneplanning
  • #15 S Opbrengsten: Extra aanvragen en in € Wat levert het meeste op: LP’s Funnels, etalages, content etc. Kosten: Uren medewerkers Kosten betaald verkeer die mee doen in testen Continue afweging: hoeveel tijd steek ik in welke test? Bijdrage bij aanvraag groot, dan meer tijd investeren, bijdrage bij aanvraag klein, dan minder tijd
  • #16 S Bij elke test Hypothese 1 plek tegelijkertijd Minimaal 50 conversies per variant Minimaal 95% significantie Minimaal 2 weken
  • #17 S Cumulatieve grafiek Trend laten zien? Begin 2011, grof testen Dus verder zoeken naar mogelijkheden voor resultaat
  • #18 R Testen op basis van segmenten Personalisatie op basis van klantkenmerken (op basis van kennis uit testen) -&gt; Link weer leggen met kapper
  • #19 S Aanleiding; Inboedelverzekering verkoopt erg goed via Adwords in bepaalde regio’s Verwachting/Aannames: Bezoekers in steden houden van directe aanpak en beeld die aanspreekt bij stadse beeld Bezoekers uit landelijke gebieden: willen een zachtere aanpak en landelijk beeld. Hierdoor eerder overtuigd en zullen eerder converteren. Varianten: Landelijke versie Stedelijke versie Drie testen opgezet: Voor grote steden Provincie Noord Provincie Zuid Provincie midden/overig -&gt; werkte niet en dus uitgezet Op basis van VWO; segment laten zien (screenshot) Het is op basis van IP, niet waterdicht (daar ook de variaties op aangepast, niet ‘He hallo Groninger’, maar een beeldaanpassing) Vertellen wat er getest is (beeld + knoppen)
  • #20 R Hoe handelt een A/B test? Wil je ‘t kaal? Wil je stekels? Wil je een permanentje? Wil je het geverfd? Wat ziet een site / A/B test? Het IP-nummer is 12.345.6.790 Locatie… ergens in de buurt van Amsterdam Browser, Internet Explorer 8 Resolutie, 1024x768 1 minuut en 35 seconden inactief Niet ingelogd
  • #22 Stap 1; testen op basis van segmenten Herkomst Vrouw / Man Regio etc
  • #23 Uit analyse bleek dat de verhouding man/vrouw op onze website nagenoeg gelijk is. Kijk je naar de sectie verzekeren op onze site, verschuift deze verdeling al wat meer en wordt het verschil groter. Kijken we naar de sectie autoverzekering is het verschil tussen mannen en vrouwen groot. Slechts 30% van aanvragen bij auto is vrouw! Zijn vrouwen niet geïnteresseerd in autoverzekeringen of zien we hier een groot potentieel? We zijn op internet gaan kijken naar onderzoeken naar vrouwen en autoverzekeringen….
  • #24 Er is dus wel potentieel en vrouwen voelen zich dus blijkbaar ook niet aangesproken bij onze autoverzekering! Dit is uiteraard een aanname. Wat spreekt vrouwen dan wel aan? We vroegen het via social media.
  • #25 Op het eerste oog zie je niet veel verschil, maar de details zijn anders. En dat alles gemaakt in 1 dag! Maar hoe doet de test het op dit moment?
  • #26 Uit analyse bleek dat de verhouding man/vrouw op onze website nagenoeg gelijk is. Kijk je naar de sectie verzekeren op onze site, verschuift deze verdeling al wat meer en wordt het verschil groter. Kijken we naar de sectie autoverzekering is het verschil tussen mannen en vrouwen groot. Slechts 30% van aanvragen bij auto is vrouw! Zijn vrouwen niet geïnteresseerd in autoverzekeringen of zien we hier een groot potentieel? We zijn op internet gaan kijken naar onderzoeken naar vrouwen en autoverzekeringen….
  • #27 S Aanleiding; Inboedelverzekering verkoopt erg goed via Adwords in bepaalde regio’s Verwachting/Aannames: Bezoekers in steden houden van directe aanpak en beeld die aanspreekt bij stadse beeld Bezoekers uit landelijke gebieden: willen een zachtere aanpak en landelijk beeld. Hierdoor eerder overtuigd en zullen eerder converteren. Varianten: Landelijke versie Stedelijke versie Drie testen opgezet: Voor grote steden Provincie Noord Provincie Zuid Provincie midden/overig -&gt; werkte niet en dus uitgezet Op basis van VWO; segment laten zien (screenshot) Het is op basis van IP, niet waterdicht (daar ook de variaties op aangepast, niet ‘He hallo Groninger’, maar een beeldaanpassing) Vertellen wat er getest is (beeld + knoppen)
  • #28 S Aanleiding; Inboedelverzekering verkoopt erg goed via Adwords in bepaalde regio’s Verwachting/Aannames: Bezoekers in steden houden van directe aanpak en beeld die aanspreekt bij stadse beeld Bezoekers uit landelijke gebieden: willen een zachtere aanpak en landelijk beeld. Hierdoor eerder overtuigd en zullen eerder converteren. Varianten: Landelijke versie Stedelijke versie Drie testen opgezet: Voor grote steden Provincie Noord Provincie Zuid Provincie midden/overig -&gt; werkte niet en dus uitgezet Op basis van VWO; segment laten zien (screenshot) Het is op basis van IP, niet waterdicht (daar ook de variaties op aangepast, niet ‘He hallo Groninger’, maar een beeldaanpassing) Vertellen wat er getest is (beeld + knoppen)
  • #29 S
  • #32 S 21.693 euro (verbetering conversie bij de grote steden)
  • #33 S Aanleiding; Inboedelverzekering verkoopt erg goed via Adwords in bepaalde regio’s Verwachting/Aannames: Bezoekers in steden houden van directe aanpak en beeld die aanspreekt bij stadse beeld Bezoekers uit landelijke gebieden: willen een zachtere aanpak en landelijk beeld. Hierdoor eerder overtuigd en zullen eerder converteren. Varianten: Landelijke versie Stedelijke versie Drie testen opgezet: Voor grote steden Provincie Noord Provincie Zuid Provincie midden/overig -&gt; werkte niet en dus uitgezet Op basis van VWO; segment laten zien (screenshot) Het is op basis van IP, niet waterdicht (daar ook de variaties op aangepast, niet ‘He hallo Groninger’, maar een beeldaanpassing) Vertellen wat er getest is (beeld + knoppen)
  • #34 S Heleen (pagina’s maken): 2 uur Teksten schrijven: 0,5 uur Design: 0,5 uur Saskia: 2 uur Totaal: 5 uur. 100 euro per uur = 500 euro maken van de testopzet. In aantal uur van specialisten (* uurtarief) + beheerkosten ROI = ( Opbrengsten investering - Kosten investering ) / Kosten investering Opbrengsten = aantal extra aanvragen die een een optimalisatie op jaarbasis oplevert Kosten, via twee wegen: Kosten van CO in uren van medewerkers Kosten die je besteedt aan betaald verkeer en wat het oplevert doordat meer mensen converteren Kosten van de tool
  • #35 R
  • #37 R