SlideShare a Scribd company logo
1 of 35
A/B en Multi Variate Testen (MVT)
Frank Overbeek
SiteSpect Europe
A/B Testen voor strategisch beslissen
Case
Het VEGAS.com Mobiele Dilemma
Wat is VEGAS.com?
• ‘s Werelds grootste op een stad georiënteerde web
site (~10m uniek/maand.)
• Verkoopt “everything Vegas”, van hotel to vakantie
pakketten, shows en restaurants tot excursies en
meer.
• Primair: www.vegas.com and www.lasvegas.com
De brandende vraag:
Moet de website beschikbaar/aangepast
worden voor mobiele aparaten als iPhones,
Android, RIM, etc?
Dilemma:
Wie gebruikt zijn/haar mobiel voor het web?
Wie voert hiermee transacties uit?
Vraag..
Recente gegevens van comScore (EU)
53%
• Mobiele bezoekers vormen 7% van het verkeer
– 70% iPhone, 20% Android, ~10% anders
• Mobiele segment groeit met 6% per maand
• Mobiele bounce rate 50% hoger dan non-mobiele
• De mobiele bezoeker vertegenwoordigd omzet($$$)
VEGAS.com’s web analytics
Te klein
voor 326
dpi!
Tijd om mobiel aandacht te geven
• VEGAS.com’s team realiseerde dat het tijd was
om de voor en nadelen van het mobiliseren
van de site te bekijken.
– Investeren van tijd en geld
– De bestaande ontwikkelingen aanhouden
– Risico dat het niets opbrengt of zelfs minder
Wat betekent mobiliseren?
• Past op een klein scherm zonder scaling/zoom
• Focus op de primaire functies
• Low-fat (beperkte graphics, scripts en andere
zaken welke de page load and rendering
vertragen)
• Werkt goed met een touch screen (niet te veel
formulier)
Overwegingen
• Een test uitvoeren om te zien of mobiele content uitmaakt,
en hoeveel.. (hypothese)
• Focus op de key content die al gebruikt wordt op de
mobiel:
– Homepage
– Top-level categorie pagina’s
– Hotelkamers zoeken
• Beperking: geen wijziging aan de e-commerce architectuur
• Gebruik een applicatie om mobiele templates die de full
site content “skinnen” en de ‘mobiele klant’ target.
Technologie
Experiment variatie
Server(s)
Targeting
“De nieuwe” mobiele test
pagina’s
A/B test resultaten: mobiel vs. volle site
• De A/B test liep nog geen twee maanden
• Van ontwerp tot live, 2 weken
• Key metrics voor de mobiele versie
– 22% lagere bounce rate
– 16% meer pageviews op de product categorieen
– Double-digit groei in conversie*
(* originele backend proces)
• Alles met 95% of hogere significantie
Learnings
• Mobiel is er echt … nu echt ... ;).
• De vraag voor eenieder:
– Moeten we investeren in het mobiliseren?
– Wanneer?
– Hoe volledig?
• Kijk naar uw KPIs in het mobiele segment
• Begin klein…
– Is het mogelijk een test op een beperkt content(gebied)
uit te voeren, om in een hypothese te bewijzen dat
mobificatie de UX/performance/conversie verbeterd?
• Baseer de investering op interne/externe data and
analyse
Multi Variate Testen
Wat, Hoe, Waarom?
“Het (on-line, geautomatiseerd)
aanbieden en variëren en van
communicatie componenten*, met als
doel; de analyse van het veroorzaakte
gedrag van de ontvangende partij’, om zo
de bewezen optimale
communicatie/conversie* te bepalen”.
Definitie
Marketing Instrument
Plaats in de keten
UsabilityUserexperience Analytics MVT
ProductionDevelopment
Feedback
Stated preference Actual preference
•Welke conversiedoelen / response willen
we bereiken?
•Welke factoren willen we onderzoeken die
effect hebben op de doelen/respons?
•Welke variaties kunnen deze factoren
hebben?
•Welke additionele segment
karakteristieken hebben daarnaast invloed
op de conversie?
Componenten van Experiment
Test factoren en variaties
Segment variabelen
Klantgedrag
De resultaten die je
zoekt om sitegedrag
te begrijpen en te
optimaliseren
Zaken binnen
mijn controle (X)
Zaken buiten
mijn controle (Z)
Uitkomst (Y)
Optimalisatie
High value klanten nemen het duurdere aanbod, twee keer zo
veel als low value klanten.Voorbeeld:
Onderwerp
OnderwerpVergelijking
Attribuut
4 ingrediënten voor Hypothesen
Goede hypothesen bestaan uit:
a) Een doelgroep (Z)
• Ofwel een complete groep of sub-segmenten van de groep
b) Een meetbare uitkomst (Y)
• Een uitkomst binnen het klant keuzeproces
c) Een vergelijking (<>)
• Meer dan, minder dan, hetzelfde, etc
d) Een variabel attribuut (X)
• Het element wat het keuzeproces van de klant beïnvloed
Voorbeeld Hypothesen
Afbeeldingen van succesvolle mensen heeft een positief effect
op de conversie
Het verstrekken van sociale informatie heeft een positieve
invloed op de conversie: ‘we hebben al xxx beleggers
geinteresseerd’ , ‘een totaal bedrag van xxx is reeds belegd’ ,
‘een gemiddeld rendement van xxx is behaald’.
Klanten hebben behoefte aan procesinfo: Het toelichten van
het procesverloop op voorhand zal een hogere conversie
bewerkstelligen.
Wat testen?
• Visuele aspecten
• Textuele aspecten
• Contextuele aspecten
• Informatie vormen/volume
• Technische aspecten
• Persuasiveness
Lengte van de test
• Aantal Factoren
(Elementen)
• Aantal Variaties
• Aantal Bezoekers
• Aantal Conversies
• Confidence level (%)
• Tot statistische relevantie..
Succesfactoren
• Organisatie klaar (analytics)
• Ownership FTE(s)
• Onbeantwoorde vragen
• Lichte tests beginnen
• Open Blik
• Ook nee is een antwoord
• Creativiteit
• Juiste Tool
Hoe werkt het?
web
server
content
server
Experiment variaties
Hoe werkt het; op pagina niveau
Server(s)
Ref=Tijger
Interactief / Demo
Vragen

More Related Content

Similar to SiteSpect - Frank Overbeek

Event-Driven Marketing Anno 2013 (Trigger-Based Marketing)
Event-Driven Marketing Anno 2013 (Trigger-Based Marketing)Event-Driven Marketing Anno 2013 (Trigger-Based Marketing)
Event-Driven Marketing Anno 2013 (Trigger-Based Marketing)Ed Sander
 
Mobile maturity-model - hoe je als bedrijf mobiel volwassen wordt - Remi van ...
Mobile maturity-model - hoe je als bedrijf mobiel volwassen wordt - Remi van ...Mobile maturity-model - hoe je als bedrijf mobiel volwassen wordt - Remi van ...
Mobile maturity-model - hoe je als bedrijf mobiel volwassen wordt - Remi van ...Remi van Beekum
 
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?valantic NL
 
Storm insights app analytics wac 2014
Storm insights   app analytics wac 2014Storm insights   app analytics wac 2014
Storm insights app analytics wac 2014Jasper Dijkstra
 
Web analytics en conversie optimalisatie_TCD 2010
Web analytics en conversie optimalisatie_TCD 2010Web analytics en conversie optimalisatie_TCD 2010
Web analytics en conversie optimalisatie_TCD 2010Netprofiler
 
Magento & online marketing 5 best practices voor uw webshop
Magento & online marketing 5 best practices voor uw webshopMagento & online marketing 5 best practices voor uw webshop
Magento & online marketing 5 best practices voor uw webshopvalantic NL
 
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...valantic NL
 
Inspirational Lecture - Liesbeth janssens - apps en ebooksdef!
Inspirational Lecture - Liesbeth janssens - apps en ebooksdef!Inspirational Lecture - Liesbeth janssens - apps en ebooksdef!
Inspirational Lecture - Liesbeth janssens - apps en ebooksdef!Tom Fleerackers
 
Webinar bol.com conversie optimalisatie 13 nov. 2012
Webinar bol.com conversie optimalisatie 13 nov. 2012Webinar bol.com conversie optimalisatie 13 nov. 2012
Webinar bol.com conversie optimalisatie 13 nov. 2012Eduvision Opleidingen
 
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroeiConversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroeivalantic NL
 
Mini Workshop: Onmisbare Google Analytics analyses voor ieder CRO traject
Mini Workshop: Onmisbare Google Analytics analyses voor ieder CRO trajectMini Workshop: Onmisbare Google Analytics analyses voor ieder CRO traject
Mini Workshop: Onmisbare Google Analytics analyses voor ieder CRO trajectvalantic NL
 
Winnen met testen. Verhoog het rendement op conversie-optimalisatie
Winnen met testen. Verhoog het rendement op conversie-optimalisatieWinnen met testen. Verhoog het rendement op conversie-optimalisatie
Winnen met testen. Verhoog het rendement op conversie-optimalisatieDaniël Markus
 
Sneak Preview Web Performance Scan Duurzaam Beleggen
Sneak Preview Web Performance Scan Duurzaam BeleggenSneak Preview Web Performance Scan Duurzaam Beleggen
Sneak Preview Web Performance Scan Duurzaam BeleggenWUA!
 
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop pro...
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop   pro...Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop   pro...
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop pro...valantic NL
 
Sneak Preview - Web Performance Scan Mobiel + Abonnement - feb '16
Sneak Preview -   Web Performance Scan Mobiel + Abonnement - feb '16Sneak Preview -   Web Performance Scan Mobiel + Abonnement - feb '16
Sneak Preview - Web Performance Scan Mobiel + Abonnement - feb '16WUA!
 
Wa college kwantitatief 21052010
Wa college kwantitatief 21052010Wa college kwantitatief 21052010
Wa college kwantitatief 21052010Igor ter Halle
 
Google Analytics in een omnichannel-omgeving
Google Analytics in een omnichannel-omgevingGoogle Analytics in een omnichannel-omgeving
Google Analytics in een omnichannel-omgevingvalantic NL
 
Introductie Event-Driven & Trigger-Based Marketing
Introductie Event-Driven & Trigger-Based MarketingIntroductie Event-Driven & Trigger-Based Marketing
Introductie Event-Driven & Trigger-Based MarketingEd Sander
 

Similar to SiteSpect - Frank Overbeek (20)

Event-Driven Marketing Anno 2013 (Trigger-Based Marketing)
Event-Driven Marketing Anno 2013 (Trigger-Based Marketing)Event-Driven Marketing Anno 2013 (Trigger-Based Marketing)
Event-Driven Marketing Anno 2013 (Trigger-Based Marketing)
 
Mobile maturity-model - hoe je als bedrijf mobiel volwassen wordt - Remi van ...
Mobile maturity-model - hoe je als bedrijf mobiel volwassen wordt - Remi van ...Mobile maturity-model - hoe je als bedrijf mobiel volwassen wordt - Remi van ...
Mobile maturity-model - hoe je als bedrijf mobiel volwassen wordt - Remi van ...
 
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?
 
Jurjen Jongejan ISM WWV
Jurjen Jongejan ISM WWVJurjen Jongejan ISM WWV
Jurjen Jongejan ISM WWV
 
Storm insights app analytics wac 2014
Storm insights   app analytics wac 2014Storm insights   app analytics wac 2014
Storm insights app analytics wac 2014
 
Web analytics en conversie optimalisatie_TCD 2010
Web analytics en conversie optimalisatie_TCD 2010Web analytics en conversie optimalisatie_TCD 2010
Web analytics en conversie optimalisatie_TCD 2010
 
Magento & online marketing 5 best practices voor uw webshop
Magento & online marketing 5 best practices voor uw webshopMagento & online marketing 5 best practices voor uw webshop
Magento & online marketing 5 best practices voor uw webshop
 
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...
 
Inspirational Lecture - Liesbeth janssens - apps en ebooksdef!
Inspirational Lecture - Liesbeth janssens - apps en ebooksdef!Inspirational Lecture - Liesbeth janssens - apps en ebooksdef!
Inspirational Lecture - Liesbeth janssens - apps en ebooksdef!
 
Webinar bol.com conversie optimalisatie 13 nov. 2012
Webinar bol.com conversie optimalisatie 13 nov. 2012Webinar bol.com conversie optimalisatie 13 nov. 2012
Webinar bol.com conversie optimalisatie 13 nov. 2012
 
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroeiConversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei
 
Mini Workshop: Onmisbare Google Analytics analyses voor ieder CRO traject
Mini Workshop: Onmisbare Google Analytics analyses voor ieder CRO trajectMini Workshop: Onmisbare Google Analytics analyses voor ieder CRO traject
Mini Workshop: Onmisbare Google Analytics analyses voor ieder CRO traject
 
Winnen met testen. Verhoog het rendement op conversie-optimalisatie
Winnen met testen. Verhoog het rendement op conversie-optimalisatieWinnen met testen. Verhoog het rendement op conversie-optimalisatie
Winnen met testen. Verhoog het rendement op conversie-optimalisatie
 
Wa College 2
Wa College 2Wa College 2
Wa College 2
 
Sneak Preview Web Performance Scan Duurzaam Beleggen
Sneak Preview Web Performance Scan Duurzaam BeleggenSneak Preview Web Performance Scan Duurzaam Beleggen
Sneak Preview Web Performance Scan Duurzaam Beleggen
 
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop pro...
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop   pro...Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop   pro...
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop pro...
 
Sneak Preview - Web Performance Scan Mobiel + Abonnement - feb '16
Sneak Preview -   Web Performance Scan Mobiel + Abonnement - feb '16Sneak Preview -   Web Performance Scan Mobiel + Abonnement - feb '16
Sneak Preview - Web Performance Scan Mobiel + Abonnement - feb '16
 
Wa college kwantitatief 21052010
Wa college kwantitatief 21052010Wa college kwantitatief 21052010
Wa college kwantitatief 21052010
 
Google Analytics in een omnichannel-omgeving
Google Analytics in een omnichannel-omgevingGoogle Analytics in een omnichannel-omgeving
Google Analytics in een omnichannel-omgeving
 
Introductie Event-Driven & Trigger-Based Marketing
Introductie Event-Driven & Trigger-Based MarketingIntroductie Event-Driven & Trigger-Based Marketing
Introductie Event-Driven & Trigger-Based Marketing
 

More from OrangeValley

Privacy First Digital Marketing Event 2024 - Welcome to the privacy first ma...
Privacy First Digital Marketing Event 2024 - Welcome to the privacy first  ma...Privacy First Digital Marketing Event 2024 - Welcome to the privacy first  ma...
Privacy First Digital Marketing Event 2024 - Welcome to the privacy first ma...OrangeValley
 
Privacy First Digital Marketing Event 2024 - Vuistregels voor een correcte co...
Privacy First Digital Marketing Event 2024 - Vuistregels voor een correcte co...Privacy First Digital Marketing Event 2024 - Vuistregels voor een correcte co...
Privacy First Digital Marketing Event 2024 - Vuistregels voor een correcte co...OrangeValley
 
Privacy First Digital Marketing Event 2024 - Testen zonder cookies.pdf
Privacy First Digital Marketing Event 2024 - Testen zonder cookies.pdfPrivacy First Digital Marketing Event 2024 - Testen zonder cookies.pdf
Privacy First Digital Marketing Event 2024 - Testen zonder cookies.pdfOrangeValley
 
Privacy First Digital Marketing Event 2024 - Responsible AI.pdf
Privacy First Digital Marketing Event 2024 - Responsible AI.pdfPrivacy First Digital Marketing Event 2024 - Responsible AI.pdf
Privacy First Digital Marketing Event 2024 - Responsible AI.pdfOrangeValley
 
Privacy First Digital Marketing Event 2024 - Privacy First Marketing Strategy...
Privacy First Digital Marketing Event 2024 - Privacy First Marketing Strategy...Privacy First Digital Marketing Event 2024 - Privacy First Marketing Strategy...
Privacy First Digital Marketing Event 2024 - Privacy First Marketing Strategy...OrangeValley
 
Privacy First Digital Marketing Event 2024 - Optimaliseer je leadgeneratiestr...
Privacy First Digital Marketing Event 2024 - Optimaliseer je leadgeneratiestr...Privacy First Digital Marketing Event 2024 - Optimaliseer je leadgeneratiestr...
Privacy First Digital Marketing Event 2024 - Optimaliseer je leadgeneratiestr...OrangeValley
 
Privacy First Digital Marketing Event 2024 - Mediastrategie_ Heroverweging v...
Privacy First Digital Marketing Event 2024 - Mediastrategie_  Heroverweging v...Privacy First Digital Marketing Event 2024 - Mediastrategie_  Heroverweging v...
Privacy First Digital Marketing Event 2024 - Mediastrategie_ Heroverweging v...OrangeValley
 
Privacy First Digital Marketing Event 2024 - Maak Marketing Meetbaar 2.0.pdf
Privacy First Digital Marketing Event 2024 - Maak Marketing Meetbaar 2.0.pdfPrivacy First Digital Marketing Event 2024 - Maak Marketing Meetbaar 2.0.pdf
Privacy First Digital Marketing Event 2024 - Maak Marketing Meetbaar 2.0.pdfOrangeValley
 
Privacy First Digital Marketing Event 2024 - De impact op social media.pdf
Privacy First Digital Marketing Event 2024 - De impact op social media.pdfPrivacy First Digital Marketing Event 2024 - De impact op social media.pdf
Privacy First Digital Marketing Event 2024 - De impact op social media.pdfOrangeValley
 
Privacy First Digital Marketing Event 2024 - Cookieless Revolutie in Google A...
Privacy First Digital Marketing Event 2024 - Cookieless Revolutie in Google A...Privacy First Digital Marketing Event 2024 - Cookieless Revolutie in Google A...
Privacy First Digital Marketing Event 2024 - Cookieless Revolutie in Google A...OrangeValley
 
Privacy First Digital Marketing Event 2024 - Addressability 2024 and beyond.pdf
Privacy First Digital Marketing Event 2024 - Addressability 2024 and beyond.pdfPrivacy First Digital Marketing Event 2024 - Addressability 2024 and beyond.pdf
Privacy First Digital Marketing Event 2024 - Addressability 2024 and beyond.pdfOrangeValley
 
Digital Deep Dive 2023 - Het CX-Tijdperk
Digital Deep Dive 2023 - Het CX-TijdperkDigital Deep Dive 2023 - Het CX-Tijdperk
Digital Deep Dive 2023 - Het CX-TijdperkOrangeValley
 
Digital Deep Dive 2023 - Workshop_ Van gegevens naar gecentraliseerde klantin...
Digital Deep Dive 2023 - Workshop_ Van gegevens naar gecentraliseerde klantin...Digital Deep Dive 2023 - Workshop_ Van gegevens naar gecentraliseerde klantin...
Digital Deep Dive 2023 - Workshop_ Van gegevens naar gecentraliseerde klantin...OrangeValley
 
Digital Trend Event OrangeValley 2023 - Sterke merken winnen de wedstrijd
Digital Trend Event OrangeValley 2023 - Sterke merken  winnen de wedstrijdDigital Trend Event OrangeValley 2023 - Sterke merken  winnen de wedstrijd
Digital Trend Event OrangeValley 2023 - Sterke merken winnen de wedstrijdOrangeValley
 
Digital Trend Event OrangeValley 2023 - SEO_ Evolutie van de SERP
Digital Trend Event OrangeValley 2023 - SEO_ Evolutie van de SERPDigital Trend Event OrangeValley 2023 - SEO_ Evolutie van de SERP
Digital Trend Event OrangeValley 2023 - SEO_ Evolutie van de SERPOrangeValley
 
Digital Trend Event OrangeValley 2023 - Klantervaring verbeteren door Service...
Digital Trend Event OrangeValley 2023 - Klantervaring verbeteren door Service...Digital Trend Event OrangeValley 2023 - Klantervaring verbeteren door Service...
Digital Trend Event OrangeValley 2023 - Klantervaring verbeteren door Service...OrangeValley
 
Digital Trend Event OrangeValley 2023 - In data we trust_ van data driven, n...
Digital Trend Event OrangeValley 2023 - In data we trust_  van data driven, n...Digital Trend Event OrangeValley 2023 - In data we trust_  van data driven, n...
Digital Trend Event OrangeValley 2023 - In data we trust_ van data driven, n...OrangeValley
 
Digital Trend Event OrangeValley 2023 - Groei in marktaandeel_ Een nieuw fund...
Digital Trend Event OrangeValley 2023 - Groei in marktaandeel_ Een nieuw fund...Digital Trend Event OrangeValley 2023 - Groei in marktaandeel_ Een nieuw fund...
Digital Trend Event OrangeValley 2023 - Groei in marktaandeel_ Een nieuw fund...OrangeValley
 
Digital Trend Event OrangeValley 2023 - Unlocking Growth_ Van innovatie naar ...
Digital Trend Event OrangeValley 2023 - Unlocking Growth_ Van innovatie naar ...Digital Trend Event OrangeValley 2023 - Unlocking Growth_ Van innovatie naar ...
Digital Trend Event OrangeValley 2023 - Unlocking Growth_ Van innovatie naar ...OrangeValley
 
Marketing_Trend_Event_2023_-_AI__De_impact_van_technologie_-_AI_en_de_lange_t...
Marketing_Trend_Event_2023_-_AI__De_impact_van_technologie_-_AI_en_de_lange_t...Marketing_Trend_Event_2023_-_AI__De_impact_van_technologie_-_AI_en_de_lange_t...
Marketing_Trend_Event_2023_-_AI__De_impact_van_technologie_-_AI_en_de_lange_t...OrangeValley
 

More from OrangeValley (20)

Privacy First Digital Marketing Event 2024 - Welcome to the privacy first ma...
Privacy First Digital Marketing Event 2024 - Welcome to the privacy first  ma...Privacy First Digital Marketing Event 2024 - Welcome to the privacy first  ma...
Privacy First Digital Marketing Event 2024 - Welcome to the privacy first ma...
 
Privacy First Digital Marketing Event 2024 - Vuistregels voor een correcte co...
Privacy First Digital Marketing Event 2024 - Vuistregels voor een correcte co...Privacy First Digital Marketing Event 2024 - Vuistregels voor een correcte co...
Privacy First Digital Marketing Event 2024 - Vuistregels voor een correcte co...
 
Privacy First Digital Marketing Event 2024 - Testen zonder cookies.pdf
Privacy First Digital Marketing Event 2024 - Testen zonder cookies.pdfPrivacy First Digital Marketing Event 2024 - Testen zonder cookies.pdf
Privacy First Digital Marketing Event 2024 - Testen zonder cookies.pdf
 
Privacy First Digital Marketing Event 2024 - Responsible AI.pdf
Privacy First Digital Marketing Event 2024 - Responsible AI.pdfPrivacy First Digital Marketing Event 2024 - Responsible AI.pdf
Privacy First Digital Marketing Event 2024 - Responsible AI.pdf
 
Privacy First Digital Marketing Event 2024 - Privacy First Marketing Strategy...
Privacy First Digital Marketing Event 2024 - Privacy First Marketing Strategy...Privacy First Digital Marketing Event 2024 - Privacy First Marketing Strategy...
Privacy First Digital Marketing Event 2024 - Privacy First Marketing Strategy...
 
Privacy First Digital Marketing Event 2024 - Optimaliseer je leadgeneratiestr...
Privacy First Digital Marketing Event 2024 - Optimaliseer je leadgeneratiestr...Privacy First Digital Marketing Event 2024 - Optimaliseer je leadgeneratiestr...
Privacy First Digital Marketing Event 2024 - Optimaliseer je leadgeneratiestr...
 
Privacy First Digital Marketing Event 2024 - Mediastrategie_ Heroverweging v...
Privacy First Digital Marketing Event 2024 - Mediastrategie_  Heroverweging v...Privacy First Digital Marketing Event 2024 - Mediastrategie_  Heroverweging v...
Privacy First Digital Marketing Event 2024 - Mediastrategie_ Heroverweging v...
 
Privacy First Digital Marketing Event 2024 - Maak Marketing Meetbaar 2.0.pdf
Privacy First Digital Marketing Event 2024 - Maak Marketing Meetbaar 2.0.pdfPrivacy First Digital Marketing Event 2024 - Maak Marketing Meetbaar 2.0.pdf
Privacy First Digital Marketing Event 2024 - Maak Marketing Meetbaar 2.0.pdf
 
Privacy First Digital Marketing Event 2024 - De impact op social media.pdf
Privacy First Digital Marketing Event 2024 - De impact op social media.pdfPrivacy First Digital Marketing Event 2024 - De impact op social media.pdf
Privacy First Digital Marketing Event 2024 - De impact op social media.pdf
 
Privacy First Digital Marketing Event 2024 - Cookieless Revolutie in Google A...
Privacy First Digital Marketing Event 2024 - Cookieless Revolutie in Google A...Privacy First Digital Marketing Event 2024 - Cookieless Revolutie in Google A...
Privacy First Digital Marketing Event 2024 - Cookieless Revolutie in Google A...
 
Privacy First Digital Marketing Event 2024 - Addressability 2024 and beyond.pdf
Privacy First Digital Marketing Event 2024 - Addressability 2024 and beyond.pdfPrivacy First Digital Marketing Event 2024 - Addressability 2024 and beyond.pdf
Privacy First Digital Marketing Event 2024 - Addressability 2024 and beyond.pdf
 
Digital Deep Dive 2023 - Het CX-Tijdperk
Digital Deep Dive 2023 - Het CX-TijdperkDigital Deep Dive 2023 - Het CX-Tijdperk
Digital Deep Dive 2023 - Het CX-Tijdperk
 
Digital Deep Dive 2023 - Workshop_ Van gegevens naar gecentraliseerde klantin...
Digital Deep Dive 2023 - Workshop_ Van gegevens naar gecentraliseerde klantin...Digital Deep Dive 2023 - Workshop_ Van gegevens naar gecentraliseerde klantin...
Digital Deep Dive 2023 - Workshop_ Van gegevens naar gecentraliseerde klantin...
 
Digital Trend Event OrangeValley 2023 - Sterke merken winnen de wedstrijd
Digital Trend Event OrangeValley 2023 - Sterke merken  winnen de wedstrijdDigital Trend Event OrangeValley 2023 - Sterke merken  winnen de wedstrijd
Digital Trend Event OrangeValley 2023 - Sterke merken winnen de wedstrijd
 
Digital Trend Event OrangeValley 2023 - SEO_ Evolutie van de SERP
Digital Trend Event OrangeValley 2023 - SEO_ Evolutie van de SERPDigital Trend Event OrangeValley 2023 - SEO_ Evolutie van de SERP
Digital Trend Event OrangeValley 2023 - SEO_ Evolutie van de SERP
 
Digital Trend Event OrangeValley 2023 - Klantervaring verbeteren door Service...
Digital Trend Event OrangeValley 2023 - Klantervaring verbeteren door Service...Digital Trend Event OrangeValley 2023 - Klantervaring verbeteren door Service...
Digital Trend Event OrangeValley 2023 - Klantervaring verbeteren door Service...
 
Digital Trend Event OrangeValley 2023 - In data we trust_ van data driven, n...
Digital Trend Event OrangeValley 2023 - In data we trust_  van data driven, n...Digital Trend Event OrangeValley 2023 - In data we trust_  van data driven, n...
Digital Trend Event OrangeValley 2023 - In data we trust_ van data driven, n...
 
Digital Trend Event OrangeValley 2023 - Groei in marktaandeel_ Een nieuw fund...
Digital Trend Event OrangeValley 2023 - Groei in marktaandeel_ Een nieuw fund...Digital Trend Event OrangeValley 2023 - Groei in marktaandeel_ Een nieuw fund...
Digital Trend Event OrangeValley 2023 - Groei in marktaandeel_ Een nieuw fund...
 
Digital Trend Event OrangeValley 2023 - Unlocking Growth_ Van innovatie naar ...
Digital Trend Event OrangeValley 2023 - Unlocking Growth_ Van innovatie naar ...Digital Trend Event OrangeValley 2023 - Unlocking Growth_ Van innovatie naar ...
Digital Trend Event OrangeValley 2023 - Unlocking Growth_ Van innovatie naar ...
 
Marketing_Trend_Event_2023_-_AI__De_impact_van_technologie_-_AI_en_de_lange_t...
Marketing_Trend_Event_2023_-_AI__De_impact_van_technologie_-_AI_en_de_lange_t...Marketing_Trend_Event_2023_-_AI__De_impact_van_technologie_-_AI_en_de_lange_t...
Marketing_Trend_Event_2023_-_AI__De_impact_van_technologie_-_AI_en_de_lange_t...
 

SiteSpect - Frank Overbeek

  • 1. A/B en Multi Variate Testen (MVT)
  • 3. A/B Testen voor strategisch beslissen
  • 5. Wat is VEGAS.com? • ‘s Werelds grootste op een stad georiënteerde web site (~10m uniek/maand.) • Verkoopt “everything Vegas”, van hotel to vakantie pakketten, shows en restaurants tot excursies en meer. • Primair: www.vegas.com and www.lasvegas.com
  • 6. De brandende vraag: Moet de website beschikbaar/aangepast worden voor mobiele aparaten als iPhones, Android, RIM, etc? Dilemma:
  • 7. Wie gebruikt zijn/haar mobiel voor het web? Wie voert hiermee transacties uit? Vraag..
  • 8. Recente gegevens van comScore (EU) 53%
  • 9. • Mobiele bezoekers vormen 7% van het verkeer – 70% iPhone, 20% Android, ~10% anders • Mobiele segment groeit met 6% per maand • Mobiele bounce rate 50% hoger dan non-mobiele • De mobiele bezoeker vertegenwoordigd omzet($$$) VEGAS.com’s web analytics
  • 11. Tijd om mobiel aandacht te geven • VEGAS.com’s team realiseerde dat het tijd was om de voor en nadelen van het mobiliseren van de site te bekijken. – Investeren van tijd en geld – De bestaande ontwikkelingen aanhouden – Risico dat het niets opbrengt of zelfs minder
  • 12. Wat betekent mobiliseren? • Past op een klein scherm zonder scaling/zoom • Focus op de primaire functies • Low-fat (beperkte graphics, scripts en andere zaken welke de page load and rendering vertragen) • Werkt goed met een touch screen (niet te veel formulier)
  • 13. Overwegingen • Een test uitvoeren om te zien of mobiele content uitmaakt, en hoeveel.. (hypothese) • Focus op de key content die al gebruikt wordt op de mobiel: – Homepage – Top-level categorie pagina’s – Hotelkamers zoeken • Beperking: geen wijziging aan de e-commerce architectuur • Gebruik een applicatie om mobiele templates die de full site content “skinnen” en de ‘mobiele klant’ target.
  • 15. “De nieuwe” mobiele test pagina’s
  • 16.
  • 17.
  • 18. A/B test resultaten: mobiel vs. volle site • De A/B test liep nog geen twee maanden • Van ontwerp tot live, 2 weken • Key metrics voor de mobiele versie – 22% lagere bounce rate – 16% meer pageviews op de product categorieen – Double-digit groei in conversie* (* originele backend proces) • Alles met 95% of hogere significantie
  • 19. Learnings • Mobiel is er echt … nu echt ... ;). • De vraag voor eenieder: – Moeten we investeren in het mobiliseren? – Wanneer? – Hoe volledig? • Kijk naar uw KPIs in het mobiele segment • Begin klein… – Is het mogelijk een test op een beperkt content(gebied) uit te voeren, om in een hypothese te bewijzen dat mobificatie de UX/performance/conversie verbeterd? • Baseer de investering op interne/externe data and analyse
  • 21. “Het (on-line, geautomatiseerd) aanbieden en variëren en van communicatie componenten*, met als doel; de analyse van het veroorzaakte gedrag van de ontvangende partij’, om zo de bewezen optimale communicatie/conversie* te bepalen”. Definitie
  • 23. Plaats in de keten UsabilityUserexperience Analytics MVT ProductionDevelopment Feedback Stated preference Actual preference
  • 24. •Welke conversiedoelen / response willen we bereiken? •Welke factoren willen we onderzoeken die effect hebben op de doelen/respons? •Welke variaties kunnen deze factoren hebben? •Welke additionele segment karakteristieken hebben daarnaast invloed op de conversie? Componenten van Experiment
  • 25. Test factoren en variaties Segment variabelen Klantgedrag De resultaten die je zoekt om sitegedrag te begrijpen en te optimaliseren Zaken binnen mijn controle (X) Zaken buiten mijn controle (Z) Uitkomst (Y) Optimalisatie
  • 26. High value klanten nemen het duurdere aanbod, twee keer zo veel als low value klanten.Voorbeeld: Onderwerp OnderwerpVergelijking Attribuut 4 ingrediënten voor Hypothesen Goede hypothesen bestaan uit: a) Een doelgroep (Z) • Ofwel een complete groep of sub-segmenten van de groep b) Een meetbare uitkomst (Y) • Een uitkomst binnen het klant keuzeproces c) Een vergelijking (<>) • Meer dan, minder dan, hetzelfde, etc d) Een variabel attribuut (X) • Het element wat het keuzeproces van de klant beïnvloed
  • 27. Voorbeeld Hypothesen Afbeeldingen van succesvolle mensen heeft een positief effect op de conversie Het verstrekken van sociale informatie heeft een positieve invloed op de conversie: ‘we hebben al xxx beleggers geinteresseerd’ , ‘een totaal bedrag van xxx is reeds belegd’ , ‘een gemiddeld rendement van xxx is behaald’. Klanten hebben behoefte aan procesinfo: Het toelichten van het procesverloop op voorhand zal een hogere conversie bewerkstelligen.
  • 28. Wat testen? • Visuele aspecten • Textuele aspecten • Contextuele aspecten • Informatie vormen/volume • Technische aspecten • Persuasiveness
  • 29. Lengte van de test • Aantal Factoren (Elementen) • Aantal Variaties • Aantal Bezoekers • Aantal Conversies • Confidence level (%) • Tot statistische relevantie..
  • 30. Succesfactoren • Organisatie klaar (analytics) • Ownership FTE(s) • Onbeantwoorde vragen • Lichte tests beginnen • Open Blik • Ook nee is een antwoord • Creativiteit • Juiste Tool
  • 31.
  • 33. Experiment variaties Hoe werkt het; op pagina niveau Server(s) Ref=Tijger

Editor's Notes

  1. AB/MVT Targeting
  2. AB/MVT Targeting
  3. let me take you
  4. About conversion. Not best practices, more at strategic level short presentation
  5. Most of the traffic comes directly. Large group through banners and links. As well as localized
  6. Going through the effort of building a mobile site.
  7. Source: http://www.comscore.com/Press_Events/Press_Releases/2010/6/The_iPhone_Reality_in_Europe_Low_Overall_Penetration_Enormous_Impact Mobile segment , many people direct through internet Look at your own data
  8. Figures may be different in EU. Overall usage through mobile groing Lot of money to be made
  9. 400 items on site\ Zooming in 326 dpi display desity. Still hard to read
  10. A lot of activities going on at the site If they would just risjk it fully, do not know to be successful Clear descision, business case
  11. Not to much zoom 100 things to do even weddings Need to be congitive not to much text input
  12. AB and MVT test always foundation in hypothesis Descision on most important items Lot of funtional elements want to ow cost low effort solution Reformat 2 weeks , from descision to build an do 1 day analyst and technician to have test designed
  13. Middle hotel search tool Right shows 1 step down , original backend
  14. 6 weeks running First 2 steps engagemnent 3th outcome * backend stays as is Helpiong people motivate to move on Invested in interaction Even backend ‘old fashoined’
  15. 32