A/B en Multi Variate Testen (MVT)
Frank Overbeek
SiteSpect Europe
A/B Testen voor strategisch beslissen
Case
Het VEGAS.com Mobiele Dilemma
Wat is VEGAS.com?
• ‘s Werelds grootste op een stad georiënteerde web
site (~10m uniek/maand.)
• Verkoopt “everything Vega...
De brandende vraag:
Moet de website beschikbaar/aangepast
worden voor mobiele aparaten als iPhones,
Android, RIM, etc?
Dil...
Wie gebruikt zijn/haar mobiel voor het web?
Wie voert hiermee transacties uit?
Vraag..
Recente gegevens van comScore (EU)
53%
• Mobiele bezoekers vormen 7% van het verkeer
– 70% iPhone, 20% Android, ~10% anders
• Mobiele segment groeit met 6% per m...
Te klein
voor 326
dpi!
Tijd om mobiel aandacht te geven
• VEGAS.com’s team realiseerde dat het tijd was
om de voor en nadelen van het mobiliseren...
Wat betekent mobiliseren?
• Past op een klein scherm zonder scaling/zoom
• Focus op de primaire functies
• Low-fat (beperk...
Overwegingen
• Een test uitvoeren om te zien of mobiele content uitmaakt,
en hoeveel.. (hypothese)
• Focus op de key conte...
Technologie
Experiment variatie
Server(s)
Targeting
“De nieuwe” mobiele test
pagina’s
A/B test resultaten: mobiel vs. volle site
• De A/B test liep nog geen twee maanden
• Van ontwerp tot live, 2 weken
• Key ...
Learnings
• Mobiel is er echt … nu echt ... ;).
• De vraag voor eenieder:
– Moeten we investeren in het mobiliseren?
– Wan...
Multi Variate Testen
Wat, Hoe, Waarom?
“Het (on-line, geautomatiseerd)
aanbieden en variëren en van
communicatie componenten*, met als
doel; de analyse van het v...
Marketing Instrument
Plaats in de keten
UsabilityUserexperience Analytics MVT
ProductionDevelopment
Feedback
Stated preference Actual preference
•Welke conversiedoelen / response willen
we bereiken?
•Welke factoren willen we onderzoeken die
effect hebben op de doelen...
Test factoren en variaties
Segment variabelen
Klantgedrag
De resultaten die je
zoekt om sitegedrag
te begrijpen en te
opti...
High value klanten nemen het duurdere aanbod, twee keer zo
veel als low value klanten.Voorbeeld:
Onderwerp
OnderwerpVergel...
Voorbeeld Hypothesen
Afbeeldingen van succesvolle mensen heeft een positief effect
op de conversie
Het verstrekken van soc...
Wat testen?
• Visuele aspecten
• Textuele aspecten
• Contextuele aspecten
• Informatie vormen/volume
• Technische aspecten...
Lengte van de test
• Aantal Factoren
(Elementen)
• Aantal Variaties
• Aantal Bezoekers
• Aantal Conversies
• Confidence le...
Succesfactoren
• Organisatie klaar (analytics)
• Ownership FTE(s)
• Onbeantwoorde vragen
• Lichte tests beginnen
• Open Bl...
Hoe werkt het?
web
server
content
server
Experiment variaties
Hoe werkt het; op pagina niveau
Server(s)
Ref=Tijger
Interactief / Demo
Vragen
SiteSpect - Frank Overbeek
SiteSpect - Frank Overbeek
SiteSpect - Frank Overbeek
Upcoming SlideShare
Loading in …5
×

SiteSpect - Frank Overbeek

888 views

Published on

Published in: Business
  • Be the first to comment

  • Be the first to like this

SiteSpect - Frank Overbeek

  1. 1. A/B en Multi Variate Testen (MVT)
  2. 2. Frank Overbeek SiteSpect Europe
  3. 3. A/B Testen voor strategisch beslissen
  4. 4. Case Het VEGAS.com Mobiele Dilemma
  5. 5. Wat is VEGAS.com? • ‘s Werelds grootste op een stad georiënteerde web site (~10m uniek/maand.) • Verkoopt “everything Vegas”, van hotel to vakantie pakketten, shows en restaurants tot excursies en meer. • Primair: www.vegas.com and www.lasvegas.com
  6. 6. De brandende vraag: Moet de website beschikbaar/aangepast worden voor mobiele aparaten als iPhones, Android, RIM, etc? Dilemma:
  7. 7. Wie gebruikt zijn/haar mobiel voor het web? Wie voert hiermee transacties uit? Vraag..
  8. 8. Recente gegevens van comScore (EU) 53%
  9. 9. • Mobiele bezoekers vormen 7% van het verkeer – 70% iPhone, 20% Android, ~10% anders • Mobiele segment groeit met 6% per maand • Mobiele bounce rate 50% hoger dan non-mobiele • De mobiele bezoeker vertegenwoordigd omzet($$$) VEGAS.com’s web analytics
  10. 10. Te klein voor 326 dpi!
  11. 11. Tijd om mobiel aandacht te geven • VEGAS.com’s team realiseerde dat het tijd was om de voor en nadelen van het mobiliseren van de site te bekijken. – Investeren van tijd en geld – De bestaande ontwikkelingen aanhouden – Risico dat het niets opbrengt of zelfs minder
  12. 12. Wat betekent mobiliseren? • Past op een klein scherm zonder scaling/zoom • Focus op de primaire functies • Low-fat (beperkte graphics, scripts en andere zaken welke de page load and rendering vertragen) • Werkt goed met een touch screen (niet te veel formulier)
  13. 13. Overwegingen • Een test uitvoeren om te zien of mobiele content uitmaakt, en hoeveel.. (hypothese) • Focus op de key content die al gebruikt wordt op de mobiel: – Homepage – Top-level categorie pagina’s – Hotelkamers zoeken • Beperking: geen wijziging aan de e-commerce architectuur • Gebruik een applicatie om mobiele templates die de full site content “skinnen” en de ‘mobiele klant’ target.
  14. 14. Technologie Experiment variatie Server(s) Targeting
  15. 15. “De nieuwe” mobiele test pagina’s
  16. 16. A/B test resultaten: mobiel vs. volle site • De A/B test liep nog geen twee maanden • Van ontwerp tot live, 2 weken • Key metrics voor de mobiele versie – 22% lagere bounce rate – 16% meer pageviews op de product categorieen – Double-digit groei in conversie* (* originele backend proces) • Alles met 95% of hogere significantie
  17. 17. Learnings • Mobiel is er echt … nu echt ... ;). • De vraag voor eenieder: – Moeten we investeren in het mobiliseren? – Wanneer? – Hoe volledig? • Kijk naar uw KPIs in het mobiele segment • Begin klein… – Is het mogelijk een test op een beperkt content(gebied) uit te voeren, om in een hypothese te bewijzen dat mobificatie de UX/performance/conversie verbeterd? • Baseer de investering op interne/externe data and analyse
  18. 18. Multi Variate Testen Wat, Hoe, Waarom?
  19. 19. “Het (on-line, geautomatiseerd) aanbieden en variëren en van communicatie componenten*, met als doel; de analyse van het veroorzaakte gedrag van de ontvangende partij’, om zo de bewezen optimale communicatie/conversie* te bepalen”. Definitie
  20. 20. Marketing Instrument
  21. 21. Plaats in de keten UsabilityUserexperience Analytics MVT ProductionDevelopment Feedback Stated preference Actual preference
  22. 22. •Welke conversiedoelen / response willen we bereiken? •Welke factoren willen we onderzoeken die effect hebben op de doelen/respons? •Welke variaties kunnen deze factoren hebben? •Welke additionele segment karakteristieken hebben daarnaast invloed op de conversie? Componenten van Experiment
  23. 23. Test factoren en variaties Segment variabelen Klantgedrag De resultaten die je zoekt om sitegedrag te begrijpen en te optimaliseren Zaken binnen mijn controle (X) Zaken buiten mijn controle (Z) Uitkomst (Y) Optimalisatie
  24. 24. High value klanten nemen het duurdere aanbod, twee keer zo veel als low value klanten.Voorbeeld: Onderwerp OnderwerpVergelijking Attribuut 4 ingrediënten voor Hypothesen Goede hypothesen bestaan uit: a) Een doelgroep (Z) • Ofwel een complete groep of sub-segmenten van de groep b) Een meetbare uitkomst (Y) • Een uitkomst binnen het klant keuzeproces c) Een vergelijking (<>) • Meer dan, minder dan, hetzelfde, etc d) Een variabel attribuut (X) • Het element wat het keuzeproces van de klant beïnvloed
  25. 25. Voorbeeld Hypothesen Afbeeldingen van succesvolle mensen heeft een positief effect op de conversie Het verstrekken van sociale informatie heeft een positieve invloed op de conversie: ‘we hebben al xxx beleggers geinteresseerd’ , ‘een totaal bedrag van xxx is reeds belegd’ , ‘een gemiddeld rendement van xxx is behaald’. Klanten hebben behoefte aan procesinfo: Het toelichten van het procesverloop op voorhand zal een hogere conversie bewerkstelligen.
  26. 26. Wat testen? • Visuele aspecten • Textuele aspecten • Contextuele aspecten • Informatie vormen/volume • Technische aspecten • Persuasiveness
  27. 27. Lengte van de test • Aantal Factoren (Elementen) • Aantal Variaties • Aantal Bezoekers • Aantal Conversies • Confidence level (%) • Tot statistische relevantie..
  28. 28. Succesfactoren • Organisatie klaar (analytics) • Ownership FTE(s) • Onbeantwoorde vragen • Lichte tests beginnen • Open Blik • Ook nee is een antwoord • Creativiteit • Juiste Tool
  29. 29. Hoe werkt het? web server content server
  30. 30. Experiment variaties Hoe werkt het; op pagina niveau Server(s) Ref=Tijger
  31. 31. Interactief / Demo
  32. 32. Vragen

×