Presentatie Webanalytics Congres 2012 bol.com - Niels Basjes tbv Marketingfacts verslag

1. Klanten helpen klanten met webdata

2. Agenda
• Introductie
• Data bij bol.com
• Zoek Suggesties
• A/B testen van de inhoud
• Vragen?

3. Welkom bij bol.com

4. 3.4 miljoen
klanten

5. > 5.000.000
producten
te koop

6. > 17.5 M producten
verkocht in 2011

7. Data bronnen
• Meerdere touchpoints
• Desktop
• Mobiel
• Ereader
• Apps via openAPI
• Plekken in het landschap
• Frontend:
• Technische performance
• click stream
• Backend:
• Producten, prijzen, levertijden
• Orders, shipments en betalingen

8. En dat is best veel data …

9. Toepassingen van webdata
• (Web)Statistiek
• Standaard rapportages & dashboards
• A/Bmultivariaat test rapporten
• Herkennen van patronen in klant gedrag
• Kijken, kijken, niet kopen
• Vinden van klant voorkeuren
• Persoonlijke inspiratie
• Aanbevelingen
• Zoek Suggesties
• Producten aanbevelingen

10. Stelling:
Meer data
levert meer op

11. Zoek Suggesties

12. Zoek Suggesties
• Basis idee:
• Volledig automatisch
• Klanten helpen klanten
• Processing principe
• Elke historische zoek actie is een potentiële suggestie.
• Sorteren op relevantie.
• Bied de 10 meest relevante als suggestie.
• Wat is “relevant”?
• De zoekactie en het resultaat
• Het gedrag na de zoekactie.

13. Echt volledig automatisch!
• Zondag ochtend 12 februari: Whitney Houston …
• Maandag ochtend 13 februari :

14. Architectuur schets
Razendsnel
Grote batch
Clickstream

15. Zoek suggesties (eerste versie)
• Eerste versie:
• Alleen zoekacties tellen
• Kwantitatief filteren
• Beperkte feedback
• Schaal
• 1 week data
• 1 systeem om het te berekenen

16. Functioneel effect
“nijntje dekbedovertrek”
Bezoekers vinden dat een heel interessante suggestie!
Alleen hebben we dat niet…

17. Functioneel effect

18. Zoek suggesties versie 2:
Gebruik meer data!

19. Voor elke zoekactie: Gedrag tellen
Search
Find
Choose
Buy

20. Dieper in funnel = relevanter
(Search)
Find
Choose
Buy

21. Kwalitatief filteren

22. Recenter = relevanter
Gisteren
Eergisteren
Vorige
week
Vorige
maand

23. 12 weken historie meenemen

24. Zoek Suggesties (nu)
• Huidige versie:
• Gevolgen van zoek acties
• 12 weken historie
• Categorie suggesties
• Kwalitatief filteren
• Spelling correcties
• Spelfouten herkennen
• Niet succesvolle termen verwijderen.
• Schaal
• 12 weken data
• 5 systemen parallel aan het werk

25. Business effect
• Impliciet filteren tegen de product catalogus
• “Slechte” zoek resultaten worden niet mee genomen
• Betere dekking van de long tail
De suggesties worden vaker gebruikt

26. A/B testen
backend systemen

27. Wat vinden klanten beter?

28. Standaard A/B test oplossingen
• Javascript gebaseerd
• Vervangt client-side HTML/CSS/JavaScript fragment
• Alleen visuele/ browser side aanpassingen.
Zo kun je dus alleen de VORM testen!

29. Wat levert meer op?
Betere vorm?

30. Wat levert meer op?
of Betere inhoud?
Ik wil “Harry Potter”

31. Zoeken in de catalogus

32. Wat is relevant?
• Vinden klanten dit product ook de meest relevante?
• Stel we bieden een ander soort relevantie…
• Wat doen de klanten dan?
• Verkopen we dan meer?
De inhoud van de pagina A/B testen

33. Wensenlijst: Backend A/B testen
• Variatie in
• Andere data bronnen gebruiken
• Andere algoritmen: sortering/filtering/…
• Bruikbaar voor alle channels
• Desktop
• Mobiel
• eReader
• App
• …
• Bruikbaar voor alle backend services.
• Zoeken
• Personaliseren en Inspireren

34. Componenten van A/B testen
Bezoeker
Rapporteren
Indelen Meten
verschillen
A/B klantgedrag
A/B
Serveren
A/B

35. Backend A/B testen
Webshop Zoek systeem
Indeler
Variant ‘A’
Zoek systeem
Meten
Variant ‘B’
Rapporteren
Sturen

36. Flexibel sturen

37. Flexibel sturen

38. Business effect
• Gecontroleerd nieuwe ideeen uit proberen
• Proef ballonnetjes kunnen
• Tests kunnen heel kort duren
• Andere sortering zoek resultaten
Hogere conversie vanuit zoeken

39. Dus
Meer data
levert meer op

40. Vragen?