Presentatie Campaign Dag

674
-1

Published on

Vertaalde en aangepaste presentatie van Ronny Kohavi. Inspirerend om van online verder te vertalen naar direct marketing.

Published in: Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
674
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Presentatie Campaign Dag

    1. 1. Experimenteer Out of the box in to the test
    2. 3. Amazon’s winkelwagentje <ul><li>Bijna elke website heeft een winkelwagentje </li></ul><ul><li>Bij Amazon bedacht Greg Linden dat het handig is als er aanbevelingen naast staan </li></ul><ul><li>Evaluatie van het voorstel </li></ul><ul><ul><li>Voor: cross-sell van andere artikelen (het karretje wordt voller) </li></ul></ul><ul><ul><li>Tegen: leidt af van het koop/betaalproces (minder karretjes bij de kassa) </li></ul></ul><ul><li>Board’s mening: niet doen, stop het project </li></ul><ul><li>Simple experiment: extreem succesvol en wereldwijd gekopieerd </li></ul>
    3. 5. Joann.com naaimachines <ul><li>Veel geëxperimenteerd met aanbiedingen om de verkoop van naaimachines te verbeteren </li></ul><ul><li>De beste: “Koop twee en krijg 10% korting.” </li></ul><ul><li>Evaluatie van het voorstel </li></ul><ul><ul><li>Wie koopt er nu twee naaimachines? </li></ul></ul><ul><ul><li>Waarom zouden we tijd verdoen met deze test? </li></ul></ul><ul><li>Waarom wel succesvol? </li></ul><ul><ul><li>Kleine groep gebruikers, vaak verenigd in kleine clubjes. </li></ul></ul><ul><ul><li>Binnen die clubjes zochten mensen anderen om samen naaimachines te kopen. </li></ul></ul>
    4. 7. Meer Amazon
    5. 8. Midden 1 Midden 2 Links 1 Links 2 Links 3
    6. 9. Meer Amazon <ul><li>Homepage was een speeltje van alle VP’s </li></ul><ul><ul><li>Iedere category manager wilde bovenaan </li></ul></ul><ul><ul><li>Elke vrijdag meeting, duurde lang, ongeorganiseerd en luid </li></ul></ul><ul><ul><li>Beslissingen op gevoel en de gok, niet op kennis </li></ul></ul><ul><li>Nu geautomatiseerd met real-time A/B testen </li></ul><ul><ul><li>Pagina ingedeeld in slots </li></ul></ul><ul><ul><li>Iedereen kan content aanbieden (ook jij!) </li></ul></ul><ul><ul><li>Realtime resultaat bepaalt de beste content </li></ul></ul><ul><ul><li>Inzicht in waarde van eigen content moedigde aan om anderen en zichzelf te verslaan </li></ul></ul>
    7. 10. Gegevens verslaan intuïtie <ul><li>Onze intuïtie faalt, zeker bij nieuwe ideeën </li></ul><ul><ul><li>Hoe minder beschikbare gegevens hoe sterker de meningen </li></ul></ul><ul><li>Verzamel gegevens door te testen! </li></ul>
    8. 11. Wat wil je leren en wat ga je ermee doen <ul><li>Optimaliseer voor de lange termijn (lifetime value) </li></ul><ul><ul><li>De naaimachine actie won niet op het aantal clicks, maar wel op het aantal verkochte paren </li></ul></ul><ul><li>Gebruik KPI’s om de lange termijn doelstellingen te benadrukken </li></ul><ul><li>Voorbeelden van lange termijn KPI’s </li></ul><ul><ul><li>Tijd op een site </li></ul></ul><ul><ul><li>Bezoekfrequentie </li></ul></ul><ul><li>Verschillende meetcriteria evalueren </li></ul><ul><ul><li>Welke zijn onderscheidend? </li></ul></ul><ul><ul><li>Kijk je nog wel naar de juiste (in lijn met je doelstelling) </li></ul></ul>
    9. 13. Key Performance Indicatoren <ul><li>Pieter van den Hoogenband vraagt je om advies over hoe hij zijn tijd moet verdelen om meer te verdienen: </li></ul><ul><ul><li>Trainen om zwemtechniek te verbeteren of advertentie inkomsten verhogen </li></ul></ul><ul><li>Korte termijn: meer in advertenties verschijnen en nu meer verdienen </li></ul><ul><li>Lange termijn: meer te trainen, records breken, onsterfelijk worden en langer verschijnen in advertenties. </li></ul>
    10. 14. <ul><li>Lijkt voor de handliggend, maar veel bedrijven focussen vaak op de korte termijn </li></ul><ul><li>Waarom? </li></ul><ul><li>Groepen zijn vaak bang om te experimenteren want een nieuw idee kan slechter zijn dan de huidige situatie </li></ul><ul><li>Het grootste probleem? </li></ul><ul><li>Het duidelijk krijgen van de lange termijn doelstelling. </li></ul>Key Performance Indicatoren
    11. 15. Wat leren we? Inzoomen! <ul><li>De KPI’s bepalen wat de volgende test wordt </li></ul><ul><li>Als de test geen effect heeft of negatief uitvalt, zoom in </li></ul><ul><ul><li>Kijk naar de verschillende meetbare variabelen </li></ul></ul><ul><ul><li>Maak doorsnijdingen (doelgroepen, bronnen, kanalen, enzovoorts) </li></ul></ul>
    12. 17. Testen! <ul><li>Verschillende namen voor hetzelfde: </li></ul><ul><ul><li>Parallele flight </li></ul></ul><ul><ul><li>A/B testen </li></ul></ul><ul><ul><li>Controlegroep/Actiegroep </li></ul></ul><ul><ul><li>Onwillekeurig testen </li></ul></ul><ul><ul><li>Gecontroleerde experimenten </li></ul></ul><ul><ul><li>Splitrun testen </li></ul></ul><ul><li>Het is niet moeilijk </li></ul><ul><ul><li>Onwillekeurig doelgroep verdelen over twee versies </li></ul></ul><ul><ul><ul><li>Controlegroep (krijgt oude versie) </li></ul></ul></ul><ul><ul><ul><li>Actiegroep (krijgt nieuwe versie) </li></ul></ul></ul><ul><ul><li>Verzamel alle mogelijk interessante gegevens </li></ul></ul><ul><ul><li>Analyseer ze </li></ul></ul>
    13. 18. Voordelen van testen <ul><li>Ze tonen causaal verband aan, niet alleen correlatie </li></ul><ul><li>Ze isoleren externe factoren </li></ul><ul><li>Ze worden veel gebruikt (veel voorbeelden dus) </li></ul><ul><li>Ze kennen standaard problemen die je van te voren kunt ondervangen </li></ul>
    14. 19. Causaal verband? <ul><li>Grootte van je hand toont levensverwachting aan. </li></ul><ul><ul><li>Hoe groter je hand, hoe minder lang je gemiddeld leeft </li></ul></ul><ul><ul><li>Kijk maar bij je collega’s wie waarschijnlijk het oudst wordt </li></ul></ul><ul><li>Ja, want: </li></ul><ul><li>vrouwen hebben kleinere handen en leven gemiddeld 6 jaar langer </li></ul>
    15. 20. Causaal verband? <ul><li>Er was tussen 1930-36 in Oldenburg correlatie tussen het aantal ooievaars en geboorten </li></ul><ul><li>Maar dat betekent niet dat ooievaars kinderen brengen (laat staan máken!) </li></ul>
    16. 21. Standaard problemen <ul><li>Lange termijn doelstellingen en KPI’s vaststellen </li></ul><ul><li>Je krijgt kwantitatieve gegevens, niet direct het antwoord </li></ul><ul><ul><li>Een variant kan verliezen omdat een gedeelte van de brieven een dag te laat werd bezorgd </li></ul></ul><ul><ul><li>Er een veldje is verwisseld (de heer wordt mevrouw) </li></ul></ul><ul><ul><li>Een landingspagina te langzaam laadt </li></ul></ul>
    17. 22. Standaard problemen <ul><li>Effect </li></ul><ul><ul><li>Kleine aanpassing kan eerst negatief lijken, ook al is het een verbetering </li></ul></ul><ul><ul><li>Evaluatie focussen op nieuwe gebruikers of langere periode </li></ul></ul><ul><li>Meerdere variaties testen </li></ul><ul><ul><li>Variaties maken het statistisch lastig om significante resultaten te halen </li></ul></ul><ul><li>Consistentie en vervuiling </li></ul><ul><ul><li>Online soms een probleem als mensen meerdere PC’s gebruiken </li></ul></ul><ul><li>Lancering of PR beïnvloed soms testen </li></ul><ul><ul><li>Personeel of pers bekijkt alvast de nieuwe online omgeving </li></ul></ul>
    18. 23. Standaard problemen <ul><li>Onwillekeurig selecteren </li></ul><ul><ul><li>Is belangrijk om geen verborgen verschillen tussen doelgroepen te krijgen </li></ul></ul><ul><ul><li>Niet kiezen voor de voor de hand liggende groepen </li></ul></ul><ul><li>Ontvanger constant hetzelfde laten zien </li></ul><ul><ul><li>Consequent dezelfde uiting tonen, ook als een klant vaker ontvangt of online de pagina bezoekt </li></ul></ul><ul><ul><li>Toewijzing aan meerdere testen mag geen invloed hebben op de individuele test </li></ul></ul>
    19. 24. Blijf proberen <ul><li>Netflix levert CD’s en DVD’s per post. Een voorbeeld van proberen en aanpassen </li></ul>
    20. 25. En toen? <ul><li>Negeer meningen, meet! </li></ul><ul><li>Test vaak! </li></ul><ul><ul><li>Verdubbel het aantal testen en je verdubbeld je succes (en mislukkingen) </li></ul></ul><ul><ul><li>Veel en snel mislukken helpt om te slagen </li></ul></ul><ul><li>Test niet alleen maar dingen die geen pijn doen </li></ul><ul><ul><li>Te kleine testgroepen ten gunste van het onderbuik gevoel </li></ul></ul><ul><ul><li>Alleen aanbiedingen die kans van slagen hebben (is de mening) </li></ul></ul>
    1. A particular slide catching your eye?

      Clipping is a handy way to collect important slides you want to go back to later.

    ×