Listen to Your Customers, not to the HiPPO

480 views

Published on

A basic presentation about controlled conversion optimization experiments and it´s importance in German

* HiPPO stands for Highest Paid Person's Opinion

Published in: Technology, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
480
On SlideShare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Listen to Your Customers, not to the HiPPO

  1. 1. Listen to Your Customers not to the HiPPO Yi Shi
  2. 2. Online Advertising Markt <ul><li>Online Advertising boomt </li></ul><ul><li>Jährlich zweistellige Wachstumsraten im Vergleich zu anderen Werbearten </li></ul><ul><li>Möglichkeit, jede Transaktion bis ins Detail zu tracken </li></ul>
  3. 3. Online Advertising Markt <ul><li>Display Marketing: Der Advertiser bezahlt, wenn seine Werbeanzeigen gesehen werden. Verrechnungsmodel: CPM </li></ul><ul><li>Performance Marketing: Der Advertiser bezahlt, wenn er etwas verkauft hat. Verrechnungsmodell: PPS </li></ul>
  4. 4. Was ist eine Conversion? <ul><li>Conversion (Umwandlung) muss vor jeder Werbekampagne definiert werden. </li></ul><ul><li>Eine Conversion kann z. B. ein Verkauf sein oder eine Newsletteranmeldung. </li></ul><ul><li>Conversionoptimierung : Werbekosten senken </li></ul>
  5. 5. Conversion Optimization Experimente <ul><li>Overall Evaluation Criterion (OEC): OEC ist eine quantitative Messgröße in unseren Experimenten, die den Erfolg unserer Experimente ausdrücken soll. </li></ul><ul><li>Faktor : Faktoren sind Variablen, die den OEC beeinflussen können, in einem simplen A/B Split Test ist z. B. der Variable mit den Werten A und B (die beiden Landing Pages) ein Faktor. </li></ul><ul><li>Testeinheit : Im Verlauf dieser Arbeit nehmen wir an, dass unsere Testeinheit der User ist. </li></ul><ul><li>Nullhypothese : Die Nullhypothese ist der Fall, von dem wir am Anfang ausgehen. </li></ul><ul><li>Alternativhypothese : Die zweite Hypothese, also die Alternativhypothese muss sich in unseren Experimenten beweisen. </li></ul>
  6. 6. Durchführung eines Tests <ul><li>Beispiel: A/B Test </li></ul><ul><li>Landing Page A ist unsere Nullhypothese, Landing Page B die Alternativhypothese. Landing Page B muss sich beweisen, dass sie einen besseren OEC erzielt (wie beim Hypothesentest). </li></ul><ul><li>Grundvoraussetzungen: </li></ul><ul><li>Zufälligkeit bei der Testeinheit (Usern). Keine Bevorzugung einer bestimmten Landing Page Variante </li></ul><ul><li>Definition des OEC: Ein gut gewählter OEC trifft eine langfristige Aussage über den Erfolg unserer Werbekampagne, also Kennzahlen wie ROI oder Conversion Rate </li></ul>
  7. 7. Durchführung eines Tests <ul><li>Nun wissen wir, dass wir zwei Landing Pages haben (A und B), was wir damit anfangen wollen (A/B Test) und was unser Ziel ist (Conversion Rate Steigerung). </li></ul><ul><li>Was uns noch fällt? </li></ul><ul><li>Die Anzahl der Besucher, die wir in unser Experiment schicken, um aussagekräftige Ergebnisse zu erhalten. </li></ul><ul><li>Berechnung der Testgröße </li></ul>
  8. 8. Berechnung der Testgröße <ul><li>r : Anzahl der Varianten </li></ul><ul><li>roh : Standardabweichung </li></ul><ul><li>delta : minimale Differenzen zwischen den OECs </li></ul><ul><li>Beispiel : Wir nehmen jetzt an, dass wir ein Online Shop betreiben, auf welchem 5% aller Besucher zu Käufern werden (Conversion Rate also 5%). Diese 5% geben bei uns jeweils 75€ aus, unter dem Strich gibt also jeder Besucher hypothetisch gesehen 3,75€ aus (95% kaufen ja nichts). Wenn wir jetzt eine Standardabweichung bei 30€ haben und einen A/B Test durchführen, um herauszufinden, wie sich die Umsätze um 5% verändern, benötigen wir eine Testgröße von 1,6 Mio. Besucher -> (4*2*30/(3,75*0,05))^2 </li></ul>
  9. 9. Implementierung: Zufallsalgorithmus <ul><li>Bei der Durchführung des Experiments müssen die User gleichmäßig aufgesplitet werden, um die Landing Page Varianten zu sehen (50/50 Split bei einem A/B Test beispielsweise). </li></ul><ul><li>Jeder Besucher wird einer Landing Page Variante zugewiesen, d.h. auch bei sukzessiven Reloaden der Landing Page sieht der Besucher die Initialvariante (technische Realisierung durch Cookies). </li></ul><ul><li>Wenn wir mehrere Experimente auf einer Landing Page simultan starten, müssen wir sicherstellen, dass es keine Wechselwirkung zwischen den Experimenten existiert. Eine Korrelation würde die Ergebnisse stark verfälschen. </li></ul><ul><li>Das Algorithmus sollte ein zusätzliches ramp-up Feature beinhalten, d.h. den Prozentanteil der Alternativhypothese bzw. der Landing Page Variante B in einem A/B Test wird sukzessive erhöht (z. B. von 0,1% zu 0,5% zu 2,5% zu 10% und zum Schluss zu 50%). </li></ul>
  10. 10. Implementierung: Zuweisungsfunktion <ul><li>Sorgt dafür, welche User welche Landing Page Variante zu sehen bekommt. </li></ul><ul><li>Drei gängige Vorgehensweisen: </li></ul><ul><li>Traffic Splitting von der Hardware aus: Einbindung des Zufallsalgos in den Load Balancer oder Proxy Server, um den Traffic zu verteilen. </li></ul><ul><li>Serverseitige Scriptsprache: Ein Script, welches serverseitig geparsed wird, wird aufgerufen, um die Besucher zu verteilen, z. B. PHP </li></ul><ul><li>Clientseitige Scriptsprache: Ein Script, welches clientseitig ausgeführt wird, wird aufgerufen, um die Besucher zu verteilen, z. B. Javascript </li></ul>
  11. 11. Real-Time Experiment <ul><li>Testart : A/B Split Test </li></ul><ul><li>OEC : Conversion Rate </li></ul><ul><li>Landing Page 1: 195.751 Klicks, Conversion Rate von 2,86 % </li></ul>LP zensiert
  12. 12. Real-Time Experiment <ul><li>Landing Page 2: 270.816 Klicks, Conversion Rate von 2,39 % </li></ul>LP zensiert
  13. 13. Real-Time Experiment <ul><li>Conversion Rate Differenz von 18% </li></ul><ul><li>In anderen Worten: Die betreffende Firma hätte 18% seiner Gesamtwerbekosten für Online Werbung gespart, wenn sie von Anfang an die erste Landing Page benutzt hätte. </li></ul>
  14. 14. Marktübersicht <ul><li>Tools : Google Website Optimizer (kostenlos), Omniture Test & Target (sechstellig im Jahr) </li></ul>

×