Your SlideShare is downloading. ×
Listen to Your Customers not to the HiPPO Yi Shi
Online Advertising Markt <ul><li>Online Advertising boomt </li></ul><ul><li>Jährlich zweistellige Wachstumsraten im Vergle...
Online Advertising Markt <ul><li>Display Marketing:  Der Advertiser bezahlt, wenn seine Werbeanzeigen gesehen werden. Verr...
Was ist eine Conversion? <ul><li>Conversion (Umwandlung) muss vor jeder Werbekampagne definiert werden. </li></ul><ul><li>...
Conversion Optimization Experimente <ul><li>Overall Evaluation Criterion (OEC):  OEC ist eine quantitative Messgröße in un...
Durchführung eines Tests <ul><li>Beispiel:  A/B Test </li></ul><ul><li>Landing Page A ist unsere Nullhypothese, Landing Pa...
Durchführung eines Tests <ul><li>Nun wissen wir, dass wir zwei Landing Pages haben (A und B), was wir damit anfangen wolle...
Berechnung der Testgröße <ul><li>r : Anzahl der Varianten </li></ul><ul><li>roh : Standardabweichung </li></ul><ul><li>del...
Implementierung: Zufallsalgorithmus <ul><li>Bei der Durchführung des Experiments müssen die User gleichmäßig aufgesplitet ...
Implementierung: Zuweisungsfunktion <ul><li>Sorgt dafür, welche User welche Landing Page Variante zu sehen bekommt.  </li>...
Real-Time Experiment <ul><li>Testart : A/B Split Test </li></ul><ul><li>OEC : Conversion Rate </li></ul><ul><li>Landing Pa...
Real-Time Experiment <ul><li>Landing Page 2:  270.816 Klicks, Conversion Rate von 2,39 % </li></ul>LP zensiert
Real-Time Experiment <ul><li>Conversion Rate Differenz von 18% </li></ul><ul><li>In anderen Worten:  Die betreffende Firma...
Marktübersicht <ul><li>Tools : Google Website Optimizer (kostenlos), Omniture Test & Target (sechstellig im Jahr) </li></ul>
Upcoming SlideShare
Loading in...5
×

Listen to Your Customers, not to the HiPPO

267

Published on

A basic presentation about controlled conversion optimization experiments and it´s importance in German

* HiPPO stands for Highest Paid Person's Opinion

Published in: Technology, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
267
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Listen to Your Customers, not to the HiPPO"

  1. 1. Listen to Your Customers not to the HiPPO Yi Shi
  2. 2. Online Advertising Markt <ul><li>Online Advertising boomt </li></ul><ul><li>Jährlich zweistellige Wachstumsraten im Vergleich zu anderen Werbearten </li></ul><ul><li>Möglichkeit, jede Transaktion bis ins Detail zu tracken </li></ul>
  3. 3. Online Advertising Markt <ul><li>Display Marketing: Der Advertiser bezahlt, wenn seine Werbeanzeigen gesehen werden. Verrechnungsmodel: CPM </li></ul><ul><li>Performance Marketing: Der Advertiser bezahlt, wenn er etwas verkauft hat. Verrechnungsmodell: PPS </li></ul>
  4. 4. Was ist eine Conversion? <ul><li>Conversion (Umwandlung) muss vor jeder Werbekampagne definiert werden. </li></ul><ul><li>Eine Conversion kann z. B. ein Verkauf sein oder eine Newsletteranmeldung. </li></ul><ul><li>Conversionoptimierung : Werbekosten senken </li></ul>
  5. 5. Conversion Optimization Experimente <ul><li>Overall Evaluation Criterion (OEC): OEC ist eine quantitative Messgröße in unseren Experimenten, die den Erfolg unserer Experimente ausdrücken soll. </li></ul><ul><li>Faktor : Faktoren sind Variablen, die den OEC beeinflussen können, in einem simplen A/B Split Test ist z. B. der Variable mit den Werten A und B (die beiden Landing Pages) ein Faktor. </li></ul><ul><li>Testeinheit : Im Verlauf dieser Arbeit nehmen wir an, dass unsere Testeinheit der User ist. </li></ul><ul><li>Nullhypothese : Die Nullhypothese ist der Fall, von dem wir am Anfang ausgehen. </li></ul><ul><li>Alternativhypothese : Die zweite Hypothese, also die Alternativhypothese muss sich in unseren Experimenten beweisen. </li></ul>
  6. 6. Durchführung eines Tests <ul><li>Beispiel: A/B Test </li></ul><ul><li>Landing Page A ist unsere Nullhypothese, Landing Page B die Alternativhypothese. Landing Page B muss sich beweisen, dass sie einen besseren OEC erzielt (wie beim Hypothesentest). </li></ul><ul><li>Grundvoraussetzungen: </li></ul><ul><li>Zufälligkeit bei der Testeinheit (Usern). Keine Bevorzugung einer bestimmten Landing Page Variante </li></ul><ul><li>Definition des OEC: Ein gut gewählter OEC trifft eine langfristige Aussage über den Erfolg unserer Werbekampagne, also Kennzahlen wie ROI oder Conversion Rate </li></ul>
  7. 7. Durchführung eines Tests <ul><li>Nun wissen wir, dass wir zwei Landing Pages haben (A und B), was wir damit anfangen wollen (A/B Test) und was unser Ziel ist (Conversion Rate Steigerung). </li></ul><ul><li>Was uns noch fällt? </li></ul><ul><li>Die Anzahl der Besucher, die wir in unser Experiment schicken, um aussagekräftige Ergebnisse zu erhalten. </li></ul><ul><li>Berechnung der Testgröße </li></ul>
  8. 8. Berechnung der Testgröße <ul><li>r : Anzahl der Varianten </li></ul><ul><li>roh : Standardabweichung </li></ul><ul><li>delta : minimale Differenzen zwischen den OECs </li></ul><ul><li>Beispiel : Wir nehmen jetzt an, dass wir ein Online Shop betreiben, auf welchem 5% aller Besucher zu Käufern werden (Conversion Rate also 5%). Diese 5% geben bei uns jeweils 75€ aus, unter dem Strich gibt also jeder Besucher hypothetisch gesehen 3,75€ aus (95% kaufen ja nichts). Wenn wir jetzt eine Standardabweichung bei 30€ haben und einen A/B Test durchführen, um herauszufinden, wie sich die Umsätze um 5% verändern, benötigen wir eine Testgröße von 1,6 Mio. Besucher -> (4*2*30/(3,75*0,05))^2 </li></ul>
  9. 9. Implementierung: Zufallsalgorithmus <ul><li>Bei der Durchführung des Experiments müssen die User gleichmäßig aufgesplitet werden, um die Landing Page Varianten zu sehen (50/50 Split bei einem A/B Test beispielsweise). </li></ul><ul><li>Jeder Besucher wird einer Landing Page Variante zugewiesen, d.h. auch bei sukzessiven Reloaden der Landing Page sieht der Besucher die Initialvariante (technische Realisierung durch Cookies). </li></ul><ul><li>Wenn wir mehrere Experimente auf einer Landing Page simultan starten, müssen wir sicherstellen, dass es keine Wechselwirkung zwischen den Experimenten existiert. Eine Korrelation würde die Ergebnisse stark verfälschen. </li></ul><ul><li>Das Algorithmus sollte ein zusätzliches ramp-up Feature beinhalten, d.h. den Prozentanteil der Alternativhypothese bzw. der Landing Page Variante B in einem A/B Test wird sukzessive erhöht (z. B. von 0,1% zu 0,5% zu 2,5% zu 10% und zum Schluss zu 50%). </li></ul>
  10. 10. Implementierung: Zuweisungsfunktion <ul><li>Sorgt dafür, welche User welche Landing Page Variante zu sehen bekommt. </li></ul><ul><li>Drei gängige Vorgehensweisen: </li></ul><ul><li>Traffic Splitting von der Hardware aus: Einbindung des Zufallsalgos in den Load Balancer oder Proxy Server, um den Traffic zu verteilen. </li></ul><ul><li>Serverseitige Scriptsprache: Ein Script, welches serverseitig geparsed wird, wird aufgerufen, um die Besucher zu verteilen, z. B. PHP </li></ul><ul><li>Clientseitige Scriptsprache: Ein Script, welches clientseitig ausgeführt wird, wird aufgerufen, um die Besucher zu verteilen, z. B. Javascript </li></ul>
  11. 11. Real-Time Experiment <ul><li>Testart : A/B Split Test </li></ul><ul><li>OEC : Conversion Rate </li></ul><ul><li>Landing Page 1: 195.751 Klicks, Conversion Rate von 2,86 % </li></ul>LP zensiert
  12. 12. Real-Time Experiment <ul><li>Landing Page 2: 270.816 Klicks, Conversion Rate von 2,39 % </li></ul>LP zensiert
  13. 13. Real-Time Experiment <ul><li>Conversion Rate Differenz von 18% </li></ul><ul><li>In anderen Worten: Die betreffende Firma hätte 18% seiner Gesamtwerbekosten für Online Werbung gespart, wenn sie von Anfang an die erste Landing Page benutzt hätte. </li></ul>
  14. 14. Marktübersicht <ul><li>Tools : Google Website Optimizer (kostenlos), Omniture Test & Target (sechstellig im Jahr) </li></ul>

×