• Save
Listen to Your Customers, not to the HiPPO
Upcoming SlideShare
Loading in...5
×
 

Listen to Your Customers, not to the HiPPO

on

  • 430 views

A basic presentation about controlled conversion optimization experiments and it´s importance in German

A basic presentation about controlled conversion optimization experiments and it´s importance in German

* HiPPO stands for Highest Paid Person's Opinion

Statistics

Views

Total Views
430
Views on SlideShare
428
Embed Views
2

Actions

Likes
0
Downloads
0
Comments
0

2 Embeds 2

http://www.slideshare.net 1
http://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Listen to Your Customers, not to the HiPPO Listen to Your Customers, not to the HiPPO Presentation Transcript

  • Listen to Your Customers not to the HiPPO Yi Shi
  • Online Advertising Markt
    • Online Advertising boomt
    • Jährlich zweistellige Wachstumsraten im Vergleich zu anderen Werbearten
    • Möglichkeit, jede Transaktion bis ins Detail zu tracken
  • Online Advertising Markt
    • Display Marketing: Der Advertiser bezahlt, wenn seine Werbeanzeigen gesehen werden. Verrechnungsmodel: CPM
    • Performance Marketing: Der Advertiser bezahlt, wenn er etwas verkauft hat. Verrechnungsmodell: PPS
  • Was ist eine Conversion?
    • Conversion (Umwandlung) muss vor jeder Werbekampagne definiert werden.
    • Eine Conversion kann z. B. ein Verkauf sein oder eine Newsletteranmeldung.
    • Conversionoptimierung : Werbekosten senken
  • Conversion Optimization Experimente
    • Overall Evaluation Criterion (OEC): OEC ist eine quantitative Messgröße in unseren Experimenten, die den Erfolg unserer Experimente ausdrücken soll.
    • Faktor : Faktoren sind Variablen, die den OEC beeinflussen können, in einem simplen A/B Split Test ist z. B. der Variable mit den Werten A und B (die beiden Landing Pages) ein Faktor.
    • Testeinheit : Im Verlauf dieser Arbeit nehmen wir an, dass unsere Testeinheit der User ist.
    • Nullhypothese : Die Nullhypothese ist der Fall, von dem wir am Anfang ausgehen.
    • Alternativhypothese : Die zweite Hypothese, also die Alternativhypothese muss sich in unseren Experimenten beweisen.
  • Durchführung eines Tests
    • Beispiel: A/B Test
    • Landing Page A ist unsere Nullhypothese, Landing Page B die Alternativhypothese. Landing Page B muss sich beweisen, dass sie einen besseren OEC erzielt (wie beim Hypothesentest).
    • Grundvoraussetzungen:
    • Zufälligkeit bei der Testeinheit (Usern). Keine Bevorzugung einer bestimmten Landing Page Variante
    • Definition des OEC: Ein gut gewählter OEC trifft eine langfristige Aussage über den Erfolg unserer Werbekampagne, also Kennzahlen wie ROI oder Conversion Rate
  • Durchführung eines Tests
    • Nun wissen wir, dass wir zwei Landing Pages haben (A und B), was wir damit anfangen wollen (A/B Test) und was unser Ziel ist (Conversion Rate Steigerung).
    • Was uns noch fällt?
    • Die Anzahl der Besucher, die wir in unser Experiment schicken, um aussagekräftige Ergebnisse zu erhalten.
    • Berechnung der Testgröße
  • Berechnung der Testgröße
    • r : Anzahl der Varianten
    • roh : Standardabweichung
    • delta : minimale Differenzen zwischen den OECs
    • Beispiel : Wir nehmen jetzt an, dass wir ein Online Shop betreiben, auf welchem 5% aller Besucher zu Käufern werden (Conversion Rate also 5%). Diese 5% geben bei uns jeweils 75€ aus, unter dem Strich gibt also jeder Besucher hypothetisch gesehen 3,75€ aus (95% kaufen ja nichts). Wenn wir jetzt eine Standardabweichung bei 30€ haben und einen A/B Test durchführen, um herauszufinden, wie sich die Umsätze um 5% verändern, benötigen wir eine Testgröße von 1,6 Mio. Besucher -> (4*2*30/(3,75*0,05))^2
  • Implementierung: Zufallsalgorithmus
    • Bei der Durchführung des Experiments müssen die User gleichmäßig aufgesplitet werden, um die Landing Page Varianten zu sehen (50/50 Split bei einem A/B Test beispielsweise).
    • Jeder Besucher wird einer Landing Page Variante zugewiesen, d.h. auch bei sukzessiven Reloaden der Landing Page sieht der Besucher die Initialvariante (technische Realisierung durch Cookies).
    • Wenn wir mehrere Experimente auf einer Landing Page simultan starten, müssen wir sicherstellen, dass es keine Wechselwirkung zwischen den Experimenten existiert. Eine Korrelation würde die Ergebnisse stark verfälschen.
    • Das Algorithmus sollte ein zusätzliches ramp-up Feature beinhalten, d.h. den Prozentanteil der Alternativhypothese bzw. der Landing Page Variante B in einem A/B Test wird sukzessive erhöht (z. B. von 0,1% zu 0,5% zu 2,5% zu 10% und zum Schluss zu 50%).
  • Implementierung: Zuweisungsfunktion
    • Sorgt dafür, welche User welche Landing Page Variante zu sehen bekommt.
    • Drei gängige Vorgehensweisen:
    • Traffic Splitting von der Hardware aus: Einbindung des Zufallsalgos in den Load Balancer oder Proxy Server, um den Traffic zu verteilen.
    • Serverseitige Scriptsprache: Ein Script, welches serverseitig geparsed wird, wird aufgerufen, um die Besucher zu verteilen, z. B. PHP
    • Clientseitige Scriptsprache: Ein Script, welches clientseitig ausgeführt wird, wird aufgerufen, um die Besucher zu verteilen, z. B. Javascript
  • Real-Time Experiment
    • Testart : A/B Split Test
    • OEC : Conversion Rate
    • Landing Page 1: 195.751 Klicks, Conversion Rate von 2,86 %
    LP zensiert
  • Real-Time Experiment
    • Landing Page 2: 270.816 Klicks, Conversion Rate von 2,39 %
    LP zensiert
  • Real-Time Experiment
    • Conversion Rate Differenz von 18%
    • In anderen Worten: Die betreffende Firma hätte 18% seiner Gesamtwerbekosten für Online Werbung gespart, wenn sie von Anfang an die erste Landing Page benutzt hätte.
  • Marktübersicht
    • Tools : Google Website Optimizer (kostenlos), Omniture Test & Target (sechstellig im Jahr)