In 8 Schritten zum eigenen A/B Test
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share

In 8 Schritten zum eigenen A/B Test

  • 264 views
Uploaded on

Schritt für Schritt Anleitung, wie man zum eigenen A/B Test kommt.

Schritt für Schritt Anleitung, wie man zum eigenen A/B Test kommt.

More in: Marketing
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
264
On Slideshare
264
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
1
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. In 8 Schritten zum A/B Test Gabriel Beck www.conversiondoktor.de Gabriel Beck
  • 2. sdfsdfsdf INHALT Einleitung ............................................................................................................................................... 3 1. Sichern des Status Quo .................................................................................................................... 3 2. Dauer des Tests berechnen ............................................................................................................. 3 3. Anzahl Conversions .......................................................................................................................... 4 4. Wahl der A/B – Testmethode ............................................................................................................ 5 5. Traffic Segmentierung ...................................................................................................................... 5 6. Signifikanz .......................................................................................................................................... 7 7. Conversion Goals .............................................................................................................................. 8 8. Auswahl Testing Tool und Setup ..................................................................................................... 8 www.conversiondoktor.de Gabriel Beck 2
  • 3. sdfsdfsdf Einleitung Im Blog habe ich schon viele Artikel darüber geschrieben, was man auf Webseiten testen kann. Die zuletzt veröffentlichte Conversion Case Study von Margarete Steiff hat gezeigt, wie wenig manchmal geändert werden muss, um gute Testergebnisse zu erzielen. Eine weitere Fundgrube für Testing Ideen ist das PDF „10 Testkonzept für 476% mehr Conversions“. Die nachfolgende kurze Checkliste dient der Orientierung und soll dabei helfen, was man vor dem Test Setup nicht vergessen darf. Sie setzt zudem voraus, dass man bereits ein A/BTestkonzept (siehe oben) im Kopf hat und weiß, was man auf welcher Seite testen möchte. Idealerweise ist die Variante B bereits entwickelt. Wer sich noch kein Testkonzept überlegt hat, findet im Blog unter Kategorie Testkonzepte genügend Input. Checkliste: in 8 Schritten zum A/B-Test 1. Sichern des Status Quo 2. Dauer des Tests berechnen 3. Anzahl Conversions auswerten 4. Wahl der A/B – Testmethode 5. Traffic Segmentierung 6. Statistische Signifikanz 7. Conversion Goals 8. Auswahl Testing Tool und Setup 1. Sichern des Status Quo Bevor man etwas ändert, ist es generell wichtig, den Status Quo zu sichern. Dies macht es einfacher, auch im Nachhinein herausfinden zu können, wo man ursprünglich hergekommen ist. Hier gehört nicht nur ein einfacher Screenshot von der unveränderten Seite, sondern auch, die Ursprungsvariante vorher technisch unverändert (inkl. Quellcode) zu sichern. Screenshot-Tools gibt es viele – für Firefox kann ich zum Beispiel → Screengrab empfehlen, da hiermit auch eine komplette Seite (also über den sichtbaren Bereich hinaus) gesichert werden können. 2. Dauer des Tests berechnen A/B Tests sollten generell nicht allzulange laufen. Ein Test der sehr lange laufen muss, um signifikante Uplifts zu generieren, weist im Grunde genommen darauf hin, dass der zu messende Effekt zu gering ist. D.h. das variierte Test-Element, oder die variierte Seite B hat demzufolge zu wenig Einfluss auf die Conversion Rate. Eine (persönliche!) Empfehlung lautet daher: Nicht mehr als 2 Monate testen! www.conversiondoktor.de Gabriel Beck 3
  • 4. sdfsdfsdf Wer sich vor einem A/B-Test ausrechnen möchte, wie lange ein Test dauert wird, kann verschiedene Testing Calculators verwenden. Ich möchte allerdings darauf hinweisen, dass man in derartigen Tools auch einen geschätzten Conversion-Uplift mit einberechnen muss. Eine derartige Schätzung fällt (auch uns Experten) schwer (näheres dazu im nächsten Punkt). A/B Test Duration Calculator (→ visualwebsiteoptimizer) A/B Test Duration Calculator (→ Google) 3. Anzahl Conversions Die Frage nach den zu erwartenden Conversions zielt vor allem auf Tests ab, die ein Mindestmaß an Conversions nicht erreichen können. Um dennoch testen zu können, muss man sich sogenannter Micro-Conversions bedienen. Hier eine Daumenregel, die bisher immer sehr gut funktioniert hat: Man braucht pro getesteter Variante ca. 10 Conversions pro Tag. Bei einem A/B Test bedeutet dies, dass man vor dem Test 20 Conversions pro Tag haben sollte, damit der Test nicht ewig läuft. Nun denkt man sich vielleicht: 20 Sales (als Beispiel) pro Tag für eine Variante hätte ich gerne, dann müsste ich nicht testen. Daher muss man sich in diesem Fall der Micro-Conversions bedienen. Wichtig ist dabei, dass das eigentliche Conversion Goal (Beispiel Sale) neben den verschiedenen MicroConversion Goals (AddToCart, etc.) mit getrackt wird. Auf den Punkt gebracht: Erst einmal die Conversions pro Testseite im Webanalyse-Tool auswerten. Wer keine 20 Conversions pro Tag vor dem Test hatte, sollte sich auf die Suche nach anderen Conversion Goals begeben, bzw. Micro-Conversions definieren, die neben dem Hauptziel mit getrackt werden. Beispiel Micro Conversion Rates: Click-Through-Rate Add-To-Basket-Rate Click-To-Product-Rate Basket-To-Buy-Rate Beispiel Macro Conversion Rates: Sales Conversion Rate (SCR) Lead Conversion Rate (LCR) Download-Rate www.conversiondoktor.de Gabriel Beck 4
  • 5. sdfsdfsdf 4. Wahl der A/B – Testmethode Hier geht es nicht darum, zwischen A/B Testing oder multivariate Testing zu entscheiden, sondern vielmehr darüber, ob die optimierte Variante als eigenständige URL zur Verfügung steht, oder ob nur die Testelemente innerhalb der bestehenden Seite geändert werden. Vereinfacht gefragt: Steht die neue Variante als eigene URL zur Verfügung? (www.domain.de/landingpage/version-b.html) >> ja / nein? Ist die neue Variante über einen Parameter zu erreichen? (www.domain.de/landingpage/?v=2) >> ja/nein? Variante 1) Wenn beides verneint wurde, dann handelt es sich um einen „normalen“ A/B -Test auf der Website, bei der ein bestimmtes Element direkt ausgetauscht wird Variante 2) Wenn einmal mit „Ja“ geantwortet wurde, dann handelt es sich um Split-URL Test. In diesem Fall kann man das Testsystem so aufsetzen, dass beim Aufruf einer URL vom System entschieden wird, welche Variante ausgespielt wird. Wichtig ist dabei, dass die ursprüngliche Variante auch als „Control“ im System hinterlegt wird, denn das Tool kann die neue Variante nur dann anzeigen, wenn die URL auch aufgerufen wurde. 5. Traffic Segmentierung Manchmal macht es Sinn, nicht immer den kompletten Traffic zu testen, sondern nur bestimmten Nutzergruppen (Neu vs. wiederkehrend, SEA Traffic für eine bestimmte Kampagne, organischer Traffic, Affiliate Traffic, mobile Nutzer, oder nur direkter Traffic). Bevor der A/B Test live geht, sollte man sich überlegen, ob man alle Nutzer mit einbezieht, oder nur ganz bestimmte. Eine Segmentierung des Traffics kann durchaus zu ganz anderen Ergebnissen führen, als ungefiltertes Testing. Nachfolgend ein paar Segmentierungsbeispiele. www.conversiondoktor.de Gabriel Beck 5
  • 6. sdfsdfsdf Mein Tipp: SEA Traffic eignet sich in der Regel gut fürs A/B Testing, da dieser Traffic relativ gleichbleibende Qualität aufweist. Sollte der Test zum Uplift führen, kann das Konzept auch auf den kompletten Website Traffic ausgeweitet werden. Zur Segmentierung müssen beim Setup in der Regel die Kampagnen Parameter in der URL eingetragen werden. www.conversiondoktor.de Gabriel Beck 6
  • 7. sdfsdfsdf 6. Signifikanz Ein A/B Test ist dann aussagekräftig, wenn eine gewisse Anzahl an Conversions aufgelaufen sind und der Test statistisch signifikant ist. In der Realität wird dies leider allzu häufig vernachlässigt, was nachfolgende Grafik verdeutlicht: Wer mit einem A/B Testing Tool testet, der bekommt die Signifikanz (Chance to beat original, etc.) in der Regel mit ausgewertet. Bei manchen Tools kann vorher das Signifikanzniveau verändert werden. Aus der Praxis heraus kann ich empfehlen, das Signifikanzniveau auf 95% (= Fehlerwahrscheinlichkeit von 5%) einzustellen. Ein 90%-iges Signifikanzniveau ist ebenfalls noch vertretbar. Nachfolgender Screenshot zeigt die Einstellung im Visual Website Optimizer (Zu finden unter Test-Settings). www.conversiondoktor.de Gabriel Beck 7
  • 8. sdfsdfsdf 7. Conversion Goals Das wichtigste beim Testing sind wohl die Conversion Ziele. Erst wenn man diese Kennzahlen steigern konnte, war ein Test auch erfolgreich. Doch welche Ziele sollte man setzen? Hierbei ist auf jeden Fall der Punkt 3 zu berücksichtigen, d.h. man muss auf die Anzahl der Conversions achten. In einem Prozess (zum Beispiel Checkout) sollte man zudem immer alle Schritte mit tracken. Es ist einem nicht geholfen, wenn die optimierte Produktseite zwar mehr Warenkorb-Aufrufe hat, dafür aber weniger Abschlüsse (ja, das kann passieren!). Je nachdem welches Testing Tool gewählt wird, ergibt sich daraus auch eine unterschiedliche Anzahl von möglichen Conversion Goals. Der Visual Website Optimizer bietet zum Beispiel 7 Conversion Goals, wohingegen der Google Website Optimizer (auch wenn kostenlos) nur 1 Conversion Goal anbietet. UPDATE: Der Google Website Optimizer wurde eingestellt und durch Google Content Experiments abgelöst. Hier die Informationen dazu. Wichtig ist, dass man die Conversion Ziele auch sprechend bezeichnet, damit jeder weiß, was damit gemeint ist (Conversion 1 =Abschluss, Conversion 2 = In Warenkorb gelegt, etc.) und sie bevor der Test startet auch überprüft. 8. Auswahl Testing Tool und Setup Wer erfolgreich alle Punkte durchlaufen hat, kann sich nun an die Auswahl des Testing Tools machen. Eine schöne Übersicht findet man auf → whichmvt - auch wenn es der Name nicht vermuten lässt, aber A/B Testingtools sind ebenfalls enthalten. Nach der Auswahl eines Testingtools geht es nun an das Setup. Wer die vorherigen Punkte bereits abgehakt hat, wird merken, dass die unterschiedlichen Tools mehr oder weniger genau diese Informationen abfragen. Wer vor dem Test noch auf Nummer sicher gehen will, führt zunächst einen A/A Test durch, um herauszufinden, ob das Tracking wirklich funktioniert, denn die neue Variante A sollte beim A/A Testing nicht besser konvertieren als die ursprüngliche Variante A . Viel Erfolg beim A/B – Testing! www.conversiondoktor.de Gabriel Beck 8
  • 9. sdfsdfsdf Über den Autor Gabriel Beck ist Head of Conversion Optimization und Standortleiter Hamburg bei explido WebMarketing und seit 2005 im Unternehmen. Zu seinen Themenschwerpunkten zählen Landingpage Optimierung, Shop Optimierung, Testing und Konzeption. explido WebMarketing ist eine Fullservice Agentur für Performance Marketing und einer der führenden Anbieter von SEA, SEO, Affiliate Marketing, Display Advertising und Website Consulting. 2010 gründete er zusammen mit André Morys und Frank Reese die Xing Gruppe „Conversion Optimization – Boost Your Profit“, die sich ausschließlich um Conversion Optimierung dreht. Kontakt Xing Profil // Kontakt Conversiondoktor // Newsletter // https://www.xing.com/profile/Gabriel_Beck http://www.conversiondoktor.de/kontakt/ http://www.conversiondoktor.de/newsletter/ Links Conversiondoktor Blog // Xing Conversion Gruppe // explido Website // http://www.conversiondoktor.de http://bit.ly/boostyourprofit http://www.explido.de Downloads im Blog Conversion Tool Liste Weitere Ebooks und Informationen gibt es im Download Bereich Eine Liste mit vielen vielen Conversion Tools findet man im Blog Link Link www.conversiondoktor.de Gabriel Beck 9