Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Wer A sagt, muss auch fragen "Warum"? Warum A/B Tests nur die halbe Wahrheit sind.

463 views

Published on

Immer noch gilt A/B-Testing als der heilige Gral in der UX Optimierungs-Landschaft. Doch oft gelangt man damit allein an Grenzen: Man kann gar nicht so viel testen, wie man müsste. Und ein Uplift von 0,X % ist nicht viel. Deshalb ist es wichtig, von Anfang an die richtige Methoden-Kombination zu wählen. 

Das A/B-Testing liefert uns wichtige Informationen zur Perfomance der ausgespielten Varianten in Form bloßer Kennzahlen, kann aber die Frage nach dem „Warum“ nicht beantworten. Wir wissen nicht, warum die eine Variante besser performt als die andere und ob wir uns der optimalen Lösung nähern oder nur an der Oberfläche des Potentials kratzen.  

In unserem Beitrag zeigen wir, warum die Aufzeichnung und Analyse von Mausspuren oder Touch-Gesten eine unerlässliche Quelle für die Priorisierung Ihrer A/B-Tests sind und wie erst ein Blick auf das echte  Nutzerverhalten ermöglicht, optimale Test-Varianten zu entwerfen. Erfahren Sie, wie Sie Ihre A/B-Tests mit qualitativen Daten anreichern, wann genau sie andere Methoden einsetzen sollten und welche zusätzlichen Ergebnisse Sie davon erwarten können. 

Denn das Potential von A/B-Testing kann nur ausgeschöpft werden, wenn die Erstellung von Varianten nicht auf subjektiven Erfahrungswerten basiert, sondern durch reale Nutzungsdaten abgesichert ist. Eine qualitative Analyse während des A/B-Tests deckt auf, ob und wie Ihre Zielgruppe auf Varianten reagiert und spart dadurch wertvolle Test-Zyklen und damit Zeit und Geld.

Published in: Data & Analytics

Wer A sagt, muss auch fragen "Warum"? Warum A/B Tests nur die halbe Wahrheit sind.

  1. 1. m-pathy Warum A/B-Tests nur die halbe Wahrheit sind. Wer A sagt, muss auch fragen „Warum?“
  2. 2. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 2 BEISPIEL - SONNENKLAR.TV KORREKTUREN A KORREKTUREN B 100 % MEHRNUTZUNG 1,8 % 3,6 % Nutzer erkennen am Symbol die Funktion nicht. Potential von ca. 16% bleibt ungenutzt, mangels qualitativer Daten.
  3. 3. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 3 BEISPIEL - SONNENKLAR.TV
  4. 4. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 4 BEISPIEL - SONNENKLAR.TV
  5. 5. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 5 DURCHBLICK IM METHODEN-DSCHUNGEL Goals & attidudes What people 
 say How many and how much Quantitativ Behaviors What people do Qualitativ Why and how to fix Customer Support
 Data Analysis User Surveys/ 
 On-Site Befragungen A/B Testing Site Traffic/
 Log File Analysis Remote Usability 
 Testing Heatmaps: 
 Aggregation Eye Tracking Usability 
 Testing Diary/
 Journal Studies Participatory Design User Interviews/ 
 Journal Studies Focus Groups Card Sorting Field
 Studies UX Consulting / 
 Expert Review Session-
 Playback UX
 Methoden
  6. 6. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 6 OPTIMIERUNGS ZYKLUS ERGÄNZT DURCH MOUSETRACKING UND BEFRAGUNGEN Echte Hürden identifizieren A/B
 Testing Kreativ werden Refinement Hypothesen
 bilden Exploration Ziele
 definieren Testen Auswerten Varianten
 gestalten Potentiale berechnen weitere Potentiale aufdecken Conversion! Kundenreise verstehen und Ziele ableiten Zusätzliche Hypothesen
 widerlegen / bestätigen Meinungen Viele Ideen Interaktions-
 Analyse Komplexe Varianten
 auswerten Live Qualitätssicherung
 der Varianten Absicherung der Erkenntnis Signifikanz
 abwarten
  7. 7. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 7 „If you think of technology as something that's spreading like a sort of fractal stain, every moving point on the edge represents an interesting problem.“ 
 Paul Graham Zielfindung Exploration HypothesenImplementierung Testen Auswertung MESSBARE ZIELE ENTWICKELN
  8. 8. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 8 Zielfindung Exploration HypothesenImplementierung Testen Auswertung MESSBARE ZIELE ENTWICKELN Herausforderung ist, die Ansätze für Optimierung zu identifizieren, die das höchste Potential hinsichtlich Ihrer Ziele haben.
  9. 9. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 9 SIE DENKEN, SIE HABEN EINE HYPOTHESE? Zielfindung Exploration HypothesenImplementierung Testen Auswertung Agentur- MeinungAktionismus Mitbewerber kopieren Chef hat Artikel 
 gelesen #FAIL Firmen- Brille
  10. 10. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 10 DATENGETRIEBENE INSIGHTS Zielfindung Exploration HypothesenImplementierung Testen Auswertung Web-Analyse Heuristiken Qualitative Befragungen User TestingMouse Tracking INSIGHT
  11. 11. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 11 SIE DENKEN, SIE HABEN EINE HYPOTHESE? Zielfindung Exploration HypothesenImplementierung Testen Auswertung Die Lösung des Problems liegt nicht immer dort, wo die Kennzahl auffällig ist. Hohe Bounce-Rate auf Ergebnisliste. Ursache in vorgelagertem Schritt - keine Abschätzung der Ergebnismenge während der Filterung möglich -> zu viele Angebote.
  12. 12. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 12 SIE DENKEN, SIE HABEN EINE HYPOTHESE? Zielfindung Exploration HypothesenImplementierung Testen Auswertung Tatsächliche Hürden sichtbar machen mit qualitativer Analyse der Interaktionsdaten.
  13. 13. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 13 HYPOTHESENGENERIERUNG - BOUNCER AUF AUSVERKAUFTEN ARTIKELN Zielfindung Exploration HypothesenImplementierung Testen Auswertung Hohe Bounce-Rate auf ausverkaufte Artikel bei externen Einsprüngen.
  14. 14. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" PRIORISIERUNG 14 Sie wissen die Conversion, Rechnen statt Raten - echte Prognosen! Zielfindung Exploration HypothesenImplementierung Testen Auswertung • bei Direkteisprung • auf Out-of-Stock Produkte • mit Empfehlungen im sichtbaren Bereich • und Klick auf Empfehlung = berechnetes Potential
  15. 15. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 15
  16. 16. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" VALIDITÄT SICHERN 16 Zielfindung Exploration HypothesenImplementierung Testen Auswertung Fehler im Detail
  17. 17. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" VALIDITÄT SICHERN 17 Zielfindung Exploration HypothesenImplementierung Testen Auswertung Live-Qualitätssicherung Ihres A/B Testing-Anbieters und vermeiden von invaliden Tests.
  18. 18. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" VALIDITÄT SICHERN 18 Ladezeiten im Auge behalten! Zielfindung Exploration HypothesenImplementierung Testen Auswertung Komplexe Varianten führen bei client-seifigen A/B Testing-Tools zu verlängerten Ladezeiten.
  19. 19. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" DER KÖNIGSWEG - A/B TEST - KOMPLEXITÄT 19 hohe Wirksamkeit / Potential kürzere Laufzeit als bei seq. Tests Beantwortung mehrere Hypothesen Entwicklungskosten Zuordenbarkeit Erfolg / Maßnahme Auswertungsaufwand Varianten-Komplexität Kleine viele Tests oder einen komplexen mit großer Wirkung?
  20. 20. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" DER KÖNIGSWEG - A/B TEST + BEFRAGUNG + MOUSE-TRACKING 20 • Conversion • Vergleich • Information Viele verschiedene Ziele Variante A (Alt) Variante B (Neu) Zielfindung Exploration HypothesenImplementierung Testen Auswertung
  21. 21. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" DER KÖNIGSWEG - BEFRAGUNG 21 3. Wiederkehrabsicht1. Ziel 2.1 Grund Ziel nicht erreicht 2. Zielerreichung } Zielfindung Exploration HypothesenImplementierung Testen Auswertung Auswertung von Teilzielen möglich. Subjektive Wahrnehmung durch Freitextantworten Verknüpfung mit Interaktionsdaten.
  22. 22. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" DER KÖNIGSWEG - INTERAKTIONS-ANALYSE 22 Zielfindung Exploration HypothesenImplementierung Testen Auswertung • Absicherung der quantitativen Ergebnisse • Ausschluss von Hypothesen über Ursache • weitere Optimierungsansätze für nicht erreichte Teilziele entwickeln
  23. 23. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" TEST-ZYKLEN VERKÜRZEN DURCH METHODEN-MIX 23 20 % 30 % 28 % 31 % 30 % 32 % Iteration 1 Iteration 2 Iteration 3 klassisches A/B Testing 43 % 40 % 46 % bessere Ausgangs-Varianten durch Status-Quo Analyse Aufdecken weiterer Optimierungsmöglichkeiten durch visuelle Analyse der Varianten Frühzeitiges Finden der optimalen Variante durch Ergänzung um Interaktions-Analyse Quantitative Verifikation der Siegervariante Methoden-Mix
  24. 24. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" ERFOLGSKONTROLLE 24 Quantifizierung des Erfolgs möglich.
  25. 25. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 25 https://www.m-pathy.com Danke für die Aufmerksamkeit! Martin Wunderwald martin.wunderwald@m-pathy.com +49 351 50141517

×