Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Die kunst des bonsai survey design

924 views

Published on

Spotting the problem questions and how to change your survey

Published in: Marketing
  • Be the first to comment

  • Be the first to like this

Die kunst des bonsai survey design

  1. 1. MEET Lightspeed GMI
  2. 2. 1996 28 700 Gründung Büros in 15 Ländern Mitarbeiter 4.000 20.000 70 zufriedene Kunden Forschungsprojekte im Jahr Forschung in über 70 Ländern 4 Mio. Panelisten 40 Konsumenten-Panels in 40 Ländern 15 Medical Panels MEET Lightspeed GMI
  3. 3. Jon Puleston Vice President of Innovation
  4. 4. Dennis Sewberath Director Creative Research
  5. 5. Question Arts Team Ein Team, darauf spezialisiert interaktive Umfragen und Technologien für Online Research zu designen • Wie man Befragte motiviert • Wie man Fragen entwickelt, die die richtige Art von Information erfassen • Wo und wann verschiedene kreative Techniken verwendet werden können
  6. 6. HINTERGRUND UNSERES THEMAS
  7. 7. T H E A R T O F B O N S A I S U R V E Y D E S I G N S In den letzten 10 Jahren hatten Online-Fragebögen eine durchschnittliche Länge von 20 Minuten. Keine Änderung in Sicht... Maximale Zeit Umfragen: COMPUTER TABLET SMARTPHONE 5 Minuten oder weniger 2% 9% 27% 10 Minuten oder weniger 9% 24% 45% 15 Minuten oder weniger 19% 42% 65% 20 Minuten oder weniger 34% 65% 73% 25 Minuten oder weniger 42% 71% 77% 30 Minuten oder weniger 65% 81% 85% US data from 1185 completes November, 2013 T H E B ACKG ROU N D I S S U E
  8. 8. T H E B ACKG ROU N D I S S U E T H E A R T O F B O N S A I S U R V E Y D E S I G N S 37% der neue Panelisten registrieren sich über Apple (IOS) oder Android-Endgeräte MYSURVEY % REGISTRANTS BY DEVICE 22% 20% 18% 16% 14% 12% 10% Jan 13 Feb 13 Mar 13 Apr 13 May 13 Jun 13 Jul 13 Aug 13 Sep 13 Oct 13 Nov 13 Dec 13 iOS Android
  9. 9. HEUTE - Entdecken Sie die Problemfragen - Ändern Sie die Fragen
  10. 10. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Setzen Sie die „Probanden“-Brille auf STEP 1 “Unglaublich …. Ich setzte sie auf und sofort wurde ich in einen Befragten verwandelt” “WOW, ist dass meine Befragung?!” P AR T 1 NEU!
  11. 11. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Die 5 ZEICHEN für problematische Fragen: ……………………………………………………………………………………………………………. 1. Dropout (Abbrecher) 2. Straight-lining (Musterklicker) 3. Reduzierung der Standardabweichung von Antworten 4. Reduzierte Antwortzeiten 5. Immer mehr Antwort-Korrelation
  12. 12. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S DROPOUT Wenn mehr als 1% der Befragten ausfällt bei einer einzelnen Frage, ist das ein Zeichen für ein Problem-Frage. Wenn mehr als 20% der Befragten die Umfrage nicht ausfüllt, ist das ein Zeichen für eine Problem-Befragung.
  13. 13. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Antwortzeit sinkt Jede Frage, die in weniger als 2 Sekunden beantwortet wird. ist ein Zeichen für eine Problem-Frage.
  14. 14. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Der “Tacker”-Test Wenn Sie Ihre Umfrage drucken und sie nicht zusammenheften können, dann ist der Fragebogen zu lang.
  15. 15. T H E A R T O F B O N S A I S U R V E Y D E S I G N S STEP 2 P AR T 1 Annahme einer iterativen Umfrage Design-Philosophie
  16. 16. T H E A R T O F B O N S A I S U R V E Y D E S I G N S TIPPS FÜR TEST-PILOTIERUNG ……………………………………………………………. 1. Nicht den Kunden beteiligen 2. Versuchen Sie nicht, die gesamte Umfrage in dem Piloten zu programmieren 3. Nicht zu sehr ins Detail gehen 4. Realisieren Sie, dass Sie nach Hinweisen suchen, nicht nach ±95% statistischer Sicherheit 5. Seien Sie mutig und spielerisch: Verwenden Sie klassische Tests und Kontrolltechniken, um Antworten zu vergleichen P AR T 1
  17. 17. T H E A R T O F B O N S A I S U R V E Y D E S I G N S STEP 3 P AR T 1 Auf der Jagd nach unnötigen Fragen: Statistische Techniken
  18. 18. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Fragen Sie die gleiche Frage zweimal? Answer overlap P AR T 1
  19. 19. T H E A R T O F B O N S A I S U R V E Y D E S I G N S FINDEN SIE DIE UNNÖTIGE FRAGE • Value for money • Anticipates my needs • Delivers creative solutions • Responds in a timely manner • Delivers competitive pricing • Is a company I would recommend P AR T 1
  20. 20. T H E A R T O F B O N S A I S U R V E Y D E S I G N S FINDEN SIE DIE UNNÖTIGE FRAGE • Value for money • Anticipates my needs • Delivers creative solutions • Responds in a timely manner • Delivers competitive pricing • Is a company I would recommend KORRELATION = 0.67 P AR T 1
  21. 21. T H E A R T O F B O N S A I S U R V E Y D E S I G N S FINDEN SIE DIE UNNÖTIGE FRAGE • Value for money • Anticipates my needs • Delivers creative solutions • Responds in a timely manner • Delivers competitive pricing • Is a company I would recommend KORRELATION = 0.67 P AR T 1
  22. 22. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S JEDE UMFRAGE, DIE WIR ANALYSIERT HABEN, HAT EINIGE KORRELIERENDE FRAGEN ……………………………………………………………………………………………….
  23. 23. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SUCHE NACH KORRELATION IN FRAGEN LATENTE KORRELATION BEFRAGTEN-ERMÜDUNG
  24. 24. T H E A R T O F B O N S A I S U R V E Y D E S I G N S CASE STUDY: SINGTEL 24 KREUZKORRELIERENDE FRAGEN IDENTIFIZIERT P AR T 1
  25. 25. T H E A R T O F B O N S A I S U R V E Y D E S I G N S FOKUS AUF MESSEN WAS IST WERT DES MESSENS? ………………………………………………………………………………………………. Dies sind in etwa die Fehlergrenzen: • Sampling 100 = ±6% • Sampling 200 = ±5% • Sampling 400 = ±4% • Sampling 1000+ = ±2% P AR T 1
  26. 26. T H E A R T O F B O N S A I S U R V E Y D E S I G N S TYPISCHES UMFRAGE SAMPLE: n=400 SO MAX VON 8 ITEMS IN JEDER SINGLE CHOICE LIST = 50 PER ITEM P AR T 1
  27. 27. T H E A R T O F B O N S A I S U R V E Y D E S I G N S LEGEN SIE EINIGE “OPTION CAPS” …………………………………………………………………….. USING LEAST FILL QUOTAS P AR T 1
  28. 28. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S HINZUFÜGEN VON FRAGEN-LEVEL-QUOTEN …………………………………………………………………………………………………. Minimale Stichprobengröße = [(Standardabweichung x Z)/ Akzeptablen Fehler] 2 Z ist der Faktor, der das Niveau des statistischen Vertrauens bestimmt, das Sie verwenden möchten. Für 90% würde ich Z = 1.64 empfehlen,und für 95% Z= 1.96.
  29. 29. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S FRAGEN-LEVEL-QUOTEN 1000 800 600 400 200 0 Sampleanforderungen pro Frage All sample Sub demographic 1 Sub demographic 2 Sub demographic 3 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97
  30. 30. T H E A R T O F B O N S A I S U R V E Y D E S I G N S FALLSTUDIE: SINGTEL- Survey Chunking 1400 1200 1000 800 600 400 200 0 Mindestanforderung Stichprobengröße A A A A A A A A A A A B B B C C C C C C D D E E E E E F F F F F F F F F GGGGGG H H H H H H H I I I I I I I I I I I I 1000  800 P AR T 1
  31. 31. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S FALLSTUDIE: SINGTEL 1400 1200 1000 800 600 400 200 0 “Survey Chunking” D D B B H H H H H F F F F F F A1A1A1 A2A2A2A2 C C C C E E E E G G G G G I I I I I I I I I I BLOCK 1 BLOCK 2 BLOCK 3 x50% BLOCK 4 x 50% 21 MINUTEN  13 MINUTEN 800  710 + 90 INCOMPLETES
  32. 32. T H E A R T O F B O N S A I S U R V E Y D E S I G N S TIPP: NUTZEN SIE DEN PILOTEN UM IHRE SAMPLE-ANFORDERUNGEN ZU BESTIMMEN P AR T 1
  33. 33. T H E A R T O F B O N S A I S U R V E Y D E S I G N S VERWENDEN SIE EINE “MONTE-CARLO-STYLE” VORRAUSSAGUNGS-TECHNIK… ………………………………………………………………………………………… MODELLING ASCRIPTION P AR T 1 85%+
  34. 34. P AR T 1 T H E A R T O F B O N S A I S U R V E Y D E S I G N S VERWENDUNG VON MODELLING & ASCRIPTIONS (Zuschreibung) TECHNIKEN GELANGWEILT BEFRAGTEN
  35. 35. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Konsolidierung und Gruppierung von Fragen Q1 Which of these xxxxx are you aware of? Not heard of Heard of Q2 Which of have you purchased? Purchased Not purchased Q3 How much do you like? Do not like Like a little Like Love P AR T 2
  36. 36. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Kombination aus Bekanntheit, Nutzung und Gefallen…
  37. 37. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S INTELLIGENTE GRUPPIERUNG VON ANTWORTEN What type of drink have you consumed in the last 24 hours Carbonated Soft Drinks Sparkling-Regular Carbonated Soft Drinks-Light Juices/Nectars Juice Drinks Vegetable Juices/Juice Drinks Tap water Bottle water - Still Unflavored Bottle water - Sparkling Unflavored Bottle water - Still Flavored Bottle water - Sparkling Flavored Bulk water (5L and more) Enhanced Water (eg Vitamin Water) Sports Drinks Energy Drinks Tea - Black Tea –Green Coffee Plain White Milk Flavored Milk Yogurt Drinks Smoothies Soy Based Drinks Other Non-Alcoholic RTD Beverages
  38. 38. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S INTELLIGENTE GRUPPIERUNG VON ANTWORTEN What type of drink have you consumed in the last 24 hours Carbonated Soft Drinks Juices Tap water Bottle water Sports & Energy Drinks Tea Coffee Milk Flavored Milk Yogurt Drinks & Smoothies Other Bottle water - Still Unflavored Bottle water - Sparkling Unflavored Bottle water - Still Flavored Bottle water - Sparkling Flavored Bulk water (5L and more) Enhanced Water (eg Vitamin Water)
  39. 39. T H E A R T O F B O N S A I S U R V E Y D E S I G N S ÄNDERN SIE DIE FRAGE Example: How important on a scale of 1 to 10 are these 15 factors when deciding on which brand to buy? Time = 40 seconds Sample needed to differentiate all 15 factors = 1,000+ P AR T 2
  40. 40. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S ANFORDERUNGEN AN DIE STICHPROBENGRÖßE 5.8 5.9 5.9 6.0 6.1 6.2 6.2 6.4 6.5 6.6 6.8 6.9 7.5 8.2 8.5 9 8 7 6 5 4 3 2 1 0 Wie wichtig sind diese Faktoren? 0.1 Mindeststichprobengröße = [(Standardabweichung x Z)/Akzeptabler Fehler Standardabweichung = 1.6 Akzeptable Fehlertoleranz = <0.1 Mindeststichprobengröße= 1,000
  41. 41. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Ändern Sie, wie Sie die Frage stellen Alternativen: 1. Fragen Sie eine abkürzende Frage: z.B. welches sind die 5 wichtigsten Faktoren? dann bitten Sie nur um ein Rating der 5 ausgewählten Faktoren Zeit gespart = ca. 10 Sekunden benötigtes Sample um die 5 Top Faktoren zu differenzieren = ca. 500 2. Verwenden Sie ein selektives Ranking: Um es vor dem Rating weiter zu vereinfachen, bitten Sie um ein Ranking der 5 Faktoren Zeit gespart= ca. 20 Sekunden benötigtes Sample um die 5 Top Faktoren zu ranken = ca. 300 3. Verwenden Sie ein auswahlbasiertes max diff: Präsentieren Sie die Auswahl in zufallsbasierten Untergruppen von 5 und bitten Sie um Auswahl des wichtigsten und des unwichtigsten Faktors aus jeder Untergruppe Zeit gespart= ca. seconds benöt. Sample für max diff sortierung von 15 Faktoren = 300
  42. 42. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S WEG VON RATING-SKALEN 600 500 400 300 200 100 0 -100 -200 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
  43. 43. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S DAS PROBLEM MIT RATING-SKALEN 600 500 400 300 200 100 0 -100 -200 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 SIE MÜSSEN GROβE SAMPLES HABEN, UM MEINUNGEN ZU DIFFERENZIEREN
  44. 44. T H E A R T O F B O N S A I S U R V E Y D E S I G N S DAS PROBLEM MIT RATING-SKALEN 1. Rating ist eine komplexe “System 2” Denkprozess. Es kann beschädigt werden durch das jeder Befragte die Dinge auf eine andere Weise beantwortet 2. Es ist langweilig P AR T 2
  45. 45. T H E A R T O F B O N S A I S U R V E Y D E S I G N S DAS PROBLEM MIT RATING-SKALEN 140 120 100 80 60 40 20 0 Ad 1 Ad 3 Ad 11 Ad 12 Ad 7 Auswertungszeit Binäre Skala “System 1” = <0.5 seconds Rating Skala “System 2” = 1-5 seconds Ad 13 Ad 9 Ad 14 Ad 21 Ad 19 Ad 22 Ad 23 Binary Rating P AR T 2 25% STÄRKERE DIFFERENZIERUNG
  46. 46. T H E A R T O F B O N S A I S U R V E Y D E S I G N S . P AR T 2
  47. 47. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S DER WECHSEL VON “RATING-Frage” ZUR “CHOICE - Auswahl”
  48. 48. T H E A R T O F B O N S A I S U R V E Y D E S I G N S DER WECHSEL VON “RATING-Frage” ZUR “CHOICE - Auswahl” Rating = 6.8 P AR T 2 70% Choice
  49. 49. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Rating = 6.8 Rating = 6.7 70% Choice 30% Choice P AR T 2 DER WECHSEL VON “RATING-Frage” ZUR “CHOICE - Auswahl”
  50. 50. P AR T 2 T H E A R T O F B O N S A I S U R V E Y D E S I G N S DER WECHSEL VON “RATING-Frage” ZUR “CHOICE - Auswahl” Rating = 6.8 Rating = 6.7 70% Choice 30% Choice SAMPLE VON 200 SAMPLE <40
  51. 51. T H E A R T O F B O N S A I S U R V E Y D E S I G N S TRADING GAMES 140 120 100 80 60 40 20 0 Standard Trading game Fun Interesting Thinking time P AR T 3
  52. 52. T H E A R T O F B O N S A I S U R V E Y D E S I G N S . 400% 300% 200% 100% 0% -100% -200% Trading game Standard rating P AR T 3 0.89 KORRELATION 5X STÄRKERE DIFFERENZIERUNG
  53. 53. T H E A R T O F B O N S A I S U R V E Y D E S I G N S . P AR T 3 -100% -80% -60% -40% -20% 0% 20% 40% 60% 80% 100% 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 121 125 129 133 137 141 145 149 153 157 161 165 169 173 177 181 -100% -80% -60% -40% -20% 0% 20% 40% 60% 80% 100% 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 121 125 129 133 137 141 145 149 153 157 161 165 169 173 177 181 Standard rating certainty point Trading game certainty point
  54. 54. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SETTING QUESTION LEVEL QUOTA’S Wenn 20% der Befragten Antworten erfinden weil es ihnen egal ist, was sie sagen. Dann brauchen Sie zusätzliche 40% mehr Stichprobe um diese systematischen Fehler zu glätten.
  55. 55. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SETTING QUESTION LEVEL QUOTA’S TIPPS ZUM DESIGNEN VON BEFRAGUNGEN FÜR MOBILE GERÄTE
  56. 56. T H E A R T O F B O N S A I S U R V E Y D E S I G N S PORTRAIT ODER LANDSCAPE-MODUS? ……………………………………………………………………………… P AR T 3 Natürliche Präferenz Viel scrollen, um den “Weiter” Button zu erreichen
  57. 57. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Kann aber nicht mit größeren Fragen umgehen. HORIZONTALES SCROLLEN… A BIG NO-NO!
  58. 58. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S ADAPTIVES DESIGN vs FESTER LANDSCAPE-MODE ……………………………………………………………………………………………………………………
  59. 59. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SETTING QUESTION LEVEL QUOTA’S Ein fester Landscape-Modus Unsere Lösung = jedes Pixel ist wichtig
  60. 60. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Raum ist Luxus: jedes Pixel ist wichtig … P AR T 3
  61. 61. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Löschen Sie die Leerzeichen! P AR T 3
  62. 62. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Der obere Teil der Umfrage ist heilig P AR T 3
  63. 63. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Der obere Teil der Umfrage ist heilig P AR T 3 Auf Mobile ist die Höhe begrenzt (im Landscape-Modus)
  64. 64. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Investieren Sie eher in interaktive Fragetypen ………………………………………..
  65. 65. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Interaktive Fragetypen für Desktop waren ein nice to have. Um effektive plattformneutrale Fragebögen zu designen sind interaktive Fragetypen ein must have.
  66. 66. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S INTERACTIVE QUESTION FORMATS BECOME MUCH MORE IMPORTANT WEAPONS - LIKE DYNAMIC GRIDS Strongly disagree I likI eli kIc ehlIi kolbiekIcr eolci klchbaecerto oeblcsirecoocloi lli Neither Agree Strongly Agree disagree
  67. 67. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SOME PLUSES - DRAGGING IS SO MUCH MORE INTUITIVE choice choice Option A Ocphtoioicne B
  68. 68. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Minimale Größe, machen Sie ein Stylesheet für jedes Gerät
  69. 69. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Für Fragen mit vielen Anweisungen: Legen Sie die Anweisungen in ein separates Fenster
  70. 70. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S Anweisungen Fassen Sie mit der Frage die Aufgabe nochmal zusammen
  71. 71. T H E A R T O F B O N S A I S U R V E Y D E S I G N S Vielleicht ist das eine Anregung? Schreiben Sie Fragen wie einen guten Tweet: mit allen Anweisungen in weniger als 140 Zeichen! P AR T 3 Kurz und klar, es wird gelesen
  72. 72. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SETTING QUESTION LEVEL QUOTA’S Please read through the statements shown below and select which statement best describes your attitude towards this brand. Please select the most appropriate statement per brand
  73. 73. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S SETTING QUESTION LEVEL QUOTA’S Please read through the statements shown below and select which statement best describes your attitude towards this brand. Please select the most appropriate statement per brand Which of these statements best describes your attitude towards each brand
  74. 74. P AR T 3 T H E A R T O F B O N S A I S U R V E Y D E S I G N S 10 TIPPS FÜR BONSAI SURVEYS ……………………………………………………………………………. 1. Denken Sie wie eine Testperson 2. Eignen Sie sich eine iterativen Umfrage-Design-Philosophie an 3. Finden Sie die unnötige Fragen 4. Fügen Sie Fragen-Level-Quoten hinzu 5. Versuchen Sie Modelling, Ascription und Chunking 6. Kombination, Konsolidierung und Gruppierung von Fragen, Verwendung von Ikonographie 7. Zu kürzeren, effektiveren Frage-Techniken wechseln 8. Bessere Fragen schreiben 9. Wenn Sie Ihre Umfrage designen, denken Sie an den heiligen oberen Abschnitt & das jedes Pixel wichtig ist 10. Schreiben Sie Fragen wie einen tweet
  75. 75. SIE HÄTTEN GERNE DIESE PRÄSENTATION? • Schreiben Sie an: dennis@gmi-mr.com • Geben Sie mir hier Ihre Visitenkarte • Schreiben Sie an: twitter @LightspeedGMI • Blog: www.ls-gmi.com • Kommen Sie zu uns jetzt oder morgen gerne an den Stand 171 für eine Tasse Espresso...
  76. 76. VIELEN DANK Dennis Sewberath Director, Creative Research M +31(0)6 – 5236 2492 dennis@gmi-mr.com
  77. 77. WEITERE FRAGEN? Wir freuen uns auf Sie! • Lightspeed GMI Stand 171 (beim Bistro) Besuchen Sie uns für mehr Antworten… (+ eine Tasse Nespresso)! Copyright © 2014 Lightspeed, LLC. Proprietary and Confidential. All rights reserved.

×