Rola formatu i wyglądu pytań w badaniach online

Jak e-Kowalski uczył nas stawiać pytania czyli rola formatu i wyglądu pytań w badaniach online Jadwiga Przewłocka ● Piotr Janczewski

O czym będziemy mówić • Czym przede wszystkim badania ankietowe w internecie róŜnią się od badań „w realu”? • Czemu kwestionariusz jest waŜny i co w nim jest kluczowe? • Na czym polegało nasze badanie?... • ...i co pokazało? – Jak prosić, by zaprosić? – Jak zaangaŜować? – Małe jest piękne. – Efekt „skrajnych pozycji”.

Nowe pole dla starych metod - specyfika badań online • Kim są e-Kowalscy - kogo badamy? • Nowe moŜliwości - multimedia w słuŜbie badacza. • Co klienci lubią najbardziej - oszczędność czasu i pieniędzy. • Po drugiej stronie kabla - co na to respondenci. • Niby to samo co dotychczas, ale... ankieta 8% 17% 43% 31% internetowa • ...ale odpowiedzi na te same pytania mogą być róŜne! ankieta 5% 16% 41% 38% telefoniczna 0% 20% 40% 60% 80% 100% -- - 0 + ++ Źródło: Christian, Dillman, Smyth „The effects of Mode and Format On Answers to Scalar Qestions in Telephone and Web Surveys”, 2005

„Prawie” robi róŜnicę - specyfika badań online Czym to się róŜni? • Internet jest do surfowania! • Samotność w sieci, czyli brak ankietera: – krzyŜyk jest po prawej na górze - mniejsze zaangaŜowanie, – komputer mnie nie ocenia - szczere odpowiedzi, – kwestionariusze nie mają twarzy - standaryzacja i kontrola, – tylko ankieta Ci pomoŜe - kaŜdy szczegół się liczy. • Wnioski: – kwestionariusz, – kwestionariusz, – jeszcze raz kwestionariusz!

Kwestionariusz, czyli... • Ankieta ma warstwy! – warstwa językowa, – warstwa graficzna czyli język wizualny, – konstrukcja i kolejność, – prostota, estetyka, konwencje, objętość. • A wszystko to, by... – ..zaangaŜować i zmotywować, – ..uzyskać rzetelne odpowiedzi.

Jak nas uczyli e-Kowalscy... • Kogo badaliśmy? – ankieta pop-up emitowana na stronach korzystających z bezpłatnego audytu site-centric stat.pl/PBI, – większość analiz dla ponad 27 tysięcy polskich internautów, – róŜne kompetencje, róŜne przeglądarki, róŜne podejścia, – róŜne wersje pytań, ale temat niezmienny. • Co mierzyliśmy: – co odpowiedzieli? – jak szybko odpowiedzieli? – czy w ogóle odpowiadali? – jak im się odpowiadało?

Jak prosić, by zaprosić? • Zaproszenie, czyli strona internetowa - zasady tworzenia teŜ internetowe. Stopa odpowiedzi a zaproszenie (przykładowe = 100) 400 300 200 100 0 Przykładowe Uproszczone Estetyczne Estetyczne i osobiste N = 668922 N = 668480 i osobiste z logo instytutu N = 16702 N = 30232

Jak prosić, by zaprosić? • Zaproszenie, czyli strona internetowa - zasady tworzenia teŜ internetowe. Stopa odpowiedzi a zaproszenie (przykładowe = 100) 400 300 200 100 0 Przykładowe Uproszczone Estetyczne Estetyczne i osobiste N = 668922 N = 668480 i osobiste z logo instytutu N = 16702 N = 30 232 • ograniczenie treści do minimum, • prostota wyglądu i estetyka, • stworzenie wraŜenia kontaktu z człowiekiem, • autorytet instytucji badawczej?

ZaangaŜowanie jako proces? • Internauta surfuje, a nie czyta – czy zatem „myszkuje”, a nie odpowiada? Stopa rezygnacji a średni czas i liczba kliknięć przy wypełnianiu pytania 140 700 120 Czas (s) 600 Stopa rezygnacji (średnia=100) Kliknięcia (szt) 100 Kliknięcia (szt) 500 Czas (s) 80 Stopa rezygnacji 400 (drop-out) 60 300 40 200 N = 9775 20 100 0 0 Pyt. A Pyt. B Pyt. C Pyt. D Pyt. E Pyt. F Pyt. G Pyt. H • Pierwsze wraŜenie – waŜne dla respondenta. • Respondent = istota „niecierpliwa” (łatwo zniechęcić). • „Zacząłem, więc skończę!”

Małe jest piękne (1) • DuŜe tabele – duŜe zniecierpliwienie: – pytanie w ośmiu wersjach, – 3 wersje z 8 wierszami, 5 wersji z 4 wierszami. (średnia dla wersji z 4 wierszami =100) stopa rezygnacji z badania (drop-out) 180 160 140 120 +37% 100 80 60 40 20 0 wariant 1 wariant 2 wariant 3 wariant 4 wariant 5 wariant 6 wariant 7 wariant 8 N=761 N=795 N=811 N=715 N=790 N=799 N=810 N=799 stopa rezygnacji (drop-out) czas

Małe jest piękne (1) • DuŜe tabele – duŜe zniecierpliwienie: – pytanie w ośmiu wersjach, – 3 wersje z 8 wierszami, 5 wersji z 4 wierszami. (średnia dla wersji z 4 wierszami =100) stopa rezygnacji z badania (drop-out) 180 160 140 120 36% +37% 100 80 60 40 20 0 wariant 1 wariant 2 wariant 3 wariant 4 wariant 5 wariant 6 wariant 7 wariant 8 N=761 N=795 N=811 N=715 N=790 N=799 N=810 N=799 stopa rezygnacji (drop-out) czas • Pytania bardziej pracochłonne zniechęcają. • Silny związek czasu i stopy rezygnacji.

Małe jest piękne (2) • „Mowa jest srebrem, a milczenie – złotem” – słowa waŜą, ale ile? Czas (w sekundach) wypełniania róŜnych wariantów pytania o płeć 7,5 6,0 4,5 3,0 1,5 0,0 Wariant 1; N=7059 Wariant 2; N=7052 Wariant 3; N=6840 • Słowa „proszę podać” – dodatkowe 0,2 s (pytanie „dłuŜsze” o 4%). • Lista rozwijana – dodatkowe kliknięcie, a zarazem dodatkowe 1,9 s (pytanie „dłuŜsze” o 44%).

Efekt „skrajnych pozycji” (1) • W „realu” – efekt pierwszeństwa, efekt świeŜości. A w sieci? Porównanie wyników: radiobuttony a lista rozwijana

Efekt „skrajnych pozycji” (1) • W „realu” – efekt pierwszeństwa, efekt świeŜości. A w sieci? Porównanie wyników: radiobuttony a lista rozwijana 100% +53% +1pkt ++ +53% +8% +6% -7% 75% + -4% - -24% 50% -- -17% 25% Nie wiem +35% Wypadkowa 0% +12pkt (Top 2 - Last 2) Opcja A A lub B Opcja B Nie Wypadkowa wiem (A-B) 0% 25% 50% 75% 100% Radiobuttony; N=7131 Lista rozwijana; N=6672 +8% RóŜnice względne (wynik dla radiobutton = 100%) • Skrajne opcje częściej przy liście rozwijanej. • Przesunięcie całego rozkładu odpowiedzi (róŜne „wypadkowe”). • Brak podobnych zakłóceń w metryczce: - konwencje formularzy internetowych, - inny profil pytania (opinia a fakty).

Efekt „skrajnych pozycji” (2) • Wiwisekcja efektu skrajnych pozycji – analiza wpływu rotacji. Wyniki pytania pozbawionego rotacji (N=7828). Identyczne pytanie z rotacją = 100. Opcja 1 Opcja 2 Opcja 3 Opcja 4 Opcja 5 Opcja 6 Opcja 7 Opcja 8 Opcja 9 Opcja 10 Opcja 11 Opcja 12 śadne z powyŜszych 0 50 100 150 200 • Rzadziej zaznaczany ze środek kafeterii. • Skupianie się na wartościach początkowych i końcowych.

Efekt skrajnych pozycji (3) • Skala „plus-minus” bardziej intuicyjna niŜ „mniej-więcej”? Porównanie wyników – skala Likerta „+/-” oraz „-/+”.

Efekt skrajnych pozycji (3) • Skala „plus-minus” bardziej intuicyjna niŜ „mniej-więcej”? Porównanie wyników – skala Likerta „+/-” oraz „-/+”. 50% 0,50 35 +54% +7% +21% +16% -25% -12% -8% 30 -0,25 pkt 25% 0,25 25 20 0% 0,00 15 ++ + 0 - -- Nie wiem quot;Średniaquot; 10 (skala -0,25 prawa) 5 -0,50 0 skala quot;+/-quot; skala quot;-/+quot; quot;+/-quot; quot;-/+quot; +8% RóŜnice względne (wynik dla skali „+/-” = 100%) • W skali „+/-” więcej odpowiedzi pozytywnych. • W skali „-/+” więcej odpowiedzi negatywnych. • Skala „-/+” dezorientuje?.. - więcej odpowiedzi „Nie wiem, trudno powiedzieć”, - więcej czasu.

Co więc czynić? O czym pamiętać? • e-Kowalski to jednak nie Kowalski... – e-Kowalski patrzy i „myszkuje”. – To kwestionariusz decyduje - i o zaangaŜowaniu, i o rzetelności odpowiedzi. – e-Kowalscy są niecierpliwi – duŜo czasu i słów moŜe ich zniechęcić do dokończenia wywiadu. – KaŜda zmiana formatu i wyglądu moŜe mieć znaczenie dla zaangaŜowania i wyników. – Co jest lepsze, gdy zaangaŜowanie bez zmian?.. – to juŜ materiał na kolejne wystąpienia ☺

Dziękujemy za uwagę piotr.janczewski@gemius.pl jadwiga.przewlocka@gemius.pl

http://www.internetstats.pl	175
http://onlineresearch.pl	47
http://www.onlineresearch.pl	41
http://www.monsterapid.com	1
http://www.contium.pl	1

Rola formatu i wyglądu pytań w badaniach online

by Slawek Pliszka on Nov 22, 2008

Accessibility

Categories

Tags

Upload Details

Usage Rights

5 Embeds 265

Statistics

Rola formatu i wyglądu pytań w badaniach online — Presentation Transcript