1. Wykorzystanie ankiet internetowych w badaniach ewaluacyjnych Dr Jan Zając III Regionalna Konferencja Ewaluacyjna, Rzeszów, 11 czerwca 2010 Projekt finansowany przez Unię Europejską ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007-2013

2. O czym powiem? Czym są ankiety internetowe? Kogo można badać przez Internet? Jak realizować badanie? Jak skonstruować narzędzie badawcze? Czego przede wszystkim unikać, na co uważać?

3. Czym są Ankiety INTERNETowe?

4. Znaczenie ankiet internetowych Obecnie jest to w pełni uprawniona metoda badawcza Choć stosunkowo młoda, ma wytyczne metodologiczne i standardy – warto je stosować Badania realizowane w Internecie, przede wszystkim ankiety (CAWI), mają coraz większy udział w światowym rynku badań W Polsce ich pozycja jest słabsza, ale przewiduje się szybki wzrost udziału tej techniki w najbliższych latach

5. Zalety i wady ankiet internetowych Zalety Niskie koszty Szybkość realizacji Dotarcie do specyficznych grup Ułatwienia organizacyjne Wygodne dla badanych Wady Brak reprezentatywności dla wielu populacji Niska motywacja badanych Problemy ze standaryzacją Wciąż niewystarczające doświadczenie w realizacji

6. KOGO można badać przez Internet?

7. Internauci na tle populacji Obecnie z Internetu korzysta ok. 55% dorosłych Polaków Internauci wyróżniają się na tle wszystkich Polaków – są to osoby młodsze, lepiej wykształcone, zamożniejsze i mieszkające w większych miejscowościach Z tego względu nie można prowadzić w Internecie badań reprezentatywnych dla ogółu Polaków… Ani badań populacji, gdzie skłonność do korzystania z Internetu jest niska lub bardzo zróżnicowana… Ale można badać specyficzne populacje i grupy celowe

8. Korzystanie z internetu według wieku Korzystanie w największym stopniu związane jest z wiekiem. Z internetu korzysta zdecydowana większość młodych i bardzo niewiele starszych osób. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009

9. Korzystanie z internetu według wykształcenia Ogromne znaczenie ma również wykształcenie. Z internetu korzystają przede wszystkim osoby uczące się i lepiej wykształcone. Wśród osób z wykształceniem podstawowym z sieci korzysta zaledwie 7%. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009

10. Korzystanie z internetu według statusu społeczno-zawodowego Duże znaczenie dla faktu korzystania z internetu ma również status społeczno zawodowy. Korzysta olbrzymia większość uczniów i studentów, a także większość osób pracujących. Najmniej użytkowników jest wśród emerytów, rencistów i rolników. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009

11. Korzystanie z internetu według wielkości miejsca zamieszkania Korzystanie z internetu jest też związane z wielkością miejscowości zamieszkania. Im większa miejscowość, tym więcej osób korzysta. Należy jednak podkreślić, że znaczenie wielkości miejsca zamieszkania jest mniejsze niż innych czynników, a dodatkowo jego znacznie maleje. Jest to efektem znacznego przyrostu liczby użytkowników na wsi z 26% w 2007 roku do 38 w 2009. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009

12. Korzystanie z internetu według dochodów w gospodarstwach domowych Osoby mieszkające w gospodarstwach domowych z wyższym dochodem mają większe szanse na korzystanie z Internetu Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009

13. Korzystanie z internetu w województwach Można zaobserwować zróżnicowanie pomiędzy poszczególnymi województwami. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009

14. Jakie populacje badać przez Internet? Można Nie warto Instytucje Przedsiębiorstwa, zwłaszcza duże i średnie Mikrofirmy związane z e-biznesem i technologiami Przedsiębiorcy Studenci i uczniowie Bezrobotni Rolnicy Emeryci Wykluczeni Mieszkańcy terenów wiejskich Badania CAWI mają wiele zalet przy ocenie ex-post lub on going, gdy beneficjenci biorą udziałw różnych momentach

15. Jak realizować badanie?

16. Najważniejsze sposoby doboru próby i realizacji badania Lista bazowa: wykorzystanie bazy respondentów, zbieranych w trakcie projektu, np. listy z adresami e-mail Korzystanie z panelu internetowego firmy badawczej Ankiety pop-up- w wyskakujących okienkach Metody mieszane: łączenie w obrębie 1 schematu badawczego CAWI i badań telefonicznych lub pocztowych

17. Lista bazowa W wielu przypadkach zalecana metoda, zwłaszcza w badaniach instytucji i przedsiębiorstw Miejsce badań w strukturze projektu: skłanianie do udziału, dbałość o dobre dane kontaktowe i zabezpieczenie przetwarzania danych osobowych Częstym problemem jest dezaktualizacja danych respondentów, zwłaszcza małych i mikrofirm oraz osób indywidualnych – np. zmiany e-maili Warto łączyć sposoby kontaktu: telefon, e-mail, zwykły list

18. Korzystanie z panelu internetowego Wiele firm badawczych prowadzi panele internetowe, liczące nawet kilkadziesiąt tysięcy osób Można na nich realizować badania ad hoc lub dołączać pytania do badań omnibusowych Ograniczenie: te panele składają się w praktyce w większości z ochotników, a struktura respondentów może być zaburzona Problem małej reprezentacji poszczególnych grup Nie można dotrzeć do beneficjentów danych programów

19. Ankiety pop-up Zaproszenie do badania, lub wręcz cała krótka ankieta, umieszczone jest w wyskakującym okienku Umożliwia to emisję zaproszeń osobom odwiedzającym określone strony internetowe, gdy nie mamy innych ich danych kontaktowych Problemem jest to, że przypomina nielubiane reklamy Wykorzystywane w przypadku działań prowadzonych w internecie, np. przy ocenie serwisów internetowych Do oceny stron lepiej wykorzystywać dane typu sitecentric

20. Znaczenie motywacji do udziału Niechęć do udziału w badaniu jest częstym problemem badań internetowych, więc warto o to zadbać niezależnie od sposobu realizacji badania W ewaluacji dość często badani są przekonani, że badanie ich dotyczy i ma znaczenie, co pozytywnie wpływa na ich motywację Najbardziej skłonni do udziału są beneficjenci bezpośredni Mniej chętni mogą być beneficjenci ostateczni oraz podmioty, które nie dostały wsparcia, choć ubiegały się o nie

22. Personalizacja kontaktów z respondentami

23. Zachęcające i wyczerpujące zaproszenie do badania

24. Przypomnienia o badaniu w okresie zbierania danych

26. Jakich narzędzi użyć? Warstwa techniczna ankiety internetowej to nie tylko strona z kwestionariuszem i serwer Ważne jest także zarządzanie wysyłką zaproszeń i kontrolowanie, kto bierze udział, itp. Możliwe sposoby realizacji: Tworzenie własnego rozwiązania – niezalecane Użycie dedykowanego oprogramowania – może mieć sens zwłaszcza przy wielu badaniach Skorzystanie z rozwiązań firm badawczych

27. Kilka uwag o narzędziu Wskazane jest umieszczanie kwestionariusza na stronie WWW, natomiast inne rozwiązania, np. wysyłanie go w załączniku e-maila, nie są zalecane Cenna jest możliwość łączenia danych z ankiety i z innych źródeł, np. z wniosku, aby nie męczyć badanych niepotrzebnym powtórnym wpisywaniem informacji Wskazane jest kontrolowanie, kto z próby bierze udział w badaniu, za pomocą indywidualnych adresów URL lub logowania – oprogramowanie do realizacji umożliwia to

28. Narzędzie - co jest wskazane? Wskaźnik postępu (np. „strona 3 z 7” czy „20%”) Prosty format odpowiedzi, unikanie dużych tabel i niepotrzebnych elementów graficznych itp. Sprawdzenie, czy serwer z ankietą wytrzyma jednoczesny napływ wielu respondentów Należy unikać zbyt długich badań, zwłaszcza w przypadku respondentów indywidualne W długich badaniach szczególnie ważne jest umożliwienie przerwania i zapisania badania oraz powrotu do niego

29. Kilka uwag Na zakończenie

30. Na co uważać? Czy w ogóle badanie internetowe ma sens w przypadku danej populacji i danego zagadnienia? Uważajmy na generalizację z próby internetowej Od początku projektu zbierajmy dobre dane kontaktowe Zadbajmy o motywację badanych i realizację próby Wybierzmy dobre narzędzie – ankieta internetowa to nie tylko kwestionariusz na stronie Badania CAWI nie są już metodą nowatorską – spytajmy o doświadczenia i kompetencje wykonawców

32. Badania treści dostępnych w sieci i powiązań między nimi, z użyciem crawlerów i automatycznej analizy treści

33. Wykorzystanie innych danych dostępnych w internecie, na przykład o zapytaniach w wyszukiwarkach onlineW badaniach użyteczności serwisów lepiej niż ankiety sprawdzają się testy scenariuszowe i obserwacje

34. Dziękuję za uwagę! Dr Jan Zając jzajac@snrs.pl Prezentacja jest dostępna na stronie www.snrs.pl w sekcji Aktualności Dziękuję dr Dominikowi Batorskiemu za udostępnienie wykresów