Inleiding           Wat zijn paradata en welke            data voor welk gebruik                  verzamelen?             ...
Wat zijn paradata?   • Data           »Gegevens over het fenomeen dat            bestudeerd wordt   • Metadata           »...
Wat zijn paradata?   • Achtergrond ⇒ kwaliteitsdenken     binnen surveyonderzoek           » Productkwaliteit           » ...
Wat zijn paradata?   • Couper & Lyberg (2005)     “The ideal situation is that the process     variables that we choose ar...
Wat zijn paradata?   • M. Couper, ASA 1998           »Traditioneel survey-onderzoek (PAPI)            ‘batch-oriented acti...
Wat zijn paradata?   • Introductie van computers in het     survey proces           »Veranderingen in het survey proces   ...
Het survey proces                                                     Research objectives                                 ...
Paradata in maten en                            gewichten • Fase van ontwerp vragenlijst         » Databronnen            ...
Paradata in maten en                              gewichten • Fase van dataverzameling         » Databronnen              ...
Paradata in maten en                              gewichten• Fase van dataverzameling        » Gebruik                   •...
Paradata en uitdagingen voor               de toekomst• Heel wat extra data, welke data wanneer efficiënt  en effectief ge...
Referenties   • Biemer, P. & L. Lyberg (2003). Introduction to survey quality.     New York: Wiley.   • de Leeuw, E., J. H...
Upcoming SlideShare
Loading in...5
×

Wat zijn paradata en welke data voor welk gebruik verzamelen

234

Published on

By Ann Carton

Published in: Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
234
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Wat zijn paradata en welke data voor welk gebruik verzamelen

  1. 1. Inleiding Wat zijn paradata en welke data voor welk gebruik verzamelen? Ann Carton Discussiemiddag ‘paradata’, Nederlandstalig Platform voor Survey-Onderzoek Brussel, 11 maart 2010Boudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering
  2. 2. Wat zijn paradata? • Data »Gegevens over het fenomeen dat bestudeerd wordt • Metadata »Data over de verzamelde data • Paradata »Data over het survey proces (procesdata)Boudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering
  3. 3. Wat zijn paradata? • Achtergrond ⇒ kwaliteitsdenken binnen surveyonderzoek » Productkwaliteit » Proceskwaliteit » Kwaliteit organisatieBoudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering
  4. 4. Wat zijn paradata? • Couper & Lyberg (2005) “The ideal situation is that the process variables that we choose are really key so that by measuring and analyzing them we get a chance to check or adjust the process so that the product is delivered according to specifications.”Boudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering
  5. 5. Wat zijn paradata? • M. Couper, ASA 1998 »Traditioneel survey-onderzoek (PAPI) ‘batch-oriented activity’ • Beperkte mogelijkheden opvolging kwaliteit gedurende het survey proces »Computer assisted survey information collection (CASIC) • Groot potentieel aan tijdige real-time data m.b.t. kwaliteit verschillende aspecten van het survey procesBoudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering
  6. 6. Wat zijn paradata? • Introductie van computers in het survey proces »Veranderingen in het survey proces »Veranderingen in de evaluatie van het survey procesBoudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering
  7. 7. Het survey proces Research objectives Concepts Population Mode of data collection Questionnaire Sampling design design Data collection and data processing planning Data collection and data processing Estimation / Analysis Source: Biemer & Lyberg 2003Boudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering
  8. 8. Paradata in maten en gewichten • Fase van ontwerp vragenlijst » Databronnen • Keystroke files / trace files / audit trails / websurveys server-side en client-side • Eye tracking • Audio/video-opname » Analyseniveau procesindicatoren • Op niveau steekproefeenheid • Op item niveau » Gebruik • Navigatie doorheen de vragenlijst o.a. gebruik bepaalde toetsen zoals helpfunctie, back, … • Tijdsmeting – globaal, per vragenblok, per item (response latencies) • Interviewergedrag • Respondentengedrag • Interviewer-respondent interactieBoudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering
  9. 9. Paradata in maten en gewichten • Fase van dataverzameling » Databronnen • Contactdata vb. per contact nummer interviewer, tijdstip, wijze, resultaat, interactie aan de deur, interviewer perceptie eventuele toekomstige medewerking, buurtkenmerken, indien weigering enkele sleutelvariabelen, … • Inhoudelijke data vb. item non-respons; systematisch antwoordgedrag bij schaalvragen • Keystroke files / trace files / audit trails vb. tijdsmeting » Analyseniveau procesindicatoren • Globaal op surveyniveau • Op steekproefeenheid • Per interviewer • Op item niveauBoudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering
  10. 10. Paradata in maten en gewichten• Fase van dataverzameling » Gebruik • Opvolging vooruitgang veldwerk • Monitoring interviewer performantie • Optimalisering procedures dataverzameling • Vergelijking respons en non-responsprofiel op basis van contactdata • Planning en evaluatie ‘refusal conversion’ programma’s • Responsive designs • Meten van nonresponse bias; measurement bias • Corrigeren voor nonresponse bias; measurement bias • …Boudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering
  11. 11. Paradata en uitdagingen voor de toekomst• Heel wat extra data, welke data wanneer efficiënt en effectief gebruiken?• Responsive design, evaluatie/bijsturing interviewers ⇒ efficiënt en functioneel case management systeem• Correctie nonresponse bias ⇒ samenhang tussen proces variabelen en inhoudelijke variabelen• Contactdata ⇒ geen standaard procedure binnen veldwerkbureaus, kostprijs, kwaliteit, vergelijkbaarheid tussen surveys, cross-nationaal• Privacy overwegingen• Toegankelijkheid paradata veronderstelt documentatie en archivering• …Boudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering
  12. 12. Referenties • Biemer, P. & L. Lyberg (2003). Introduction to survey quality. New York: Wiley. • de Leeuw, E., J. Hox & D. A. Dillman (eds.) (2008). International Handbook of Survey Methodology. New York: Lawrence Erlbaum Associates. • Couper, M. (1998). Measuring survey quality in a CASIC environment. Proceedings of the survey research methods section, American Statistical Association (http://www.amstat.org/Sections/Srms/Proceedings/). • Couper, M. & L. Lyberg (2005, April). The use of paradata in survey research. Proceedings of the 55th Session of the International Statistical Institute, Sydney, Australia. • Groves, R. & S. Heeringa (2006). Responsive design for household surveys: tools for actively controlling survey errors and costs. Journal of the Royal Statistical Society: Series A (Statistics in Society), 169:439-457. • Heerwegh, D. (2003). Explaining response latencies and changing answers using client-side paradata from a web survey. Social Science Computer Review, 21:360-373. • www.nonresponse.orgBoudewijnlaan 30 Vlaamse Overheid1000 Brussel Studiedienst van de Vlaamse Regering

×