1

Innføring i spørreskjemametodikk

Statistisk sentralbyrå
Seksjon for datafangstmetoder
1
Feilkilder i spørreskjemaundersøkelser
REPRESENTATIVITET
Målgruppe

Dekningsfeil

MÅLING
Formål
Gyldighet

Utvalgsplan

Ut...
”Utvalgstrekking er en vitenskap,
å lage spørsmål er en kunst!”

3
Ansikt til ansikt

Telefon
Papir og
blyant

Web

4
”Respondenten skal ut på en reise
med klar start og tydelig slutt”

5
Faser i utviklingen av et spørreskjema

1.
2.
3.

Spesifisering av databehov

4.
5.

Utforming av selve spørreskjemaet

Op...
Spesifisering

Hva slags informasjon er det (egentlig) behov for?
Vil den komme ut av undersøkelsen – slik vi har
planlagt...
Hva gjør vi i spesifiseringsfasen?
•
•

Spesifiserer informasjonsbehovet til oppdragsgiver
Innhente kunnskap om feltet man...
Forts. hva gjør vi i spesifiseringsfasen?
•

God spesifisering krever svar på disse spørsmålene:
– Hva ønsker oppdragsgive...
Spesifisering

Eks. oppdragsgiver er ikke bevisst på hva de er
ute etter
Spesifisering
Eks. Rettet slik at oppdragsgiver får ønsket
informasjon
Operasjonalisering

Det kognitive perspektivet på spørsmålsdesign

• Metode basert på vitenskaper som kognitiv
psykologi, ...
Operasjonalisering

Hvorfor gjøre noe nummer av det?
• … fordi det ikke er gitt at vi
setter respondenten i fokus

• …ford...
Operasjonalisering

Eksempel på tilsynelatende enkelt spørsmål
Hender det at du selv blir utsatt for plaging
eller ubehage...
Operasjonalisering

Å lese/høre et spørsmål og gi et svar er en
komplisert kognitiv prosess (oppgaven)
Figur 1. En enkel m...
Operasjonalisering

Eksempel på spørsmål som kan produsere ”feil”

• Hvor bekymret er du for at dine barn kan bli
utsatt f...
Utforming av spørsmål

Tips om spørsmålsformuleringer
• Erstatt begreper som må forklares i separat veiledning
(tekst)
• S...
Utforming av spørsmål

Viktig! Enkelt språk
• Å lage spørsmål og svar er å kommunisere
• Begreper
• Dagligspråk, fagspråk
...
Utforming av spørsmål

Eksempel på spørsmål som kan produsere ”feil”

• Sist gang du var i utlandet, hadde du da med deg v...
Utforming av spørsmål

Problemer som kan føre til feil i svarene I

• Svarpersonen tolker spørsmålet ”feil”
– tenker bare ...
Utforming av spørsmål

Problemer som kan føre til feil i svarene II

• Svarpersonen har problemer med å formulere ett
svar...
Utforming av spørsmål

Eksempel på blanding av begreper

22
Utforming av spørsmål

Formuleringer som ikke passer til
svaralternativene

23
Utforming av spørsmål

Eksempel på tolkningsproblem
Vil du si at din helse er
utmerket,
god,
ikke så god
eller dårlig?

24
Utforming av spørsmål

Eksempel på tolkningsproblem
Vil du si at din helse er utmerket, god, ikke så god
eller dårlig?

Da...
Utforming av spørsmål

Eksempel på tolkningsproblem
Vil du si at din helse er utmerket, god, ikke så god eller dårlig?

Re...
Utforming av spørsmål
KORT FOR MENN
En kan tenke seg at kvinner og menn kan føle seg tiltrukket av både samme kjønn
og mot...
Utforming av spørsmål
Hvor fornøyd eller misfornøyd er du med skolen du
går på?
50
40
30
20
10

yd
fo
rn
ø
rt
Sv
æ

N

ok
...
Utforming av skjemaet

Hva gjør vi i forhold til spørsmålsflyt/rekkefølge?
•

Vi forsøker å lage en spørsmålsflyt som oppf...
Utforming av skjemaet

Visuelle virkemiddel
• Bruk visuelle virkemiddel til å styre
oppmerksomheten
•Bruk så enkle virkemi...
Samspill mellom tekst og visuell utforming
Ikke slik:

Slik:

31
Hvilke(t) innsamlingsmodus bør velges?
Selvutfylling

Intervju

Papirskjema

Telefon

Webskjema

Personlig møte

Eller fle...
Rent praktisk
• Spørsmål bør
testes kvalitativt og
kvantitativt for å
kvalitetssikres
• Test – revisjon 1 –
ny test – revi...
Metoder i skjemautviklingsprosessen
Før utkastet:

• Fokusgrupper med brukere (av informasjonen) og
respondenter

• Interv...
Umulig å lage perfekte spørreskjema?
• Ja, men mulig å lage undersøkelser som er gode nok
• Optimalt, men ikke perfekt
• V...
Tips for videre lesning:
Dillman, Don A., Jolene D. Smyth og Leah Melani Christian (2009): Internet, mail
and mixed-mode S...
Praktisk brukertesting:
http://www.ssb.no/publikasjoner/pdf/handbok-87.pdf

Visuell utforming av spørreskjema:
http://www....
"At man, naar det i sandhed skal lykkes een
at føre et Menneske hen til et bestemt Sted
først og fremmest maa passe paa
at...
Upcoming SlideShare
Loading in …5
×

Spørreskjemametodikk

724 views

Published on

Om ”kurset”. Et slags inspirasjonskurs. Det er mer en veiledning, vi gir noen råd og tips til de som kanskje går og planlegger en spørreundersøkelse eller er interesserte av andre årsaker.

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
724
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
10
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Spørreskjemametodikk

  1. 1. 1 Innføring i spørreskjemametodikk Statistisk sentralbyrå Seksjon for datafangstmetoder 1
  2. 2. Feilkilder i spørreskjemaundersøkelser REPRESENTATIVITET Målgruppe Dekningsfeil MÅLING Formål Gyldighet Utvalgsplan Utvalgsfeil Spørsmål Målefeil Utvalg Skjevhet Svar Deltakere Justeringsfeil Bearbeidingsfeil Justert utvalg Reviderte svar Resultater Kilde: Groves et. al. Survey methodology, 2.ed. Wiley. 2009
  3. 3. ”Utvalgstrekking er en vitenskap, å lage spørsmål er en kunst!” 3
  4. 4. Ansikt til ansikt Telefon Papir og blyant Web 4
  5. 5. ”Respondenten skal ut på en reise med klar start og tydelig slutt” 5
  6. 6. Faser i utviklingen av et spørreskjema 1. 2. 3. Spesifisering av databehov 4. 5. Utforming av selve spørreskjemaet Operasjonalisering Utforming av spørsmål og svaralternativer Testing
  7. 7. Spesifisering Hva slags informasjon er det (egentlig) behov for? Vil den komme ut av undersøkelsen – slik vi har planlagt den?
  8. 8. Hva gjør vi i spesifiseringsfasen? • • Spesifiserer informasjonsbehovet til oppdragsgiver Innhente kunnskap om feltet man skal undersøke fra potensielle svarpersoner
  9. 9. Forts. hva gjør vi i spesifiseringsfasen? • God spesifisering krever svar på disse spørsmålene: – Hva ønsker oppdragsgiver informasjon om? – Hva skal informasjonen brukes til? – Hvem skal bruke informasjonen? – Hva slags tabeller skal lages? – Gode svar på dette sikrer at oppgavegiver får de opplysningene de faktisk ønsker svar på, og at skjemaet ikke består av flere spørsmål enn nødvendig. – Hva slags opplysninger besitter respondentene? – Hvor lett tilgjengelig er informasjonen? – Disse spørsmålene sikrer at skjemaet er godt tilpasset virkeligheten til svarpersonene – og at oppgavebyrden ikke blir høyere enn nødvendig.
  10. 10. Spesifisering Eks. oppdragsgiver er ikke bevisst på hva de er ute etter
  11. 11. Spesifisering Eks. Rettet slik at oppdragsgiver får ønsket informasjon
  12. 12. Operasjonalisering Det kognitive perspektivet på spørsmålsdesign • Metode basert på vitenskaper som kognitiv psykologi, sosialpsykologi, sosiolingvistikk og analytisk filosofi • Fra mekanisk hendelsesforløp til komplisert kommunikasjonsprosess Respondentperspektivet på svarprosessen 12
  13. 13. Operasjonalisering Hvorfor gjøre noe nummer av det? • … fordi det ikke er gitt at vi setter respondenten i fokus • …fordi man tidligere så datainnsamling som en enkel, mekanisk prosess • Data fra mennesker er ikke epler på trærne – som vi kan plukke opp i en kurv
  14. 14. Operasjonalisering Eksempel på tilsynelatende enkelt spørsmål Hender det at du selv blir utsatt for plaging eller ubehagelig erting av arbeidskamerater? Vil du si ja, en eller flere ganger i uken, ja, en eller flere ganger i måneden eller nei? 14
  15. 15. Operasjonalisering Å lese/høre et spørsmål og gi et svar er en komplisert kognitiv prosess (oppgaven) Figur 1. En enkel modell for svarprosessen i intervjuundersøkelser Tolkning av spørsmålets meningsinnhold Fremhenting av innformasjon som synes nødvendig for å besvare spørsmålet Vurdering av hvilket svar denne informasjonen gir grunnlag for Formulering av et svar Kilde: Tourangeau 1984 15
  16. 16. Operasjonalisering Eksempel på spørsmål som kan produsere ”feil” • Hvor bekymret er du for at dine barn kan bli utsatt for fysisk vold eller overfall på vei til skolen? • svært bekymret, • ganske bekymret, • lite bekymret, • ikke bekymret, • vet ikke
  17. 17. Utforming av spørsmål Tips om spørsmålsformuleringer • Erstatt begreper som må forklares i separat veiledning (tekst) • Still ett spørsmål av gangen • Erstatt spørsmål med ”og” med flere spørsmål •Erstatt spørsmål med ”eller” med flere spørsmål • Spørsmål med ”hvis” trenger filterspørsmål • Balanserte spørsmål og svaralternativer 17
  18. 18. Utforming av spørsmål Viktig! Enkelt språk • Å lage spørsmål og svar er å kommunisere • Begreper • Dagligspråk, fagspråk – Ulike sosiale sammenhenger • Tenk konkret • Tenk enkelt • Tenk entydig • Vær presis 18
  19. 19. Utforming av spørsmål Eksempel på spørsmål som kan produsere ”feil” • Sist gang du var i utlandet, hadde du da med deg varer utover det som er tillatt å bringe inn i Norge toll- og avgiftsfritt?
  20. 20. Utforming av spørsmål Problemer som kan føre til feil i svarene I • Svarpersonen tolker spørsmålet ”feil” – tenker bare alkohol og tobakk • Svarpersonen glemmer eller har andre hukommelsesproblemer – kan ha glemt hvor mye man handlet • Svarpersonene gjør ”feilaktige vurderinger” eller har ”feilaktige strategier” for å anslå en størrelse – varierer hva folk forstår med en ”enhet”
  21. 21. Utforming av spørsmål Problemer som kan føre til feil i svarene II • Svarpersonen har problemer med å formulere ett svar – ”hva menes egentlig med bekymring?” • Mer eller mindre overlagt gale svar – mange vil være forbeholdne i forhold til å fortelle fremmede at de har gjort noe ulovlig • Unnlate å følge instruksjoner – mange legger ikke merke til instrukser, eller bryr seg ikke om instrukser
  22. 22. Utforming av spørsmål Eksempel på blanding av begreper 22
  23. 23. Utforming av spørsmål Formuleringer som ikke passer til svaralternativene 23
  24. 24. Utforming av spørsmål Eksempel på tolkningsproblem Vil du si at din helse er utmerket, god, ikke så god eller dårlig? 24
  25. 25. Utforming av spørsmål Eksempel på tolkningsproblem Vil du si at din helse er utmerket, god, ikke så god eller dårlig? Da du svarte på dette spørsmålet, tenkte du på ….  helsa di sammenlignet med andre på din alder?  helsa di sammenlignet med da du var ung?  helsa di i den siste tida sammenlignet med tidligere? 25
  26. 26. Utforming av spørsmål Eksempel på tolkningsproblem Vil du si at din helse er utmerket, god, ikke så god eller dårlig? Resultatet fra en metodeundersøkelse: Sammenlignet med andre 22 % Sammenlignet med da jeg var ung 43 % Den siste tiden sammenlignet med tidligere? 42 %
  27. 27. Utforming av spørsmål KORT FOR MENN En kan tenke seg at kvinner og menn kan føle seg tiltrukket av både samme kjønn og motsatt kjønn. Hvordan ville du plassere deg på en skala over tiltrekning til kvinner? Sett ring rundt det tallet som passer best for deg. 0 -------1-------2-------3-------4--------5-------6 Vet ikke Ingen Sterk tiltrekning tiltrekning til kvinner til kvinner Hvordan ville du plassere deg på en skala over tiltrekning til menn? Sett ring rundt det tallet som passer best for deg. 0 -------1-------2-------3-------4--------5-------6 Vet ikke Ingen Sterk tiltrekning tiltrekning til menn til menn 27
  28. 28. Utforming av spørsmål Hvor fornøyd eller misfornøyd er du med skolen du går på? 50 40 30 20 10 yd fo rn ø rt Sv æ N ok s å fo rn øy d el le r Ve rk en å ok s N Sv æ rt m m is fo rn øy d is fo rn øy d 0 Nordmenn Innvandrere
  29. 29. Utforming av skjemaet Hva gjør vi i forhold til spørsmålsflyt/rekkefølge? • Vi forsøker å lage en spørsmålsflyt som oppfattes som naturlig og logisk av svarpersonene • Vi forsøker å lage et navigeringssystem som gjør at svarpersonene får de spørsmålene de skal, og at de ledes effektivt gjennom skjemaet • Starten, midten og slutten er viktig…
  30. 30. Utforming av skjemaet Visuelle virkemiddel • Bruk visuelle virkemiddel til å styre oppmerksomheten •Bruk så enkle virkemiddel som mulig •Vær konsekvent • Fjern virkemiddel som ikke har noe budskap •Hjelpetekst plasseres der det er bruk for den 30
  31. 31. Samspill mellom tekst og visuell utforming Ikke slik: Slik: 31
  32. 32. Hvilke(t) innsamlingsmodus bør velges? Selvutfylling Intervju Papirskjema Telefon Webskjema Personlig møte Eller flermodus? 32
  33. 33. Rent praktisk • Spørsmål bør testes kvalitativt og kvantitativt for å kvalitetssikres • Test – revisjon 1 – ny test – revisjon 2 – kvantitativ undersøkelse – revisjon 3 osv Utvikling av spørsmål deretter test Revisjon av spørsmål Ny test Revisjon av spørsmål Ny test
  34. 34. Metoder i skjemautviklingsprosessen Før utkastet: • Fokusgrupper med brukere (av informasjonen) og respondenter • Intervjuer med brukere (og noen ganger bestillere) • Kartlegging av oppdraget fra bestillerne (OBS ulike nivå!) Når utkastet er på plass: • Ekspertevalueringer • Kognitive intervjuer (individuelle) • Brukertester / Eyetracker (elektroniske spørreskjema)
  35. 35. Umulig å lage perfekte spørreskjema? • Ja, men mulig å lage undersøkelser som er gode nok • Optimalt, men ikke perfekt • Vi kan redusere målefeil ved å planlegge, teste og gjennomføre pilot
  36. 36. Tips for videre lesning: Dillman, Don A., Jolene D. Smyth og Leah Melani Christian (2009): Internet, mail and mixed-mode Surveys. The tailored Design Method. New Yersey: Wiley Haraldsen, Gustav (1999): Spørreskjemametodikk etter kokebokmetoden. Oslo: Ad Notam Gyldendal Leeuw, Edith D. de, Joop J. Hox og Don A Dillman (2008): International Handbook of Survey Methodology. New York: Psychology Press Robert M. Groves, Floyd J. Fowler Jr., Mick P. Couper, James M. Lepkowski, Elanor Singer og Roger Tourangeau (2009): Survey Methodology. New York: Wiley Roger Tourangeau, Lance J. Rips and Kenneth Rasinski (2000): The Psychology of Survey Response. New York: Cambridge University Press
  37. 37. Praktisk brukertesting: http://www.ssb.no/publikasjoner/pdf/handbok-87.pdf Visuell utforming av spørreskjema: http://www.ssb.no/publikasjoner/pdf/handbok-88.pdf Webskjema: http://www.ssb.no/publikasjoner/pdf/handbok-81.pdf
  38. 38. "At man, naar det i sandhed skal lykkes een at føre et Menneske hen til et bestemt Sted først og fremmest maa passe paa at finde ham hvor han er og begynde der." Søren Kierkegaard: "Brudstykke af en ligefrem Meddelelse " (1859)

×