SlideShare a Scribd company logo
1 of 38
1

Innføring i spørreskjemametodikk

Statistisk sentralbyrå
Seksjon for datafangstmetoder
1
Feilkilder i spørreskjemaundersøkelser
REPRESENTATIVITET
Målgruppe

Dekningsfeil

MÅLING
Formål
Gyldighet

Utvalgsplan

Utvalgsfeil

Spørsmål
Målefeil

Utvalg
Skjevhet

Svar

Deltakere
Justeringsfeil

Bearbeidingsfeil

Justert utvalg

Reviderte svar

Resultater

Kilde: Groves et. al.
Survey methodology, 2.ed.
Wiley. 2009
”Utvalgstrekking er en vitenskap,
å lage spørsmål er en kunst!”

3
Ansikt til ansikt

Telefon
Papir og
blyant

Web

4
”Respondenten skal ut på en reise
med klar start og tydelig slutt”

5
Faser i utviklingen av et spørreskjema

1.
2.
3.

Spesifisering av databehov

4.
5.

Utforming av selve spørreskjemaet

Operasjonalisering
Utforming av spørsmål og
svaralternativer
Testing
Spesifisering

Hva slags informasjon er det (egentlig) behov for?
Vil den komme ut av undersøkelsen – slik vi har
planlagt den?
Hva gjør vi i spesifiseringsfasen?
•
•

Spesifiserer informasjonsbehovet til oppdragsgiver
Innhente kunnskap om feltet man skal undersøke fra potensielle
svarpersoner
Forts. hva gjør vi i spesifiseringsfasen?
•

God spesifisering krever svar på disse spørsmålene:
– Hva ønsker oppdragsgiver informasjon om?
– Hva skal informasjonen brukes til?
– Hvem skal bruke informasjonen?
– Hva slags tabeller skal lages?
– Gode svar på dette sikrer at oppgavegiver får de opplysningene de
faktisk ønsker svar på, og at skjemaet ikke består av flere spørsmål
enn nødvendig.
– Hva slags opplysninger besitter respondentene?
– Hvor lett tilgjengelig er informasjonen?
– Disse spørsmålene sikrer at skjemaet er godt tilpasset virkeligheten
til svarpersonene – og at oppgavebyrden ikke blir høyere enn
nødvendig.
Spesifisering

Eks. oppdragsgiver er ikke bevisst på hva de er
ute etter
Spesifisering
Eks. Rettet slik at oppdragsgiver får ønsket
informasjon
Operasjonalisering

Det kognitive perspektivet på spørsmålsdesign

• Metode basert på vitenskaper som kognitiv
psykologi, sosialpsykologi, sosiolingvistikk og
analytisk filosofi
• Fra mekanisk hendelsesforløp til komplisert
kommunikasjonsprosess

Respondentperspektivet på
svarprosessen
12
Operasjonalisering

Hvorfor gjøre noe nummer av det?
• … fordi det ikke er gitt at vi
setter respondenten i fokus

• …fordi man tidligere så
datainnsamling som en
enkel, mekanisk prosess

• Data fra mennesker er ikke
epler på trærne
– som vi kan plukke opp i en kurv
Operasjonalisering

Eksempel på tilsynelatende enkelt spørsmål
Hender det at du selv blir utsatt for plaging
eller ubehagelig erting av
arbeidskamerater?

Vil du si ja, en eller flere ganger i uken,
ja, en eller flere ganger i måneden
eller nei?

14
Operasjonalisering

Å lese/høre et spørsmål og gi et svar er en
komplisert kognitiv prosess (oppgaven)
Figur 1. En enkel modell for svarprosessen i intervjuundersøkelser

Tolkning
av spørsmålets
meningsinnhold

Fremhenting
av innformasjon
som synes
nødvendig for å
besvare spørsmålet

Vurdering
av hvilket svar
denne
informasjonen gir
grunnlag for

Formulering
av et svar

Kilde: Tourangeau 1984
15
Operasjonalisering

Eksempel på spørsmål som kan produsere ”feil”

• Hvor bekymret er du for at dine barn kan bli
utsatt for fysisk vold eller overfall på vei til skolen?

• svært bekymret,
• ganske bekymret,
• lite bekymret,
• ikke bekymret,
• vet ikke
Utforming av spørsmål

Tips om spørsmålsformuleringer
• Erstatt begreper som må forklares i separat veiledning
(tekst)
• Still ett spørsmål av gangen
• Erstatt spørsmål med ”og” med flere spørsmål
•Erstatt spørsmål med ”eller” med flere spørsmål
• Spørsmål med ”hvis” trenger filterspørsmål
• Balanserte spørsmål og svaralternativer

17
Utforming av spørsmål

Viktig! Enkelt språk
• Å lage spørsmål og svar er å kommunisere
• Begreper
• Dagligspråk, fagspråk
– Ulike sosiale sammenhenger

• Tenk konkret
• Tenk enkelt
• Tenk entydig
• Vær presis
18
Utforming av spørsmål

Eksempel på spørsmål som kan produsere ”feil”

• Sist gang du var i utlandet, hadde du da med deg varer
utover det som er tillatt å bringe inn i Norge toll- og
avgiftsfritt?
Utforming av spørsmål

Problemer som kan føre til feil i svarene I

• Svarpersonen tolker spørsmålet ”feil”
– tenker bare alkohol og tobakk

• Svarpersonen glemmer eller har andre
hukommelsesproblemer
– kan ha glemt hvor mye man handlet

• Svarpersonene gjør ”feilaktige vurderinger” eller
har ”feilaktige strategier” for å anslå en størrelse
– varierer hva folk forstår med en ”enhet”
Utforming av spørsmål

Problemer som kan føre til feil i svarene II

• Svarpersonen har problemer med å formulere ett
svar
– ”hva menes egentlig med bekymring?”

• Mer eller mindre overlagt gale svar
– mange vil være forbeholdne i forhold til å fortelle
fremmede at de har gjort noe ulovlig

• Unnlate å følge instruksjoner
– mange legger ikke merke til instrukser, eller bryr seg ikke
om instrukser
Utforming av spørsmål

Eksempel på blanding av begreper

22
Utforming av spørsmål

Formuleringer som ikke passer til
svaralternativene

23
Utforming av spørsmål

Eksempel på tolkningsproblem
Vil du si at din helse er
utmerket,
god,
ikke så god
eller dårlig?

24
Utforming av spørsmål

Eksempel på tolkningsproblem
Vil du si at din helse er utmerket, god, ikke så god
eller dårlig?

Da du svarte på dette spørsmålet, tenkte du på ….
 helsa di sammenlignet med andre på din alder?
 helsa di sammenlignet med da du var ung?
 helsa di i den siste tida sammenlignet med tidligere?

25
Utforming av spørsmål

Eksempel på tolkningsproblem
Vil du si at din helse er utmerket, god, ikke så god eller dårlig?

Resultatet fra en metodeundersøkelse:
Sammenlignet med andre

22 %

Sammenlignet med da jeg var ung

43 %

Den siste tiden sammenlignet med tidligere?

42 %
Utforming av spørsmål
KORT FOR MENN
En kan tenke seg at kvinner og menn kan føle seg tiltrukket av både samme kjønn
og motsatt kjønn. Hvordan ville du plassere deg på en skala over tiltrekning
til kvinner? Sett ring rundt det tallet som passer best for deg.
0 -------1-------2-------3-------4--------5-------6
Vet ikke
Ingen
Sterk
tiltrekning
tiltrekning
til kvinner
til kvinner

Hvordan ville du plassere deg på en skala over tiltrekning til menn? Sett ring
rundt det tallet som passer best for deg.
0 -------1-------2-------3-------4--------5-------6
Vet ikke
Ingen
Sterk
tiltrekning
tiltrekning
til menn
til menn
27
Utforming av spørsmål
Hvor fornøyd eller misfornøyd er du med skolen du
går på?
50
40
30
20
10

yd
fo
rn
ø
rt
Sv
æ

N

ok
s

å

fo
rn
øy
d

el
le
r
Ve
rk
en

å
ok
s
N

Sv
æ

rt

m

m
is
fo
rn
øy
d

is
fo
rn
øy
d

0

Nordmenn

Innvandrere
Utforming av skjemaet

Hva gjør vi i forhold til spørsmålsflyt/rekkefølge?
•

Vi forsøker å lage en spørsmålsflyt som oppfattes som naturlig og logisk
av svarpersonene

•

Vi forsøker å lage et navigeringssystem som gjør at svarpersonene får
de spørsmålene de skal, og at de ledes effektivt gjennom skjemaet

•

Starten, midten og slutten er viktig…
Utforming av skjemaet

Visuelle virkemiddel
• Bruk visuelle virkemiddel til å styre
oppmerksomheten
•Bruk så enkle virkemiddel som mulig
•Vær konsekvent
• Fjern virkemiddel som ikke har noe budskap

•Hjelpetekst plasseres der det er bruk for den
30
Samspill mellom tekst og visuell utforming
Ikke slik:

Slik:

31
Hvilke(t) innsamlingsmodus bør velges?
Selvutfylling

Intervju

Papirskjema

Telefon

Webskjema

Personlig møte

Eller flermodus?
32
Rent praktisk
• Spørsmål bør
testes kvalitativt og
kvantitativt for å
kvalitetssikres
• Test – revisjon 1 –
ny test – revisjon 2
– kvantitativ
undersøkelse –
revisjon 3 osv

Utvikling av spørsmål
deretter test

Revisjon
av spørsmål
Ny test

Revisjon av
spørsmål
Ny test
Metoder i skjemautviklingsprosessen
Før utkastet:

• Fokusgrupper med brukere (av informasjonen) og
respondenter

• Intervjuer med brukere (og noen ganger bestillere)
• Kartlegging av oppdraget fra bestillerne (OBS ulike nivå!)
Når utkastet er på plass:

• Ekspertevalueringer
• Kognitive intervjuer (individuelle)
• Brukertester / Eyetracker (elektroniske spørreskjema)
Umulig å lage perfekte spørreskjema?
• Ja, men mulig å lage undersøkelser som er gode nok
• Optimalt, men ikke perfekt
• Vi kan redusere målefeil ved å planlegge, teste og
gjennomføre pilot
Tips for videre lesning:
Dillman, Don A., Jolene D. Smyth og Leah Melani Christian (2009): Internet, mail
and mixed-mode Surveys. The tailored Design Method. New Yersey: Wiley
Haraldsen, Gustav (1999): Spørreskjemametodikk etter kokebokmetoden. Oslo: Ad
Notam Gyldendal
Leeuw, Edith D. de, Joop J. Hox og Don A Dillman (2008): International Handbook
of Survey Methodology. New York: Psychology Press
Robert M. Groves, Floyd J. Fowler Jr., Mick P. Couper, James M. Lepkowski, Elanor
Singer og Roger Tourangeau (2009):
Survey Methodology. New York: Wiley
Roger Tourangeau, Lance J. Rips and Kenneth Rasinski (2000): The Psychology of
Survey Response. New York: Cambridge University Press
Praktisk brukertesting:
http://www.ssb.no/publikasjoner/pdf/handbok-87.pdf

Visuell utforming av spørreskjema:
http://www.ssb.no/publikasjoner/pdf/handbok-88.pdf
Webskjema:
http://www.ssb.no/publikasjoner/pdf/handbok-81.pdf
"At man, naar det i sandhed skal lykkes een
at føre et Menneske hen til et bestemt Sted
først og fremmest maa passe paa
at finde ham hvor han er
og begynde der."

Søren Kierkegaard: "Brudstykke af en
ligefrem Meddelelse " (1859)

More Related Content

Similar to Spørreskjemametodikk

Itl Digitale tester 2.0
Itl   Digitale tester 2.0Itl   Digitale tester 2.0
Itl Digitale tester 2.0Asker kommune
 
Brukaropplevingar - kva, kvifor og kordan
Brukaropplevingar - kva, kvifor og kordanBrukaropplevingar - kva, kvifor og kordan
Brukaropplevingar - kva, kvifor og kordanAre Halland
 
Er brukerne dumme? (Frokostseminar om brukertesting)
Er brukerne dumme? (Frokostseminar om brukertesting)Er brukerne dumme? (Frokostseminar om brukertesting)
Er brukerne dumme? (Frokostseminar om brukertesting)Haakon Halvorsen
 
Mediestrategipris 2011
Mediestrategipris 2011Mediestrategipris 2011
Mediestrategipris 2011Mediaforum
 
Vurdering av og for læring
Vurdering av og for læringVurdering av og for læring
Vurdering av og for læringEva Bratvold
 
Yggdrasil 2016: 13 raske veier til bedre brukerinnsikt (workshop)
Yggdrasil 2016: 13 raske veier til bedre brukerinnsikt (workshop)Yggdrasil 2016: 13 raske veier til bedre brukerinnsikt (workshop)
Yggdrasil 2016: 13 raske veier til bedre brukerinnsikt (workshop)Veronica Heltne
 
Workshop: 13 raske veier til bedre brukerinnsikt - Målfrid Jordet Ågotnes og ...
Workshop: 13 raske veier til bedre brukerinnsikt - Målfrid Jordet Ågotnes og ...Workshop: 13 raske veier til bedre brukerinnsikt - Målfrid Jordet Ågotnes og ...
Workshop: 13 raske veier til bedre brukerinnsikt - Målfrid Jordet Ågotnes og ...Yggdrasilkonferansen
 
Utdanningsetaten rektorkontrakter Vedlegg 5 skjema for def. av akseptgrad, del 2
Utdanningsetaten rektorkontrakter Vedlegg 5 skjema for def. av akseptgrad, del 2Utdanningsetaten rektorkontrakter Vedlegg 5 skjema for def. av akseptgrad, del 2
Utdanningsetaten rektorkontrakter Vedlegg 5 skjema for def. av akseptgrad, del 2Simon Malkenes
 
2020-02-05 - Karabin frokostmøte: Maskinlæring for beslutningstakere
2020-02-05 - Karabin frokostmøte: Maskinlæring for beslutningstakere2020-02-05 - Karabin frokostmøte: Maskinlæring for beslutningstakere
2020-02-05 - Karabin frokostmøte: Maskinlæring for beslutningstakereKarabin AS
 
Praksiser og verktøy for selvregulært læring. bergen itslearning 13. desember...
Praksiser og verktøy for selvregulært læring. bergen itslearning 13. desember...Praksiser og verktøy for selvregulært læring. bergen itslearning 13. desember...
Praksiser og verktøy for selvregulært læring. bergen itslearning 13. desember...Henning Fjørtoft
 
Prosjekt Digital Kompetanse Representasjon 2
Prosjekt Digital Kompetanse Representasjon 2Prosjekt Digital Kompetanse Representasjon 2
Prosjekt Digital Kompetanse Representasjon 2BetaTrondheim
 
EBU1 Forelesning Markedsundersøkelser
EBU1 Forelesning MarkedsundersøkelserEBU1 Forelesning Markedsundersøkelser
EBU1 Forelesning MarkedsundersøkelserMorten Nyhagen
 
Laeringsnettverket voxprosjekt2011
Laeringsnettverket voxprosjekt2011Laeringsnettverket voxprosjekt2011
Laeringsnettverket voxprosjekt2011Torstein Rekkedal
 
Alltid nyttig på et intranett
Alltid nyttig på et intranettAlltid nyttig på et intranett
Alltid nyttig på et intranettMona Halland
 
Alltid nyttig på et intranett_Intralife2010
Alltid nyttig på et intranett_Intralife2010Alltid nyttig på et intranett_Intralife2010
Alltid nyttig på et intranett_Intralife2010Intralife
 
Markedsføring og ledelse 1 opplegg vgs 2021 2022
Markedsføring og ledelse 1 opplegg vgs 2021 2022 Markedsføring og ledelse 1 opplegg vgs 2021 2022
Markedsføring og ledelse 1 opplegg vgs 2021 2022 mkristsk
 

Similar to Spørreskjemametodikk (20)

Itl Digitale tester 2.0
Itl   Digitale tester 2.0Itl   Digitale tester 2.0
Itl Digitale tester 2.0
 
Brukaropplevingar - kva, kvifor og kordan
Brukaropplevingar - kva, kvifor og kordanBrukaropplevingar - kva, kvifor og kordan
Brukaropplevingar - kva, kvifor og kordan
 
Hva skjer når elever leser
Hva skjer når elever leserHva skjer når elever leser
Hva skjer når elever leser
 
Er brukerne dumme? (Frokostseminar om brukertesting)
Er brukerne dumme? (Frokostseminar om brukertesting)Er brukerne dumme? (Frokostseminar om brukertesting)
Er brukerne dumme? (Frokostseminar om brukertesting)
 
Testverktøyet websem
Testverktøyet   websemTestverktøyet   websem
Testverktøyet websem
 
Mediestrategipris 2011
Mediestrategipris 2011Mediestrategipris 2011
Mediestrategipris 2011
 
Vurdering av og for læring
Vurdering av og for læringVurdering av og for læring
Vurdering av og for læring
 
Yggdrasil 2016: 13 raske veier til bedre brukerinnsikt (workshop)
Yggdrasil 2016: 13 raske veier til bedre brukerinnsikt (workshop)Yggdrasil 2016: 13 raske veier til bedre brukerinnsikt (workshop)
Yggdrasil 2016: 13 raske veier til bedre brukerinnsikt (workshop)
 
Workshop: 13 raske veier til bedre brukerinnsikt - Målfrid Jordet Ågotnes og ...
Workshop: 13 raske veier til bedre brukerinnsikt - Målfrid Jordet Ågotnes og ...Workshop: 13 raske veier til bedre brukerinnsikt - Målfrid Jordet Ågotnes og ...
Workshop: 13 raske veier til bedre brukerinnsikt - Målfrid Jordet Ågotnes og ...
 
Utdanningsetaten rektorkontrakter Vedlegg 5 skjema for def. av akseptgrad, del 2
Utdanningsetaten rektorkontrakter Vedlegg 5 skjema for def. av akseptgrad, del 2Utdanningsetaten rektorkontrakter Vedlegg 5 skjema for def. av akseptgrad, del 2
Utdanningsetaten rektorkontrakter Vedlegg 5 skjema for def. av akseptgrad, del 2
 
Presentasjon VG1
Presentasjon VG1Presentasjon VG1
Presentasjon VG1
 
2020-02-05 - Karabin frokostmøte: Maskinlæring for beslutningstakere
2020-02-05 - Karabin frokostmøte: Maskinlæring for beslutningstakere2020-02-05 - Karabin frokostmøte: Maskinlæring for beslutningstakere
2020-02-05 - Karabin frokostmøte: Maskinlæring for beslutningstakere
 
Praksiser og verktøy for selvregulært læring. bergen itslearning 13. desember...
Praksiser og verktøy for selvregulært læring. bergen itslearning 13. desember...Praksiser og verktøy for selvregulært læring. bergen itslearning 13. desember...
Praksiser og verktøy for selvregulært læring. bergen itslearning 13. desember...
 
Prosjekt Digital Kompetanse Representasjon 2
Prosjekt Digital Kompetanse Representasjon 2Prosjekt Digital Kompetanse Representasjon 2
Prosjekt Digital Kompetanse Representasjon 2
 
EBU1 Forelesning Markedsundersøkelser
EBU1 Forelesning MarkedsundersøkelserEBU1 Forelesning Markedsundersøkelser
EBU1 Forelesning Markedsundersøkelser
 
Laeringsnettverket voxprosjekt2011
Laeringsnettverket voxprosjekt2011Laeringsnettverket voxprosjekt2011
Laeringsnettverket voxprosjekt2011
 
Alltid nyttig på et intranett
Alltid nyttig på et intranettAlltid nyttig på et intranett
Alltid nyttig på et intranett
 
Alltid nyttig på et intranett_Intralife2010
Alltid nyttig på et intranett_Intralife2010Alltid nyttig på et intranett_Intralife2010
Alltid nyttig på et intranett_Intralife2010
 
IT-forum OU2015 - Klasseledelse, Rune Krumsvik, UiB
IT-forum OU2015 - Klasseledelse, Rune Krumsvik, UiBIT-forum OU2015 - Klasseledelse, Rune Krumsvik, UiB
IT-forum OU2015 - Klasseledelse, Rune Krumsvik, UiB
 
Markedsføring og ledelse 1 opplegg vgs 2021 2022
Markedsføring og ledelse 1 opplegg vgs 2021 2022 Markedsføring og ledelse 1 opplegg vgs 2021 2022
Markedsføring og ledelse 1 opplegg vgs 2021 2022
 

More from Statistisk sentralbyrå

Den europeiske studentundersøkelsen 2018
Den europeiske studentundersøkelsen 2018Den europeiske studentundersøkelsen 2018
Den europeiske studentundersøkelsen 2018Statistisk sentralbyrå
 
Befolkningsframskrivingene 2018, seminar 26. juni
Befolkningsframskrivingene 2018, seminar 26. juniBefolkningsframskrivingene 2018, seminar 26. juni
Befolkningsframskrivingene 2018, seminar 26. juniStatistisk sentralbyrå
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...Statistisk sentralbyrå
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...Statistisk sentralbyrå
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...Statistisk sentralbyrå
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...Statistisk sentralbyrå
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...Statistisk sentralbyrå
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...Statistisk sentralbyrå
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...Statistisk sentralbyrå
 
Innvandrere i Norge 2017, presentasjon fra frokostseminar 11.12.2017
Innvandrere i Norge 2017, presentasjon fra frokostseminar 11.12.2017Innvandrere i Norge 2017, presentasjon fra frokostseminar 11.12.2017
Innvandrere i Norge 2017, presentasjon fra frokostseminar 11.12.2017Statistisk sentralbyrå
 
Presentasjon rapport: Levekår blant innvandrere i Norge 2016
Presentasjon rapport: Levekår blant innvandrere i Norge 2016Presentasjon rapport: Levekår blant innvandrere i Norge 2016
Presentasjon rapport: Levekår blant innvandrere i Norge 2016Statistisk sentralbyrå
 
Flyktninger i Norge, presentasjoner fra seminar 14. desember 2016
Flyktninger i Norge, presentasjoner fra seminar 14. desember 2016Flyktninger i Norge, presentasjoner fra seminar 14. desember 2016
Flyktninger i Norge, presentasjoner fra seminar 14. desember 2016Statistisk sentralbyrå
 
Flyktninger bosatt i Norge: Hvem er de, og hvordan går det med dem?
Flyktninger bosatt i Norge: Hvem er de, og hvordan går det med dem?Flyktninger bosatt i Norge: Hvem er de, og hvordan går det med dem?
Flyktninger bosatt i Norge: Hvem er de, og hvordan går det med dem?Statistisk sentralbyrå
 

More from Statistisk sentralbyrå (20)

Den europeiske studentundersøkelsen 2018
Den europeiske studentundersøkelsen 2018Den europeiske studentundersøkelsen 2018
Den europeiske studentundersøkelsen 2018
 
Befolkningsframskrivingene 2018, seminar 26. juni
Befolkningsframskrivingene 2018, seminar 26. juniBefolkningsframskrivingene 2018, seminar 26. juni
Befolkningsframskrivingene 2018, seminar 26. juni
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
 
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
BigInsight seminar on Practical Privacy-Preserving Distributed Statistical Co...
 
Innvandrere i Norge 2017, presentasjon fra frokostseminar 11.12.2017
Innvandrere i Norge 2017, presentasjon fra frokostseminar 11.12.2017Innvandrere i Norge 2017, presentasjon fra frokostseminar 11.12.2017
Innvandrere i Norge 2017, presentasjon fra frokostseminar 11.12.2017
 
SSBs API mot Statistikkbanken
SSBs API mot StatistikkbankenSSBs API mot Statistikkbanken
SSBs API mot Statistikkbanken
 
Norsk kulturbarometer 2016
Norsk kulturbarometer 2016Norsk kulturbarometer 2016
Norsk kulturbarometer 2016
 
Presentasjon rapport: Levekår blant innvandrere i Norge 2016
Presentasjon rapport: Levekår blant innvandrere i Norge 2016Presentasjon rapport: Levekår blant innvandrere i Norge 2016
Presentasjon rapport: Levekår blant innvandrere i Norge 2016
 
Flyktninger i Norge, presentasjoner fra seminar 14. desember 2016
Flyktninger i Norge, presentasjoner fra seminar 14. desember 2016Flyktninger i Norge, presentasjoner fra seminar 14. desember 2016
Flyktninger i Norge, presentasjoner fra seminar 14. desember 2016
 
SSBs API mot Statistikkbanken
SSBs API mot StatistikkbankenSSBs API mot Statistikkbanken
SSBs API mot Statistikkbanken
 
Flyktninger bosatt i Norge: Hvem er de, og hvordan går det med dem?
Flyktninger bosatt i Norge: Hvem er de, og hvordan går det med dem?Flyktninger bosatt i Norge: Hvem er de, og hvordan går det med dem?
Flyktninger bosatt i Norge: Hvem er de, og hvordan går det med dem?
 
Hva vet vi om verdens flyktninger?
Hva vet vi om verdens flyktninger?Hva vet vi om verdens flyktninger?
Hva vet vi om verdens flyktninger?
 
4. Hva vet vi om verdens flyktninger?
4. Hva vet vi om verdens flyktninger?4. Hva vet vi om verdens flyktninger?
4. Hva vet vi om verdens flyktninger?
 
Hva vet vi om verdens flyktninger?
Hva vet vi om verdens flyktninger?Hva vet vi om verdens flyktninger?
Hva vet vi om verdens flyktninger?
 
Hva vet vi om verdens flyktninger?
Hva vet vi om verdens flyktninger?Hva vet vi om verdens flyktninger?
Hva vet vi om verdens flyktninger?
 

Spørreskjemametodikk

  • 1. 1 Innføring i spørreskjemametodikk Statistisk sentralbyrå Seksjon for datafangstmetoder 1
  • 3. ”Utvalgstrekking er en vitenskap, å lage spørsmål er en kunst!” 3
  • 5. ”Respondenten skal ut på en reise med klar start og tydelig slutt” 5
  • 6. Faser i utviklingen av et spørreskjema 1. 2. 3. Spesifisering av databehov 4. 5. Utforming av selve spørreskjemaet Operasjonalisering Utforming av spørsmål og svaralternativer Testing
  • 7. Spesifisering Hva slags informasjon er det (egentlig) behov for? Vil den komme ut av undersøkelsen – slik vi har planlagt den?
  • 8. Hva gjør vi i spesifiseringsfasen? • • Spesifiserer informasjonsbehovet til oppdragsgiver Innhente kunnskap om feltet man skal undersøke fra potensielle svarpersoner
  • 9. Forts. hva gjør vi i spesifiseringsfasen? • God spesifisering krever svar på disse spørsmålene: – Hva ønsker oppdragsgiver informasjon om? – Hva skal informasjonen brukes til? – Hvem skal bruke informasjonen? – Hva slags tabeller skal lages? – Gode svar på dette sikrer at oppgavegiver får de opplysningene de faktisk ønsker svar på, og at skjemaet ikke består av flere spørsmål enn nødvendig. – Hva slags opplysninger besitter respondentene? – Hvor lett tilgjengelig er informasjonen? – Disse spørsmålene sikrer at skjemaet er godt tilpasset virkeligheten til svarpersonene – og at oppgavebyrden ikke blir høyere enn nødvendig.
  • 10. Spesifisering Eks. oppdragsgiver er ikke bevisst på hva de er ute etter
  • 11. Spesifisering Eks. Rettet slik at oppdragsgiver får ønsket informasjon
  • 12. Operasjonalisering Det kognitive perspektivet på spørsmålsdesign • Metode basert på vitenskaper som kognitiv psykologi, sosialpsykologi, sosiolingvistikk og analytisk filosofi • Fra mekanisk hendelsesforløp til komplisert kommunikasjonsprosess Respondentperspektivet på svarprosessen 12
  • 13. Operasjonalisering Hvorfor gjøre noe nummer av det? • … fordi det ikke er gitt at vi setter respondenten i fokus • …fordi man tidligere så datainnsamling som en enkel, mekanisk prosess • Data fra mennesker er ikke epler på trærne – som vi kan plukke opp i en kurv
  • 14. Operasjonalisering Eksempel på tilsynelatende enkelt spørsmål Hender det at du selv blir utsatt for plaging eller ubehagelig erting av arbeidskamerater? Vil du si ja, en eller flere ganger i uken, ja, en eller flere ganger i måneden eller nei? 14
  • 15. Operasjonalisering Å lese/høre et spørsmål og gi et svar er en komplisert kognitiv prosess (oppgaven) Figur 1. En enkel modell for svarprosessen i intervjuundersøkelser Tolkning av spørsmålets meningsinnhold Fremhenting av innformasjon som synes nødvendig for å besvare spørsmålet Vurdering av hvilket svar denne informasjonen gir grunnlag for Formulering av et svar Kilde: Tourangeau 1984 15
  • 16. Operasjonalisering Eksempel på spørsmål som kan produsere ”feil” • Hvor bekymret er du for at dine barn kan bli utsatt for fysisk vold eller overfall på vei til skolen? • svært bekymret, • ganske bekymret, • lite bekymret, • ikke bekymret, • vet ikke
  • 17. Utforming av spørsmål Tips om spørsmålsformuleringer • Erstatt begreper som må forklares i separat veiledning (tekst) • Still ett spørsmål av gangen • Erstatt spørsmål med ”og” med flere spørsmål •Erstatt spørsmål med ”eller” med flere spørsmål • Spørsmål med ”hvis” trenger filterspørsmål • Balanserte spørsmål og svaralternativer 17
  • 18. Utforming av spørsmål Viktig! Enkelt språk • Å lage spørsmål og svar er å kommunisere • Begreper • Dagligspråk, fagspråk – Ulike sosiale sammenhenger • Tenk konkret • Tenk enkelt • Tenk entydig • Vær presis 18
  • 19. Utforming av spørsmål Eksempel på spørsmål som kan produsere ”feil” • Sist gang du var i utlandet, hadde du da med deg varer utover det som er tillatt å bringe inn i Norge toll- og avgiftsfritt?
  • 20. Utforming av spørsmål Problemer som kan føre til feil i svarene I • Svarpersonen tolker spørsmålet ”feil” – tenker bare alkohol og tobakk • Svarpersonen glemmer eller har andre hukommelsesproblemer – kan ha glemt hvor mye man handlet • Svarpersonene gjør ”feilaktige vurderinger” eller har ”feilaktige strategier” for å anslå en størrelse – varierer hva folk forstår med en ”enhet”
  • 21. Utforming av spørsmål Problemer som kan føre til feil i svarene II • Svarpersonen har problemer med å formulere ett svar – ”hva menes egentlig med bekymring?” • Mer eller mindre overlagt gale svar – mange vil være forbeholdne i forhold til å fortelle fremmede at de har gjort noe ulovlig • Unnlate å følge instruksjoner – mange legger ikke merke til instrukser, eller bryr seg ikke om instrukser
  • 22. Utforming av spørsmål Eksempel på blanding av begreper 22
  • 23. Utforming av spørsmål Formuleringer som ikke passer til svaralternativene 23
  • 24. Utforming av spørsmål Eksempel på tolkningsproblem Vil du si at din helse er utmerket, god, ikke så god eller dårlig? 24
  • 25. Utforming av spørsmål Eksempel på tolkningsproblem Vil du si at din helse er utmerket, god, ikke så god eller dårlig? Da du svarte på dette spørsmålet, tenkte du på ….  helsa di sammenlignet med andre på din alder?  helsa di sammenlignet med da du var ung?  helsa di i den siste tida sammenlignet med tidligere? 25
  • 26. Utforming av spørsmål Eksempel på tolkningsproblem Vil du si at din helse er utmerket, god, ikke så god eller dårlig? Resultatet fra en metodeundersøkelse: Sammenlignet med andre 22 % Sammenlignet med da jeg var ung 43 % Den siste tiden sammenlignet med tidligere? 42 %
  • 27. Utforming av spørsmål KORT FOR MENN En kan tenke seg at kvinner og menn kan føle seg tiltrukket av både samme kjønn og motsatt kjønn. Hvordan ville du plassere deg på en skala over tiltrekning til kvinner? Sett ring rundt det tallet som passer best for deg. 0 -------1-------2-------3-------4--------5-------6 Vet ikke Ingen Sterk tiltrekning tiltrekning til kvinner til kvinner Hvordan ville du plassere deg på en skala over tiltrekning til menn? Sett ring rundt det tallet som passer best for deg. 0 -------1-------2-------3-------4--------5-------6 Vet ikke Ingen Sterk tiltrekning tiltrekning til menn til menn 27
  • 28. Utforming av spørsmål Hvor fornøyd eller misfornøyd er du med skolen du går på? 50 40 30 20 10 yd fo rn ø rt Sv æ N ok s å fo rn øy d el le r Ve rk en å ok s N Sv æ rt m m is fo rn øy d is fo rn øy d 0 Nordmenn Innvandrere
  • 29. Utforming av skjemaet Hva gjør vi i forhold til spørsmålsflyt/rekkefølge? • Vi forsøker å lage en spørsmålsflyt som oppfattes som naturlig og logisk av svarpersonene • Vi forsøker å lage et navigeringssystem som gjør at svarpersonene får de spørsmålene de skal, og at de ledes effektivt gjennom skjemaet • Starten, midten og slutten er viktig…
  • 30. Utforming av skjemaet Visuelle virkemiddel • Bruk visuelle virkemiddel til å styre oppmerksomheten •Bruk så enkle virkemiddel som mulig •Vær konsekvent • Fjern virkemiddel som ikke har noe budskap •Hjelpetekst plasseres der det er bruk for den 30
  • 31. Samspill mellom tekst og visuell utforming Ikke slik: Slik: 31
  • 32. Hvilke(t) innsamlingsmodus bør velges? Selvutfylling Intervju Papirskjema Telefon Webskjema Personlig møte Eller flermodus? 32
  • 33. Rent praktisk • Spørsmål bør testes kvalitativt og kvantitativt for å kvalitetssikres • Test – revisjon 1 – ny test – revisjon 2 – kvantitativ undersøkelse – revisjon 3 osv Utvikling av spørsmål deretter test Revisjon av spørsmål Ny test Revisjon av spørsmål Ny test
  • 34. Metoder i skjemautviklingsprosessen Før utkastet: • Fokusgrupper med brukere (av informasjonen) og respondenter • Intervjuer med brukere (og noen ganger bestillere) • Kartlegging av oppdraget fra bestillerne (OBS ulike nivå!) Når utkastet er på plass: • Ekspertevalueringer • Kognitive intervjuer (individuelle) • Brukertester / Eyetracker (elektroniske spørreskjema)
  • 35. Umulig å lage perfekte spørreskjema? • Ja, men mulig å lage undersøkelser som er gode nok • Optimalt, men ikke perfekt • Vi kan redusere målefeil ved å planlegge, teste og gjennomføre pilot
  • 36. Tips for videre lesning: Dillman, Don A., Jolene D. Smyth og Leah Melani Christian (2009): Internet, mail and mixed-mode Surveys. The tailored Design Method. New Yersey: Wiley Haraldsen, Gustav (1999): Spørreskjemametodikk etter kokebokmetoden. Oslo: Ad Notam Gyldendal Leeuw, Edith D. de, Joop J. Hox og Don A Dillman (2008): International Handbook of Survey Methodology. New York: Psychology Press Robert M. Groves, Floyd J. Fowler Jr., Mick P. Couper, James M. Lepkowski, Elanor Singer og Roger Tourangeau (2009): Survey Methodology. New York: Wiley Roger Tourangeau, Lance J. Rips and Kenneth Rasinski (2000): The Psychology of Survey Response. New York: Cambridge University Press
  • 37. Praktisk brukertesting: http://www.ssb.no/publikasjoner/pdf/handbok-87.pdf Visuell utforming av spørreskjema: http://www.ssb.no/publikasjoner/pdf/handbok-88.pdf Webskjema: http://www.ssb.no/publikasjoner/pdf/handbok-81.pdf
  • 38. "At man, naar det i sandhed skal lykkes een at føre et Menneske hen til et bestemt Sted først og fremmest maa passe paa at finde ham hvor han er og begynde der." Søren Kierkegaard: "Brudstykke af en ligefrem Meddelelse " (1859)