2. VI HAR BRUG FOR VIDEN OM EFFEKTER
Fordi vi gerne vil vide, om de indsatser vi sætter i værk, rent
faktisk virker
Og fordi vi gerne vil sikre os, at indsatserne ikke har en
skadelig virkning.
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
2
3. HVORFOR EFFEKTMÅLING?
Webb 1932: ”There is far more experimentation going on in the world
of sociological laboratory in which we all live than in any other kind
of laboratory, but most of this social experimentation is wrapped in
secrecy and thus yields nothing to science”
Det sociale område som et stort ukontrolleret forsøg
Store mængder penge bliver brugt på indsatser som vi ikke kender
effekten af.
Behov for viden om hvad der virker bedst - for at kunne bruge knappe
ressourcer bedst muligt og give den optimale indsats til borgerne
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
3
4. HVORFOR ER DET VIGTIGT AT KENDE
EFFEKTEN?
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
4
5. HVORFOR ER DET VIGTIGT AT KENDE
EFFEKTEN?
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
5
6. HVORFOR ER DET VIGTIGT AT KENDE
EFFEKTEN?
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
6
7. EVIDENS HANDLER OM EFFEKT:
Effektmåling besvarer spørgsmål om
kausalitet:
Hvordan går det (i gennemsnit)
personer, der modtager en specifik
indsats, i forhold til hvordan det
ville være gået, hvis de ikke havde
modtaget indsatsen?
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
7
8. MEN EVIDENS HANDLER OGSÅ OM MEGET
ANDET END EFFEKT
• Viden om sociale problemers
karakter og udbredelse
• Viden om målgruppens
karakteristika og adfærdsmønstre
• Viden om hvilke indsatser der
anvendes
• Viden om ressourceforbrug ved
hidtidig indsats
• Viden om effekter af forskellige
former for indsatser
• …
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
8
11. TILFREDSHEDSUNDERSØGELSER OG
EFTERMÅLINGER
90% af dem, der modtog behandlingen var tilfredse eller meget
tilfredse…
…men det siger ikke noget om effekten
75% af dem, der trænede havde et kondital på 40…
… men hvad var deres kondital før træningsprogrammet?
Kan ikke bruges til effektmålinger
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
11
12. FØR-EFTERMÅLINGER
Man måler inden man starter indsatsen
(førmåling) og når indsatsen er udført
(eftermåling) for hele målgruppen.
Nok det mest anvendte undersøgelsesdesign – og noget som vi
alle bruger.
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
12
13. FØR-EFTERMÅLING AF LÆSE INTERVENTION
105
100
95
Indsats
Kontrol
90
85
80
Før
Efter
Statistisk signifikant forskel p < 0.001
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
13
14. FØR-EFTERMÅLING AF LÆSE INTERVENTION
110
105
100
Indsats
Kontrol
95
90
85
80
Før
Efter
Forskel mellem grupper er IKKE signifikant
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
14
15. KAUSAL EFFEKT
FORMÅL MED EFFEKTMÅLING:
At finde den kausale effekt af indsats på udfaldsmål
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
15
17. KAUSAL EFFEKT – HVAD KAN GÅ GALT?
Enkelt at undersøge, om der er en sammenhæng eller
korrelation mellem indsats og udfaldsmål
En sådan sammenhæng kan imidlertid ikke nødvendigvis
fortolkes som en kausal effekt – at det er netop A der giver B
Eksempler:
Antal storke og børnefødsler
Alkoholindtagelse og lungecancer
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
17
18. INDSATS- OG KONTROLGRUPPE
Indsatsgruppen består af personer, der modtager indsatsen
Kontrolgruppen består af personer, der ikke modtager indsatsen
For at kunne tale om en effektmåling SKAL der være en
form for kontrolgruppe
EFFEKTMÅLING: HVAD OG HVORDAN
HVAD ER EN EFFEKTMÅLING?
11-10-2013
11-10-2013
18
18
19. TO HOVEDTYPER AF METODER TIL
EFFEKTMÅLING
RANDOMISEREDE
KONTROLLEREDE FORSØG
MIKRO-ØKONOMETRISKE
METODER
• Designes før indsatsen sættes i
værk
• Kan bruges både før og efter
indsats er gennemført
• Data indsamles undervejs
• Kan anvende eksisterende data
• Via randomisering ”styrer” man,
hvem der får en indsats
• Ikke muligt at styre, hvem der
deltager
• Indsats- og kontrolgruppe kan
umiddelbart sammenlignes
• Indsats- og kontrolgruppe er
typisk ikke ”ens” - metoderne
anvendes til at korrigere for
forskelle
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
19
23. HVORNÅR SKAL MAN LAVE EFFEKTMÅLING
Når det giver mening…
Når der kan findes en kontrolgruppe…
Men det giver (næsten) altid mening med en før-eftermåling
EFFEKTMÅLING: HVAD OG HVORDAN
11-10-2013
23
