Alternativer til rc ts januar 2014

ALTERNATIVER TIL
RCTs: MIKROØKONOMETRISKE
METODER
Jan Høgelund

INDHOLD
• Introduktion
• Skitsering af udvalgte metoder med eksempler, styrker og
svagheder
• Regressionsanalyse
• Matching
• Regression discountinuity
• Difference-in-difference

MIKRO-ØKONOMETRISKE METODER

31-01-2014

2

INTRODUKTION
• Alternativ til lodtrækningsforsøg:

• ”Kigge tilbage” vha. eksisterende data
• Alternativt: være på forkant og indsamle masser af data
• Udgangspunktet: Ikke muligt at styre, hvem der deltager
• Indsats- og kontrolgruppe typisk ikke ”ens” (=
”selektionsskævhed”)
• Metoderne anvendes til korrektion


31-01-2014

3

INTRODUKTION – FORMÅL

• At I får en intuitiv forståelse

af metoderne for dermed at:

• Få bedre indsigt i, hvornår metoder kan anvendes som
alternativ
• Få bedre forudsætninger for at vurdere validiteten af
eksisterende undersøgelser


31-01-2014

4

INTRODUKTION – STORE KRAV TIL FAGLIGE
FORUDSÆTNINGER
• Krav til anvendelse:
• Detaljeret indsigt i økonometri og databehandling
• Konsekvens:
• Formålet er ikke, at I skal blive i stand til selv at
gennemføre analyserne


31-01-2014

5

SELEKTIONSSKÆVHED – HVAD ER
PROBLEMET?
• Systematiske forskelle mellem personer i hhv. indsats- og
kontrolgruppe =>
• personer, der udtages til deltagelse, kan ikke sammenlignes
direkte med de personer, der ikke deltager, hvis
• den målte effekt er påvirket af, at personerne er
forskellige
• fordi det dermed ikke er den rene effekt af indsatsen,
der måles

31-01-2014

6

SELEKTIONSSKÆVHED – HVORNÅR?

• Eksempler
• Kommuner: Ishøj sammenlignet med Gentofte
• Unge på forskellige uddannelser, fx gymnasium vs. HTX
• Sygemeldte på kursus vs. sygemeldte, der ikke deltager i
kurset


31-01-2014

7

• Opstår, når man ikke har et retvisende billede af den
kontrafaktiske situation:
Udfaldsmål

Indsatsgruppe,
faktisk forløb
Effekt af indsats
= det vi vil måle
MEN
kontrafaktisk
forløb ukendt

Indsats

Indsatsgruppe,
kontrafaktisk
forløb

Tid

31-01-2014

8

• Hvis vi bruger kontrolgruppe som mål for kontrafaktisk
situation, der afviger systematisk fra indsatsgruppe på forhold
af betydning for udfald:
Udfaldsmål

Indsatsgruppe,
faktisk forløb
Målte effekt af
indsats

Indsatsgruppe,
kontrafaktisk
forløb
Kontrolgruppe

Indsats

Tid

31-01-2014

9

• I eksempel: En del af målt effekt kan tilskrives
selektionsskævhed => Vi måler ikke den rene effekt
Udfaldsmål

Indsatsgruppe,
faktisk forløb
Faktisk effekt af
indsats
Selektionsskævhed

Indsatsgruppe,
kontrafaktisk
forløb
Kontrolgruppe

Indsats

Tid

31-01-2014

10

METODER TIL HÅNDTERING AF
”SYNLIGE”/MÅLBARE FORSKELLE

Indsats

Udfald

Målbare
forhold


31-01-2014

11

REGRESSIONSANALYSE - FORMÅL

• Sammenhæng med et eller flere forhold ?
• Eksempel:
• Er der sammenhæng mellem andel piger i 9. klasse på
en given skole og andel elever, der gennemfører en
ungdomsuddannelse?


31-01-2014

12

REGRESSIONSANALYSE - EKSEMPEL
Andel elever, der gennemfører
en ungdomsuddannelse

Skoler

Andel piger i 9. klasse

31-01-2014

13


Forventet andel
elever, der gennemfører en ungdomsuddannelse givet
andel piger i 9. kl.
Skoler


31-01-2014

14


Forventet andel
Skoler
Hældning udtrykker sammenhængen


31-01-2014

15

REGRESSIONSANALYSE - EFFEKTMÅLING
• Effekt af vejledningsindsats som gives i udvalgte skoler
• Er der (positiv eller negativ) sammenhæng mellem at få
vejledning og andel elever, der gennemfører en
ungdomsuddannelse?
• Vi må tage hensyn til andelen af piger


31-01-2014

16

REGRESSIONSANALYSE - EFFEKTMÅLING
Eksempel: Effekt af forøget vejledningsindsats

Effekt af
indsats

Forventet andel
Skoler med indsats
Skoler uden indsats


31-01-2014

17

REGRESSIONSANALYSE – SVAGHED =
”OMVENDT KAUSALITET”
• Udfaldsmål kan have kausal effekt på indsats:

Indsats

Udfald

• Eksempel:
• Hvis især skoler med dårligt karaktergennemsnit
gennemfører indsats:
• Skoler med indsats har systematisk lavere
karaktergennemsnit end skoler uden indsats
• Kan være årsag til negativ sammenhæng mellem
indsats og karaktergennemsnit

31-01-2014

18

REGRESSIONSANALYSE – SVAGHED =
”UDELADTE VARIABLER”
•

Ikke-målte variabler påvirker både indsats og udfald:

•

Eksempel:

Målbare/ikke
målbare forhold

Indsats

Udfald

• Effekt af mindre klassestørrelse på elevpræstationer:
• Forældre med størst engagement kan være dem:
• der arbejder mest for at få små klasser
• der mere end andre sikrer bedst mulig lektiehjælp
• Hvis forældreengagement påvirker både elevpræstationer og
klassestørrelse:
• Sammenhæng kan skyldes forældreengagement

31-01-2014

19

REGRESSIONSANALYSE – SVAGHED

Statistisk sammenhæng mellem indsats og udfaldsmål

≠
Kausal effekt af indsats


31-01-2014

20

MATCHING

Indsatsgruppen

Indsats

Kontrol

Indsats

Kontrol

• Central ide:
• Personer i indsatsgruppe matches med en eller flere uden
for indsatsgruppe baseret på målbare forhold = forsøg på
efterligning af RCT
• Kontrolgruppe = udvalgte sammenligningspersoner
• Central antagelse:
• Når der betinges på en lang række målbare forhold =>
selektionsskævhed forsvinder => kausalt resultat opnås

31-01-2014

21

MATCHING – EKSEMPEL:

EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED
PROBLEMER UDOVER LEDIGHED
Lars Skipper (2010): En mikroøkonometrisk evaluering af
den aktive beskæftigelsesindsats (AKF)
• Fokus:
• Fuld population af aktiverede kontanthjælpsmodtagere med
problemer ud over ledighed (match 4 og 5) i vinteren 20052006


31-01-2014

22


• Registerdata fra Arbejdsmarkedsstyrelsen, Danmarks Statistik
og Sundhedsstyrelsen
• Oplysninger om:
• Kontaktforløb mellem ledig og sagsbehandler
• Sagsbehandlervurdering af fx søgeadfærd, risiko for
langtidsledighed, matchindplacering og årsag hertil
• Arbejdsmarkedshistorie, indkomst, overførselsindkomster
• Alder, køn, samlivsstatus, nationalitet, uddannelse
• Diagnoser, hospitalsindlæggelse, køb af receptpligtig medicin

31-01-2014

23


• Matching anvendes til at konstruere sammenligningsgruppe af
kontanthjælpsmodtagere
• Forudsætninger:
• Har alle oplysninger, der kan forventes at påvirke
udfaldsmålet
• De to grupper er ikke så forskellige, at der ikke findes
overlap


31-01-2014

24


• Indsatsgruppe:
• Kontanthjælpsmodtagere, der deltager i aktivering mellem to
tremåneders samtaler omkring årsskiftet 2005/2006
• Kontrolgruppe:
• Kontanthjælpsmodtagere, der i samme periode ikke deltager
i aktivering


31-01-2014

25


• Sammenligning af indsats- og kontrolgruppe med matching:
• Der matches på lang række forhold knyttet til den enkelte
kontanthjælpsmodtager af betydning for udfald, bl.a.:
• Demografiske forhold, arbejdsmarkedshistorik,
sagsbehandlervurdering, sundhedsoplysninger => ren
effekt af aktiveringsindsats beregnes – eneste forskel
mellem grupper: indsats/ikke indsats (forhåbentlig)


31-01-2014

26


• Analyse:
• Virker aktiveringen?
• Udfaldsmål:
• Tilknytning til arbejdsmarkedet (beskæftigelsesgrad og
lønindkomst)
• Sum af offentlige overførsler
• Konklusion: Aktivering har ingen effekt, hverken på kort (3-6
mdr.) eller mellemlangt (op til tre år) sigt

31-01-2014

27

MATCHING – STYRKER OG SVAGHEDER
• Styrke:
• Mere fleksibel metode end regressionsanalyse:
• Sammenhæng ikke nødvendigvis lineær
• Heterogene effekter kan belyses bedre
• Potentielle svagheder:
• Hvis ikke-målbare forhold af betydning => misvisende
resultater
• Hvis manglende overlap => behov for stort datamateriale for
at finde éns grupper

31-01-2014

28

METODER TIL HÅNDTERING AF
”USYNLIGE”/IKKE-MÅLBARE FORSKELLE
Indsats

Udfald

Målbare
forhold
Ikke-målbare
forhold


31-01-2014

29

REGRESSION DISCOUNTINUITY ANVENDELSE

• Når deltagelse/ikke-deltagelse i indsats er bestemt af, om
person ligger over/under grænseværdi for variabel, der er
afgørende for modtagelse af indsats
• Eksempel: Ansatte på virksomhed, der har arbejdsrelateret
stress og ligger på mindst 80 på en skala fra 1-100


31-01-2014

30

REGRESSION DISCOUNTINUITY – IDE OG
INTUITION

• Ide:
• Sammenligning af personer, der ligger hhv. lige over og lige
under grænseværdi = indsats- og kontrolgruppe
• Intuition:
• Personer i de to grupper er ikke forskellige, bortset fra, om
de får en indsats.
• Argument: De er i høj grad ens mht. den variabel, der afgør
om de får indsats

31-01-2014

31

REGRESSION DISCOUNTINUITY

• Kausal effekt af indsats = spring i udfald ved grænseværdi
• Forudsætning = Ikke andre spring omkring grænseværdi,
der kan påvirke udfaldsmål
• Tænkt eksempel:
• Indsatsgruppe består af elever, der har mindre end 50%
rigtige i en given test (test1).
• Hvordan påvirker en given indsats disse elevers andel
rigtige i ny test (test2)?

31-01-2014

32

Udfald: Andel rigtige i test2

REGRESSION DISCOUNTINUITY – EKSEMPEL

Indsatskriterie: Andel rigtige i test1

31-01-2014

33

Udfald: Andel rigtige i test2


Indsatskriterie: Andel rigtige i test1

31-01-2014

34


Eksempel fra forskerverdenen (Leuven m.fl., 2007)
• Indsats = ekstra økonomiske midler til hollandske skoler med
mange børn, der
• var etniske minoriteter eller
• havde forældre med et lavt uddannelsesniveau
• Indsatskriterie = Mindst 70% af eleverne opfyldte krav
• Formål: at forbedre elevers præstationer på udvalgte skoler

31-01-2014

35


Eksempel (Leuven m.fl., 2007)
• Fremgangsmåde:
• Sammenligne skoler, der fik ekstra midler med skoler, der
ikke fik disse midler
• Sammenligne før og efter introduktion af program
(plus/minus 5% og 10% omkring de 70%)
• Resultat: ingen klar effekt – svag tendens til negativ effekt


31-01-2014

36

REGRESSION DISCOUNTINUITY –
POTENTIELLE SVAGHEDER

• Vanskeligheder, hvis sammenhæng mellem indsatskriterie og
udfaldsmål er ikke-lineær
• Der er ingen værdier for indsatskriterie, hvor der både er
personer i indsats- og kontrolgruppe
• Kun effekt omkring grænseværdien

31-01-2014

37

DIFFERENCE-IN-DIFFERENCES
• Paneldatametode: Bygger på data, hvor hver person (eller
aldersgruppe eller skole eller… etc.) er observeret mindst to
gange over tid
Tid

• Datamateriale:
• To grupper, hvoraf kun den ene modtager en indsats
mellem de to observationstidspunkter

Tid

Tid

31-01-2014

38

DIFFERENCE-IN-DIFFERENCES - IDÉ

• De to grupper kan være forskellige på målbare forhold
•  De gruppespecifikke gennemsnit for udfaldsmål kan være
forskellige i fravær af indsats
• Men: Forskel kan ”differentieres ud”
• Trække ændring for kontrolgruppe fra ændring for
indsatsgruppe
• Tilbageværende forskel = kausal effekt


31-01-2014

39

DIFFERENCE-IN-DIFFERENCES – EKSEMPEL:
Bille, Larsen, Høgelund og Holt (2013)

Effekten af
indsatsen

C = (Indsatsgruppeefter-indsatsgruppefør) – (kontrolgruppeefter-kontrolgruppefør)

31-01-2014

40

DIFFERENCE-IN-DIFFERENCES – EKSEMPEL:
Bille, Larsen, Høgelund og Holt (2013)

• Kontrol kommuner som ligner indsatskommuner mht.
rammevilkår og geografisk placering
• Brug af kontrolvariabler som køn, alder, uddannelse,
medicinforbrug, indlæggelser, kontakter til læge mv.
• Tager højde for konjunkturer: de påvirker begge grupper=>
påvirker ikke det endelige resultat
=> Resultater af DiD kan fortolkes som egentlige
årsagssammenhænge

31-01-2014

41

DIFFERENCE-IN-DIFFERENCES –
ANTAGELSER
• Gruppespecifikke udviklingstræk for udfaldsmål ville have
været være ens (= parallelle) i fravær af indsats, dvs. forskel
skal være konstant over tid
• ”Før-måling” må ikke være påvirket af fremtidig indsats
(annonceringseffekt)
• Der må ikke – samtidig med indsatsen – være andre
ændringer af betydning for adfærd, der påvirker de to grupper
forskelligt

31-01-2014

42

DIFFERENCE-IN-DIFFERENCES – STYRKER OG
SVAGHED
• Styrker:
• anvender kontrolgruppe
• tager højde for gruppespecifikke uobserverbare forhold, der
er konstante over tid…

• Potentiel svaghed:
• …men tager ikke højde for uobserverbare forhold, der
varierer over tid

31-01-2014

43

OPSAMLING
• ÉN METODE, der kan løse alle udfordringer, FINDES IKKE
• Regressionsanalyse og matching:
• Fortolkes med forsigtighed, især overveje ikke-målbare
forholds betydning
• Brug af regression discountinuity:
• ”Naturlige” eksperimenter – kræver diskontinuitet i
indsatsvariabel
• Differences-in-differences:
• Kan tage højde for individ- eller gruppespecifikke ikkemålbare forhold, der er konstante over tid

31-01-2014

44

Hvad er forudsætningen for at lave en
effektmåling
•Veldefineret indsats
•Veldefineret (stor) målgruppe
•Veldefineret (stor) kontrolgruppe
•Målbare effekter
•Data for BÅDE indsatsgruppe og kontrolgruppe
•Effektmål
•Oplysninger til brug for korrektion af forskelle =>
MANGE data skal indsamles for både indsatsgruppe og
kontrolgruppe

31-01-2014

45

SPØRGSMÅL OG
KOMMENTARER?!


31-01-2014

46

Alternativer til rc ts januar 2014

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (20)

Similar to Alternativer til rc ts januar 2014

Similar to Alternativer til rc ts januar 2014 (8)

More from SFI-slides

More from SFI-slides (20)

Alternativer til rc ts januar 2014