More Related Content
Similar to Alternativer til randomiserede kontrollerede forsøg
Similar to Alternativer til randomiserede kontrollerede forsøg (8)
More from SFI-slides
More from SFI-slides (20)
Alternativer til randomiserede kontrollerede forsøg
- 2. INDHOLD • Introduktion • Skitsering af udvalgte metoder med eksempler, styrker og svagheder • Regressionsanalyse • Matching • Regression discountinuity • Difference-in-difference MIKRO-ØKONOMETRISKE METODER 11-10-2013 2
- 3. INTRODUKTION • Alternativ til lodtrækningsforsøg: • ”Kigge tilbage” vha. eksisterende data • Alternativt: være på forkant og indsamle masser af data • Udgangspunktet: Ikke muligt at styre, hvem der deltager • Indsats- og kontrolgruppe typisk ikke ”ens” (= ”selektionsskævhed”) • Metoderne anvendes til korrektion MIKRO-ØKONOMETRISKE METODER 11-10-2013 3
- 4. INTRODUKTION – FORMÅL • At I får en intuitiv forståelse af metoderne for dermed at: • Få bedre indsigt i, hvornår metoder kan anvendes som alternativ • Få bedre forudsætninger for at vurdere validiteten af eksisterende undersøgelser MIKRO-ØKONOMETRISKE METODER 11-10-2013 4
- 5. INTRODUKTION – STORE KRAV TIL FAGLIGE FORUDSÆTNINGER • Krav til anvendelse: • Detaljeret indsigt i økonometri og databehandling • Konsekvens: • Formålet er ikke, at I skal blive i stand til selv at gennemføre analyserne MIKRO-ØKONOMETRISKE METODER 11-10-2013 5
- 6. SELEKTIONSSKÆVHED – HVAD ER PROBLEMET? • Systematiske forskelle mellem personer i hhv. indsats- og kontrolgruppe => • personer, der udtages til deltagelse, kan ikke sammenlignes direkte med de personer, der ikke deltager, hvis • den målte effekt er påvirket af, at personerne er forskellige • fordi det dermed ikke er den rene effekt af indsatsen, der måles MIKRO-ØKONOMETRISKE METODER 11-10-2013 6
- 7. SELEKTIONSSKÆVHED – HVORNÅR? • Eksempler • Kommuner: Ishøj sammenlignet med Gentofte • Unge på forskellige uddannelser, fx gymnasium vs. HTX • Skoler i forskellige boligområder MIKRO-ØKONOMETRISKE METODER 11-10-2013 7
- 8. SELEKTIONSSKÆVHED – HVORNÅR? • Opstår, når man ikke har et retvisende billede af den kontrafaktiske situation: Udfaldsmål Indsatsgruppe, faktisk forløb Effekt af indsats = det vi vil måle MEN kontrafaktisk forløb ukendt Indsats MIKRO-ØKONOMETRISKE METODER Indsatsgruppe, kontrafaktisk forløb Tid 11-10-2013 8
- 9. SELEKTIONSSKÆVHED – HVORNÅR? • Hvis vi bruger kontrolgruppe som mål for kontrafaktisk situation, der afviger systematisk fra indsatsgruppe på forhold af betydning for udfald: Udfaldsmål Indsatsgruppe, faktisk forløb Målte effekt af indsats Indsatsgruppe, kontrafaktisk forløb Kontrolgruppe Indsats MIKRO-ØKONOMETRISKE METODER Tid 11-10-2013 9
- 10. SELEKTIONSSKÆVHED – HVORNÅR? • I eksempel: En del af målt effekt kan tilskrives selektionsskævhed => Vi måler ikke den rene effekt Udfaldsmål Indsatsgruppe, faktisk forløb Faktisk effekt af indsats Selektionsskævhed Indsatsgruppe, kontrafaktisk forløb Kontrolgruppe Indsats MIKRO-ØKONOMETRISKE METODER Tid 11-10-2013 10
- 11. METODER TIL HÅNDTERING AF ”SYNLIGE”/MÅLBARE FORSKELLE Indsats Udfald Målbare forhold MIKRO-ØKONOMETRISKE METODER 11-10-2013 11
- 12. REGRESSIONSANALYSE - FORMÅL • Sammenhæng med et eller flere forhold ? • Eksempel: • Er der sammenhæng mellem andel piger i 9. klasse på en given skole og andel elever, der gennemfører en ungdomsuddannelse? MIKRO-ØKONOMETRISKE METODER 11-10-2013 12
- 13. REGRESSIONSANALYSE - EKSEMPEL Andel elever, der gennemfører en ungdomsuddannelse Skoler Andel piger i 9. klasse MIKRO-ØKONOMETRISKE METODER 11-10-2013 13
- 14. REGRESSIONSANALYSE - EKSEMPEL Andel elever, der gennemfører en ungdomsuddannelse Forventet andel elever, der gennemfører en ungdomsuddannelse givet andel piger i 9. kl. Skoler Andel piger i 9. klasse MIKRO-ØKONOMETRISKE METODER 11-10-2013 14
- 15. REGRESSIONSANALYSE - EKSEMPEL Andel elever, der gennemfører en ungdomsuddannelse Forventet andel elever, der gennemfører en ungdomsuddannelse givet andel piger i 9. kl. Skoler Hældning udtrykker sammenhængen Andel piger i 9. klasse MIKRO-ØKONOMETRISKE METODER 11-10-2013 15
- 16. REGRESSIONSANALYSE - EFFEKTMÅLING • Effekt af vejledningsindsats som gives i udvalgte skoler • Er der (positiv eller negativ) sammenhæng mellem at få vejledning og andel elever, der gennemfører en ungdomsuddannelse? • Vi må tage hensyn til andelen af piger MIKRO-ØKONOMETRISKE METODER 11-10-2013 16
- 17. REGRESSIONSANALYSE - EFFEKTMÅLING Eksempel: Effekt af forøget vejledningsindsats Andel elever, der gennemfører en ungdomsuddannelse Effekt af indsats Forventet andel elever, der gennemfører en ungdomsuddannelse givet andel piger i 9. kl. Skoler med indsats Skoler uden indsats Andel piger i 9. klasse MIKRO-ØKONOMETRISKE METODER 11-10-2013 17
- 18. REGRESSIONSANALYSE – SVAGHED = ”OMVENDT KAUSALITET” • Udfaldsmål kan have kausal effekt på indsats: Indsats Udfald • Eksempel: • Hvis især skoler med dårligt karaktergennemsnit gennemfører indsats: • Skoler med indsats har systematisk lavere karaktergennemsnit end skoler uden indsats • Kan være årsag til negativ sammenhæng mellem indsats og karaktergennemsnit MIKRO-ØKONOMETRISKE METODER 11-10-2013 18
- 19. REGRESSIONSANALYSE – SVAGHED = ”UDELADTE VARIABLER” • Ikke-målte variabler påvirker både indsats og udfald: • Eksempel: Målbare/ikke målbare forhold Indsats Udfald • Effekt af mindre klassestørrelse på elevpræstationer: • Forældre med størst engagement kan være dem: • der arbejder mest for at få små klasser • der mere end andre sikrer bedst mulig lektiehjælp • Hvis forældreengagement påvirker både elevpræstationer og klassestørrelse: • Sammenhæng kan skyldes forældreengagement MIKRO-ØKONOMETRISKE METODER 11-10-2013 19
- 20. REGRESSIONSANALYSE – SVAGHED Statistisk sammenhæng mellem indsats og udfaldsmål ≠ Kausal effekt af indsats MIKRO-ØKONOMETRISKE METODER 11-10-2013 20
- 21. MATCHING Indsatsgruppen Indsats Kontrol Indsats Kontrol • Central ide: • Personer i indsatsgruppe matches med en eller flere uden for indsatsgruppe baseret på målbare forhold = forsøg på efterligning af RCT • Kontrolgruppe = udvalgte sammenligningspersoner • Central antagelse: • Når betinges på lang række målbare forhold => selektionsskævhed forsvinder => kausalt resultat opnås MIKRO-ØKONOMETRISKE METODER 11-10-2013 21
- 22. MATCHING – EKSEMPEL: MTFC – Multidimensional Treatment Foster Care At undersøge effekten af MTFC i en dansk kontekst SFI udfører forskningsprojektet i samarbejde med Socialstyrelsen Involverer de fem MTFC teams og udvalgte institutioner for samme målgruppe Behandling skal helst foregå så tæt som muligt på normal praksis MIKRO-ØKONOMETRISKE METODER 11-10-2013 22
- 23. MTFC DESIGN Matchet før og efter måling, hvor vi sammenligner unge i MTFC og unge anbragt på institutioner for samme målgruppe Målgruppe: • Familier med 12-17 årige med alvorlig problemadfærd og behov for anbringelse eller genanbringelse • Skal opfylde krav til MTFC behandling MIKRO-ØKONOMETRISKE METODER 11-10-2013 23
- 24. MTFC DESIGN Population: 150 familier i alt (50 familier i MTFC) Rekruttering: august 2013 - januar 2015 (1½ år) Målgruppe og sammenligningsinstitutioner kortlægges i projektet MIKRO-ØKONOMETRISKE METODER 11-10-2013 24
- 25. MTFC MÅLING Der måles ved indskrivning, 12 mdr. og 24 mdr. Både forældrene og den unge skal udfylde spørgeskema på PC Udføres ved besøgsinterview i hjemmet – inden for 5 dage efter rekruttering MIKRO-ØKONOMETRISKE METODER 11-10-2013 25
- 26. MTFC MÅL Den unges adfærd Generel trivsel Forældre stress Sammenhængskraft i familien Depression Fritidsaktiviteter Sundhed (også alkohol og stoffer) Nære relationer Kriminalitet Sammenbrud i anbringelse MIKRO-ØKONOMETRISKE METODER 11-10-2013 26
- 27. MTFC ETISKE FORHOLD Mundtlig og skriftlig information om studiet til forældre og ung Skriftligt samtykke Kan trække sig ud til hver tid Datatilsyn MIKRO-ØKONOMETRISKE METODER 11-10-2013 27
- 28. MATCHING – STYRKER OG SVAGHEDER • Styrke: • Mere fleksibel metode end regressionsanalyse: • Sammenhæng ikke nødvendigvis lineær • Heterogene effekter kan belyses bedre • Potentielle svagheder: • Hvis ikke-målbare forhold af betydning => misvisende resultater • Hvis manglende overlap => behov for stort datamateriale for at finde éns grupper MIKRO-ØKONOMETRISKE METODER 11-10-2013 28
- 29. METODER TIL HÅNDTERING AF ”USYNLIGE”/IKKE-MÅLBARE FORSKELLE Indsats Udfald Målbare forhold Ikke-målbare forhold MIKRO-ØKONOMETRISKE METODER 11-10-2013 29
- 30. REGRESSION DISCOUNTINUITY ANVENDELSE • Når deltagelse/ikke-deltagelse i indsats er bestemt af, om person ligger over/under grænseværdi for variabel, der er afgørende for modtagelse af indsats • Eksempel: Ansatte på virksomhed, der har arbejdsrelateret stress og ligger på mindst 80 på en skala fra 1-100 MIKRO-ØKONOMETRISKE METODER 11-10-2013 30
- 31. REGRESSION DISCOUNTINUITY – IDE OG INTUITION • Ide: • Sammenligning af personer, der ligger hhv. lige over og lige under grænseværdi = indsats- og kontrolgruppe • Intuition: • Personer i de to grupper er ikke forskellige, bortset fra, om de får en indsats. • Argument: De er i høj grad ens mht. den variabel, der afgør om de får indsats MIKRO-ØKONOMETRISKE METODER 11-10-2013 31
- 32. REGRESSION DISCOUNTINUITY • Kausal effekt af indsats = spring i udfald ved grænseværdi • Forudsætning = Ikke andre spring omkring grænseværdi, der kan påvirke udfaldsmål • Tænkt eksempel: • Indsatsgruppe består af elever, der har mindre end 50% rigtige i en given test (test1). • Hvordan påvirker en given indsats disse elevers andel rigtige i ny test (test2)? MIKRO-ØKONOMETRISKE METODER 11-10-2013 32
- 33. Udfald: Andel rigtige i test2 REGRESSION DISCOUNTINUITY – EKSEMPEL Indsatskriterie: Andel rigtige i test1 MIKRO-ØKONOMETRISKE METODER 11-10-2013 33
- 34. Udfald: Andel rigtige i test2 REGRESSION DISCOUNTINUITY – EKSEMPEL Indsatskriterie: Andel rigtige i test1 MIKRO-ØKONOMETRISKE METODER 11-10-2013 34
- 35. REGRESSION DISCOUNTINUITY – EKSEMPEL Eksempel fra forskerverdenen (Leuven m.fl., 2007) • Indsats = ekstra økonomiske midler til hollandske skoler med mange børn, der • var etniske minoriteter eller • havde forældre med et lavt uddannelsesniveau • Indsatskriterie = Mindst 70% af eleverne opfyldte krav • Formål: at forbedre elevers præstationer på udvalgte skoler MIKRO-ØKONOMETRISKE METODER 11-10-2013 35
- 36. REGRESSION DISCOUNTINUITY – EKSEMPEL Eksempel (Leuven m.fl., 2007) • Fremgangsmåde: • Sammenligne skoler, der fik ekstra midler med skoler, der ikke fik disse midler • Sammenligne før og efter introduktion af program (plus/minus 5% og 10% omkring de 70%) • Resultat: ingen klar effekt – svag tendens til negativ effekt MIKRO-ØKONOMETRISKE METODER 11-10-2013 36
- 37. REGRESSION DISCOUNTINUITY – POTENTIELLE SVAGHEDER • Vanskeligheder, hvis sammenhæng mellem indsatskriterie og udfaldsmål er ikke-lineær • Der er ingen værdier for indsatskriterie, hvor der både er personer i indsats- og kontrolgruppe • Kun effekt omkring grænseværdien MIKRO-ØKONOMETRISKE METODER 11-10-2013 37
- 38. DIFFERENCE-IN-DIFFERENCES • Paneldatametode: Bygger på data, hvor hver person (eller aldersgruppe eller skole eller… etc.) er observeret mindst to gange over tid Tid • Datamateriale: • To grupper, hvoraf kun den ene modtager en indsats mellem de to observationstidspunkter Tid Tid MIKRO-ØKONOMETRISKE METODER 11-10-2013 38
- 39. DIFFERENCE-IN-DIFFERENCES - IDÉ • De to grupper kan være forskellige på målbare forhold • De gruppespecifikke gennemsnit for udfaldsmål kan være forskellige i fravær af indsats • Men: Forskel kan ”differentieres ud” • Trække ændring for kontrolgruppe fra ændring for indsatsgruppe • Tilbageværende forskel = kausal effekt MIKRO-ØKONOMETRISKE METODER 11-10-2013 39
- 40. DIFFERENCE-IN-DIFFERENCES – EKSEMPEL: JENSEN OG NIELSEN (2010) • Effekt af UU-vejledning på påbegyndelse af ungdomsuddannelse C = (Indsatsgruppeefter-indsatsgruppefør) – (kontrolgruppeefter-kontrolgruppefør) MIKRO-ØKONOMETRISKE METODER 11-10-2013 40
- 41. DIFFERENCE-IN-DIFFERENCES – EKSEMPEL : JENSEN OG NIELSEN (2010) • Brug af kontrolvariabler som elevsammensætning, familiestatus, mors alder ved fødsel, mors uddannelse, antal uddannelsestilbud i kommunen, ledighed i kommunen, m.m. • Tager højde for årgangsforskelle • Fx vil regeringens budskab om, at unge skal hurtigere i gang med en uddannelse påvirke begge grupper ens => påvirker ikke det endelige resultat • => Resultater af DiD kan fortolkes som egentlige årsagssammenhænge MIKRO-ØKONOMETRISKE METODER 11-10-2013 41
- 42. DIFFERENCE-IN-DIFFERENCES – ANTAGELSER • Gruppespecifikke udviklingstræk for udfaldsmål ville have været være ens (= parallelle) i fravær af indsats, dvs. forskel skal være konstant over tid • ”Før-måling” må ikke være påvirket af fremtidig indsats (annonceringseffekt) • Der må ikke – samtidig med indsatsen – være andre ændringer af betydning for adfærd, der påvirker de to grupper forskelligt MIKRO-ØKONOMETRISKE METODER 11-10-2013 42
- 43. DIFFERENCE-IN-DIFFERENCES – STYRKER OG SVAGHED • Styrker: • anvender kontrolgruppe • tager højde for gruppespecifikke uobserverbare forhold, der er konstante over tid… • Potentiel svaghed: • …men tager ikke højde for uobserverbare forhold, der varierer over tid MIKRO-ØKONOMETRISKE METODER 11-10-2013 43
- 44. OPSAMLING • ÉN METODE, der kan løse alle udfordringer, FINDES IKKE • Regressionsanalyse og matching: • Fortolkes med forsigtighed, især overveje ikke-målbare forholds betydning • Brug af regression discountinuity: • ”Naturlige” eksperimenter – kræver diskontinuitet i indsatsvariabel • Differences-in-differences: • Kan tage højde for individ- eller gruppespecifikke ikkemålbare forhold, der er konstante over tid MIKRO-ØKONOMETRISKE METODER 11-10-2013 44
- 45. Hvad er forudsætningen for at lave en effektmåling •Veldefineret indsats •Veldefineret (stor) målgruppe •Veldefineret (stor) kontrolgruppe •Målbare effekter •Data for BÅDE indsatsgruppe og kontrolgruppe •Effektmål •Oplysninger til brug for korrektion af forskelle => MANGE data skal indsamles for både indsatsgruppe og kontrolgruppe MIKRO-ØKONOMETRISKE METODER 11-10-2013 45