Maiken Pontoppidans præsentation fra temadage om effekt, SFI oktober 2013

1. RANDOMISEREDE
FORSØG
MAIKEN PONTOPPIDAN

2. RCT
Chaplin 1931: ”Experimental method in sociology does not mean
interference with individual movement or freedom. It does not
endager life or limb or moral character.”
Oakley 1998: ”On the conctrary, what randomised controlled
trials offer in the social domain is exactly what they promise
to medicine: protection of the public from potentially
damaging uncontrolled experimentation and a more rational
knowledge about the benefits to be derived from a
professional intervention”
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
2

3. EFFEKTSTIGEN
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
3

4. DET RANDOMISEREDE KONTROLLEREDE
FORSØG - RCT
Kaldes også et eksperiment
Definition af eksperiment:
Man manipulerer/varierer en given indsats (fx en behandling) på
en systematisk måde, for derefter at undersøge hvilken effekt
denne variation har på et givent udfald (fx niveau af stress,
adfærd)
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
4

5. Randomisering
HVORFOR RCT?
A
B
Indsats
• Det bedste design til
effektmåling
Måle udfald
• Pga. den tilfældige tildeling af indsats
• Sikrer at grupperne er ens på både målbare og ikke-målbare
faktorer
• Kan håndtere kompleksitet
• Kræver færrest deltagere
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
5

6. HVORFOR RCT?
Vi kan ikke blot se en sammenhæng eller korrelation mellem
indsats og effektmål.
Fordi vi ved at den eneste forskel på indsats- og kontrolgruppe
er indsatsen kan vi fastslå et kausalitetsforhold
Hvis indsatsgruppe klarer sig bedre/dårligere end
kontrolgruppen så kan vi konkludere at det er på grund
af indsatsen
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
6

7. RCT
RCT - randomisering
QRCT – quasi-randomiseret
ikke tilfældig/randomiseret fordeling
men næsten…. Naturligt forekommende opdeling
fx fødselsår, dag i uge man henvender sig…
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
7

8. DISPOSITION
Hvorfor RCT?
RCT historisk set
Etiske problemstillinger
Design af RCT
Utilsigtede effekter af RCT
SFI eksempler
DUÅ Baby
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
8

9. RCT HISTORISK SET
• 1061 Ben Cao Tu Jing – Ginseng eller ej i forhold til at løbe
• 1753 Sir James Lind, læge i den engelske flåde – Skørbug
-Citron og appelsin overfor æblevin, fortyndet svovlsyre,
havvand, eddike og urteblanding
• 1896-97 Johannes Fibiger Difteri
- Første forsøg med randomisering
• 1900erne uddannelsesområdet i USA
• 1920erne R. A. Fischer inden for landbruget
• 1930erne socialområdet i USA
– Cambridge Sommerville
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
9

10. RCT HISTORISK SET
• 1944 England - Patulin mod hoste
• 1948 England - Streptomycin mod tuberkulose
• 1960erne-1985 Mange forsøg i USA på uddannelses- og
socialområdet
• 1990erne især sundhedsområdet
– Cochrane Collaboration
• 2005-2013 uddannelse, kriminologi, socialområdet –
Campbell Collaboration
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
10

11. ETISKE PROBLEMSTILLINGER
Men er det overhovedet etisk forsvarligt at trække lod på det
sociale område?
- JA, det mener vi bestemt, at det er
• Etisk forpligtelse
• Sikre at der ikke er negativ effekt (fx akut krisehjælp)
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
11

12. UETISKE FORSØG
Men det afhænger selvfølgelig af det konkrete eksempel om der
er mulighed for lodtrækning.
Man kan nemt finde på uetiske forsøg fx:
• Rygning
• Tvangsfjernelse
• Overvægt
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
12

13. ETISKE PROBLEMSTILLINGER
Er det uetisk at en lodtrækning afgør om
man skal have behandling eller ej?
Argumenter FOR randomisering på sociale område:
• Store regionale forskelle i behandling/tilbud
• Ikke enighed om, hvad der bør tilbydes
• Meget sjældent at kontrolgruppen ikke bliver tilbudt nogen
behandling/tilbud overhovedet (oftest standard behandling)
• Ofte kan det man tilbyder indsatsgruppen kan betragtes som
noget ekstra oven i standard behandlingen.
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
13

14. ETISKE OVERVEJELSER
Hvad er formålet med undersøgelsen og hvad kan resultaterne
bruges til?
De skal gerne kunne bidrage med væsentlig ny viden til at
forbedre forholdene for borgerne i vores samfund.
Målet er at maksimere sandsynligheden for at få et brugbart
resultat af undersøgelsen samtidigt med at vi minimerer
besværet for undersøgelsesdeltagerne.
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
14

15. ETISKE OVERVEJELSER
Informeret samtykke: Deltagere skal informeres
om undersøgelsen - både skriftligt og mundtligt.
Skriftligt samtykke – når borgeren/patienten skal give
oplysninger (Persondataloven)
Deltagere skal informeres om, at de kan trække sig fra
undersøgelsen på ethvert tidspunkt, uden at det får
konsekvenser for deres nuværende og fremtidige behandling.
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
15

16. DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
16

17. DESIGN AF RCT
Individ:
Enkelt personer randomiseres til intervention eller kontrol
ALTID individ hvis muligt!
Gruppe/Cluster randomisering:
Når den naturlige enhed at randomisere på er gruppen (fx skole,
klasse, praktiserende læge, hjemmeplejeenhed, kommune)
-kræver en del clustre gerne 40 - minimum 12
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
17

18. DESIGN AF RCT
Venteliste:
• Kontrolgruppen står på venteliste
• Alle får indsats
• Ikke muligt med langtidsopfølgning
Stepped wedge:
• Bruges ved udrulning af indsats. Individer eller grupper
randomiseres til at begynde indsats på forskellige tidspunkter.
• Alle får indsatsen men på forskelligt tidspunkt.
• Ikke muligt med langtidsopfølgning
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
18

19. STEPPED WEDGE
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
19

20. DESIGN EKSEMPLER
Individ:
DUÅ Baby:
Familier randomiseres til DUÅ Baby eller Usual Care
Cluster:
Skoleklasser (fx klasseledelse)
Daginstitutioner (fx sprogstimulering)
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
20

21. DESIGN EKSEMPLER
Stepped wedge:
IT hjælpe-redskab i skole
Alle 12 skoler i en kommune randomiseres til hvornår de skal
starte (3 grupper med 6 måneders mellemrum)
Venteliste:
Interessegruppe udbyder forældrekursus
Familier randomiseres til indsats nu eller venteliste og indsats
næste år
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
21

22. DELTAGERE
Deltagergruppen har betydning i forhold til generaliserbarheden
af studiet.
-Om resultaterne kan overføres til andre grupper.
Oftest kan man kun sige noget sikkert om effekten på den
gruppe man har undersøgt.
Men man kan så måske formode at dette også vil gælde for
andre grupper.
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
22

23. EKSEMPEL
Duå Baby målgruppe:
• Alle førstegangsfødende
• Mødre, hvor der er en bekymring om usikkerhed i
forældrerollen
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
23

24. REKRUTTERING
Så mange med som muligt!
-overvej tiltag der kan tilskynde deltagelse
Hvis lille målgruppe for indsats - svært at rekruttere nok
deltagere
Få realistisk billede af, hvor mange der kan rekrutteres inden for
det tidsrum man har valgt
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
24

25. FRAFALD
For det meste er der nogen der falder fra undervejs
- Rekrutter lidt flere end der er brug for
Ofte er der flere i kontrolgruppen der falder fra end i
interventionsgruppen.
Det er vigtigt at undersøge om dem, der falder fra er anderledes
end dem, der fortsætter. Ellers kan man ende med forskellige
grupper, der ikke kan sammenlignes.
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
25

26. ANTAL DELTAGERE
Hvor mange personer vi skal have med i forsøget hænger
sammen med den effektstørrelse vi forventer at finde:
• Jo større effektstørrelse
jo større styrke/power.
• Jo større effektstørrelse
at kunne vise en forskel
jo færre personer behøver vi for
• Jo mindre effektstørrelse
jo flere personer skal vi bruge
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
26

27. ANTAL DELTAGERE
Tommelfingerregler (ikke absolut!):
Stor effekt: 25 personer i hver gruppe (Cohen’s d=0.80)
Moderat effekt: 64 personer i hver gruppe (Cohen’s d=0.50)
Lille effekt: 400 personer i hver gruppe (Cohen’s d=0.20)
Generelt siger vi gerne 100-150 i alt
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
27

28. INDSATS/INTERVENTION
Indsatsen skal være:
• Afgrænset
• Velbeskrevet
• Gerne teoretisk funderet
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
28

29. KONTROLGRUPPE
Hvad får kontrolgruppen?
• Anden form for specifik behandling
• Anden almindelig behandling – Usual Care
• Venteliste til samme behandling
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
29

30. EKSEMPEL – DUÅ BABY
INDSATS:
• 3 sundhedsplejerske besøg
• DUÅ forældregruppe 8 gange a 2½ time
• Åbent hus
• Ekstra besøg ved behov
KONTROL:
• 5 sundhedsplejerske besøg
• Mødregruppe
• Åbent hus
• Ekstra besøg ved behov
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
30

31. RANDOMISERING
Random = tilfældig
Individniveau eller gruppeniveau (cluster)
Mange metoder til randomisering
Brug simpel randomisering hvis muligt
Behøver ikke altid være 1:1
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
31

32. RANDOMISERING
• Simpel randomisering – lodtrækning, liste med tilfældige tal
• Blok randomisering – fx blokke af 4 eller 6
• Parvis randomisering – når man har to
• Matching – man matcher et par, fx alder eller køn
• Minimisering – man udvælger nogle karakteristika som har
betydning (fx alder, køn, problemniveau).
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
32

33. RANDOMISERING
Randomisering skal være uforudsigelig og uafhængig af dem,
der er indblandet i forsøget.
Det har vist sig at der snydes med det, når det er muligt
• Åbne konvolutterne
• Røntgenfotografere konvolutter
• Bytte om på rækkefølgen
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
33

34. EKSEMPEL – DUÅ BABY
RANDOMISERING
2:1 randomisering (DUÅ Baby:Usual Care)
Hver kommune har separat liste
Blokke – så der kommer familier til begge grupper løbende
1. Genereret liste med angivelse af indsats eller kontrol
2. Sekretær i min afdeling står for randomisering
3. Kommune sender navne
4. Besked tilbage om hvad de skal tilbydes
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
34

35. BLINDING
DELTAGERE:
Man holder deltagere uvidende om hvilken behandling de får, for
at det ikke skal få indflydelse på deres effektmål.
Kan ikke så tit lade sig gøre med sociale interventioner.
UNDERSØGERE:
Dem der skal foretage vurdering af effektmål holdes uvidende
om hvilken gruppe personen tilhører.
Skal så vidt muligt gøres.
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
35

36. EKSEMPEL – DUÅ BABY
BLINDING:
Deltagere og udførere – umuligt!
Deltagere blindet for formål med studie
-forskellige indsatser til at støtte op om god trivsel i familien
Interviewere blindet (men måske siger familien noget?)
Analyse blindet
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
36

37. STANDARDISERING
Det er en fordel at standardisere så mange procedurer som
muligt for at undgå utilsigtet variation.
Hvis procedurerne bliver udført så ens som muligt igennem
studiet så vi får den bedste mulighed for at kunne sige noget om
effekten.
Fx behandlingen, hvornår vi måler, hvilke familier der indgår,
rekrutteringsprocedure.
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
37

38. EKSEMPEL – DUÅ BABY
STANDARDISERING:
Klare inklusions- og eksklusionskriterier
Informationsfoldere
Video
Indsats – manualbaseret (rimelig kontrol)
Kontrol – alt muligt (meget lidt kontrol)
Data indsamling
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
38

39. EFFEKTMÅL
Vælg effektmål, der er vigtige for den indsats vi udfører.
• Sensitivt for vigtige ændringer
• Reliabelt – måler det samme hvis vi måler den samme person
flere gange
• Validt – måler præcist det vi gerne vil måle
• Har ikke loft- eller gulv effekter (fx for svær eller for nem
test)
• Målbart (fx kan måle niveau af depression)
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
39

40. EFFEKTMÅL DUÅ BABY
Background questions – age, education, employment status, birth weight
Parent confidence - Karitane Parenting Confidence Scale (KPCS)
Child development - Ages and stages - Social-Emotional (ASQ-SE)
Child development, temperament – Infant behavior Quetionnaire (IBQ)
Parental Stress Scale (PSS)
Sense of coherence (SOC13)
Major Depression Inventory (MDI10)
Mental well-being - WHO-Five Well-being Index (WHO5)
Attachment - Emotional Availability Scales (EAS) video observation
Child development - Bayley III
Height and weight
Social support, health, life satisfaction, loneliness, family economy, drugs and alcohol…
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
40

41. UTILSIGTEDE EFFEKTER AF DEN
EKSPERIMENTELLE SITUATION
HAWTHORNE EFFEKT:
Effekten af at få opmærksomhed, at føle sig særligt udvalgt
PLACEBO EFFEKT:
At troen på en behandling i sig selv kan have en effekt
Dokumentationen for placeboeffekter er tvivlsom og
formentlig overdrevet.
Der er nok oftest tale om spontan remission/modning eller
regression mod gennemsnittet.
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
41

42. UTILSIGTEDE EFFEKTER AF DEN
EKSPERIMENTELLE SITUATION
EKSPERIMENTEL KONTAMINATION/SPILLOVER:
Fx hvis undersøgelsesdeltagerne påvirker og kommunikerer med
hinanden.
Eller hvis behandlere i kontrolgruppen begynder at bruge
interventionen pga. at det for eksempel er oppe i tiden at bruge
denne metode
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
42

43. UTILSIGTEDE EFFEKTER AF DEN
EKSPERIMENTELLE SITUATION
Der bliver for lille forskel mellem behandlingen i
indsatsgruppen og kontrolgruppen til at man kan finde en
forskel.
Det betyder ikke nødvendigvis at der ikke er en
effekt, vi kan bare ikke se den.
Det er vigtigt, at der er forskel på indsats og kontrolgruppe.
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
43

44. RCT OPSAMLING
 RCT er det design, der egner sig bedst til at måle effekt
 Man kan udtale sig om kausalitet – at A medfører B
 Randomiser hvis I overhovedet har mulighed for det
 Det behøver ikke at være så svært…
 Men alt skal planlægges FØR i går i gang
 Start i det små…
DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
44

45. DET RANDOMISEREDE KONTROLLEREDE FORSØG
11-10-2013
45