Forsøgskonsulent Helle Hansens oplæg ved effekt-temadage på SFI, oktober 2013

1. FØR- OG EFTERMÅLING
FØRSTE SKRIDT PÅ VEJEN
HELLE HANSEN, SFI

2. DISPOSITION
Dokumentation
Før-eftermålinger generelt
Hvad skal der til for at lave en god effektmåling?
FØR- OG EFTERMÅLING
11-10-2013
2

3. DOKUMENTATION
Meget brugt ord…
Efterspørgsel på dokumentation
Ofte fokus på processer
- børnesamtale, tilsyn, andre lovkrav…
Men hvad med BORGEREN?
- dokumentation for problemstillingen
- dokumentation for at der er sket en positiv ændring
FØR- OG EFTERMÅLING
11-10-2013
3

4. HVORFOR FØR-EFTERMÅLING?
Vil gerne se hvordan borgeren UDVIKLER/ÆNDRER sig over tid
Vil gerne indføre en ny indsats og undersøge hvordan det går
deltagerne
Der kan ikke laves en effektmåling
-ikke muligt pga. fx økonomi, for lille målgruppe, ingen
mulighed for kontrolgruppe
FØR- OG EFTERMÅLING
11-10-2013
4

5. FØR-EFTERMÅLING
To vigtige ting:
1. Der skal måles både før og efter indsatsen
2. Der skal måles på samme måde hver gang
man kan vise forskel fra start til slut
FØR- OG EFTERMÅLING
11-10-2013
5

6. FØR-EFTERMÅLING AF LÆSE
INTERVENTION
105
100
95
Indsats
Kontrol
90
85
80
Før
Statistisk signifikant forskel p < 0.001
Efter

7. FØR-EFTERMÅLING AF LÆSE
INTERVENTION
110
105
100
Indsats
Kontrol
95
90
85
80
Før
Efter
Forskel mellem grupper er IKKE signifikant

8. HVAD ER PROBLEMET MED FØR-EFTER
MÅLINGER?
Man ved ikke om ændringen skyldes indsatsen eller noget helt
andet.
Ændringerne kan skyldes:
Modning/spontan remission
Regression mod gennemsnittet
11-10-2013
8

9. MODNING/SPONTAN REMISSION EKSEMPLER
Unge kriminelle bliver mindre kriminelle med alderen – også
uden at man gør noget
FØR- OG EFTERMÅLING
11-10-2013
9

10. MODNING/SPONTAN REMISSION EKSEMPLER
• Man kan få det bedre, mens man står på venteliste – men det er
næppe effekt af ventelisten!
• Personer går til lægen med forkølelse, når de har det værst. Men
får de det bedre pga. af behandlingen eller blot fordi tiden går?
Smitte Symptom
FØR- OG EFTERMÅLING
Tid
11-10-2013
10

11. REGRESSION MOD GENNEMSNITTET
Statistisk gruppefænomen:
• Målinger, der ligger langt fra gennemsnit ved første måling,
har tendens til at ligge tættere på gennemsnittet ved næste
måling
FØR- OG EFTERMÅLING
11-10-2013
11

12. REGRESSION MOD GENNEMSNITTET
•Statistisk gruppefænomen: Målinger, der ligger langt fra
gennemsnit ved første måling, har tendens til at ligge tættere på
gennemsnittet ved næste måling
Før
FØR- OG EFTERMÅLING
11-10-2013
12

13. REGRESSION MOD GENNEMSNITTET
Statistisk gruppefænomen: Målinger, der ligger langt fra gennemsnit
ved første måling, har tendens til at ligge tættere på gennemsnittet ved
næste måling
Før
FØR- OG EFTERMÅLING
Efter
11-10-2013
13

14. REGRESSION MOD GENNEMSNITTET EKSEMPLER
• Sammenhæng mellem forældres og børns højde
• Effekt af at få ros på pilotelevers landinger
FØR- OG EFTERMÅLING
11-10-2013
14

15. HVAD SKAL TIL FOR AT LAVE EN GOD
FØR-EFTERMÅLING?
• Klar og afgrænset indsats
• Veddefineret målgruppe
• Klare succeskriterier/mål
FØR- OG EFTERMÅLING
11-10-2013
15

16. INDSATS
Indsatsen skal være afgrænset og defineret
Indhold og omfang skal være beskrevet
ellers ved man ikke hvad man undersøger
FØR- OG EFTERMÅLING
11-10-2013
16

17. INDSATS, EKS. KIK
Forløbet er et standardiseret gruppeforløb. Der kan deltage 1214 forældre (6-7 par), og de mødes en gang om ugen.
Hver mødegang varer 2,5 time, og der bruges samme dagsorden
hver gang. Dagsordenen består af en række fast
tilbagevendende elementer:
• Siden sidst (30 min.)
• Dagens emne – oplæg ved forældretræneren (30 min.)
• Kaffesnak (30 min.)
• Pause (10 min.)
• Øvelse (30 min.)
• Præsentation af hjemmeopgaven (10 min.)
• Uddeling af forældrematerialet (5 min.)
• Evaluering (5 min.)
FØR- OG EFTERMÅLING
11-10-2013
17

18. INDSATS, EKS. KIK
Emnerne på de 12 kursusgange er:
• Introduktion til forløbet og ADHD
• Barnet med ADHD
• Familien
• Opmærksomhed og anerkendelse
• Se bort fra negativ adfærd
• Konflikter
• Rutiner og faste rammer
• Planlægning og visualisering
• Pauser og andre konsekvenser
• Positive belønningssystemer
• Problemløsning og selvkontrol
• Opsamling
FØR- OG EFTERMÅLING
11-10-2013
18

19. INDSATS - HYPOTESE
Man skal gerne have en begrundet forventning om hvorfor og
hvordan indsatsen virker
Hypotese/forandringsteori:
Beskriv hvordan de ønskede forandringer nås for målgruppen
Sandsynliggør at de indsatser/aktiviteter, der gennemføres, også
fører til de ønskede effekter.
FØR- OG EFTERMÅLING
11-10-2013
19

20. FORANDRINGSTEORI
Målgruppe
FØR- OG EFTERMÅLING
Indsats/aktivitet
Resultat
11-10-2013
20

21. FORANDRINGSTEORI
En god forandringsteori er:
• Meningsfuld
• Sandsynlig
• Opnåelig
• Målbar
• Kontrollérbar
FØR- OG EFTERMÅLING
11-10-2013
21

22. FORANDRINGSTEORI
FØR- OG EFTERMÅLING
11-10-2013
22

23. FORANDRINGSTEORI
FØR- OG EFTERMÅLING
11-10-2013
23

24. MÅLGRUPPE
Definer målgruppen
-hvem er med og hvem er ikke?
-fx alder, køn, problemstillinger, bopæl …
Klare kriterier for hvilke krav man skal opfylde
-evt. også eksklusionskriterier
Man skal helst ikke være i tvivl om en person kan indgå i
studiet eller ej.
FØR- OG EFTERMÅLING
11-10-2013
24

25. MÅLGRUPPE
Forældretræningskurset henvender sig til forældre, som har et barn
med diagnosen ADHD eller forældre, som har mistanke om, at deres
barn har ADHD. Mange helt små børn er endnu ikke diagnosticerede, og
en del børn venter på udredning, så ved også at inddrage forældre til
børn med mistanke om ADHD, kan der sættes ind med en hurtigere
forebyggende indsats.
Forløbet er baseret på, at forældre deltager frivilligt. Det betyder, at der
allerede fra starten forventes et vist mål af ressourcer hos de
deltagende forældre, en motivation for at ville deltage aktivt, arbejde
med sin forældrerolle og skabe forandringer i hjemmet.
FØR- OG EFTERMÅLING
11-10-2013
25

26. MÅLGRUPPE
Eksklusionskriterier
•
Barnets primære diagnose er ikke ADHD
•
Familien har svære psykiske og sociale problemer, som kræver
professionel støtte
•
Forældrene har et aktivt misbrug
•
Forældrene har fysisk eller psykisk sygdom, der forstyrrer
gennemførelse af de ugentlige gruppemøder eller forhindrer
fremmøde
FØR- OG EFTERMÅLING
11-10-2013
26

27. SUCCESKRITERIER/MÅL
Skal passe med formålet med indsatsen
Skal være besluttet inden man starter undersøgelsen
På hvilke områder forventer man at se ændringer?
Hvor store ændringer forventer man?
Vælg gerne primære/vigtigste og sekundære/interessante
FØR- OG EFTERMÅLING
11-10-2013
27

28. SUCCESKRITERIER/MÅL
Skal være:
•
Relevante
•
Målbare
•
Praktisk mulige
•
Målt på samme tidspunkt for alle
Og gerne målt på de personer, der modtog indsatsen
(i modsætning til sagsbehandler, lærer, forældre mm.)
FØR- OG EFTERMÅLING
11-10-2013
28

29. SUCCESKRITERIER/MÅL (EKS. KIK)
•
en positiv ændring i forældrekompetencer i forhold til barnet (målt
ved PSI-SF)
•
en positiv ændring i forældrenes vurdering af sig selv som forældre
(målt ved PSOC)
•
Givet vi observerer en positiv ændring i forældrekompetencer,
forventer vi en positiv ændring i barnets og familiens dagligdag og
livskvalitet (målt ved AIM-C)
•
Givet vi observerer en positiv ændring i forældrekompetencer,
forventer vi en positiv ændring i barnets adfærd (målt ved ECBI)
FØR- OG EFTERMÅLING
11-10-2013
29

30. FØRMÅLING/SCREENING
Ensartet måde at vurdere borgerens problemstillinger
• Spørgeguide
• Screeningsværktøj
• Journalsystemer
Sikrer at:
• Alle vurderes på samme måde
• Alt huskes
• Niveau for problemstillinger
• Udgangspunkt for valg af indsats
FØR- OG EFTERMÅLING
11-10-2013
30

31. RESULTATER
• Afrapporter
• Offentliggør
Vær specifikke omkring hvordan I har lavet undersøgelsen, så
andre kan bruge resultaterne.
FØR- OG EFTERMÅLING
11-10-2013
31

32. FØR-EFTERMÅLING
To vigtige ting:
1. Der skal måles både før og efter indsatsen
2. Der skal måles på samme måde hver gang
man kan vise forskel fra start til slut
FØR- OG EFTERMÅLING
11-10-2013
32

33. SPØRGSMÅL?
Spørgsmål?
FØR- OG EFTERMÅLING
11-10-2013
33