Riitta Seppänen-Järvelä: Arviointi- ja implementaatiotutkimukset - pyramidin ulko- vai sisäpuolella? Esitys Miten tutkia kuntoutusta – voiko näytön pyramidia avata? -seminaarissa 15.11.2017.

1. Arviointi- ja
implementaatiotutkimukset
- pyramidin ulko- vai
sisäpuolella?
Riitta Seppänen-Järvelä
Johtava tutkija, Kelan tutkimusryhmä
5.11.2017

3. Arviointi- ja implementaatiotutkimukset
3
Implementaatiotutkimus
Kohdistuu kuntoutuksen
toimeenpanoon ja
toiminnan toteutukseen
Arviointitutkimus
Kohdistuu kuntoutuksen
arvon tai ansion
määrittelyyn

4. Arviointi- ja implementaatiotutkimukset
• Tutkimus on hyvin monimuotoista ja eri tieteenaloille
tai toimialoille on muodostunut omat traditiot
• Yhteinen ”esihistoria”. Kritiikki perinteistä ohjelmien
tuloksiin keskittynyttä arviointia kohtaan: vaikka
ohjelman taustalla oleva interventioteoria oli
paikkansapitävä, eivät ohjelmat tuottaneet odotettuja
vaikutuksia  tarve tutkia mitä toimeenpanon aikana
tapahtui
• Tavoite on kaventaa tutkimukseen perustuvan tiedon
ja käytännön välistä kuilua
4

5. Riitta Seppänen-Järvelä5
Miksi arviointi tehdään? mikä on tarve?
Kuka sitä käyttää?
Mitä siltä odotetaan?
Millaista tietoa on tarkoitus tuottaa? Mihin sitä
käytetään?

6. Riitta Seppänen-Järvelä6
arviointi tiedon
tuottamisena
tilivelvollisuusarviointi
tulos- ja vaikuttavuusarviointi
kehittämisarviointi
prosessiarviointi
 Millaisia vaikutuksia kuntoutuksella
on?
 Mitkä ovat kustannukset?
 Onko uusi palvelu tehokkaampi kuin
aiempi?
 Tavoitetaanko kohderyhmä?
 Verkostoidutaanko oikeiden
kumppaneiden kanssa?
 Kuinka toimintaa voidaan parantaan?
 Toteutuuko uusi palvelu kuten oli
suunniteltu?
arvioinnin kohde

7. 7
Mitä on näyttö?

8. Formatiivinen ja summatiivinen arviointi

9. Formatiivinen arviointi
“When the cook tastes the soup, that’s formative evaluation.”
(Bob Stake)
Summatiivinen arviointi
“When the guest tastes it, that’s summative evaluation.” (Bob
Stake)
Kompleksinen kehittävä arviointi
- yhteiskehittely
“When a guest and a cook concoct a soup together, that co-creation
is Developmental Evaluation.” (Michael Quinn Patton)

10. Kehittämistä ohjaa:
interventioteoria/näyttö
Kehittämistä ohjaa:
visio/päämäärä
Tulos: intervention
kuvaus/malli
K
E
H
I
T
T
Ä
M
I
S
P
R
O
S
E
S
S
I
K
E
H
I
T
T
Ä
M
I
S
P
R
O
S
E
S
S
I
A
R
V
I
O
I
N
T
I
A
R
V
I
O
I
N
T
I
Tulos: tietoa intervention
toimivuudesta ja
vaikutuksista/vaikuttavuudesta

11. 11
Craig et al. 2008. Developing and evaluating complex interventions

12. Ricardo.Wilson-Grau@inter.nl.net

13. 13 (mm Pawson & Tilley 1997)
konteksti
mekanismi
tulos

14. 14
Kuntoutus
Rakenne
Sisältö
toimijat
muutos
tulos
vaikutus vaikuttavuus
jatkuvuus kestävyys
Kuntoutujan
elämäntilanne
työpaikka
esimies
ammatti
työterveys
kokemukset
odotukset
tarpeet
tavoitteet
toimijuus

15. Arviointi- ja implementaatiotutkimukset
- pyramidin ulko- vai sisäpuolella?
15
Context
matters!