Terveysliikunnan webinaarisarja: Liikunnan edistämisen hankearviointi -verkkoluennon esitysdiat. Tutustuminen onnistuneen liikunnan edistämisen hankearvioinnin periaatteisiin. Dosentti, TtT, ft, erikoistutkija Minna Aittasalo, UKK-instituutti

1. Minna Aittasalo 19.4.2016
Webinaari 19.4.2016
Minna Aittasalo
Dosentti, TtT, ft, erikoistutkija, UKK-instituutti
minna.aittasalo@uta.fi
Liikunnan edistämisen
hankearviointi

2. Minna Aittasalo 19.4.2016
1. Käsitteistä
• Liikunnan edistäminen
• Hanke
• Arviointi
2. Terveyden edistämisen arviointimalleja
3. RE-AIM –arviointikehys
Webinaarin sisältö

3. Minna Aittasalo 19.4.2016
Liikunnan edistäminen
1. Käsitteistä
Toimenpiteet
Hanke
Interventio
Determinantit Käyttäytyminen Terveys Elämänlaatu

4. Minna Aittasalo 19.4.2016
Hanke
• termin käyttö vakiintumatonta
• aie, aikomus, yritys, aloite, suunnitelma
• usein synonyymi sanalle ”projekti”
Määräasian toteuttamiseen tähtäävä työ

5. Minna Aittasalo 19.4.2016
Prosessin, suunnitelman, hankkeen, ohjelman tai politiikan
systemaattista arvottamista ja hyödyn tai hyödyttömyyden
osoittamista.
Roininen 2004
Sidoksissa aikakauteensa, kulttuuriinsa sekä
arvioitavaan alaan ja kohteeseen.
Koskinen-Ollonqvist 2005
Arviointi

6. Minna Aittasalo 19.4.2016
• asiakkaat: palvelujen laatu
• ammattilaiset: työn tuloksellisuus, toiminnan kehittäminen
• esimiehet: toiminnan perusteleminen
• organisaation johto: resurssien ohjaaminen
• kuntapäättäjät: strategisten valintojen tekeminen
• valtakunnalliset päättäjät: suositukset, linjaukset, lait
Miksi hankkeita pitäisi arvioida?

7. Minna Aittasalo 19.4.2016
Itsearviointi – toimija itse
Sisäinen arviointi – hankkeen toteuttajat
Ulkoinen arviointi – ulkopuolinen taho
Ketkä arvioivat?

8. Minna Aittasalo 19.4.2016
Prosessiarviointi (Process evaluation)
Vaikutusten arviointi (Impact evaluation)
Tulosarviointi (Outcome evaluation)
Tehokkuusarviointi (Efficiency Assessment)
Arviointitavat

9. Minna Aittasalo 19.4.2016
Toimenpiteet
Hanke
Interventio
Determinantit Käyttäytyminen Terveys
Liedekerken 1990
Elämänlaatu
Prosessi Vaikutukset Tulokset

10. Minna Aittasalo 19.4.2016
Mukailtu Koskinen-Ollonqvist ym. 2005
Tarve: Liiallisella istumisella on kielteisiä vaikutuksia
työntekijöiden työkykyyn
Tavoite: Työntekijöiden istuminen vähenee
Prosessi: Toimintamalli istumisen vähentämiseksi työpaikalla
Toiminnot: Kaikki 200 työntekijää osallistuvat
Vaikutus: 50 työntekijää vähentää istumistaan
Tulos: Työkyky paranee

11. Minna Aittasalo 19.4.2016
Arviointikysymys /
Tavoite
Indikaattori /
osoitin
Kriteeri Mittari
Arvioinnin osatekijät

12. Minna Aittasalo 19.4.2016
Esimerkki vaikutusten arvioinnista
Arviointikysymys
/ Tavoite
Indikaattori Kriteeri Mittari
Missä määrin
työntekijät
vähentävät
päivittäistä
istumistaan?
Päivittäisen
istumisen
määrä
minuuteissa
Päivittäinen
istuminen
vähenee
vähintään 30
minuuttia
Liikemittari
Kysely

13. Minna Aittasalo 19.4.2016
Esimerkki prosessiarvioinnista
Arviointikysymys
/ Tavoite
Indikaattori Kriteeri Mittari
Miten työntekijät
pyrkivät
vähentämään
päivittäistä
istumistaan?
Työntekijöiden käyttämät keinot
istumisen vähentämiseksi.
Haastattelu

14. Minna Aittasalo 19.4.2016
Arvioidaan pelkkiä vaikutuksia.
Arvioinnin kompastuskivet
Ei pystytä selittämään, mistä vaikutukset johtuvat.
Arvioidaan pelkkiä prosesseja.
Ei pystytä selittämään, mitä vaikutusta
toimenpiteillä on.

15. Minna Aittasalo 19.4.2016
Hankearviointiin on monenlaisia malleja ja viitekehyksiä.
Useimmat mallit on tarkoitettu sekä hankkeiden
suunnitteluun että arviointiin.
Keskeisenä lähtökohtana on, että arviointi on osa
hankesuunnitelmaa.
2. Terveyden edistämisen arviointimalleja

16. Minna Aittasalo 19.4.2016
Toimenpiteet
Hanke
Interventio
Determinantit Käyttäytyminen Terveys
Suunnittelu
Arviointi
Liedekerken 1990
Keskeinen lähtökohta
Elämänlaatu

17. Minna Aittasalo 19.4.2016
PRECEDE-PROCEED
PRECEDE=Predisposing, Reinforcing and Enabling Constructs
in Educational/Environmental Diagnosis and Evaluation
PROCEED=Policy, Regulatory And Organizational Constructs in
Educational and Environmental Development
Green & Kreuter 1999
Intervention Mapping
Bartholomew ym. 2001
SUUNTA
Terveyden edistämisen keskus, SOSTE ry
RE-AIM
Glasgow ym. 1999
Esimerkkejä malleista

18. Minna Aittasalo 19.4.2016
Terveys-
kasvatus
Politiikka
Sääntely
Järjestelmät
Altistavat tekijät
Vahvistavat
tekijät
Mahdollistavat
tekijät
Käyttäytyminen
Ympäristö
Terveys
Elämän-
laatu
Terveyden edistäminen
Vaihe 6
Toteutus
Vaihe 7
Prosessiarviointi
Vaihe 8
Vaikutusten arviointi
Vaihe 9
Tulosarviointi
Vaihe 5
Hallinnollinen ja
poliittinen diagnoosi
Vaihe 4
Kasvatukselliset ja
ekologiset edellytykset
Vaihe 3
Käyttäytymis- ja
ympäristötekijät
Vaihe 2
Epidemiologinen
diagnoosi
Vaihe 1
Sosiaalinen
diagnoosi
Green & Kreuter 1999, s. 35; Carson Gielen & McDonald 2002
PRECEDE-PROCEED
http://www.lgreen.net/precede.htm

19. Minna Aittasalo 19.4.2016
3. RE-AIM -viitekehys
• PRECEDE-PROCEED suunnittelu- ja arviointimalli
(Green ja Kreuter 1999)
• Diffuusioteoria eli Diffusion of Innovations (Rogers
1995 )
Tausta

20. Minna Aittasalo 19.4.2016
Rogers 2003
laggards
vitkastelijat
innovators
innovoijat
early adopters
nopeat omaksujat
early majority
varhaiset herääjät
late majority
myöhäiset herääjät
Omaksumisen
aste
aika
100 %
75 %
50 %
25 %

21. Minna Aittasalo 19.4.2016
R Reach Tavoittavuus
E Efficacy / effectiveness Vaikuttavuus
A Adoption Omaksuminen
I Implementation Toteutuminen
M Maintenance Pysyvyys
Arvioinnin ulottuvuudet

22. Minna Aittasalo 19.4.2016
Ulottuvuus Arviointikysymys Indikaattori Mittari
Tavoittavuus
Yksilötaso Mikä osuus kohdejoukosta altistui
hankkeelle ja kuinka hyvin he
edustivat koko kohdejoukkoa?
Osallistujien osuus kohdejoukosta
ja millaisia he olivat suhteessa
kohdejoukkoon (ikä, sukupuoli,
liikunta-aktiivisuus jne.)
Vaikuttavuus
Yksilötaso
Missä määrin hanke onnistui
saavuttamaan tavoitteensa niiden
henkilöiden kohdalla, jotka aloittivat
siinä?
Tavoitteen saavuttamisen aste:
liikunta-aktiivisuus, terveyskunto,
oireiden määrä jne.
Omaksuminen
Toimintaympäristö Miten suuri osuus potentiaalisista
toimintayksiköistä / toimijoista
osallistui hankkeeseen ja miten hyvin
he edustivat kohderyhmää?
Osallistuneiden toimintayksiköiden
ja toimijoiden osuus potentiaalisista
osallistujista
Huom! osallistumisen esteet
Toteutuminen 6kk– 1v
Toimintaympäristö /
toimijat
Missä määrin hanke toteutui
suunnitellulla tavalla?
Ohjeiden noudattaminen sekä
hankkeen toimintojen toteutuminen
ja niihin osallistuminen
Pysyvyys ≥ 2 vuotta
Yksilötaso
Toimintaympäristö
Missä määrin tavoite pysyi yllä?
Missä määrin hankkeeseen
sisältyneitä toimintatapoja jatkettiin tai
missä määrin ne jäivät pysyviksi
käytännöiksi toimintaympäristöönsä?
Samat kuin vaikuttavuudessa
Hankkeen toimintatapojen käyttö

23. Minna Aittasalo 19.4.2016
Subjektiivisia menetelmiä
• havainnointi
• päiväkirja
• kirjanpito
• haastattelu
• kysely
Objektiivisia mittareita
• askelmittari
• kiihtyvyysmittari
• aktiivisuusranneke
• sykemittari
• GPS
Mittareista

24. Minna Aittasalo 19.4.2016
hankkeen tuloksia voidaan arvioida suhteessa
yleistettävyyteen, sovellettavuuteen ja
käyttökelpoisuuteen
erilaisia hankkeita voidaan verrata toisiinsa
systemaattisemmalla tavalla
hankkeiden / toimintakäytäntöjen välillä voidaan
tehdä perusteltuja valintoja
Hyötyjä

25. Minna Aittasalo 19.4.2016
Glasgow ym. 2006

26. Minna Aittasalo 19.4.2016
Hankearvioinnin haasteita ja ratkaisuja
RE-AIM –viitekehykseen sovellettuna
Haaste Ratkaisu
R Osallistujat eivät ole sitä, mitä haluttiin
tai he ovat valikoituneita
Ei liian monia poissulkukriteerejä, rekrytointi
väestön mukaan
E Ei ole ymmärrystä arvioitavista
tekijöistä tai siitä, mikä niihin vaikuttaa
Monipuolinen kirjo arvioitavia tekijöitä, useita
arvioinnin aikajänteitä
A Hankkeeseen ei osallistuta Mahdollisten toteuttajien lähestyminen jo siinä
vaiheessa, kun muutosten tekeminen
hankkeeseen on vielä mahdollista.
I Toimenpiteet eivät toteudu tarkoitetulla
tavalla
Toimenpiteiden toteuttamiskelpoisuuden
arviointi etukäteen ja suunnitteluyhteistyö
keskeisten toimijoiden kanssa
M Hankkeen toimenpiteet ja/tai niiden
vaikutukset eivät säily
Juurruttamisen sisällyttäminen sekä toteutus-
että arviointisuunnitelmaan (disseminaatio).
Glasgow 2002

27. Minna Aittasalo 19.4.2016
UKK-instituutin koulutustarjonta
http://www.ukkinstituutti.fi/koulutustapahtumat
Kiitos!