Sitä tehdään, mitä
mitataan
8.5.2020Minna Kivipelto 1
Näkökulmia vaikutusten ja vaikuttavuuden arviointiin
Asiakas- ja palveluohjauksen erikoistumiskoulutus
Mitä on vaikuttavuuden arviointi?
Vaikuttavuus on saanut merkillisen paljon sananvaltaa
yhteiskunnassa ottaen huomioon, että se on tyhjä käsite.
Vasta kun tiedustellaan sitä, millaisten pyrkimysten valossa
jokin yhteiskunnallinen käytäntö on vaikuttava, käsite tulee
tärkeäksi. (Rajavaara 2007, 200.)
Esimerkkejä vaikuttavuudesta:
• Talous: säästöt, voitot, kustannukset..
• Hyvinvointi: koettu hv, sairauksien vähentyminen,
eriarvoistavien tekijöiden poistuminen, vähimmäisturvan
käyttö..
8.5.2020Minna Kivipelto 2
Miksi vaikuttavuutta tulee arvioida?
• Sosiaali- ja terveydenhuollolla on
erilaisia vaikutuksia yksilöön,
yhteisöihin ja yhteiskuntaan
• Vaikutukset voivat olla ennakoituja tai
ennakoimattomia
• Asiakkaat, potilaat, palvelujen ja
etuuksien käyttäjät
• Työntekijät, työmenetelmät
• Talous, rahoittajat
8.5.2020Minna Kivipelto 3
Hyvinvoinnin mittaaminen
8.5.2020Minna Kivipelto 4
• Mittaaminen = asioiden ja ilmiöiden määrän määrittämistä;
muutoksen näkyväksi tekemistä
• Mittaaminen edellyttää ilmiön tai asian käsitteellistämistä ja
operationalisointia mitattavaan muotoon
• Esimerkki: Taloudellisen tilanteesi arviointi asteikolla 1-5
• Mittari=väline, jolla muutos todetaan
• Mittarissa useita asiaa mittaavia kysymyksiä
• Validi mittari mittaa sitä, mitä on tarkoituskin mitata
• Pysyvä ja vakaa mittari mittaa samaa asiaa eri mittauskerroilla
”Kun mittarista tulee tulostavoite, se lakkaa
olemasta hyvä mittari”
• Parhaimmillaan mittarit nostavat esiin oivaltavaa tietoa siitä,
miten organisaatio toimii ja kykenee vastaamaan
asiakkaiden tarpeisiin.
• Tarkoituksenmukaiset mittarit antavat luotettavaa dataa,
jota organisaatio voi hyödyntää työn kehittämisessä.
• Mittaaminen ei vielä kerro kaikkea.
• Liian kapea mittaaminen voi johtaa vääristyneeseen
ajatteluun (”tulos tai ulos”).
(Lahtinen 2018)
8.5.2020Minna Kivipelto 5
Mittaamisesta arviointiin: AVAIN-mittari
8.5.2020Minna Kivipelto 6
• Tavoitteet  tavoitteiden saavuttaminen
• Mekanismit / tilannetekijät
• Vaikeuttavat mekanismit
• Tukevat mekanismit
• Käytetyt menetelmät
• Vaikuttavuus:
• Ennen: tavoitetulos
• Nyt: tavoitemenetelmät
+mekanismittulos
Esimerkki arviointituloksista (1/3)
8.5.2020Minna Kivipelto 7
(Koponen 2020, 103)
Esimerkki arviointituloksista (2/3)
8.5.2020Minna Kivipelto 8
(Koponen 2020, 108)
Esimerkki arviointituloksista (3/3)
8.5.2020Minna Kivipelto 9
(Koponen 2020, 123)
Lopuksi
• Vaikuttavuuden arviointi edellyttää vaikuttavuuden
määrittelyä
• Luotettava vaikuttavuustieto tuotetaan
mittaamiskohteeseen soveltuvilla mittareilla
• Vaikuttavuustiedon käsittely
• Vieminen päätöksentekoon
8.5.2020Minna Kivipelto 10
Lähteet
• Koponen, Erja (2020) Arviointitulokset. Teoksessa Kivipelto,
Minna (toim.) Osallistavaa aikuissosiaalityötä : Osallistavan
sosiaaliturvan kuntakokeilun tulokset. Raportteja 7/2020.
Helsinki: THL, 101-131.
• Lahtinen, Eero (2018) Kun mittarista tulee tulostavoite, se
lakkaa olemasta hyvä mittari. FA Blogi. Mittaamisen
merkitys.
8.5.2020Minna Kivipelto 11

Vaikuttavuuden arviointi

  • 1.
    Sitä tehdään, mitä mitataan 8.5.2020MinnaKivipelto 1 Näkökulmia vaikutusten ja vaikuttavuuden arviointiin Asiakas- ja palveluohjauksen erikoistumiskoulutus
  • 2.
    Mitä on vaikuttavuudenarviointi? Vaikuttavuus on saanut merkillisen paljon sananvaltaa yhteiskunnassa ottaen huomioon, että se on tyhjä käsite. Vasta kun tiedustellaan sitä, millaisten pyrkimysten valossa jokin yhteiskunnallinen käytäntö on vaikuttava, käsite tulee tärkeäksi. (Rajavaara 2007, 200.) Esimerkkejä vaikuttavuudesta: • Talous: säästöt, voitot, kustannukset.. • Hyvinvointi: koettu hv, sairauksien vähentyminen, eriarvoistavien tekijöiden poistuminen, vähimmäisturvan käyttö.. 8.5.2020Minna Kivipelto 2
  • 3.
    Miksi vaikuttavuutta tuleearvioida? • Sosiaali- ja terveydenhuollolla on erilaisia vaikutuksia yksilöön, yhteisöihin ja yhteiskuntaan • Vaikutukset voivat olla ennakoituja tai ennakoimattomia • Asiakkaat, potilaat, palvelujen ja etuuksien käyttäjät • Työntekijät, työmenetelmät • Talous, rahoittajat 8.5.2020Minna Kivipelto 3
  • 4.
    Hyvinvoinnin mittaaminen 8.5.2020Minna Kivipelto4 • Mittaaminen = asioiden ja ilmiöiden määrän määrittämistä; muutoksen näkyväksi tekemistä • Mittaaminen edellyttää ilmiön tai asian käsitteellistämistä ja operationalisointia mitattavaan muotoon • Esimerkki: Taloudellisen tilanteesi arviointi asteikolla 1-5 • Mittari=väline, jolla muutos todetaan • Mittarissa useita asiaa mittaavia kysymyksiä • Validi mittari mittaa sitä, mitä on tarkoituskin mitata • Pysyvä ja vakaa mittari mittaa samaa asiaa eri mittauskerroilla
  • 5.
    ”Kun mittarista tuleetulostavoite, se lakkaa olemasta hyvä mittari” • Parhaimmillaan mittarit nostavat esiin oivaltavaa tietoa siitä, miten organisaatio toimii ja kykenee vastaamaan asiakkaiden tarpeisiin. • Tarkoituksenmukaiset mittarit antavat luotettavaa dataa, jota organisaatio voi hyödyntää työn kehittämisessä. • Mittaaminen ei vielä kerro kaikkea. • Liian kapea mittaaminen voi johtaa vääristyneeseen ajatteluun (”tulos tai ulos”). (Lahtinen 2018) 8.5.2020Minna Kivipelto 5
  • 6.
    Mittaamisesta arviointiin: AVAIN-mittari 8.5.2020MinnaKivipelto 6 • Tavoitteet  tavoitteiden saavuttaminen • Mekanismit / tilannetekijät • Vaikeuttavat mekanismit • Tukevat mekanismit • Käytetyt menetelmät • Vaikuttavuus: • Ennen: tavoitetulos • Nyt: tavoitemenetelmät +mekanismittulos
  • 7.
  • 8.
  • 9.
  • 10.
    Lopuksi • Vaikuttavuuden arviointiedellyttää vaikuttavuuden määrittelyä • Luotettava vaikuttavuustieto tuotetaan mittaamiskohteeseen soveltuvilla mittareilla • Vaikuttavuustiedon käsittely • Vieminen päätöksentekoon 8.5.2020Minna Kivipelto 10
  • 11.
    Lähteet • Koponen, Erja(2020) Arviointitulokset. Teoksessa Kivipelto, Minna (toim.) Osallistavaa aikuissosiaalityötä : Osallistavan sosiaaliturvan kuntakokeilun tulokset. Raportteja 7/2020. Helsinki: THL, 101-131. • Lahtinen, Eero (2018) Kun mittarista tulee tulostavoite, se lakkaa olemasta hyvä mittari. FA Blogi. Mittaamisen merkitys. 8.5.2020Minna Kivipelto 11