Realistinen arviointi
•
0 likes•705 views
Minna Kivipellon esitys Kansallisen koulutuksen arviointikeskuksen (KARVI) koulutustilaisuudessa 17.4.2018
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Realistinen arviointi
Similar to Realistinen arviointi (20)
More from Minna Kivipelto
More from Minna Kivipelto (20)
Realistinen arviointi
- 1. Realistinen arviointi K A R V I N A R V I O I N T I K O U L U T U S 1 7 . 4 . 2 0 1 8
- 2. Alustuksen sisältö Realismi, käsitteet ja niiden merkitys arvioinnissa Esimerkkejä arvioinnin toteuttamisesta Tarkentavia kysymyksiä ja keskustelua 1 R E A L I S T I S E N A R V I O I N N I N T A U S T A 3 KESKUSTELUA JA KYSYMYKSIÄ 2 ARVIOINTIASETELMASTA
- 3. 1 Realistisen arvioinnin tausta
- 4. Tieteellinen realismi korostaa tieteen merkitystä todellisuuden kuvaamisessa. Teoriat ovat kuvauksia todellisuudesta, mutta havaintojen teoriapitoisuudesta (kokemukset ovat luonteeltaan käsitteellisiä) seuraa, että todellisuus ei ole suoraan tavoitettavissa. (Ks. esim. Pawson &Tilley 1997) Tieteellinen realismi Tieteen kehityksen ja tiedon kasvun kautta voidaan tarkastella sitä, miten tieteen antamat kuvaukset todellisuudesta tulevat paremmiksi ja miten tieteelliset teoriat ovat totuudenkaltaisia tai ainakin lähestyvät totuutta
- 5. Ei ole metodi, vaan arviointisuuntaus Ei edellytä tietynlaisen menetelmän käyttöä Sallii erilaisia tiedonkeruumuotoja, jotka vastaavat realistisen arvioinnin periaatteita Realistinen arviointi 0 10 20 30 40 50 Item 1 Item 2 Item 3 Item 4 Item 5 Mahdollisuus kerätä sekä laadullista että määrällistä aineistoa. Esim. määrällistä aineistoa kerätään olosuhteista/kontekstista ja tuloksista, laadullista aineistoa generatiivisista mekanismeista
- 7. Tutkimusasetelma Vertailuasetelmaa (=koe- ja kontrolliryhmiä) ei yleensä käytetä Asetelmana usein tapaustutkimus Asetelmassa mukana aina konteksti, mekanismien tutkimus ja tulosten/tavoitteiden seuranta: context- mechanism-outcome (CMO) Konteksti Tulokset ja vaikuttavuus Mekanismit
- 8. Kuvaa, millä tavoin ohjelman tulisi johtaa tiettyihin vaikutuksiin ja millaisissa olosuhteissa tämä tapahtuu parhaiten Voi perustua aiempaan tutkimukseen, tietoon ja kokemukseen siitä, miten ja miksi tietyt interventiot johtavat tiettyyn vaikutukseen Sisältää myös hypoteesit siitä, millaisilla mekanismeilla on merkitystä tavoitteiden saavuttamisessa Sisältää oletuksen, millaisten olosuhteiden vallitessa mekanismit toimivat parhaiten Ohjelmateoria Ohjelmateoria on eräänlainen teoreettinen viitekehys siitä, millaisista tekijöistä tavoitteiden ja vaikuttavuuden saavuttaminen rakentuu Mekanismit Tavoitteet Vaikuttavuus Konteksti
- 9. Tavoitteiden operationalisointi Tavoitteilla tarkoitetaan hankkeessa tai ohjelmassa luvattujen konkreettisten asioiden saavuttamista (esim. että opettajien perus-, perehdyttämis- ja täydennyskoulutuksen nykytila ja haasteet on analysoitu) Tavoitteiden saavuttamiseen voi liittyä konkreettien tuotos, esimerkiksi raportti nykytilasta ja haasteista Tavoitteen on oltava mitattavassa muodossa: tavoite on voitava joko kuvailla laadullisesti tai mitata määrällisesti sitä, miten tavoitteen saavuttaminen näkyy tai on havaittavissa. Arviointia hankaloittaa usein se, että usein tavoitteet on ilmaistu jossain muussa kuin mitattavassa muodossa (esimerkiksi ”tavoitteena on yhteistyön lisääminen”). Arvioitsijan tehtävänä on ”operationalisoida” tavoite arvioitavaan/mitattavaan muotoon, jotta sen saavuttamista voidaan arvioida (esimerkiksi ”tavoitteena on, että koulutuksen järjestäjät hyödyntävät ammatillisia verkostoja ja johtamiskoulutusta johtajien ammatillisen osaamisen kehittämisessä”).
- 10. Vaikuttavuus Ohjelman tms. tavoitteita ja vaikuttavuutta tutkitaan tarkastelemalla interventioiden, mekanismien ja kontekstien välisiä yhteyksiä Vaikuttavuus löytyy tarkastelemalla generatiivisten mekanismien ja kontekstin välisiä yhteyksiä Vaikuttavuus = toimenpide A johtaa vaikuttavuuteen B, jos mekanismi C tukee vaikuttavuuden saavuttamista olosuhteissa D C B A D
- 11. Vaikutus ja vaikuttavuus Vaikutusta pidetään tässä arvioinnissa konkreettisesti havaittavana asiana, joka on luvattu toteuttaa. Esimerkki vaikutuksesta on, että opettajien peruskoulutuksen kehittämisohjelma on laadittu. Yleensä jo vaikutuksenkin saavuttaminen on iso tehtävä ja edellyttää useiden tavoitteiden saavuttamista. Vaikuttavuudella voidaan tarkoittaa joko lyhyen aikavälin vaikutuksia, kuten välittömästi kehittämisen jälkeen havaittavaa vaikuttavuutta tai pidemmän, esimerkiksi vuoden kuluttua ilmenevää vaikuttavuutta. Vaikuttavuus on tavoitteisiin verrattuna syvempää, kuten että opettajankoulutuksen perus- ja täydennyskoulutus on uudistunut tai että oppijoiden opiskelumenestys on parantunut. Vaikuttavuus pitääkin havaita yleensä useilla eri mittareilla. Hyvässä hankesuunnittelussa huomioidaan, että konkreettisesti ja selkeästi asetetut tavoitteet tukevat vaikuttavuuteen pääsyä.
- 12. Vaikuttavuuden saavuttaminen Vaikutuksen saavuttaminen edellyttää tiettyjen osatavoitteiden saavuttamista Vaikuttavuuteen liittyy puolestaan se, että tavoitteet on saavutettu ja vaikutukset kyetty tunnistamaan Tie tavoiteltavaan vaikuttavuuteen on siis jatkumo, jossa tavoitteet, vaikutukset ja vaikuttavuus liittyvät toisiinsa Tarvitaan useita tavoitteita ja niiden toteutumista, ennen kuin voidaan esimerkiksi sanoa, että opettajien peruskoulutusohjelma on uudistettu ja toimeenpantu
- 13. Mekanismit Realistisessa arviointitutkimuksessa erityispiirteenä on tavoitteiden saavuttamiseen ja vaikuttavuuteen liittyvien mekanismien tunnistaminen Ajatellaan, että arvioinnissa voidaan löytää erilaisia vaikuttavia mekanismeja, joiden seurauksena muutokset voivat tapahtua Samalla tavoin mekanismit voivat myös estää tai ehkäistä tavoiteltuja muutoksia
- 14. Generatiivisilla mekanismeilla tarkoitetaan esimerkiksi erilaisia sosiaalisia, psyykkisiä ja rakenteellisia tekijöitä, jotka johtavat siihen, että ihmiset ajattelevat ja toimivat tietyllä tavalla. Huom! Generatiivinen mekanismi voi toimia vain ”oikeissa” olosuhteissa. Generatiivinen mekanismi
- 15. Generatiivisen kausaalisuuden mukaan todellisuus on kerrostunutta Arvioinnin avulla ei ole mahdollista saada tietoa kaikista mahdollisista asiaan kuuluvista vaikutussuhteista Generatiivinen kausaalisuus On kuitenkin parempi tietää ainakin edes jotain toimivista mekanismeista ja konteksteista, kuin jättää ne kokonaan huomioimatta M4 M1 M2 M3
- 16. A n a l y y s i Analyysissa aloitetaan tuloksista: millaisia tuloksia saatiin aikaan? Tarkastellaan, tukeeko tai haastaako aineisto ohjelmateoriaa? Selvitetään, millainen merkitys mekanismeilla oli tulosten saavuttamisessa? Millaiset mekanismit vaikuttivat tiettyihin tuloksiin? Mitkä mekanismit "reagoivat" tietyissä olosuhteissa? Millainen merkitys esimerkiksi sosioekonomisilla tekijöillä oli tavoitteiden saavuttamisessa?
- 17. Esimerkki 1 Lasten aggressioiden kohtaamiseen keskittyvällä ohjelmalla pyritään löytämään ratkaisuja tilanteisiin, joissa lapset käyttäytyvät aggressiivisesti Vaikutusten havaittiin kuitenkin olevan erilaisia eri lasten kohdalla Havaittiin, että osa perheistä hyötyi ohjelmasta ja lasten aggressiot vähenivät Toisten kohdalla ei havaittu vaikutuksia Millaisia generatiivisia mekanismeja löydettiin? Millaisissa ympäristöissä lapset elivät?
- 18. Esimerkki 2 Koulutuksen kehittämisohjelman arvioinnissa pyritään tunnistamaan erityisesti tavoitteisiin ja vaikuttavuuteen pääsyä tukeneita ja hankaloittaneita foorumiin liittyviä mekanismeja Miten kehittämisohjelman laadintaprosessi vaikutti tavoitteiden saavuttamiseen? Millaisia tukevia ja hankaloittavia mekanismeja laadintaprosessiin liittyi?
- 19. E s i m e r k k i 3 Opettajankoulutuksen kehittämisohjelman osuvuuden, toimivuuden, tulosten ja muutosten arviointi Ohjelmateorian avulla kuvataan aluksi varsin hypoteettisesti, miten ohjelma vastaa toimintaympäristön muutoksiin (osuvuus), millaiset toimintatavat foorumissa olivat toimivia (toimivuus), millaiset kehittämishankkeiden tulokset saatiin juurrutettua ja miten foorumi tuki opettajankoulutuksen uudistumista (muutos). Tiedonkeruun jälkeen palataan ohjelmateoriaan. Tarkastellaan esimerkiksi, olivatko oletetut toimintatavat toimivia? Vastasivatko toimintatavat toimintaympäristön muutoksiin?
- 20. Lopuksi Realistisessa arvioinnissa ei keskitytä niinkään kokonaisvaikutuksiin vaan siihen, mikä vaikuttaa mihinkin, milloin ja millaisilla edellytyksillä (Dahler- Larsen 2005) Tavoitteden, mekanismien ja kontekstin merkitys on hyvä selvittää ennen arvioinnin aloittamista (=ohjelmateoria) Arvioinnissa on annettava myös neuvoja siitä, mitä tarvitaan, jotta interventio (esim ohjelma) vaikuttaisi paremmin (Dahler-Larsen 2005)
- 21. Keskustelua
- 22. Thank you for your time today! M I N N A K I V I P E L T O , T H L