HANKETYÖN KEHITTÄVÄ ARVIOINTI 11.9.2009 1. Arvioinnin perusteet 2. Kehittävän arvioinnin sovellukset 3. Yhteenveto Anu Räisänen

Mitä arviointi on? Miksi hanketyössä tarvitaan arviointia? Millaista arvioinnin tulisi olla? Kuka arvioi hanketta?

MITÄ ARVIOINTI ON JA MITÄ VARTEN SE ON ? Mitä: Tulkinnallista analyysia toiminnalle asetettujen tavoitteiden saavuttamisesta (vaikuttavuus) prosessin laadusta ja toiminnan systemaattisuudesta ja suunnitelman toteutumisesta (tehokkuus) kriteereiden mukaisuudesta Miksi: laadun varmistamiseksi hallinnolle (accountability) toiminnan ja järjestelmän kehittämiseksi ja oppimisen tehostamiseksi (development & learning) hyvien käytäntöjen levittämiseksi ei julkisuustarkoitusta Arvioinnin määrittäminen suhteessa arvioinnin tehtäviin ja tavoitteisiin kehittävyys – tilivelvollisuus -tasapaino Arviointi on AINA ARVOTTAVA kannanotto! Anu Räisänen 2009

Mitä:

Tulkinnallista analyysia

toiminnalle asetettujen tavoitteiden saavuttamisesta (vaikuttavuus)

prosessin laadusta ja toiminnan systemaattisuudesta ja suunnitelman toteutumisesta (tehokkuus)

kriteereiden mukaisuudesta

Miksi:

laadun varmistamiseksi hallinnolle (accountability)

toiminnan ja järjestelmän kehittämiseksi ja oppimisen tehostamiseksi (development & learning)

hyvien käytäntöjen levittämiseksi

ei julkisuustarkoitusta

Arvioinnin määrittäminen suhteessa arvioinnin tehtäviin ja tavoitteisiin

kehittävyys – tilivelvollisuus -tasapaino

Arviointi on AINA ARVOTTAVA kannanotto!

ARVIOINNIN KEHITYSNÄKYMÄT Holistinen ote Heiveröinen kontrolli funktio Tavoitteena jatkuva parantaminen: Enemmän haasteita ja haasteiden johtamista, asiakas- ja kansalaislähtöisyyttä – todellisia innovaatioita Stakeholdereiden & sosiaalisten kumppaneiden & omistajien osallistaminen Tavoitteiden asettaminen Tarve parempaan tulosten arviointiin ja linkitykseen tavoitteisiin Kohti oppivaa organisaatiota ja jatkuvaa oppimista Benchmarking –toiminnasta – benchlearning kulttuuriin Usko ”inclusiiviseen” arviointiin ( inclusive & intelligent evaluation ) ja yhteistyöhön Evaluation for accountability Evaluation for development Evaluation for knowledge Anu Räisänen 2009

Holistinen ote

Heiveröinen kontrolli funktio

Tavoitteena jatkuva parantaminen:

Enemmän haasteita ja haasteiden johtamista, asiakas- ja kansalaislähtöisyyttä – todellisia innovaatioita

Stakeholdereiden & sosiaalisten kumppaneiden & omistajien osallistaminen

Tavoitteiden asettaminen

Tarve parempaan tulosten arviointiin ja linkitykseen tavoitteisiin

Kohti oppivaa organisaatiota ja jatkuvaa oppimista

Benchmarking –toiminnasta – benchlearning kulttuuriin

Usko ”inclusiiviseen” arviointiin ( inclusive & intelligent evaluation ) ja yhteistyöhön

ARVIOINNIN ULOTTUVUUDET Toiminta on ollut tuloksellista, jos arvioitava kohde on saavuttanut ne tavoitteet, joita sille on joko ulkopuolisen tahon tai sen itsensä toimesta asetettu. Tehokkuus kuvaa toimintaa ” Kuinka tarkoituksen- mukaista toiminta on?” toiminnan laatu … .. Taloudellisuus kuvaa tehtyjen valintojen taloudellisuutta ” Mitä rahalla saa?” - taloudellisuuden osoittaminen, ei vain kustannusten seuranta -…. Vaikuttavuus kuvaa toiminnan seurauksia ” Onko tulos syntynyt toiminnan seurauksena?” osaaminen toimintojen vakiintuminen näkemys hyödystä pitkän tähtäimen näytöt … . Anu Räisänen 2009 Prosessi – tulos – edellytys - vaikutus – vaikuttavuus Tavoitehierarkia: Ohjelman – hankkeen – yksilön tavoitteet !

Tehokkuus

kuvaa toimintaa

” Kuinka tarkoituksen-

mukaista toiminta on?”

toiminnan laatu

… ..

Taloudellisuus

kuvaa tehtyjen valintojen

taloudellisuutta

” Mitä rahalla saa?”

- taloudellisuuden osoittaminen, ei vain kustannusten seuranta

-….

Vaikuttavuus

kuvaa toiminnan

seurauksia

” Onko tulos syntynyt

toiminnan seurauksena?”

osaaminen

toimintojen vakiintuminen

näkemys hyödystä

pitkän tähtäimen näytöt

… .

ARVIOINNIN PERUSTEET Standardi- /ja kriteeriperustaisuus standardit kuvaavat vaatimustason kriteerit määrittävät arvioinnin perusteen standardit ja kriteerit määritetään ennalta kriteerit ovat välttämätön ehto standardeihin perustuvaan arviointiin kriteeriperustaisuus ei edellytä standardeja arvioinnissa kohteen tilaa verrataan kriteeriin Suhteellisuus tuloksia verrataan keskenään tai aiempiin suorituksiin tai aiempaan tilaan arvioinnissa vakiintuneita ”pisteytys- ja sijoitusmalleja” mm. Gaussin käyrä korostaa järjestystä esimerkkinä kyselyt ja eri vastaajaryhmien erot Tulkinnallisuus tila-analyysi ja syväluotaus ” tässä ja nyt” ei vertailuja voi toimia syväluotauksena muun arviointitiedon rinnalla voi kohdistua esim. elämismaailmaan esim. portfoliot, tarinat, elämäkerrat, kuvaukset Anu Räisänen 2009 Arvioinnin tarkoitus ja tehtävä! Arviointikohteen selkeys! Arviointikysymysten merkitys!

Standardi- /ja kriteeriperustaisuus

standardit kuvaavat vaatimustason

kriteerit määrittävät arvioinnin perusteen

standardit ja kriteerit määritetään ennalta

kriteerit ovat välttämätön ehto standardeihin perustuvaan arviointiin

kriteeriperustaisuus ei edellytä standardeja

arvioinnissa kohteen tilaa verrataan kriteeriin

Suhteellisuus

tuloksia verrataan keskenään tai aiempiin suorituksiin tai aiempaan tilaan

arvioinnissa vakiintuneita ”pisteytys- ja sijoitusmalleja” mm. Gaussin käyrä

korostaa järjestystä

esimerkkinä kyselyt ja

eri vastaajaryhmien erot

Tulkinnallisuus

tila-analyysi ja syväluotaus

” tässä ja nyt”

ei vertailuja

voi toimia syväluotauksena

muun arviointitiedon rinnalla

voi kohdistua esim. elämismaailmaan

esim. portfoliot, tarinat, elämäkerrat, kuvaukset

MITTARIT JA MUU AINEISTON KERUU Mittarit määrälliset ja laadulliset indikaattorit kokeelliset asetelmat kyselylomakkeet tilastot, rekisterit, seurantatiedot ennusteet tyytyväisyyttä kuvaavat palautteet Laadullinen aineisto toiminnan kuvaus haastattelut tarinat päiväkirjat portfoliot SWOT -analyysit kriittiset pisteet (critical incident) asiantuntijalausunnot auditoinnit (sisäinen, ulkoinen) asiantuntijanäkemykset vertailevat menetelmät (benchmarking, vertaisarvioinnit) arviointiseminaarit – fokusryhmät, paneelit oman työn tutkiminen laatupiirit (stakeholders) yksittäiset tunnusluvut summamuuttujat luokittelu, aikasarjat vertailut tilastolliset analyysit tulkinnallinen analyysi konsensusistunnot, vertaistulkinnat Anu Räisänen 2009

Mittarit

määrälliset ja laadulliset indikaattorit

kokeelliset asetelmat

kyselylomakkeet

tilastot, rekisterit, seurantatiedot

ennusteet

tyytyväisyyttä kuvaavat palautteet

Laadullinen aineisto

toiminnan kuvaus

haastattelut

tarinat

päiväkirjat

portfoliot

SWOT -analyysit

kriittiset pisteet (critical incident)

asiantuntijalausunnot

auditoinnit (sisäinen, ulkoinen)

asiantuntijanäkemykset

vertailevat menetelmät (benchmarking, vertaisarvioinnit)

arviointiseminaarit – fokusryhmät, paneelit

oman työn tutkiminen

laatupiirit (stakeholders)

yksittäiset tunnusluvut

summamuuttujat

luokittelu,

aikasarjat

vertailut

tilastolliset analyysit

tulkinnallinen analyysi

konsensusistunnot, vertaistulkinnat

Millaista arviointia, millaisin menetelmin? arvioinnin tarkoitus, merkitys ja arvioinnin tehtävät arvioinnin perusta, lähestymistapa & arviointiasetelman merkitys arviointikysymysten määrittäminen arvioinnin lähestymistavat - aineiston hankinta – tulos Anu Räisänen 2009 Arvioinnin tarkoitus: Mitä arvioidaan? Mihin arviointia käytetään? Miksi arviointia tehdään? Ketä varten arviointia tehdään? Mitä arvioinnilta odotetaan?

arvioinnin tarkoitus, merkitys ja arvioinnin tehtävät

arvioinnin perusta, lähestymistapa & arviointiasetelman merkitys

arviointikysymysten määrittäminen

arvioinnin lähestymistavat - aineiston hankinta – tulos

KEHITTÄÄKÖ ARVIOINTI? Arviointi kehittämistyötä tukevana toimintana Tarvitaan seurannan ja arvioinnin asetelma, joka tuottaa tietoa oppimisen ja kehittymisen perustaksi Arvioinnin prosessikäyttö: tiedon ja tiedonkeruun hyödyntäminen kehittämisessä ja evaluatiivisen työtavan juurruttaminen osaksi työyhteisön toimintaa tarkoitus on tukea ohjelman, toiminnan tms. arvioivan työotteen kehittymistä voi olla sisäistä tai ulkoista/tuettua arviointia, joka tukee muutosta ja kehitystä sekä syventää tietoisuutta tavoitteena on parantaa toiminnan vaikuttavuutta summatiivisen (tulokset ja vaikuttavuus) ja formatiivisen (kehitys, edellytykset, toimintatapa) arvioinnin tasapaino Anu Räisänen 2009

Arviointi kehittämistyötä tukevana toimintana

Tarvitaan seurannan ja arvioinnin asetelma, joka tuottaa tietoa oppimisen ja kehittymisen perustaksi

Arvioinnin prosessikäyttö:

tiedon ja tiedonkeruun hyödyntäminen kehittämisessä ja evaluatiivisen työtavan juurruttaminen osaksi työyhteisön toimintaa

tarkoitus on tukea ohjelman, toiminnan tms. arvioivan työotteen kehittymistä

voi olla sisäistä tai ulkoista/tuettua arviointia, joka tukee muutosta ja kehitystä sekä syventää tietoisuutta

tavoitteena on parantaa toiminnan vaikuttavuutta

summatiivisen (tulokset ja vaikuttavuus) ja formatiivisen (kehitys, edellytykset, toimintatapa) arvioinnin tasapaino

KEHITTÄVÄN ARVIOINNIN KÄSITE on tarkasteltavan kohteen tulkinnallista ja kriittistä analyysia ja toiminnan tuottaman hyödyn tai arvon määrittämistä kytkettynä läheisesti toiminnan laadun parantamiseen, kehittämiseen ja toimintojen uudistamiseen tähtää syvälliseen ja jatkuvaan oppimiseen – kokonaisvaltaisuus - prosessuaalisuus painottaa kontekstuaalisuutta ja osallisuutta sekä kokemusta sekä avoimuutta vrt. tilivelvollisuus ja kontrolli systemaattinen tapa tukea tavoitteiden saavuttamista vrt. tavoiteperustainen ja tavoitevapaa arviointi vrt. kriteeriperustainen arviointi vrt. standardiperustainen arviointi sisältää jatkuvan parantamisen spiraalin sisältää menetelmien kirjon arviointi & kehittäminen & kehittävä arviointi Anu Räisänen 2009

on tarkasteltavan kohteen tulkinnallista ja kriittistä analyysia ja toiminnan tuottaman hyödyn tai arvon määrittämistä kytkettynä läheisesti toiminnan laadun parantamiseen, kehittämiseen ja toimintojen uudistamiseen

tähtää syvälliseen ja jatkuvaan oppimiseen – kokonaisvaltaisuus - prosessuaalisuus

painottaa kontekstuaalisuutta ja osallisuutta sekä kokemusta sekä avoimuutta

vrt. tilivelvollisuus ja kontrolli

systemaattinen tapa tukea tavoitteiden saavuttamista

vrt. tavoiteperustainen ja tavoitevapaa arviointi

vrt. kriteeriperustainen arviointi

vrt. standardiperustainen arviointi

sisältää jatkuvan parantamisen spiraalin

sisältää menetelmien kirjon

arviointi & kehittäminen & kehittävä arviointi

KEHITTÄVÄ ARVIOINTI tavoite määritetään kohteittain RÄÄTÄLÖINTI TARPEEN MUKAAN kohteena olevien osallisuus arvioinnin suunnitteluun, arviointiin ja jatkuvaan parantamiseen SUBJEKTIUS JA VUOROVAIKUTUS PERUSTA ITSEARVIOINNISSA arviointiprosessi ja tulos hyödyttää kehittämistä PROSESSUAALISUUS HYÖDYNNETTÄVYYS KÄYTÄNNÖN LÄHEISYYS PALAUTTEEN MERKITYS painottaa yhteisöllisyyttä ja konsensushakuisuutta – ei absoluuttista totuutta REFLEKTIO ERI TAHOJEN YHTEINEN KONSENSUS asiantuntijat käsitteellistävät, suunnittelevat arviointimallit ja menetelmät, osallistavat eri tahot arviointiprosessiin ja tekevät arvioivat tulkinnat ASIANTUNTIJAVASTUU JAETTUA MONITAHOISUUS (arvioijat, sidosryhmät, toimijat…) Anu Räisänen 2009 OSALLISTAVUUS JA KEHITTÄVYYS ARVIOINTI & KEHITTÄMINEN & KEHITTÄVÄ ARVIOINTI

tavoite määritetään kohteittain

RÄÄTÄLÖINTI TARPEEN MUKAAN

kohteena olevien osallisuus arvioinnin suunnitteluun, arviointiin ja jatkuvaan parantamiseen

SUBJEKTIUS JA VUOROVAIKUTUS

PERUSTA ITSEARVIOINNISSA

arviointiprosessi ja tulos hyödyttää kehittämistä

PROSESSUAALISUUS

HYÖDYNNETTÄVYYS

KÄYTÄNNÖN LÄHEISYYS

PALAUTTEEN MERKITYS

painottaa yhteisöllisyyttä ja konsensushakuisuutta – ei absoluuttista totuutta

REFLEKTIO

ERI TAHOJEN YHTEINEN KONSENSUS

asiantuntijat käsitteellistävät, suunnittelevat arviointimallit ja menetelmät, osallistavat eri tahot arviointiprosessiin ja tekevät arvioivat tulkinnat

ASIANTUNTIJAVASTUU JAETTUA

MONITAHOISUUS (arvioijat, sidosryhmät, toimijat…)

OSALLISTAVUUS JA KEHITTÄVYYS

ARVIOINTI & KEHITTÄMINEN & KEHITTÄVÄ ARVIOINTI

KEHITTÄVÄN ARVIOINNIN MALLEJA MONITAHOARVIOINTI eri näkökulmat ja menetelmät sidosryhmäperusteinen (stakeholder) (rahoittajat, päätöksentekijät, kehittäjät, toimijat, intressiryhmät, vertaiset jne…) arviointiraadit ja konsensus laaja-alaisuus – monet kannanotot ja arvolausunnot neuvottelevuus – valtaa pitävät koalitiot/avainryhmät sosiaalinen oikeudenmukaisuus – vähäisinkin hyödynsaaja evolutionaarisuus – suhde ympäristön muutokseen OSALLISTAVA ARVIOINTI subjektius sidosryhmien ja toimijoiden näkökulmat arvioija on osallistaja, kouluttaja, valmentaja, edistäjä – ei arvioija konsensus voimaantuminen – valtaistuminen - empowerment Anu Räisänen 2009 Esim. parivertailut, arviointiraadit ja –istunnot, teema- & fokusryhmäkeskustelut, vertaisarvioinnit, benchmarking, parivertailut, portfoliot, auditoinnit, konsultatiivinen arviointi, moderation…

MONITAHOARVIOINTI

eri näkökulmat ja menetelmät

sidosryhmäperusteinen (stakeholder) (rahoittajat, päätöksentekijät, kehittäjät, toimijat, intressiryhmät, vertaiset jne…)

arviointiraadit ja konsensus

laaja-alaisuus – monet kannanotot ja arvolausunnot

neuvottelevuus – valtaa pitävät koalitiot/avainryhmät

sosiaalinen oikeudenmukaisuus – vähäisinkin hyödynsaaja

evolutionaarisuus – suhde ympäristön muutokseen

OSALLISTAVA ARVIOINTI

subjektius

sidosryhmien ja toimijoiden näkökulmat

arvioija on osallistaja, kouluttaja, valmentaja, edistäjä – ei arvioija

konsensus

voimaantuminen – valtaistuminen - empowerment

PARIVERTAILUT asiantuntijoiden, ryhmien ja yhteisöjen keskinäiseen arviointiin valmistelu ja dokumentointi ARVIOINTIRAADIT JA -ISTUNNOT konsensusarviointia monitahoisuus arvioinnissa valmistelu ja dokumentointi TEEMAKESKUSTELUT (vrt. fokusryhmät ) arviointiprosessin eri vaiheissa valmistelu ja dokumentointi PORTFOLIOT yhteisön näytteet toiminnasta, innovaatioista ja tuloksista perustuu reflektointiin AUDITOINNIT sisäiset ja ulkoiset tai ohjattu sisäinen Anu Räisänen 2009

PARIVERTAILUT

asiantuntijoiden, ryhmien ja yhteisöjen keskinäiseen arviointiin

valmistelu ja dokumentointi

ARVIOINTIRAADIT JA -ISTUNNOT

konsensusarviointia

monitahoisuus arvioinnissa

valmistelu ja dokumentointi

TEEMAKESKUSTELUT (vrt. fokusryhmät )

arviointiprosessin eri vaiheissa

valmistelu ja dokumentointi

PORTFOLIOT

yhteisön näytteet toiminnasta, innovaatioista ja tuloksista

perustuu reflektointiin

AUDITOINNIT

sisäiset ja ulkoiset tai ohjattu sisäinen

VERTAISARVIOINNIT (vrt. Vertaileva arviointi) Arvioitavan kohteen kriittistä ja systemaattista arviointia, joka perustuu ennalta asetettuihin kriteereihin Arvioijana vertainen, jolla on suunnilleen samat tiedot ja taidot kuin arvioitavalla sekä selkeä näkemys tämän työstä Tarkoituksena palautteen antaminen ja ammatillisen kasvun edistäminen Soveltuu myös työyhteisöihin BENCHMARKING vertailuarviointi ja –kehittäminen voi kohdistua prosesseihin, strategioihin, johtamiseen jne…. perustuu oman toiminnan analyysiin ja vertaamiseen toisen itseään vähän paremman organisaation toiminnan analyysiin edellyttää systemaattisuutta ei ole opintokäynti Anu Räisänen 2009

VERTAISARVIOINNIT (vrt. Vertaileva arviointi)

Arvioitavan kohteen kriittistä ja systemaattista arviointia, joka perustuu ennalta asetettuihin kriteereihin

Arvioijana vertainen, jolla on suunnilleen samat tiedot ja taidot kuin arvioitavalla sekä selkeä näkemys tämän työstä

Tarkoituksena palautteen antaminen ja ammatillisen kasvun edistäminen

Soveltuu myös työyhteisöihin

BENCHMARKING

vertailuarviointi ja –kehittäminen

voi kohdistua prosesseihin, strategioihin, johtamiseen jne….

perustuu oman toiminnan analyysiin ja vertaamiseen toisen itseään vähän paremman

organisaation toiminnan analyysiin

edellyttää systemaattisuutta

ei ole opintokäynti

VERTAISARVIOINNIN MENETELMIÄ 1 Benchmarking – vertailuarviointi ja kehittäminen 2 Moderation 3 Ristiin arviointi 4 Sisäinen/ulkoinen auditointi jne…. sekä yksilö- että ryhmäarvioinnit sekä tulos- että prosessiarvioinnit Anu Räisänen 2009

1 Benchmarking – vertailuarviointi ja kehittäminen

2 Moderation

3 Ristiin arviointi

4 Sisäinen/ulkoinen auditointi

jne….

sekä yksilö- että ryhmäarvioinnit

sekä tulos- että prosessiarvioinnit

MODERAATIO Perustuu reflektiivisyyteen, osallistavuuteen ja konsensukseen Kohteena toiminta, jossa ollaan osallisena Prosessi – ei tulosarviointia – etenee vaiheittain Oppiminen ja palaute p arantaa päätöksentekoa, ammatillista itsekunnioitusta, luottamusta omaan toimintaan ja avoimuutta Vertaisten kanssa yhdessä Asiantuntijan käyttö Anu Räisänen 2009

MODERAATIO

Perustuu reflektiivisyyteen, osallistavuuteen ja konsensukseen

Kohteena toiminta, jossa ollaan osallisena

Prosessi – ei tulosarviointia – etenee vaiheittain

Oppiminen ja palaute p arantaa päätöksentekoa, ammatillista

itsekunnioitusta, luottamusta omaan toimintaan ja avoimuutta

Vertaisten kanssa yhdessä

Asiantuntijan käyttö

- moderation on aina ohjattua ja johdettua - voidaan käyttää esim. tulkittaessa, vastaako käytännön toiminta asetettuja tavoitteita ja arvioitavan toimintakentän ihanteita - edellyttää eri toimijoiden kohtaamista – sopii muutosprosessien ja oppimiseen ja ”vallan jakoon” tähtääviin arviointeihin - arvioinnissa painottuvat toimijoiden tulkinnat ja pyrkimys konsensukseen Anu Räisänen 2009

MODERATION-MALLI työyhteisö 1 työyhteisö 2 työyhteisö 3 Konsensus Konsensus Konsensus Konsensus Anu Räisänen 2009

räätälöidään tarpeiden ja odotusten mukaan ulkopuolisten arviointiasiantuntijoiden hyödyntäminen arviointisuunnitelman laadinnassa, arvioinnissa ja arvioinnin ohjauksessa sekä valmentamisessa sekä ulkoisessa arvioinnissa kokonaistilanteen hahmottaminen ja käsitteellistäminen perustuu vastavuoroiseen dialogiin palvelun tarvitsija päättää viimekädessä lähestymistavat arvioija vastaa metodeista, prosessista ja arvioinnista - vastuu on jakamaton sekä suullinen että kirjallinen raportointi – suositukset päätöksenteko on ”omistajalla” VALLAN KÄYTÖN ETIIKKA arvioija vastaa arvioinnista –jakamaton vastuu! edellyttää arvioijalta kohteen tuntemusta, arviointiosaamista ja sosiaalisia taitoja – kykyä konsensukseen arvioija ei osallistu arviointitulosten perusteella tehtävään päätöksentekoon Anu Räisänen 2009 KONSULTATIIVINEN ARVIOINTI

räätälöidään tarpeiden ja odotusten mukaan

ulkopuolisten arviointiasiantuntijoiden hyödyntäminen arviointisuunnitelman laadinnassa, arvioinnissa ja arvioinnin ohjauksessa sekä valmentamisessa sekä ulkoisessa arvioinnissa

kokonaistilanteen hahmottaminen ja käsitteellistäminen

perustuu vastavuoroiseen dialogiin

palvelun tarvitsija päättää viimekädessä lähestymistavat

arvioija vastaa metodeista, prosessista ja arvioinnista - vastuu on jakamaton

sekä suullinen että kirjallinen raportointi – suositukset

päätöksenteko on ”omistajalla”

VALLAN KÄYTÖN ETIIKKA

arvioija vastaa arvioinnista –jakamaton vastuu!

edellyttää arvioijalta kohteen tuntemusta, arviointiosaamista ja sosiaalisia taitoja – kykyä konsensukseen

arvioija ei osallistu arviointitulosten perusteella tehtävään päätöksentekoon

RISTIIN ARVIOINTI & AUDITOINTI parit & ryhmät arvioivat kohdetoiminnon ristiin käyttäen ennalta määrättyä arviointimetodia, mittareita/kriteereitä auditointi voi olla kohdespesifi tai kokonaisarviointi ristiin/vertaisauditoinnissa noudatetaan auditoinnin yleisiä periaatteita Anu Räisänen 2009

parit & ryhmät arvioivat kohdetoiminnon ristiin käyttäen ennalta määrättyä arviointimetodia, mittareita/kriteereitä

auditointi voi olla kohdespesifi tai kokonaisarviointi

ristiin/vertaisauditoinnissa noudatetaan auditoinnin yleisiä periaatteita

STAKEHOLDERIT ARVIOINNISSA (vrt. Patton) Argumentit ja vasta-argumentit mahdollisuus selventää tulkintoja - hyöty näennäinen osallistumisen tuoma hyöty – ei takaa korkeaa metodista laatua arvioinnin moniulotteisuus – sitoutuminen arviointiprosessiin ei ole taattu lisää empiirisiä evidenssejä – vain, jos on korkeatasoiset ja osaavat kumppanit arviointivastuu voidaan jakaa – stakeholderit jättävät arvioinnin arvioijille arvioinneilla voidaan suoraan vaikuttaa päätöksentekoon – stakeholderit ulkopuolella Stakeholderit selventävät, kyseenalaistavat ja täydentävät näkökulmia ja tuovat kokemuksen edistävät oppimisprosessia ja ovat sanansaattajia arvioinnin jälkeen Anu Räisänen 2009 Vrt. Asiakasarvioinnit

Argumentit ja vasta-argumentit

mahdollisuus selventää tulkintoja - hyöty näennäinen

osallistumisen tuoma hyöty – ei takaa korkeaa metodista laatua

arvioinnin moniulotteisuus – sitoutuminen arviointiprosessiin ei ole taattu

lisää empiirisiä evidenssejä – vain, jos on korkeatasoiset ja osaavat kumppanit

arviointivastuu voidaan jakaa – stakeholderit jättävät arvioinnin arvioijille

arvioinneilla voidaan suoraan vaikuttaa päätöksentekoon – stakeholderit ulkopuolella

Stakeholderit

selventävät, kyseenalaistavat ja täydentävät näkökulmia ja tuovat kokemuksen

edistävät oppimisprosessia ja ovat sanansaattajia arvioinnin jälkeen

TOISIAAN TÄYDENTÄVÄT ARVIOINTIMUODOT Itsearviointi edistää itsetuntemusta ja –ymmärrystä omien vahvuuksien ja kehittämistarpeiden tiedostamista yksilöiden ja yhteisöjen oppimista ja sopeutumista muutokseen työyhteisön kehittymistä, ammatillista kasvua ja toiminnan laatua ulkoisen arvioinnin toimivuutta Ulkoinen arviointi edistää koulutuksen tasa-arvoista ja yhdenmukaista kehittymistä tietoisuutta omista ja toisten toimintatavoista objektiivisen kokonaiskuvan saamista itsearvioinnin toteutusta ja suuntaamista Vertaisarviointi edistää omien toimintatapojen ja kehittämiskohteiden tunnistamista yksilöiden ja yhteisöjen kehittymistä arvioitsijoina, palautteen antajina sekä arviointitiedon vastaanottajina ja hyödyntäjinä oman toiminnan suhteellistamista ulkopuolisen näkökulman kautta yhteistyötä, hyvien käytäntöjen levittämistä sekä verkostoitumista

Itsearviointi edistää

itsetuntemusta ja –ymmärrystä

omien vahvuuksien ja kehittämistarpeiden tiedostamista

yksilöiden ja yhteisöjen oppimista ja sopeutumista muutokseen

työyhteisön kehittymistä, ammatillista kasvua ja toiminnan laatua

ulkoisen arvioinnin toimivuutta

Ulkoinen arviointi edistää

koulutuksen tasa-arvoista ja yhdenmukaista kehittymistä

tietoisuutta omista ja toisten toimintatavoista

objektiivisen kokonaiskuvan saamista

itsearvioinnin toteutusta ja suuntaamista

Vertaisarviointi edistää

omien toimintatapojen ja kehittämiskohteiden tunnistamista

yksilöiden ja yhteisöjen kehittymistä arvioitsijoina, palautteen antajina sekä arviointitiedon vastaanottajina ja hyödyntäjinä

oman toiminnan suhteellistamista ulkopuolisen näkökulman kautta

yhteistyötä, hyvien käytäntöjen levittämistä sekä verkostoitumista

KOKEMUKSIA HANKEARVIOINNEISTA

HANKEARVIOINTIKOKEMUKSIA Arvioinnin tarkoituksen ja tehtävän selvyys: miten interventio vaikuttaa ja tuottaa tuloksen? Tulkinnalliset tavoitteet: hyöty & vaikutukset Arviointikysymysten määrittämisen perusta – tulkinnallisuus – konsensus Arviointikohteen jäsentäminen usein epäselvä – päällekkäiset elementit – käsitteelliset ongelmat Arvioinnin peruste: kriteerit – muut perusteet – perusteen puuttuminen Epäselvää, mihin arvioija nojaa johtopäätöksissään – omaan intuitioon, kokemukseen, näyttöön Onko vahvuuksien ja kehittämiskohteiden määrittäminen arvioiva johtopäätös? Arvioijan riippuvuus & riippumattomuus tasapaino Anu Räisänen 2009

Arvioinnin tarkoituksen ja tehtävän selvyys: miten interventio vaikuttaa ja tuottaa tuloksen?

Tulkinnalliset tavoitteet: hyöty & vaikutukset

Arviointikysymysten määrittämisen perusta – tulkinnallisuus – konsensus

Arviointikohteen jäsentäminen usein epäselvä – päällekkäiset elementit – käsitteelliset ongelmat

Arvioinnin peruste: kriteerit – muut perusteet – perusteen puuttuminen

Epäselvää, mihin arvioija nojaa johtopäätöksissään – omaan intuitioon, kokemukseen, näyttöön

Onko vahvuuksien ja kehittämiskohteiden määrittäminen arvioiva johtopäätös?

Arvioijan riippuvuus & riippumattomuus tasapaino

Arvioinnin merkitys hankkeessa varmistetaan, että toiminta on tavoitteiden ja suunnitelman mukaista kuvataan vaiheet, joiden avulla tulokset ovat syntyneet: toiminnan ja tulosten välinen logiikka arviointiasetelman ja –kysymysten merkitys suuri tarkastellaan odotettuja ja odottamattomia tuloksia ja vaikutuksia on voitava tehdä johtopäätöksiä siitä, miten kehitetty toiminta voidaan siirtää toiseen ympäristöön Anu Räisänen 2009 Panokset Prosessi Tuotokset Välittömät vaikutukset Pitkän aikavälin vaikutukset

varmistetaan, että toiminta on tavoitteiden ja suunnitelman mukaista

kuvataan vaiheet, joiden avulla tulokset ovat syntyneet: toiminnan ja tulosten välinen logiikka

arviointiasetelman ja –kysymysten merkitys suuri

tarkastellaan odotettuja ja odottamattomia tuloksia ja vaikutuksia

on voitava tehdä johtopäätöksiä siitä, miten kehitetty toiminta voidaan siirtää toiseen ympäristöön

KÄYTÄNNÖN HAASTEITA JA KOKEMUKSIA Arviointi tehdään annetun näytön perusteella (evidence based orientaatio) Aineiston monipuolisuus & tarkoituksenmukaisuus & kattavuus Arvioinnissa otettava huomioon kontekstin vaatimukset Aineisto koottava ja käytävä läpi huolellisesti ennen arviointia Kriteereistä/perusteista on päätettävä ennalta - kriteeristön tulkinta haaste Arvioijan on otettava kantaa – arviointi on hanketoiminnan voimavara Armeliaisuus & kriittisyys kiikkulauta Laadukas arviointi vie aikaa - mutta myös opettaa Luottamus - arvioija on ”hajuton, mauton ja väritön” Kokemus on paras opettaja – arviointien vertailtavuus – oikeudenmukaisuus Arvioinnin perusteella tehtävät johtopäätökset Anu Räisänen 2009

Arviointi tehdään annetun näytön perusteella (evidence based orientaatio)

Aineiston monipuolisuus & tarkoituksenmukaisuus & kattavuus

Arvioinnissa otettava huomioon kontekstin vaatimukset

Aineisto koottava ja käytävä läpi huolellisesti ennen arviointia

Kriteereistä/perusteista on päätettävä ennalta - kriteeristön tulkinta haaste

Arvioijan on otettava kantaa – arviointi on hanketoiminnan voimavara

Armeliaisuus & kriittisyys kiikkulauta

Laadukas arviointi vie aikaa - mutta myös opettaa

Luottamus - arvioija on ”hajuton, mauton ja väritön”

Kokemus on paras opettaja – arviointien vertailtavuus – oikeudenmukaisuus

Arvioinnin perusteella tehtävät johtopäätökset

TYYPILLISIÄ KYSYMKSIÄ Mitä tapahtuu ja miksi? Miten tulos ja tuote on tuotettu? Millaisia taitekohtia projektin aikana on ollut? Millaisia interventioita on käytetty ja miksi? Mitä ei ole käytetty ja miksi? Millainen on prosessin laatu ja voimavarat (osaaminen, talous, muut resurssit)? Miksi jotkut interventiot ovat toteutuneet toisia paremmin? Millaisia ennakoimattomia tuloksia tai esteitä projektissa on tullut ilmi ja miten niitä on käsitelty? Miten toimiva projektiorganisaatio on ollut? Millaiset asiat ovat edistäneet/estäneet projektia saavuttamaan tavoitteita? Kuinka tietynlaiset tulokset on saatu aikaan? Miten hyvin arviointi saavuttaa keskeiset kohderyhmät? Miten tavoitettavuutta pitäisi parantaa? Miten keskeisten kohderyhmien tavoitettavuutta tulisi parantaa? Anu Räisänen 2009

Mitä tapahtuu ja miksi?

Miten tulos ja tuote on tuotettu?

Millaisia taitekohtia projektin aikana on ollut?

Millaisia interventioita on käytetty ja miksi? Mitä ei ole käytetty ja miksi?

Millainen on prosessin laatu ja voimavarat (osaaminen, talous, muut resurssit)?

Miksi jotkut interventiot ovat toteutuneet toisia paremmin?

Millaisia ennakoimattomia tuloksia tai esteitä projektissa on tullut ilmi ja miten niitä on käsitelty?

Miten toimiva projektiorganisaatio on ollut?

Millaiset asiat ovat edistäneet/estäneet projektia saavuttamaan tavoitteita?

Kuinka tietynlaiset tulokset on saatu aikaan?

Miten hyvin arviointi saavuttaa keskeiset kohderyhmät? Miten tavoitettavuutta pitäisi parantaa?

Miten keskeisten kohderyhmien tavoitettavuutta tulisi parantaa?

PROSESSIN LAATU & TULOKSET & EDELLYTYKSET PROSESSIN LAATU & TEHOKKUUS hankkeen organisointi EDELLYTYKSET voimavarojen käyttö PROSESSIN TULOS & VAIKUTTAVUUS tavoitteiden suunnassa eteneminen - välitön tulos pitkän aikavälin vaikuttavuus Prosessin laatu Tulokset Edellytykset Anu Räisänen 2009 Prosessin laatu & Tulosten laatu ” hyödynsaajat”

PROSESSIN LAATU & TEHOKKUUS

hankkeen organisointi

EDELLYTYKSET

voimavarojen käyttö

PROSESSIN TULOS & VAIKUTTAVUUS

tavoitteiden suunnassa eteneminen

- välitön tulos

pitkän aikavälin vaikuttavuus