HANKETYÖN KEHITTÄVÄ ARVIOINTI  11.9.2009  1. Arvioinnin perusteet  2. Kehittävän arvioinnin sovellukset  3. Yhteenveto  An...
Mitä arviointi on?  Miksi hanketyössä tarvitaan arviointia?  Millaista arvioinnin tulisi olla?  Kuka arvioi hanketta?
MITÄ ARVIOINTI ON JA MITÄ VARTEN SE ON ?   <ul><li>Mitä:  </li></ul><ul><li>Tulkinnallista analyysia  </li></ul><ul><ul><l...
ARVIOINNIN KEHITYSNÄKYMÄT   <ul><li>Holistinen ote  </li></ul><ul><li>Heiveröinen kontrolli funktio  </li></ul><ul><li>Tav...
ARVIOINNIN ULOTTUVUUDET   Toiminta on ollut tuloksellista, jos arvioitava kohde on saavuttanut ne  tavoitteet,  joita sill...
ARVIOINNIN PERUSTEET <ul><li>Standardi- /ja kriteeriperustaisuus  </li></ul><ul><li>standardit kuvaavat vaatimustason  </l...
MITTARIT JA MUU AINEISTON KERUU <ul><li>Mittarit  </li></ul><ul><li>määrälliset ja laadulliset indikaattorit  </li></ul><u...
Millaista arviointia, millaisin menetelmin?  <ul><li>arvioinnin tarkoitus, merkitys ja arvioinnin tehtävät  </li></ul><ul>...
KEHITTÄÄKÖ ARVIOINTI?  <ul><li>Arviointi kehittämistyötä tukevana toimintana  </li></ul><ul><li>Tarvitaan seurannan ja arv...
KEHITTÄVÄN ARVIOINNIN KÄSITE   <ul><li>on tarkasteltavan kohteen  tulkinnallista ja kriittistä analyysia  ja toiminnan tuo...
KEHITTÄVÄ ARVIOINTI <ul><li>tavoite määritetään kohteittain  </li></ul><ul><ul><ul><ul><ul><li>RÄÄTÄLÖINTI TARPEEN MUKAAN ...
KEHITTÄVÄN ARVIOINNIN MALLEJA   <ul><li>MONITAHOARVIOINTI  </li></ul><ul><li>eri näkökulmat ja menetelmät  </li></ul><ul><...
<ul><li>PARIVERTAILUT </li></ul><ul><li>asiantuntijoiden, ryhmien ja yhteisöjen keskinäiseen arviointiin </li></ul><ul><li...
<ul><li>VERTAISARVIOINNIT (vrt. Vertaileva arviointi) </li></ul><ul><li>Arvioitavan kohteen kriittistä ja systemaattista a...
VERTAISARVIOINNIN MENETELMIÄ   <ul><li>1   Benchmarking – vertailuarviointi ja kehittäminen  </li></ul><ul><li>2 Moderatio...
<ul><li>MODERAATIO   </li></ul><ul><li>Perustuu reflektiivisyyteen, osallistavuuteen ja konsensukseen  </li></ul><ul><li>K...
- moderation on aina ohjattua ja johdettua   - voidaan käyttää esim. tulkittaessa, vastaako käytännön toiminta asetettuja ...
MODERATION-MALLI   työyhteisö 1 työyhteisö 2 työyhteisö 3  Konsensus  Konsensus Konsensus  Konsensus  Anu Räisänen 2009
<ul><li>räätälöidään tarpeiden ja odotusten mukaan  </li></ul><ul><li>ulkopuolisten arviointiasiantuntijoiden hyödyntämine...
RISTIIN ARVIOINTI & AUDITOINTI   <ul><li>parit & ryhmät arvioivat kohdetoiminnon ristiin käyttäen ennalta määrättyä arvioi...
STAKEHOLDERIT ARVIOINNISSA   (vrt. Patton)  <ul><li>Argumentit ja vasta-argumentit  </li></ul><ul><li>mahdollisuus selvent...
TOISIAAN TÄYDENTÄVÄT ARVIOINTIMUODOT <ul><li>Itsearviointi edistää   </li></ul><ul><li>itsetuntemusta ja –ymmärrystä  </li...
KOKEMUKSIA HANKEARVIOINNEISTA
HANKEARVIOINTIKOKEMUKSIA  <ul><li>Arvioinnin tarkoituksen ja tehtävän selvyys:  miten interventio vaikuttaa ja tuottaa tul...
Arvioinnin merkitys hankkeessa  <ul><li>varmistetaan, että toiminta on tavoitteiden ja suunnitelman mukaista </li></ul><ul...
KÄYTÄNNÖN HAASTEITA JA KOKEMUKSIA  <ul><li>Arviointi tehdään annetun näytön perusteella (evidence based orientaatio)  </li...
TYYPILLISIÄ KYSYMKSIÄ  <ul><li>Mitä tapahtuu ja miksi? </li></ul><ul><li>Miten tulos ja tuote on tuotettu?  </li></ul><ul>...
PROSESSIN LAATU & TULOKSET & EDELLYTYKSET  <ul><li>PROSESSIN LAATU  & TEHOKKUUS  </li></ul><ul><li>hankkeen organisointi  ...
Upcoming SlideShare
Loading in …5
×

Kehittävä arviointi hanketyössä Anu Räisänen

2,832 views

Published on

Published in: Education, Sports
  • Be the first to comment

Kehittävä arviointi hanketyössä Anu Räisänen

  1. 1. HANKETYÖN KEHITTÄVÄ ARVIOINTI 11.9.2009 1. Arvioinnin perusteet 2. Kehittävän arvioinnin sovellukset 3. Yhteenveto Anu Räisänen
  2. 2. Mitä arviointi on? Miksi hanketyössä tarvitaan arviointia? Millaista arvioinnin tulisi olla? Kuka arvioi hanketta?
  3. 3. MITÄ ARVIOINTI ON JA MITÄ VARTEN SE ON ? <ul><li>Mitä: </li></ul><ul><li>Tulkinnallista analyysia </li></ul><ul><ul><li>toiminnalle asetettujen tavoitteiden saavuttamisesta (vaikuttavuus) </li></ul></ul><ul><ul><li>prosessin laadusta ja toiminnan systemaattisuudesta ja suunnitelman toteutumisesta (tehokkuus) </li></ul></ul><ul><ul><li>kriteereiden mukaisuudesta </li></ul></ul><ul><li>Miksi: </li></ul><ul><li>laadun varmistamiseksi hallinnolle (accountability) </li></ul><ul><li>toiminnan ja järjestelmän kehittämiseksi ja oppimisen tehostamiseksi (development & learning) </li></ul><ul><li>hyvien käytäntöjen levittämiseksi </li></ul><ul><li>ei julkisuustarkoitusta </li></ul><ul><li>Arvioinnin määrittäminen suhteessa arvioinnin tehtäviin ja tavoitteisiin </li></ul><ul><li>kehittävyys – tilivelvollisuus -tasapaino </li></ul><ul><li>Arviointi on AINA ARVOTTAVA kannanotto! </li></ul>Anu Räisänen 2009
  4. 4. ARVIOINNIN KEHITYSNÄKYMÄT <ul><li>Holistinen ote </li></ul><ul><li>Heiveröinen kontrolli funktio </li></ul><ul><li>Tavoitteena jatkuva parantaminen: </li></ul><ul><ul><li>Enemmän haasteita ja haasteiden johtamista, asiakas- ja kansalaislähtöisyyttä – todellisia innovaatioita </li></ul></ul><ul><ul><li>Stakeholdereiden & sosiaalisten kumppaneiden & omistajien osallistaminen </li></ul></ul><ul><ul><li>Tavoitteiden asettaminen </li></ul></ul><ul><li>Tarve parempaan tulosten arviointiin ja linkitykseen tavoitteisiin </li></ul><ul><li>Kohti oppivaa organisaatiota ja jatkuvaa oppimista </li></ul><ul><li>Benchmarking –toiminnasta – benchlearning kulttuuriin </li></ul><ul><li>Usko ”inclusiiviseen” arviointiin ( inclusive & intelligent evaluation ) ja yhteistyöhön </li></ul>Evaluation for accountability Evaluation for development Evaluation for knowledge Anu Räisänen 2009
  5. 5. ARVIOINNIN ULOTTUVUUDET Toiminta on ollut tuloksellista, jos arvioitava kohde on saavuttanut ne tavoitteet, joita sille on joko ulkopuolisen tahon tai sen itsensä toimesta asetettu. <ul><li>Tehokkuus </li></ul><ul><li>kuvaa toimintaa </li></ul><ul><li>” Kuinka tarkoituksen- </li></ul><ul><li>mukaista toiminta on?” </li></ul><ul><li>toiminnan laatu </li></ul><ul><li>… .. </li></ul><ul><li>Taloudellisuus </li></ul><ul><li>kuvaa tehtyjen valintojen </li></ul><ul><li>taloudellisuutta </li></ul><ul><li>” Mitä rahalla saa?” </li></ul><ul><li>- taloudellisuuden osoittaminen, ei vain kustannusten seuranta </li></ul><ul><li>-…. </li></ul><ul><li>Vaikuttavuus </li></ul><ul><li>kuvaa toiminnan </li></ul><ul><li>seurauksia </li></ul><ul><li>” Onko tulos syntynyt </li></ul><ul><li>toiminnan seurauksena?” </li></ul><ul><li>osaaminen </li></ul><ul><li>toimintojen vakiintuminen </li></ul><ul><li>näkemys hyödystä </li></ul><ul><li>pitkän tähtäimen näytöt </li></ul><ul><li>… . </li></ul>Anu Räisänen 2009 Prosessi – tulos – edellytys - vaikutus – vaikuttavuus Tavoitehierarkia: Ohjelman – hankkeen – yksilön tavoitteet !
  6. 6. ARVIOINNIN PERUSTEET <ul><li>Standardi- /ja kriteeriperustaisuus </li></ul><ul><li>standardit kuvaavat vaatimustason </li></ul><ul><li>kriteerit määrittävät arvioinnin perusteen </li></ul><ul><li>standardit ja kriteerit määritetään ennalta </li></ul><ul><li>kriteerit ovat välttämätön ehto standardeihin perustuvaan arviointiin </li></ul><ul><li>kriteeriperustaisuus ei edellytä standardeja </li></ul><ul><li>arvioinnissa kohteen tilaa verrataan kriteeriin </li></ul><ul><li>Suhteellisuus </li></ul><ul><li>tuloksia verrataan keskenään tai aiempiin suorituksiin tai aiempaan tilaan </li></ul><ul><li>arvioinnissa vakiintuneita ”pisteytys- ja sijoitusmalleja” mm. Gaussin käyrä </li></ul><ul><li>korostaa järjestystä </li></ul><ul><li>esimerkkinä kyselyt ja </li></ul><ul><li>eri vastaajaryhmien erot </li></ul><ul><li>Tulkinnallisuus </li></ul><ul><li>tila-analyysi ja syväluotaus </li></ul><ul><li>” tässä ja nyt” </li></ul><ul><li>ei vertailuja </li></ul><ul><li>voi toimia syväluotauksena </li></ul><ul><li>muun arviointitiedon rinnalla </li></ul><ul><li>voi kohdistua esim. elämismaailmaan </li></ul><ul><li>esim. portfoliot, tarinat, elämäkerrat, kuvaukset </li></ul>Anu Räisänen 2009 Arvioinnin tarkoitus ja tehtävä! Arviointikohteen selkeys! Arviointikysymysten merkitys!
  7. 7. MITTARIT JA MUU AINEISTON KERUU <ul><li>Mittarit </li></ul><ul><li>määrälliset ja laadulliset indikaattorit </li></ul><ul><li>kokeelliset asetelmat </li></ul><ul><li>kyselylomakkeet </li></ul><ul><li>tilastot, rekisterit, seurantatiedot </li></ul><ul><li>ennusteet </li></ul><ul><li>tyytyväisyyttä kuvaavat palautteet </li></ul><ul><li>Laadullinen aineisto </li></ul><ul><li>toiminnan kuvaus </li></ul><ul><li>haastattelut </li></ul><ul><li>tarinat </li></ul><ul><li>päiväkirjat </li></ul><ul><li>portfoliot </li></ul><ul><li>SWOT -analyysit </li></ul><ul><li>kriittiset pisteet (critical incident) </li></ul><ul><li>asiantuntijalausunnot </li></ul><ul><li>auditoinnit (sisäinen, ulkoinen) </li></ul><ul><li>asiantuntijanäkemykset </li></ul><ul><li>vertailevat menetelmät (benchmarking, vertaisarvioinnit) </li></ul><ul><li>arviointiseminaarit – fokusryhmät, paneelit </li></ul><ul><li>oman työn tutkiminen </li></ul><ul><li>laatupiirit (stakeholders) </li></ul><ul><li>yksittäiset tunnusluvut </li></ul><ul><li>summamuuttujat </li></ul><ul><li>luokittelu, </li></ul><ul><li>aikasarjat </li></ul><ul><li>vertailut </li></ul><ul><li>tilastolliset analyysit </li></ul><ul><li>tulkinnallinen analyysi </li></ul><ul><li>konsensusistunnot, vertaistulkinnat </li></ul>Anu Räisänen 2009
  8. 8. Millaista arviointia, millaisin menetelmin? <ul><li>arvioinnin tarkoitus, merkitys ja arvioinnin tehtävät </li></ul><ul><li>arvioinnin perusta, lähestymistapa & arviointiasetelman merkitys </li></ul><ul><li>arviointikysymysten määrittäminen </li></ul><ul><li>arvioinnin lähestymistavat - aineiston hankinta – tulos </li></ul>Anu Räisänen 2009 Arvioinnin tarkoitus: Mitä arvioidaan? Mihin arviointia käytetään? Miksi arviointia tehdään? Ketä varten arviointia tehdään? Mitä arvioinnilta odotetaan?
  9. 9. KEHITTÄÄKÖ ARVIOINTI? <ul><li>Arviointi kehittämistyötä tukevana toimintana </li></ul><ul><li>Tarvitaan seurannan ja arvioinnin asetelma, joka tuottaa tietoa oppimisen ja kehittymisen perustaksi </li></ul><ul><li>Arvioinnin prosessikäyttö: </li></ul><ul><ul><li>tiedon ja tiedonkeruun hyödyntäminen kehittämisessä ja evaluatiivisen työtavan juurruttaminen osaksi työyhteisön toimintaa </li></ul></ul><ul><ul><li>tarkoitus on tukea ohjelman, toiminnan tms. arvioivan työotteen kehittymistä </li></ul></ul><ul><ul><li>voi olla sisäistä tai ulkoista/tuettua arviointia, joka tukee muutosta ja kehitystä sekä syventää tietoisuutta </li></ul></ul><ul><ul><li>tavoitteena on parantaa toiminnan vaikuttavuutta </li></ul></ul><ul><ul><li>summatiivisen (tulokset ja vaikuttavuus) ja formatiivisen (kehitys, edellytykset, toimintatapa) arvioinnin tasapaino </li></ul></ul>Anu Räisänen 2009
  10. 10. KEHITTÄVÄN ARVIOINNIN KÄSITE <ul><li>on tarkasteltavan kohteen tulkinnallista ja kriittistä analyysia ja toiminnan tuottaman hyödyn tai arvon määrittämistä kytkettynä läheisesti toiminnan laadun parantamiseen, kehittämiseen ja toimintojen uudistamiseen </li></ul><ul><li>tähtää syvälliseen ja jatkuvaan oppimiseen – kokonaisvaltaisuus - prosessuaalisuus </li></ul><ul><li>painottaa kontekstuaalisuutta ja osallisuutta sekä kokemusta sekä avoimuutta </li></ul><ul><ul><ul><li>vrt. tilivelvollisuus ja kontrolli </li></ul></ul></ul><ul><li>systemaattinen tapa tukea tavoitteiden saavuttamista </li></ul><ul><ul><ul><li>vrt. tavoiteperustainen ja tavoitevapaa arviointi </li></ul></ul></ul><ul><ul><ul><li>vrt. kriteeriperustainen arviointi </li></ul></ul></ul><ul><ul><ul><li>vrt. standardiperustainen arviointi </li></ul></ul></ul><ul><li>sisältää jatkuvan parantamisen spiraalin </li></ul><ul><li>sisältää menetelmien kirjon </li></ul><ul><ul><li>arviointi & kehittäminen & kehittävä arviointi </li></ul></ul>Anu Räisänen 2009
  11. 11. KEHITTÄVÄ ARVIOINTI <ul><li>tavoite määritetään kohteittain </li></ul><ul><ul><ul><ul><ul><li>RÄÄTÄLÖINTI TARPEEN MUKAAN </li></ul></ul></ul></ul></ul><ul><li>kohteena olevien osallisuus arvioinnin suunnitteluun, arviointiin ja jatkuvaan parantamiseen </li></ul><ul><ul><ul><ul><ul><li>SUBJEKTIUS JA VUOROVAIKUTUS </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>PERUSTA ITSEARVIOINNISSA </li></ul></ul></ul></ul></ul><ul><li>arviointiprosessi ja tulos hyödyttää kehittämistä </li></ul><ul><ul><ul><ul><ul><li>PROSESSUAALISUUS </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>HYÖDYNNETTÄVYYS </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>KÄYTÄNNÖN LÄHEISYYS </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>PALAUTTEEN MERKITYS </li></ul></ul></ul></ul></ul><ul><li>painottaa yhteisöllisyyttä ja konsensushakuisuutta – ei absoluuttista totuutta </li></ul><ul><ul><ul><ul><ul><li>REFLEKTIO </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>ERI TAHOJEN YHTEINEN KONSENSUS </li></ul></ul></ul></ul></ul><ul><li>asiantuntijat käsitteellistävät, suunnittelevat arviointimallit ja menetelmät, osallistavat eri tahot arviointiprosessiin ja tekevät arvioivat tulkinnat </li></ul><ul><ul><ul><ul><ul><li>ASIANTUNTIJAVASTUU JAETTUA </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>MONITAHOISUUS (arvioijat, sidosryhmät, toimijat…) </li></ul></ul></ul></ul></ul>Anu Räisänen 2009 <ul><li>OSALLISTAVUUS JA KEHITTÄVYYS </li></ul><ul><ul><li>ARVIOINTI & KEHITTÄMINEN & KEHITTÄVÄ ARVIOINTI </li></ul></ul>
  12. 12. KEHITTÄVÄN ARVIOINNIN MALLEJA <ul><li>MONITAHOARVIOINTI </li></ul><ul><li>eri näkökulmat ja menetelmät </li></ul><ul><li>sidosryhmäperusteinen (stakeholder) (rahoittajat, päätöksentekijät, kehittäjät, toimijat, intressiryhmät, vertaiset jne…) </li></ul><ul><li>arviointiraadit ja konsensus </li></ul><ul><ul><ul><ul><li>laaja-alaisuus – monet kannanotot ja arvolausunnot </li></ul></ul></ul></ul><ul><ul><ul><ul><li>neuvottelevuus – valtaa pitävät koalitiot/avainryhmät </li></ul></ul></ul></ul><ul><ul><ul><ul><li>sosiaalinen oikeudenmukaisuus – vähäisinkin hyödynsaaja </li></ul></ul></ul></ul><ul><ul><ul><ul><li>evolutionaarisuus – suhde ympäristön muutokseen </li></ul></ul></ul></ul><ul><li>OSALLISTAVA ARVIOINTI </li></ul><ul><li>subjektius </li></ul><ul><li>sidosryhmien ja toimijoiden näkökulmat </li></ul><ul><li>arvioija on osallistaja, kouluttaja, valmentaja, edistäjä – ei arvioija </li></ul><ul><li>konsensus </li></ul><ul><li>voimaantuminen – valtaistuminen - empowerment </li></ul>Anu Räisänen 2009 Esim. parivertailut, arviointiraadit ja –istunnot, teema- & fokusryhmäkeskustelut, vertaisarvioinnit, benchmarking, parivertailut, portfoliot, auditoinnit, konsultatiivinen arviointi, moderation…
  13. 13. <ul><li>PARIVERTAILUT </li></ul><ul><li>asiantuntijoiden, ryhmien ja yhteisöjen keskinäiseen arviointiin </li></ul><ul><li>valmistelu ja dokumentointi </li></ul><ul><li>ARVIOINTIRAADIT JA -ISTUNNOT </li></ul><ul><li>konsensusarviointia </li></ul><ul><li>monitahoisuus arvioinnissa </li></ul><ul><li>valmistelu ja dokumentointi </li></ul><ul><li>TEEMAKESKUSTELUT (vrt. fokusryhmät ) </li></ul><ul><li>arviointiprosessin eri vaiheissa </li></ul><ul><li>valmistelu ja dokumentointi </li></ul><ul><li>PORTFOLIOT </li></ul><ul><li>yhteisön näytteet toiminnasta, innovaatioista ja tuloksista </li></ul><ul><li>perustuu reflektointiin </li></ul><ul><li>AUDITOINNIT </li></ul><ul><li>sisäiset ja ulkoiset tai ohjattu sisäinen </li></ul>Anu Räisänen 2009
  14. 14. <ul><li>VERTAISARVIOINNIT (vrt. Vertaileva arviointi) </li></ul><ul><li>Arvioitavan kohteen kriittistä ja systemaattista arviointia, joka perustuu ennalta asetettuihin kriteereihin </li></ul><ul><li>Arvioijana vertainen, jolla on suunnilleen samat tiedot ja taidot kuin arvioitavalla sekä selkeä näkemys tämän työstä </li></ul><ul><li>Tarkoituksena palautteen antaminen ja ammatillisen kasvun edistäminen </li></ul><ul><li>Soveltuu myös työyhteisöihin </li></ul><ul><li>BENCHMARKING </li></ul><ul><li>vertailuarviointi ja –kehittäminen </li></ul><ul><li>voi kohdistua prosesseihin, strategioihin, johtamiseen jne…. </li></ul><ul><li>perustuu oman toiminnan analyysiin ja vertaamiseen toisen itseään vähän paremman </li></ul><ul><li>organisaation toiminnan analyysiin </li></ul><ul><li>edellyttää systemaattisuutta </li></ul><ul><li>ei ole opintokäynti </li></ul>Anu Räisänen 2009
  15. 15. VERTAISARVIOINNIN MENETELMIÄ <ul><li>1 Benchmarking – vertailuarviointi ja kehittäminen </li></ul><ul><li>2 Moderation </li></ul><ul><li>3 Ristiin arviointi </li></ul><ul><li>4 Sisäinen/ulkoinen auditointi </li></ul><ul><li>jne…. </li></ul><ul><li>sekä yksilö- että ryhmäarvioinnit </li></ul><ul><li>sekä tulos- että prosessiarvioinnit </li></ul>Anu Räisänen 2009
  16. 16. <ul><li>MODERAATIO </li></ul><ul><li>Perustuu reflektiivisyyteen, osallistavuuteen ja konsensukseen </li></ul><ul><li>Kohteena toiminta, jossa ollaan osallisena </li></ul><ul><li>Prosessi – ei tulosarviointia – etenee vaiheittain </li></ul><ul><li>Oppiminen ja palaute p arantaa päätöksentekoa, ammatillista </li></ul><ul><li>itsekunnioitusta, luottamusta omaan toimintaan ja avoimuutta </li></ul><ul><li>Vertaisten kanssa yhdessä </li></ul><ul><li>Asiantuntijan käyttö </li></ul>Anu Räisänen 2009
  17. 17. - moderation on aina ohjattua ja johdettua - voidaan käyttää esim. tulkittaessa, vastaako käytännön toiminta asetettuja tavoitteita ja arvioitavan toimintakentän ihanteita - edellyttää eri toimijoiden kohtaamista – sopii muutosprosessien ja oppimiseen ja ”vallan jakoon” tähtääviin arviointeihin - arvioinnissa painottuvat toimijoiden tulkinnat ja pyrkimys konsensukseen Anu Räisänen 2009
  18. 18. MODERATION-MALLI työyhteisö 1 työyhteisö 2 työyhteisö 3 Konsensus Konsensus Konsensus Konsensus Anu Räisänen 2009
  19. 19. <ul><li>räätälöidään tarpeiden ja odotusten mukaan </li></ul><ul><li>ulkopuolisten arviointiasiantuntijoiden hyödyntäminen arviointisuunnitelman laadinnassa, arvioinnissa ja arvioinnin ohjauksessa sekä valmentamisessa sekä ulkoisessa arvioinnissa </li></ul><ul><li>kokonaistilanteen hahmottaminen ja käsitteellistäminen </li></ul><ul><li>perustuu vastavuoroiseen dialogiin </li></ul><ul><li>palvelun tarvitsija päättää viimekädessä lähestymistavat </li></ul><ul><li>arvioija vastaa metodeista, prosessista ja arvioinnista - vastuu on jakamaton </li></ul><ul><li>sekä suullinen että kirjallinen raportointi – suositukset </li></ul><ul><li>päätöksenteko on ”omistajalla” </li></ul><ul><li>VALLAN KÄYTÖN ETIIKKA </li></ul><ul><li>arvioija vastaa arvioinnista –jakamaton vastuu! </li></ul><ul><li>edellyttää arvioijalta kohteen tuntemusta, arviointiosaamista ja sosiaalisia taitoja – kykyä konsensukseen </li></ul><ul><li>arvioija ei osallistu arviointitulosten perusteella tehtävään päätöksentekoon </li></ul>Anu Räisänen 2009 KONSULTATIIVINEN ARVIOINTI
  20. 20. RISTIIN ARVIOINTI & AUDITOINTI <ul><li>parit & ryhmät arvioivat kohdetoiminnon ristiin käyttäen ennalta määrättyä arviointimetodia, mittareita/kriteereitä </li></ul><ul><li>auditointi voi olla kohdespesifi tai kokonaisarviointi </li></ul><ul><li>ristiin/vertaisauditoinnissa noudatetaan auditoinnin yleisiä periaatteita </li></ul>Anu Räisänen 2009
  21. 21. STAKEHOLDERIT ARVIOINNISSA (vrt. Patton) <ul><li>Argumentit ja vasta-argumentit </li></ul><ul><li>mahdollisuus selventää tulkintoja - hyöty näennäinen </li></ul><ul><li>osallistumisen tuoma hyöty – ei takaa korkeaa metodista laatua </li></ul><ul><li>arvioinnin moniulotteisuus – sitoutuminen arviointiprosessiin ei ole taattu </li></ul><ul><li>lisää empiirisiä evidenssejä – vain, jos on korkeatasoiset ja osaavat kumppanit </li></ul><ul><li>arviointivastuu voidaan jakaa – stakeholderit jättävät arvioinnin arvioijille </li></ul><ul><li>arvioinneilla voidaan suoraan vaikuttaa päätöksentekoon – stakeholderit ulkopuolella </li></ul><ul><li>Stakeholderit </li></ul><ul><li>selventävät, kyseenalaistavat ja täydentävät näkökulmia ja tuovat kokemuksen </li></ul><ul><li>edistävät oppimisprosessia ja ovat sanansaattajia arvioinnin jälkeen </li></ul>Anu Räisänen 2009 Vrt. Asiakasarvioinnit
  22. 22. TOISIAAN TÄYDENTÄVÄT ARVIOINTIMUODOT <ul><li>Itsearviointi edistää </li></ul><ul><li>itsetuntemusta ja –ymmärrystä </li></ul><ul><li>omien vahvuuksien ja kehittämistarpeiden tiedostamista </li></ul><ul><li>yksilöiden ja yhteisöjen oppimista ja sopeutumista muutokseen </li></ul><ul><li>työyhteisön kehittymistä, ammatillista kasvua ja toiminnan laatua </li></ul><ul><li>ulkoisen arvioinnin toimivuutta </li></ul><ul><li>Ulkoinen arviointi edistää </li></ul><ul><li>koulutuksen tasa-arvoista ja yhdenmukaista kehittymistä </li></ul><ul><li>tietoisuutta omista ja toisten toimintatavoista </li></ul><ul><li>objektiivisen kokonaiskuvan saamista </li></ul><ul><li>itsearvioinnin toteutusta ja suuntaamista </li></ul><ul><li>Vertaisarviointi edistää </li></ul><ul><li>omien toimintatapojen ja kehittämiskohteiden tunnistamista </li></ul><ul><li>yksilöiden ja yhteisöjen kehittymistä arvioitsijoina, palautteen antajina sekä arviointitiedon vastaanottajina ja hyödyntäjinä </li></ul><ul><li>oman toiminnan suhteellistamista ulkopuolisen näkökulman kautta </li></ul><ul><li>yhteistyötä, hyvien käytäntöjen levittämistä sekä verkostoitumista </li></ul>
  23. 23. KOKEMUKSIA HANKEARVIOINNEISTA
  24. 24. HANKEARVIOINTIKOKEMUKSIA <ul><li>Arvioinnin tarkoituksen ja tehtävän selvyys: miten interventio vaikuttaa ja tuottaa tuloksen? </li></ul><ul><li>Tulkinnalliset tavoitteet: hyöty & vaikutukset </li></ul><ul><li>Arviointikysymysten määrittämisen perusta – tulkinnallisuus – konsensus </li></ul><ul><li>Arviointikohteen jäsentäminen usein epäselvä – päällekkäiset elementit – käsitteelliset ongelmat </li></ul><ul><li>Arvioinnin peruste: kriteerit – muut perusteet – perusteen puuttuminen </li></ul><ul><li>Epäselvää, mihin arvioija nojaa johtopäätöksissään – omaan intuitioon, kokemukseen, näyttöön </li></ul><ul><li>Onko vahvuuksien ja kehittämiskohteiden määrittäminen arvioiva johtopäätös? </li></ul><ul><li>Arvioijan riippuvuus & riippumattomuus tasapaino </li></ul>Anu Räisänen 2009
  25. 25. Arvioinnin merkitys hankkeessa <ul><li>varmistetaan, että toiminta on tavoitteiden ja suunnitelman mukaista </li></ul><ul><li>kuvataan vaiheet, joiden avulla tulokset ovat syntyneet: toiminnan ja tulosten välinen logiikka </li></ul><ul><li>arviointiasetelman ja –kysymysten merkitys suuri </li></ul><ul><li>tarkastellaan odotettuja ja odottamattomia tuloksia ja vaikutuksia </li></ul><ul><li>on voitava tehdä johtopäätöksiä siitä, miten kehitetty toiminta voidaan siirtää toiseen ympäristöön </li></ul>Anu Räisänen 2009 Panokset Prosessi Tuotokset Välittömät vaikutukset Pitkän aikavälin vaikutukset
  26. 26. KÄYTÄNNÖN HAASTEITA JA KOKEMUKSIA <ul><li>Arviointi tehdään annetun näytön perusteella (evidence based orientaatio) </li></ul><ul><ul><li>Aineiston monipuolisuus & tarkoituksenmukaisuus & kattavuus </li></ul></ul><ul><li>Arvioinnissa otettava huomioon kontekstin vaatimukset </li></ul><ul><li>Aineisto koottava ja käytävä läpi huolellisesti ennen arviointia </li></ul><ul><li>Kriteereistä/perusteista on päätettävä ennalta - kriteeristön tulkinta haaste </li></ul><ul><li>Arvioijan on otettava kantaa – arviointi on hanketoiminnan voimavara </li></ul><ul><li>Armeliaisuus & kriittisyys kiikkulauta </li></ul><ul><li>Laadukas arviointi vie aikaa - mutta myös opettaa </li></ul><ul><li>Luottamus - arvioija on ”hajuton, mauton ja väritön” </li></ul><ul><li>Kokemus on paras opettaja – arviointien vertailtavuus – oikeudenmukaisuus </li></ul><ul><li>Arvioinnin perusteella tehtävät johtopäätökset </li></ul>Anu Räisänen 2009
  27. 27. TYYPILLISIÄ KYSYMKSIÄ <ul><li>Mitä tapahtuu ja miksi? </li></ul><ul><li>Miten tulos ja tuote on tuotettu? </li></ul><ul><li>Millaisia taitekohtia projektin aikana on ollut? </li></ul><ul><li>Millaisia interventioita on käytetty ja miksi? Mitä ei ole käytetty ja miksi? </li></ul><ul><li>Millainen on prosessin laatu ja voimavarat (osaaminen, talous, muut resurssit)? </li></ul><ul><li>Miksi jotkut interventiot ovat toteutuneet toisia paremmin? </li></ul><ul><li>Millaisia ennakoimattomia tuloksia tai esteitä projektissa on tullut ilmi ja miten niitä on käsitelty? </li></ul><ul><li>Miten toimiva projektiorganisaatio on ollut? </li></ul><ul><li>Millaiset asiat ovat edistäneet/estäneet projektia saavuttamaan tavoitteita? </li></ul><ul><li>Kuinka tietynlaiset tulokset on saatu aikaan? </li></ul><ul><li>Miten hyvin arviointi saavuttaa keskeiset kohderyhmät? Miten tavoitettavuutta pitäisi parantaa? </li></ul><ul><li>Miten keskeisten kohderyhmien tavoitettavuutta tulisi parantaa? </li></ul>Anu Räisänen 2009
  28. 28. PROSESSIN LAATU & TULOKSET & EDELLYTYKSET <ul><li>PROSESSIN LAATU & TEHOKKUUS </li></ul><ul><li>hankkeen organisointi </li></ul><ul><li>EDELLYTYKSET </li></ul><ul><li>voimavarojen käyttö </li></ul><ul><li>PROSESSIN TULOS & VAIKUTTAVUUS </li></ul><ul><li>tavoitteiden suunnassa eteneminen </li></ul><ul><li>- välitön tulos </li></ul><ul><li>pitkän aikavälin vaikuttavuus </li></ul>Prosessin laatu Tulokset Edellytykset Anu Räisänen 2009 Prosessin laatu & Tulosten laatu ” hyödynsaajat”

×