MITEN VERTAISARVIOINTI TUKEE KEHITTÄMISTYÖTÄ JA EDISTÄÄ KEHITTÄMISHANKKEIDEN TULOKSELLISUUTTA? Vertaisarviointimalli Opetushallituksen ammatillisen koulutuksen oppimisympäristöjen kehittämishankkeissa

1. Tutkimus: MITEN VERTAISARVIOINTI TUKEE KEHITTÄMISTYÖTÄ JA EDISTÄÄ KEHITTÄMISHANKKEIDEN TULOKSELLISUUTTA? Vertaisarviointimalli Opetushallituksen ammatillisen koulutuksen oppimisympäristöjen kehittämishankkeissa Minna Taivassalo-Salkosuo Opetushalllitus vertaisarviointifoorumi 1.4.2011

2. Toimintatutkimuksen toteutus Suunnitteluvaihe 5/2008 – 9/2010 Vertaisarviointimallin koulutus- ja kehittämisvaihe 10/2008- 4/2009 1. pilottivertaisarvioinnit ja palautteen keruu 4/2009 – 8/2009 Päätös vertaisarviointien jatkamisesta 9/2009 2. pilottivertaisarvioinnit ja palautteen keruu 10/2009 – 12/2009 Kokemusten yhteenveto, vertaisarvioinnin työkirjan kirjoittaminen ja tutkimuksen loppuraportin työstö 5/2010 - 9/2010

3. Vertaisarviointimallin kehittämisen kokonaisuus ja siihen sisältynyt tutkimus

4. Kehittämisryhmän kokoonpano ja pilotointiin osallistuneet Vertaisarviointimallin ja kriteeristöjen ydinkehittäjäryhmä koostui 11 oppimisympäristöjen kehittämishankkeen yhteyshenkilöstä Pilottivertaisarviointeihin osallistui henkilöitä 15 kehittämishankkeesta Vertaisarvioijat haastattelivat vertaiskäynneillä: 17 opiskelijaa, 6 työelämän edustajaa, 12 oppilaitosjohdon edustajaa, 12 opettajaa ja 8 hankkeen vetäjää

7. Tutkimuksen tulokset (kolme eri näkökulmaa) Kokemuksia pilotoinneista: Vertaisarviointimallin toimivuus Vertaisarvioinnin hyödyt vertaisarvioinnin osapuolten näkökulmasta (Millaista tukea kehittämistyöhön?) Mikä toimintatutkijan näkökulmasta on eri tavalla kuin ennen? Mikä muuttui?

8. Vertaisarvioinnin toteuttamista varten tulee nimetä vertaisarviointiryhmän koordinaattori Koordinaattorin rooli sopii hankeohjauksesta vastaavalle virkamiehelle (laaja ohjausvaikutus) toisaalta vastaa ”virkamiehen työelämäjaksoa” ja siten voidaan hyödyntää Opetushallituksen hlöstön osaamisen kehittämisessä Kokemuksiapilotoinneista: 1. Vertaisarviointimallin toimivuus

9. Vertaisarvioijaryhmän koko n. 4 hlöä, liian raskas ja/tai kallis Kustannusten jakaantuminen tilaajatahon edustajat: kustannukset arvioitavalle hankkeelle tai tilaaja maksaa tarjoilu- ja tilakulut sekä oman henkilöstönsä palkkakulut, vertaisarvioiva osapuoli oman henkilöstönsä matka-, majoitus- ja palkkakulut (osa henkilöstön osaamisen kehittämistä) Kustannusten jakaantuminen vertaisarvioijien näkökulma: Vertaisarvioinnin kustannukset arvioitavalle hankkeelle, vertaisarviointi pakollinen osa hanketoimintaa Kokemuksiapilotoinneista: 1. Vertaisarviointimallin toimivuus

10. Vertaisarvioinnin tavoite määrittää toteutustavan: 1.Vertaisarviointi voidaan toteuttaa ohjauksellisena (hankkeen alkuvaihe, noin vuosi käynnistymisen jälkeen, arvioinnin kesto n. 1 pv) Tavoite: sitouttaa ja innostaa kehittämistyöhön, kartoittaa yhteistyömahdollisuuksia sekä arvioida ja ideoida kehittämistyön toteumaa yhdessä 2. Vertaisarviointi (yli 1,5 vuotta) käynnissä olleet hankkeet tai muuten edetty pitkälle toteutuksessa (arvioinnin kesto 1,5 – 2 päivää) Tavoite: hyvien käytäntöjen tunnistaminen, toimintamallien jatkokehittämisen ideointi sekä levittäminen Kokemuksia pilotoinneista: 1. Vertaisarviointimallin toimivuus

11. Väljä aikataulu vertaiskäynnillä, arviointiaineistot ja itsearvioinnit saatavilla riittävän ajoissa sähköisellä foorumilla Haastattelijoille riittävästi aikaa suunnitella yhdessä, mitä haastateltavilta kysytään (esim. koordinaattorin koolle kutsumana verkkopalaverissa) Varahenkilöt arvioijille ja haastateltaville, erityisesti työelämän edustajille Haastattelija voi valita haastateltavan sen mukaan, mikä on oma kehittymisen tavoite (hankeosaamisen kehittäminen vai pedagogisten taitojen vahvistaminen) Kokemuksiapilotoinneista: 1. Vertaisarviointimallin toimivuus

12. Kriteeristöjen vaiheistus toimii, mahdollisuus hyödyntää kriteeristöjä eri tavalla riippuen hankkeen toteutusvaiheesta ( soveltuu myös hankesuunnittelu ja itsearviointi ilman vertaisarviointia) Hankearviointia ei kannata tehdä ilman kehitettävän substanssin arviointia Palauteraportissa SWOT-jäsennys on toimiva Hankkeen vetäjän haastattelu kannattaa toteuttaa lopuksi yhdessä koko vertaisarvioijaryhmän kanssa Kokemuksia pilotoinneista: 1. Vertaisarviointimallin toimivuus

13. Työelämän edustajien haastattelut erikseen ja mielellään työympäristössä (mahdollisuus havainnointiin) Vertaisarvioijille tietoon ennen vertaisarviointia esim. seuraavia määrällisiä tietoja hankkeesta: pilottiryhmien lukumäärät ja koot hankkeeseen osallistuneiden opettajien määrä Yhteistyöyritysten lukumäärä Kokemuksia pilotoinneista: 1. Vertaisarviointimallin toimivuus

14. Palaute vertaisarvioinneista oli hyvin positiivista. Kehittämistyöhön ja pilotointiin osallistuneet kokivat kokonaisuudessaan vertaisarviointimallin kehittämistyön, arviointikriteeristöjen kehittämisen sekä pilottivertaisarviointeihin osallistumisen voimaannuttavaksija kehittämistyötä tukevaksi niin hankkeen toteutuksen kuin organisaation kehittämisen näkökulmasta. Tutkimustulokset:Miten vertaisarviointi tukee kehittämistyötä?

15. vertaisarviointi on kiinnostava ja innostava tapa oppia uutta ja kehittää toimintaa se mahdollistaa vertaistuen kehittämiseen (peili kehittämistyöhön) varmistaa, että kehittämistyön on tavoitteisiin nähden oikeansuuntaista edistää kehitettyjen toimintamallien levittämistä sekä juurtumista osaksi oppilaitosten arkea hankkeen käynnissä oloaikana Tutkimustulokset:Miten vertaisarviointi tukee kehittämistyötä?

16. Palautekyselyyn vastanneet Aktiivisimpia vastaajia hankkeen vetäjän roolissa ja asiantuntijaopettajan roolissa vastanneet henkilöt Vastaajien perusjoukko 98 (opettajat, hankevetäjät, oppilaitosjohdon edustajat, opiskelijat työelämän edustajat), vastauksia kyselyyn 40 kpl Vastausprosentti 40,8%

17. Palautekyselyyn vastanneet Kuvio.Vastaajien (n=40) ilmoittamat ensisijaiset roolit vertaiskäynnillä

18. Suositus: Tilaa vertaisarviointi tai ryhdy vertaisarvioijaksi 40 vastaajasta kaikki 11 vertaisarvionnin tilaajaa suosittelevat vertaisarviointimallin mukaisesti toteutettua vertaisarviointia kehittämishankkeille vastaavasti kaikki (N=29) vertaisarvioijina toiminutta suosittelevat vertaisarvioijana toimimista

19. Perustelut suosittelulle (vertaisarvioinnin tilaajat) Vertaisarvioijat avaavat uusia näkökulmia kehittämiseen ja jakavat tietoa ja kokemuksia Vertaisarviointi tuottaa kattavan kuvan hankkeen toiminnasta, kriittisistä kehittämiskohdista sekä onnistumisista (eräänlainen tarkistuspiste) Auttaa jäsentämään hankkeen toimintaa, tavoitteita ja tuloksia Asioiden jakaminen ja verkostoituminen voimaannuttaa

21. uusia näkökulmia ja ideoita kehittämistyöhön sekä mahdollisuus vaihtaa kokemuksia ja ajatuksia opetukseen sekä hanketyöhön liittyen

22. tutustuminen toisten toimintaa, tuo esiin omat vahvuudet ja heikkoudet, peliä kehittämistyöhön.

23. mahdollisuus verkostoitua ja tutustua uusiin toimijoihin ja konkarikehittäjiin

25. Kuvio 24. Vastaajien (N=39) vastauksien keskiarvot eriteltyinä vastaajaryhmittäin (5=Täysin samaa mieltä , 1= Täysin eri mieltä)

26. Kuvio 25. Vastaajien (N=40) vastauksien keskiarvot eriteltyinä vastaajaryhmittäin (5=Täysin samaa mieltä, 1= Täysin eri mieltä)

27. Kuvio 26. Vastaajien (N=38) vastauksien kskiarvot eriteltyinä vastaajaryhmittäin (5=Täysin samaa mieltä, 1= Täysin eri mieltä)

28. Kuvio 27. Vastaajien (N=38) vastauksien keskiarvot eriteltyinä vastaajaryhmittäin (5=Täysin samaa mieltä, 1= Täysin eri mieltä)

29. Kuvio 28. Vastaajien (N=38) vastauksien keskiarvot eriteltyinä vastaajaryhmittäin (5=Täysin samaa mieltä, 1= Täysin eri mieltä)

30. Kuvio 29. Vastaajien (N=37) vastauksien keskiarvot eriteltyinä vastaajaryhmittäin

31. Kuvio 30. Vastaajien (N=37) vastauksien keskiarvot eriteltyinä vastaajaryhmittäin (5=Täysin samaa mieltä, 1= Täysin eri mieltä)

32. Kuvio 31. Vastaajien (N=37) vastauksien keskiarvot eriteltyinä vastaajaryhmittäin (5=Täysin samaa mieltä, 1= Täysin eri mieltä)

33. Kuvio 32. Vastaajien (N=39) vastauksien keskiarvot eriteltyinä vastaajaryhmittäin (5=Täysin samaa mieltä, 1= Täysin eri mieltä)

34. Kuvio 33. Vastaajien (N=35) vastauksien keskiarvot eriteltyinä vastaajaryhmittäin (5=Täysin samaa mieltä, 1= Täysin eri mieltä)

35. Kuvio 35. Vastaajien (N=37) vastauksien keskiarvot eriteltyinä vastaajaryhmittäin (5=Täysin samaa mieltä, 1= Täysin eri mieltä)

36. Kuvio 36. Vastaajien (N=40) vastauksien keskiarvot eriteltyinä vastaajaryhmittäin (5=Täysin samaa mieltä, 1= Täysin eri mieltä)

37. Mikä muuttui ? Vertaisarvioinnin hyödyt Tekee kehittämistyöstä yhteisöllistä ja läpinäkyvää Edistää tiedonvaihtoa ja toisilta oppimista Edistää asiakaslähtöistä kehittämistä, synnyttää aitoa kehittämiskumppanuutta sekä verkostoiduttaa eri toimijoita Varmistaa resursseja sekä resurssien tehokasta käyttöä, tukee jaetun kehittämisvastuun periaatteiden toteutumista Auttaa tunnistamaan ja jäsentämään pedagogisia innovaatioita (tuotokset) sekä jatkokehittämään ja tuotteistamaan niitä

38. Hyödyt eri toimijoiden näkökulmista Rahoittajataho - Kehittämishankkeiden tuloksellisuus ja vaikuttavuus (hankkeiden tavoitteet näkyväksi) -toimintamallit kuvattu ja tunnistettu, - tukee tulosten levittämistä -henkilöstön osaamisen kehittäminen Koulutuksen järjestäjä - Yhteisöllinen toiminnan ja osaamisen kehittäminen, toimintakulttuurin muutoksen tuki, johdon tuki ja sitoutuminen, osaamisen kehittäminen Yksilö -osaamisen kehittyminen, peili ja tuki kehittämistyöhön ja voimaantuminen

39. vertaisarviointi tulisi olla pakollinen osa kehittämishanketoimintaa tehokas, toiminnallinen menetelmä täydennyskoulutukseen kriteeristöt sähköisiksi kyselylomakkeiksi, itsearviointi verkkolomakkeelle vertaisarvioinnin toteutus kaksivaiheisesti (kehittämiskumppanuus koko kehittämishankkeen käynnissäoloajan) kansallinen osaamis- ja innovaatiofoorumi tukemaan vertaisarviointien toteuttamista ja kehittämishanketoiminnan läpinäkyvyyttä Jatkokehittämisehdotuksia:

40. Julkaisut ja kriteeristöt TUTKIMUS: MITEN VERTAISARVIOINTI TUKEE KEHITTÄMISTYÖTÄ JA EDISTÄÄ KEHITTÄMISHANKKEIDEN TULOKSELLISUUTTA? Vertaisarviointimalli Opetushallituksen ammatillisen koulutuksen oppimisympäristöjen kehittämishankkeissa Tutkimusraportti http://vertaisarviointi.wikispaces.com/file/view/PALAUTETTAVA_VERSIO.pdf VERTAISARVIOINNIN TYÖKIRJAOPPIMISYMPÄRISTÖJEN KEHITTÄJILLEJA HANKETOIMIJOILLE linkki http://vertaisarviointi.wikispaces.com/Ty%C3%B6kirjaLIITE 1AMMATILLISEN KOULUTUKSEN OPPIMISYMPÄRISTÖN ARVIOINTIKRITEERISTÖUusin versio oppimisympariston_arviointikriteeristo.docLIITE 2 PEDAGOGISEN KEHITTÄMISHANKKEEN TOTEUTUKSEN ARVIOINTIKRITEERISTÖhanke_kriteeristo_pilotoinnin_paatyttyaok.doc