Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Opiskelijatutkimuksen päivä 2014: Leo Aarnio_Miten koulutuksen laatua mitataan?

499 views

Published on

Published in: Education
  • Login to see the comments

  • Be the first to like this

Opiskelijatutkimuksen päivä 2014: Leo Aarnio_Miten koulutuksen laatua mitataan?

  1. 1. MITEN KOULUTUKSEN LAATUA MITATAAN? K O K E M U K S I A A M M A T T I K O R K E A K O U L U J E N V A L M I S T U M I S V A I H E E N O P I S K E L I J A P A L A U T E K Y S E L Y N K E H I T Y S T Y Ö S T Ä T u t k i j a L e o A a r n i o O p i s k e l u n j a k o u l u t u k s e n t u t k i m u s s ä ä t i ö O t u s 1 7 . 2 . 2 0 1 3
  2. 2. 17.3.2014 2
  3. 3. 17.3.2014 3 ”Essentially all models are wrong, but some models are useful.” Box, George E.P. (1987, 424)
  4. 4. M I T T A U S P R O S E S S I M I T A T T A V A N K Ä S I T T E E N V A L I N N A S T A M I T T A U S T U L O K S E E N Mittaustulos Miten empiirinen käsite mitataan? (mittausvirhe) Empiirinen käsite Miten käsite muunnetaan mitattavan muotoon? (määritysvirhe) Teoreettinen/käytännöllinen/lainsäädännöllinen/poliittinen käsite Mitä mitataan? (valinta / rajausvirhe) 17.3.2014 4
  5. 5. E S I T Y K S E N R A K E N N E Mitä mitataan ja miksi? (kalvot 5 - 8) Käsitteen valinta ja perustelut (valintavirhe) Miten mitataan ja miksi? (kalvot 9 - 16) Käsitteen rajaus ja operationalisointi (määritysvirhe) Miten mittari toimii? (17 – 25) Mittarin toimivuuden arviointi (mittausvirhe) Miten mittaria kehitetään ja miten se käyttöönotetaan? (26 – 28) Tulosten tulkinta ja toimeenpano (tulkintavirhe) 17.3.2014 5
  6. 6. 1 . M I T Ä M I TATA A N J A M I K S I ? E H D O T U S R A H O I T U S M A L L I K S I 1 . ”KESU* -linjausten mukaisesti opetus- ja kulttuuritoimen rahoitusta koskeva lainsäädäntö muutetaan ammattikorkeakoulujen osalta niin, että rahoituksen määräytymisperusteissa ja rahoituskriteereissä otetaan huomioon ammattikorkeakoulujen koko lakisääteinen toiminta laatua, vaikuttavuutta ja tehokkuutta korostaen. Korkeakoulukohtainen rahoitus määräytyy pääasiassa suoritettujen tutkintojen ja opintoprosessien laadun ja tehokkuuden sekä työllistymisen perusteella.” Ehdotus ammattikorkeakoulujen rahoitusmalliksi 2014 alkaen (OKM 2012, 19) * Koulutuksen ja tutkimuksen kehittämissuunnitelma vuosille 2011-2016 17.3.2014 6
  7. 7. 1 . M I T Ä M I TATA A N J A M I K S I ? E H D O T U S R A H O I T U S M A L L I K S I ( A M K ) 2 . Koulutuksen indikaattori Paino rahoitusmallissa Suoritetut ammattikorkeakoulututkinnot 0,46 55 op suorittaneiden määrä 0,26 Valmistuneet työlliset 0,03 Avoimen ammattikorkeakoulun ja erillisten opintojen opintopisteet 0,02 Ammatillisessa opettajankoulutuksessa suoritetut opinnot 0,2 Opiskelijapalaute 0,03 Koulutuksen kansainvälisyys 0,03 Yhteensä 0,85 17.3.2014 7
  8. 8. 1 . M I T Ä M I TATA A N J A M I K S I ? Y K S I K K Ö L A A T U Jos ollaan kiinnostuneita kokonaislaadusta, yksikkölaadun valvonta on välttämätöntä Opiskelija on hyvä kandidaatti arvioimaan tutkintonsa yksikkölaatua AVOP –kyselyn mittauskohde on ammattikorkeakoulututkinnon yksikkölaatu valmistumisvaiheessa olevan opiskelijan näkökulmasta 17.3.2014 8
  9. 9. 1 . M I T Ä M I TATA A N J A M I K S I ? M I T Ä O N K O U L U T U K S E N L A A T U ? Koulutuksen laatu on intersubjektiivinen, kiistelty ja alati muuttuva, mutta pääpiirteiltään riittävän pysyvä, yhteisymmärrykseen tai kompromissiin perustuva poliittinen käsitys hyvän koulutuksen tavoitetiloista Käsitykselle johdonmukaisesti AVOP -kyselyn laadun määrittely sekä sen muuntaminen mittariksi on tehty yhteistoiminnallisesti 700 -800 ammattikorkeakoulukentän toimijan (henkilökunta ja opiskelijat) kesken Tutkijan rooli prosessissa on ollut ohjata keskustelua ja tehdä ehdotuksia siten, että lainsäädännölliset, (kasvatustieteelliset) ja mittausteoreettiset haasteet sekä kyselyn kognitiivinen testaus ja vertailukyselyt huomioidaan ratkaisuissa riittävissä määrin 17.3.2014 9
  10. 10. 2 . M I T E N M I TATA A N ? T A V O I T T E E N A M Ä Ä R I T Y S V I R H E E N M I N I M O I M I N E N Laadun käsitteen muuntaminen empiiriseen muotoon: tavoitteena määritysvirheen minimoiminen ” Ainoa objektiivinen koulutuksen laadun mittari on tutkintojen määrä.” Mitä on määritysvirhe, jos ei ole koulutuksen tosiarvoa? Niin kattava, tasapainoinen ja tarkka arvio koulutuksen osa-alueista, että sitä voidaan onnistuneesti ja oikeudenmukaisesti käyttää arvioimaan ja ohjaamaan ammattikorkeakoulutusta 17.3.2014 10
  11. 11. 2 . M I T E N M I TATA A N ? T Y Ö V A I H E E T 1 . S Y K S Y 2 0 1 2 Syksy 2012: koulutuspoliittisten trendien, lainsäädännön, vertailukyselyiden sekä kasvatustieteellisen mittausteorian läpikäynti Kaksi kyselyn kognitiivista testausta Erityisalojen asiantuntijoiden kuuleminen Hahmotelma kolmesta näkökulmasta koulutuksen laatuun: 1) hyvät käytännöt (yleinen), 2) oppiminen (poikkeuksellinen) ja 3) opiskelutyytyväisyys (harvinainen) 17.3.2014 11
  12. 12. 2 . M I T E N M I TATA A N ? T Y Ö V A I H E E T 2 . K E V Ä T J A K E S Ä 2 0 1 3 Yksi laaja kognitiivinen testi kevään 2013 alussa Keskustelua kommenttiryhmässä lokakuusta 2012 heinäkuuhun 2013 Kansallinen verkkokyselypilotointi huhti-, touko- ja kesäkuussa 2013 17.3.2014 12
  13. 13. 2 . M I T E N M I TATA A N ? S I S Ä LT Ö K O U L U T U K S E N L A A D U N K O K O N A I S I N D I K A A T T O R I 1 5 koulutuksen laadun mittaria, joiden standardoiduista arvoista johdetaan kokonaisindikaattori väittämämäärillä painotettuna keskiarvona Koulutuksen laadun näkökulmien väliset painoarvot ovat silloin karkeasti: 1. Koulutuksen käytännöt = ~ 68 % 2. Osaaminen = ~ 25 % 3. Opiskelutyytyväisyys = ~ 7 % 17.3.2014 13
  14. 14. Näkökulma laatuun Kokonaismittarin komponentit Osiot Osa-alueet Opintojen sisältö Opintojen suunnittelu ja ohjaus Opetus Opiskelu Oppimisympäristöt Opiskelun tukipalvelut Palaute ja arviointi Kansainv. monik. ja kieli - Työelämäyhteydet Työelämäneuvonta Harjoittelun järjestäminen Harjoittelun hyödyllisyys Opinnäytetyön järjestäminen Opinnäytetyön hyödyllisyys Oppimisen taidot - Työyhteisöosaaminen - Innovaatio-osaaminen - Kansainvälistymisosaaminen - Yhteiskunta ja eettinen osaaminen - Minäpystyvyys - Asiantuntijaosaaminen - Laaja-alainen osaaminen - Tyyt. opetus ja ohjaus - Tyyt. kansainvälisyys - Tyyt. työelämäheisyys - Tyyt. työelämätuki - Tyyt. harjoittelujakso - Tyyt. opinnäytetyöprosessi - Tyyt. osaamisen kehittyminen - Tyyt. ammatillinen kasvu - Yleistyytyväisyys - - Hyvät käytännöt NQF-osaaminen (osaaminen valmistumishetkellä + osaamisen kehittyminen)Osaaminen Yleisosaaminen Opiskelutyytyväisyys Opiskelutyytyväisyys osa-alueittain Opinnäytetyö Harjoittelu Työelämäyht. ja neuvonta Opetus ja oppiminen Hyvät käytännöt
  15. 15. 2 . M I T E N M I TATA A N ? S I S Ä LT Ö K O U L U T U K S E N L A A D U N K O K O N A I S I N D I K A A T T O R I 2
  16. 16. 2 . M I T E N M I TATA A N ? T Y Y L I F O R M A T I I V I S E T J A H E I J A S T A V A T I N D I K A A T T O R I T Tavoitteena mahdollisimman konkreettiset väittämät, joiden pohjalta voidaan suoraviivaisesti johtaa myös kehitystoimenpiteet Lisäksi muotoilulla haluttu varmistaa, että väittämät kantavat riittävästi informaatiota erottelemaan hyvät ja huonot koulutuksen osa-alueet toisistaan Koulutuksen 5 komponenttia latentin koulutuksen laadun heijastavia, epäsuoria indikaattoreita Kukin komponentti muodostuu formatiivisista, komponentin määrittävistä suorista indikaattoreista 17.3.2014 16
  17. 17. 2 . M I T E N M I TATA A N ? K O U L U T U K S E N L A A D U N M I T T A R I N R A K E N N E 17.3.2014 17
  18. 18. 3 . M I T E N M I T TA R I T O I M I I ? K O K E M U K S I A P I L O T O I N N I S T A 1 . R E L I A B I L I T E E T T I Satunnainen mittausvirhe tosiarvon varianssin ja mittaustuloksen varianssin suhteena Edellä hahmoteltu yhden faktorin (koulutuksen laatu) rakenne pätee komponenttien kohdalla (mittari homogeeninen) Koulutuksen laadun komponenttien Cronbachin alfa 0,86 Mittari stabiili (touko-, huhti- ja kesäkuun mittauksissa) Keskiarvoestimaattorin keskivirhe 0,02; suhteellinen keskivirhe 0,004, kun n=1338 Jakauma normaalinen → keskiarvoestimaattori harhaton ja tarkentuva) 17.3.2014 18
  19. 19. 3 . M I T E N M I T TA R I T O I M I I ? K O K E M U K S I A P I L O T O I N N I S T A 2 . K O N V E R G E N S S I Faktorilataukset komponenteilla korkeat, lukuun ottamatta NQF – osaamisen mittaria Komponentit osoittavat samaan suuntaan 17.3.2014 19
  20. 20. 4,0000 4,2000 4,4000 4,6000 4,8000 5,0000 5,2000 5,4000 5,6000 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. Koulutuksenlaatu-indikaattori Koulutuksen laatu-indikaattori 1. Hyvät käytännöt 2. Osaaminen valmistumishetkellä 3. Osaamisen kehittyminen 4. Yleisosaaminen 5. Tyytyväisyys osa-alueittain 6. Yleistyytyväisyys Lin. (Koulutuksen laatu- indikaattori) Lin. (1. Hyvät käytännöt) Lin. (2. Osaaminen valmistumishetkellä) Lin. (3. Osaamisen kehittyminen) Lin. (4. Yleisosaaminen) Lin. (5. Tyytyväisyys osa- alueittain) Lin. (6. Yleistyytyväisyys)
  21. 21. 3 . M I T E N M I T TA R I T O I M I I ? K O K E M U K S I A P I L O T O I N N I S T A 3 . M E T O D I T E K I J Ä T Kyselyn pituus arviolta 19 minuuttia Pituudella ja en osaa sanoa –vastausvaihtoehdolla ei merkittäviä sisällöllisiä vaikutuksia vastauksiin Sen sijaan yksikkö- ja erävastauskato sekä huolimattomasti vastanneiden osuudet huolestuttavia; en osaa sanoa vaihtoehdolla ja pituudella vaikutuksensa molempiin 17.3.2014 21
  22. 22. 3 . M I T E N M I T TA R I T O I M I I ? K O K E M U K S I A P I L O T O I N N I S T A 4 . S Y S T E M A A T T I N E N M I T T A U S V I R H E Koulutuksen laadun mittari vaihtelee merkittävästi ammattikorkeakouluittain myös silloin, kun suuri määrä taustamuuttujia on kontrolloitu Erot laadun arvioissa eivät siis johdu eroista epäoleellisissa tekijöissä Sen sijaan koulutuksen laadun indikaattoriin vaikuttavat myös opintomenestys, oppimisstrategia, koulutusala ja kieli Näistä huolestuttava lähinnä kieli: englannin- ja ruotsinkieliset arvioivat koulutustaan merkittävästi suomenkielisiä myönteisemmin 17.3.2014 22
  23. 23. 3 . M I T E N M I T TA R I T O I M I I ? K O K E M U K S I A P I L O T O I N N I S T A 5 . V A L I D I T E E T T I Sisältövaliditeetti oletettavasti poikkeuksellisen hyvä työn toteuttamisen luonteen ja tehtyjen arvovalintojen vuoksi Mittari vaikuttaa myös nomologisesti validilta, joskin verrokkimittari hieman epäilyttävä ☺ Mittarin rakentamisessa on tietoisesti pyritty maksimoimaan sekä informaatioarvo (kaikki tosiarvon varianssi mukana mittaustuloksessa) että toistotarkkuus (mahdollisimman vähän ylimääräistä varianssia): onko prosessi onnistunut? 17.3.2014 23
  24. 24. 4,60 4,70 4,80 4,90 5,00 5,10 5,20 5,30 5,40 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
  25. 25. 3 . M I T E N M I T TA R I T O I M I I ? K O K E M U K S I A P I L O T O I N N I S T A 6 . E R O T T E L U K Y K Y Eroja korkeakoulujen välillä saadaan mittarilla esiin, mutta erot ovat pieniä Havaituista eroista määrittämätön osuus johtuu mittaus- ja määritysvirheistä Kaikkien laadulta peräkkäin järjestettyjen korkeakoulujen tilastollisesti merkitsevä erotteleminen (p<0,05) vaatii noin 90% vastaajajoukon perusjoukon koosta Tämä takaa vasta, että erot ovat nollasta poikkeavia, eivät että ne ovat sisällöllisesti merkittäviä tai riittävän suuria ollakseen merkityksellisiä 17.3.2014 25
  26. 26. 3 . M I T E N M I T TA R I T O I M I I ? K O K E M U K S I A P I L O T O I N N I S T A 7 . N Q F – O S A A M I S E N M I T T A R I J A V A S T A U S K A T O Kokonaismittari toimii hyvin, NQF –osaamisen mittari ei Osaamisen itsearvioinnin vaikeus ja epäluotettavuus, retrospektiivisen arvion hataruus, erotuksen johtaminen yhdestä mittarista, osaamismääreiden abstraktius jne. NQF –osaamisen mittarin toimimattomuuteen liittyy ratkaistavissa olevia ongelmia: erityiset kompetenssit (ja ehdotus opintojaksoksi)? NQF –osaamisen mittarin lisäksi erottelukyvyn kannalta huolena vastauskato 17.3.2014 26
  27. 27. 4 . T O I M E E N PA N O E H D O T U K S E T R A H O I T U S M A L L I J A E R O T T E L U K Y K Y Laaturyhmien muodostamisen sijaan mittari voisi toimia jatkuvana: Tällöin insentiivi kehittää koulutusta on pienempi kuin epäjatkuvalla mittarilla, koska efektiiviset erot rahoituksessa pieniä – vastaa kuitenkin paremmin mittarin antamia tuloksia 17.3.2014 27
  28. 28. 4 . T O I M E E N PA N O E H D O T U K S E T K Y S E L Y M I T T A R I N K Ä Y T T Ö Ö N O T T A M I N E N O S A N A Y H D E N O P I N T O P I S T E E N O P I N T O J A K S O A Mikään mittari ei ole sellaisenaan hyödyllinen: se täytyy ottaa käyttöön osana koherenttia palaute- ja arviointijärjestelmää Kyselyyn liittyvät vastauskadon, pituuden ja NQF –osaamisen mittarin ongelmat sekä systemaattisen käyttöönoton asettamat haasteet voidaan kaikki ratkaista esimerkiksi 1 opintopisteen palautteen antamisen ja vastaanottamisen opintojaksolla Jos näin tehdään, mittari toimii hyvin laadun arvioinnissa Mittarin sisäinen rakenne ja väittämien muotoilu mahdollistaa osana opintojaksoa tehokkaat käytännön toimenpiteet koulutuksen laadun kehittämiseksi 17.3.2014 28
  29. 29. 4 . T O I M E E N PA N O E H D O T U K S E T M I T Ä S E U R A A V A K S I ? Uudelleenpainotus? Tiedonkeruun standardoiminen? Tulosten raportointi? Tulosten tulkinta? Tulkinnan mukainen toimeenpano? Vaihtelevat tiedonkeruukäytännöt eivät saisi vaikuttaa opiskelijoiden antamaan koulutuksen laadun arvioon Tulokset tulee esittää havainnollisessa visuaalisessa muodossa julkisesti tuleville opiskelijoille ja koulutuksen laadun arvioista kiinnostuneille Aineisto yhteiseen tietokantaan? Korkeakouluille yhteenvedot rahoituskausittain? Määrätyt henkilöt arvioimaan ja toteuttamaan kehitystoimenpiteitä annetun palautteen perusteella? 17.3.2014 29
  30. 30. K I I T O S K Ä R S I V Ä L L I S Y Y D E S T Ä ! Kysymyksiä? Yhteydenotot osoitteeseen leo.aarnio@otus.fi Verkkoon perustetaan osoitteeseen avop@otus.fi keskusteluryhmä raportista. Osoitteesta löytyvät myös raportin kannalta oleelliset liitetiedostot. 17.3.2014 30

×