SlideShare a Scribd company logo

Ensimmäiset sivut avop raportista

•
•
Research Foundation for Studies and Education Otus
Research Foundation for Studies and Education Otus
Education
1 of 19
Download to read offline
AMMATTIKORKEAKOULUJEN VALMISTUMISVAIHEEN OPISKELIJAPALAUTEKYSELY Ammattikorkeakoulutuksen laadun määrittelystä kyselymittarin arvioinnin kautta tulosten raportointiin: kokemuksia kyselyn kehitystyöstä AVOP2012-2013 Leo Aarnio Opiskelun ja koulutuksen tutkimussäätiö Otus 5/12/2013
Copyright: Opiskelun ja koulutuksen tutkimussäätiö Otus Leo Aarnio Taitto: Tero Silvast Oikoluku: Janne Mikkonen, Timo Luopajärvi Julkaisija: Opiskelun ja koulutuksen tutkimussäätiö Otus Lapinrinne 2 00180 HELSINKI www.otus.fi ISBN: ISSN: Paino: AMMATTIKORKEAKOULUJEN VALMISTUMISVAIHEEN MONITULOISET OPISKELIJAPALAUTEKYSELY Korkeakouluopiskelijoiden Ammattikorkeakoulutuksen laadun tulonlähteet ja kokemus määrittelystä kyselymittarin arviointoimeentulosta erilaisissa nin kautta tulosten raportointiin: kokemuksia elämäntilanteissa AVOP-kyselyn kehitystyöstä 2012-2013 Janne Aarnio Leo Mikkonen Elina Lavikainen Juhani Saari Opiskelun ja koulutuksen tutkimussäätiö Otus Opiskelun ja koulutuksen tutkimussäätiö Otus 5/12/2013 40/2013
Sisällysluettelo 4 Tiivistelmä käytännön kehitystyöstä 7 kiinnostuneelle (executive summary) 7 Kiitokset 11 Esipuhe 15 Johdanto 19 Raportin rakenne 19 Raportin tyyli 20 1. Taustaa 23 1.1. Yhteiskunnalliset ja koulutuspoliittiset taustat pähkinänkuoressa 23 1.2. Kokonaisvaltainen näkökulma yleiseen mittausteoriaan 28 2. Teoreettisen käsitteen määrittely ja operationalisointi: mitä ja miten mitataan? 37 2.1. Toimeksianto 38 2.2. Ammattikorkeakoulutuksen lainsäädännölliset tavoitteet 38 2.3. Teoreettiset taustat 40 2.4. Vertailukyselyt 76 2.5. Kommenttikierrokset 90 2.6. Observointiin perustuva laadullinen kyselyiden koestaminen 96 2.7. Vastausasteikko 98 2.8. Yhteenveto: mitä ja miten mitataan? 103 3. Mittarin luotettavuusanalyysi: miten mittari a posteriori toimii? 113 3.1. Kyselymittarin testaus ja koulutuksen laadun indikaattori 114 3.2. Huolimattomasti vastanneet, metodifaktorit ja kontrollimuuttujat 125 3.3. Reliabiliteetti 159 3.4. Validiteetti 171 3.5. Yhteenveto luvusta 3: Miten AVOP-kyselyn koulutuksen laadun mittari a posteriori toimii? 204 4. Ehdotus koulutuksen laadun opiskelijapalautekyselymittariksi osana ammattikorkeakoulujen opiskelijapalautejärjestelmää 211 4.1. Koulutuksen laadun mittarin väittämät, komponentit ja vastausasteikko 212 4.2. Miten ratkaista kyselyyn liittyvät ongelmat? 225 4.3. Vastaajien keruu ja tulosten raportointi 234 4.4. Yhteenveto AVOP-kyselyn käytännön hyödyntämisestä 238 5. Loppukaneetti 241 Viitteet 247 Kesäkuun yhdistetyn kyselyn väittämäkohtaiset tunnusluvut 252 1. Hyvät käytännöt 253 Frekvenssitaulukot 264 1. Hyvät käytännöt Koulutuksen laadun kokonaisindikaattorin sekä komponenttien jakaumat, tunnusluvut ja Kolmogorov-Smirnov-testit normaalisuudelle Liitteet 266 272 277 5
Tiivistelmä käytännön kehitystyöstä kiinnostuneelle (executive summary) Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysely (AVOP) on mittari ammattikorkeakoulun opiskelijalle tarjoamasta koulutuksen laadusta. Kyselymittari perustuu arvioon, jonka alemman korkea-asteen ammattikorkeakouluopiskelijat valmistumisvaiheessa tutkinnostaan tekevät. Kyselymittarissa on mallinnettu kolme toisiaan täydentävää koulutuksen laadun näkökulmaa: korkeakoulun toteuttamien toimien hyvä käytännön toteutuminen (hyvät käytännöt), ammattikorkekouluopiskelijan oppiminen (tämän osaaminen ja sen kehittyminen ennen kaikkea NQF-kompetensseina mitattuna) sekä opiskelijan koulutuksensa osa-alueille asettamien toiveiden ja tavoitteiden täyttyminen (opiskelutyytyväisyys). Näille näkökulmille on rakennettu kuusi koulutuksen laadun mittaria, joista yhdessä johdetaan koulutuksen laatua kokonaisuudessaan kuvaava arvio. Ammattikorkeakoulutuksen laadussa on otettu huomioon ammattikorkeakoulun erityinen rooli osana suomalaisen korkeakoulujärjestelmän duaalimallia. Kansainvälisesti kehitetyt mittarit eivät siten sovellu AVOP-kyselyn malliksi, vaan kysely on alusta alkaen rakennettu silmällä pitäen ammattikorkeakoulujen työelämäläheisyys kouluille asetettuna tehtävänä tuottaa työelämässä käyttökelpoista ja sitä uudistavaa korkeatasoista osaamista. Poikkeuksellista kyselyn kehitystyössä on, että kyselyn sisältö on rakennettu yhteistyönä ammattikorkeakoulujen kanssa: 700–800 kansallista korkeakoulukenttää kattavasti edustavaa asiantuntijaa on osallistunut lähes vuoden ajan kyselyn laatimiseen. Kyselyä voidaankin kuvata joukkoistamalla aikaansaaduksi. Valit- tu työskentelytapa varmistaa sen, että kyselyssä tulevat tasapainoisesti ja monipuolisesti näkyviin ne koulutuksen laadun osa-alueet, joita opiskelijat, opettajat ja henkilökunta pitävät tärkeinä. Prosessi ei ole ollut ainoastaan mittarin luotettavuuden kannalta tehokas, vaan se on myös legitimoinut mittarin rakentamisen prosessia ja varmistanut, että mittari on hyödynnettävissä siinä kehitystyössä, johon kommentointiin osallistuneet henkilöt ottavat osaa myös jatkossa. Erilaisten toisiaan tukevien luotettavuuden ominaisuuksien perusteella mittari on tilastollisesti ja psykometrisesti mitattuna pääosin luotettava. Mittari kykenee erottelemaan korkeakouluja niiden laadulle arvioitujen keskiarvoestimaattien avulla, mutta tähän erotteluun tulee suhtautua varauksella. Ensinnäkin kaikki erot eivät poikkea toisistaan tilastollisesti merkitsevästi, ellei vastaajamäärän suhteellista osuutta perusjoukosta saada sellaiselle tasolle, joka käytännössä edellyttää vastaamiseen pakottamista. Toisaalta, vaikka erottelu saataisiinkin aikaiseksi, ei ole selvää, että kaikkien korkeakoulujen erotteleminen toisistaan olisi sisällöllisesti perusteltua. Vaikka mittarissa on tilastollista voimaa korkeakoulujen erottelemiseen, ovat nämä erot käytännössä silti pieniä, eivätkä välttämättä sellaisia, joiden perusteella voitaisiin esimerkiksi väittää korkeimman arvosanan saaneen korkeakoulun olevan parempi kuin toiseksi korkeimman arvosanan saanut. Vaikka mittari kokonaisuudessaan toimii hyvin, se kärsii kolmesta pääasiallisesta ongelmasta: 1) kyselymittari on pitkä, 2) osaamisen mittari toimii melko huonosti, 3) kyselymittarin pilotoinnissa ilmeni liiallista vastauskatoa. 7
8 Käytännössä kyselyn kehitystyö ei ole valmis, ennen kuin nämä ongelmat on ratkaistu. Haasteisiin voidaan yhtäältä vastata integroimalla kysely osaksi opiskelijapalautejärjestelmää, toisaalta tekemällä hienoisia muutoksia myös kyselyn sisältöön. Kehitetty kysely tulee ammattikorkeakouluissa integroida osaksi opiskelijapalautejärjestelmiä siten, että opiskelijoita opetetaan arvioimaan koulutustaan ja myös itse omaa oppimistaan NQF-osaamisen (tutkintojen ja muun osaaamisen kansallinen viitekehys) mittarin avulla. Geneeristen kompetenssien mittarin poistamista tulee harkita ja sen tilalla koestaa kyselyssä käytettyjä yleisiä periaatteita (muun muassa vastausasteikkoa) noudattavien koulutusalakohtaisten osaamisten mittaristo. Jos tällainen mittari on opiskelijalle helpommin arvioitavissa ja vastaa paremmin kunkin koulutusalan laatua, mainittujen kehitystoimien pitäisi lisätä osaamisen mittarin luotettavuutta. Osaamisen mittarista tulee myös poistaa huonosti toimiva retrospektiivinen arvio opiskelijan korkeakoulun aloittamisen aikaisesta lähtötasosta. Tämä arvio täytyy tehdä jo silloin kun se on ajankohtainen, eli ensimmäisen opiskeluvuoden aikana, ja tehtyä arviota täytyy sitten verrata valmistumisvaiheessa osana AVOP-kyselyä tehtyyn osaamisen arvioon. Kyselyn pituuteen ja vastauskatoon liittyvät ongelmat voidaan ratkaista lisäämällä vastaaminen osaksi korkeakouluihin luotavaa palautteen antamisen ja vastaanottamisen opintojaksoa. Tällä opintojaksolla opiskelijat oppivat antamaan palautetta ja tekemään arviointityötä omasta ja muiden osaamisesta. Opiskelijan oman osaamisen lisäksi ehdotus parantaisi ammattikorkeakoulujen opiskelijapalautejärjestelmien yleistä toimivuutta. Kerättävää kvantitatiivista palautetta on syvennettävä laadullisella palautteella, jotta kehitystyötä voidaan palautteen perusteella kohdentaa oikein. AVOP-kyselyn korkeakoulukentän rahoituksen allokaatioon käytettävä määrällinen palaute on kehitystyön tehokkaaseen korkeakoulukohtaiseen suuntaamiseen yksinään pääasiassa liian yleisluontoista. Olisi toivottavaa, että ammattikorkeakoulut noudattaisivat yhtenäisiä ohjeita ja standardeja siitä, miten laadullista palautetta tulee kerätä tukemaan AVOP-kyselyn arvioinnin hyödynnettävyyttä ja luotettavuutta. Näiden mittaria parantavien toimien lisäksi on hallinnollisesti pohdittava ja päätettävä, miten ja keille mittarin tuloksia tulee raportoida. Raportoinnissa on huomioitava tyylin sopeuttaminen kohdeyleisön tarpeisiin: opiskelijoiden ja korkeakoulujen tietoon tulee saattaa laadun osa-aluekohtaisia suhteellisia arvioita, jotka koskevat niin korkeakouluja kuin koulutusaloja korkeakoulujen sisällä. Korkeakoulujen kehityksen asiantuntijoille täytyy aineistoa jakaa putsattuna ja suojattuna harkinnanvaraiseen tutkimus- ja kehitystyökäyttöön, ja lisätä aineisto yleiseen tietokantaan. Tämän lisäksi korkeakoulujen pitäisi valituin määräajoin (esimerkiksi kolmivuotisen rahoituskauden lopuksi) saada lyhyt raportti suhteellisesta pärjäämisestään kyselymittarin koulutuksen laadun indikaattoreilla, jotta korkeakoulut voisivat kohdentaa toimiansa tehokkaasti tiettyihin koulutuksen osa-alueisiin koulutuksensa kokonaislaadun parantamiseksi. Kyselyvastausten keruu tulee järjestää siten, etteivät korkeakoulukohtaiset käytännöt vaihtele tai vähintään niin, ettei käytäntöjen hienoinen vaihtelu pääse vaikuttamaan arvioihin koulutuksen laadusta. Ei ole välttämättä toivottavaa, että rahoitusmallissa kyselyn arvio perustuu siihen sisältyvän koulutuksen laadun mittarin ohella vastaajien määrään. Mittarin paikantamat erot koulutuksen laadussa ovat liian pieniä ja sensitiivisiä, jotta tämänkaltainen laadun näkökulmasta epäoleellinen tekijä voitaisiin hyväksyttävästi sisällyttää korkeakoulukohtaisiin rahoituspäätöksiin. Jos näin tehdään, on vaarana, että korkeakoulujen kyselymittariin perustuva rahoitusosuus on vain näennäinen; että tosiasiassa rahoitus on enemmän vastausprosentin kuin koulutuksen laadun funktio. Korkeakoulukohtaiset erot koulutuksen laadussa ovat pieniä, ja erotuksen signaalia heikentävät edelleen vääjäämättömät määritys- ja mittausvirheet. Kyselymittarin mahdollisimman hyvä eristäminen mittauskohteeseensa – korkeakoulun tarjoaman koulutuksen laatuun – tulee tämän vuoksi ottaa huomioon kaikissa kyselyä koskevissa opiskelijapalautejärjestelmän toimissa. Kun nämä ehdotukset huomioidaan, saadaan AVOP -kyselymittarista hyvä ja kauan kaivattu ammattikorkeakoulutuksen laadun arviointi- ja kehitystyökalu niin korkeakoulujärjestelmän, yksittäisten korkeakoulujen kuin tulevien korkeakouluopiskelijoidenkin tarpeisiin. AVOP-kyselyn kehitystyöstä vastaava tutkija, Leo Aarnio Opiskelun ja koulutuksen tutkimussäätiö Otus 9
Yhteistyössä ammattikorkeakoulutuksen laadun mittaria kehittämässä 10 Koulutuksen ja erityisesti korkeakoulutuksen laadun arvioiminen ei ole kovin yksinkertainen tehtävä. Korkeakoulutuksen laadun arviointi on kuitenkin noussut tärkeäksi tekijäksi korkeakoulutuksen yhteiskunnallista vaikuttavuutta arvioitaessa ja kehitettäessä. Siksi myös ammattikorkeakoulujen ja yliopistojen rahoituskriteereissä opiskelijoiden arvioima korkeakoulutuksen laatu on kohoamassa erääksi korkeakoulujen rahoitusta määrittelevistä tekijöistä. Ammattikorkeakouluissa aiempana opiskelijoiden arvioinnin mittarina on käytetty nk. OPALA-kyselyä. OPALAn keskeisiä ongelmia ovat olleet mittarin luotettavuuskysymykset, kyselyn osioiden yksiselitteisyyden puute sekä kyselyyn vastanneiden vähäisyys valmistuneiden opiskelijoiden määriin verraten. Käsillä oleva julkaisu on yhteenvetoraportti siitä määrätietoisesta ammattikorkeakoulujen koulutuksen laadun arvioinnin kehittämiseksi tehdystä työstä, jota on parin viime vuoden aikana toteutettu Ammattikorkeakoulujen rehtorineuvosto Arene ry:n ja Suomen ammattikorkeakouluopiskelijakuntien liitto SAMOK ry:n yhteisenä hankkeena. Hanketta on rahoittanut opetus- ja kulttuuriministeriö ja sen käytännön toteuttamisesta on vastannut Opiskelun ja koulutuksen tutkimussäätiö OTUS. Kuten raportista voidaan todeta, tässä on toteutettu kansainvälisestikin arvioiden useiden satojen ammattikorkeakouluasiantuntijoiden kanssa yksi laajimpia ja perusteellisimpia korkeakoulutuksen laadun arvioinnin mittarin kehittämishankkeita. Varsin seikkaperäisen ja perusteellisen raportin perusteella voidaan todeta, että hankkeessa on syntynyt korkeakoulutuksen laadun arvioimiseksi mittari, jota voidaan hyödyntää laajemminkin kuin pelkästään suomalaisten ammattikorkeakoulujen laadun arvioinnin työkaluna. Toivonkin, että mittari otetaan käyttöön kaikkien suomalaisten ammattikorkeakoulujen laadun arvioinnin työkaluna ja tämän julkaisun ja saatujen kokemusten kautta sitä sovelletaan myös laajemmin sekä kotimaisessa että kansainvälisessä korkeakoulutuksen laadun arvioinnissa. Tässä yhteydessä esitän lämpimät kiitokseni kaikille hankkeessa mukana olleille ja erityisesti hankkeesta päävastuussa olleelle tutkija Leo Aarniolle, joka on tehnyt todella mittavan työn korkeakoulutuksen laadun arvioinnin mittaamisen sekä laajemmin koulutuksen laadun arvioinnin ja kyselymenetelmällä tehtävän arvioinnin ja sen luotettavuuden kehittämiseksi. Timo Luopajärvi Toiminnanjohtaja, Ammattikorkeakoulujen rehtorineuvosto Arene ry KT, dosentti 11
Kiitokset 12 Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyn pilottiluonnokset eivät ole minun. Sekä käsitteelliset valinnat että niiden muotoileminen koulutuksen laadun mittareiksi on tehty laajana ammattikorkeakoulukentän kattavana yhteistyöprojektina. Minun tehtävänäni on ollut johtaa kyseistä projektia: tehdä ehdotuksia, ohjata keskustelua, tiedottaa tehdystä työstä, perustella tehtyjä valintoja, suorittaa luotettavuusanalyysi ja kirjoittaa loppuraportti. Ensimmäisenä haluankin kiittää – käytännön syistä valitettavasti anonyymisti – sitä 700–800 henkilön joukkoa, joka ammattikorkeakouluista on kahdeksan kuukauden ajan säännöllisesti kommentoinut, ideoinut ja rakentavasti kritisoinut kyselyn kehityksen eteen tehtyä työtä. Teidän työpanoksenne on ollut niin keskeinen, ettei ole väärin kutsua työn tuloksena syntyneitä kyselyitä joukkoistamalla aikaansaaduiksi. Kommentti- ja keskusteluryhmään on kuulunut henkilöitä, joiden osuus tehdystä työstä on niin suuri, että he ansaitsisivat siitä enemmän kuin seuraavan nöyrän kiitokseni. Toivon, että kyseiseen ryhmään kuuluvat henkilöt ottavat vastaan lämpimimmän kiitoksenosoitukseni siitä huolimatta, että he valikoituivat korostettuun rooliinsa nimenomaan sinnikkään ja tiukan, mutta perustellun kritiikkinsä ansiosta. Kiitos siis pitkistä keskusteluista, piinaavista kyseenalaistuksista sekä mainioista muutos- ja korjausehdotuksista sekä FUAS:n laaturyhmän jäsenille Tarja Gustafssonille, Jaana Ignatiukselle, Marjo-Riitta Järviselle ja Pirjo Kuismalle että Metropolian Oiva-tiimiläisille: Robert Arpolle, Minna Hautamäelle, Jaana Holvikivelle, Juha Lindforsille, Marjo Mannilalle, Merja Reijoselle, Seija Ristimäelle, Carina Savander-Ranteelle, Miikka Tanhualle, Heikki Valmulle sekä erityisesti Johanna Holvikivelle. Haluan myös kiittää sekä Metropolian että OPALA-kehitystyön ohjausryhmän Tiina Heikkistä tapaamisen järjestämisestä Metropolian asiantuntijoiden kanssa. Erityismaininnan ansaitsevat myös Kymenlaakson ammattikorkeakoulun Sinikka Ruohonen ja Sinikka Pekkalin, jotka suostuivat ystävällisesti ja ahkerasti muotoilemaan oman ehdotuksensa Opetus ja oppiminen -moduuliksi kesäkuun pilotointikierrosta varten. Aivan poikkeukselliseksi sen tehdyn valtavan työn, joka kaikkia kommenttikierroksille osallistuneita koskee, tekee se tosiasia, että suurin osa työstä tehtiin muiden töiden ohella, ikään kuin pro bono, mikä on osoitus osallistujien yleisestä hyväntahtoisuudesta, intohimosta sekä aidosta epäitsekkäästä halusta vaikuttaa myönteisesti korkeakoulujen arviointiin. Ennen kaikkea tämä on osoitus asianomaisten poikkeuksellisesta työteliäisyydestä. Suomalaisella ammattikorkeakoulukentällä ei ole mitään hätää, kun sen hyvinvointia vahtii tällainen ryhmä osaavia työmyyriä. Vielä kerran, kiitokset tämän osalta täytyy erityisesti osoittaa yllä mainituille henkilöille: he näkivät valtavan vaivan esimerkiksi laatiessaan vaihtoehtoisia mittareita behaviorismin peikosta kärsineelle Opetus- ja oppiminen -osiolle. Tästä(kään) työstä minulla ei valitettavasti ollut tarjota sitä rahallista palkkiota, jonka ylimääräinen työ olisi aivan päivänselvästi ansainnut. Toivon todella, että kyseisissä ammattikorkeakouluissa osataan mainittujen henkilöiden 13
14 erityispanosta arvostaa niiden arvoisilla erityisillä huomionosoituksilla. Hahmoteltuamme kyselyn moduulirakenteen syksyn 2012 lopussa kävimme keskusteluja moduulien konkreettisista sisällöistä suurenmoisten asiantuntijoiden kanssa. Edellä mainitun kommenttiryhmän lisäksi haluan kiittää ennen kaikkea Helsingin yliopiston yliopistopedagogiikan tutkimus- ja kehittämisyksikön johtajaa Sari Lindblom-Ylännettä sekä tutkija Anna Parpalaa, jotka jakoivat sekä asiantuntemustaan että konkreettisia Oppi-kyselyn tiimoilta kehitettyjä väittämiä ja syntyneitä kokemuksia Opetus ja oppiminen -moduulin kehittämisen tueksi. Opetus ja oppiminen -moduulin sisällöllisen kehitystyön tiimoilta haluan lisäksi kiittää Hämeen ammatti-instituutin johtajaa Seija Mahlamäki-Kultasta. Dosentti Pentti Rauhalalle kuuluu lämmin kiitos sekä konsultaatiosta kyselyn sisältöön kokonaisuudessaan liittyen että ohjausryhmän väliaikaisena puheenjohtajana mallikkaasti toimimisesta. Kiitokset hyvistä kommenteista ja ohjeista TKI-toiminnan huomioimisessa osana kyselyä Jyväskylän ammattikorkeakoulun rehtorille Jussi Halttuselle. Erityisen lämpimästi haluan kiittää Centria ammattikorkeakoulun Paula Erkkilää, jonka kokemukset opiskelun ja työelämäyhteyksien INTO-kehittämisverkoston tiimoilta rakennetusta työelämäläheisen oppimisen mallin kyselymittarista olivat korvaamattomia Työelämäyhteydet ja -neuvonta -moduulille. Useat moduulin väittämät ovat joko muokattuja kyseisestä kyselymittarista tai otettu sellaisinaan osaksi kyselyä. Kyselyn luotettavuusanalyysin asetelmassa oli tarkoitus alun perin käyttää suurta määrää kyselyn ositteita, jotka olisivat pitäneet sisällään vaihtoehtoisia väittämämuotoiluja koulutuksen laadun mahdollisimman kattavaa teoreettista käsitekenttää kuvaamaan. Moninkertaisen imputoinnin algoritmeillä oli tarkoitus sitten täyttää puuttuvat solut matriisista, joka mallintaisi mahdollisimman kokonaisvaltaisesti superpopulaatiota kuvaavia vaihtoehtoisia muotoiluja koulutuksen laadusta. Tämän asetelman arvioimisesta sekä yleisestä kannus- tuksesta ja avusta haluan kiittää Helsingin yliopiston tilastotieteen laitosta. Aivan erityisen kiitoksen kyselyn kehitystyön tukemisessa ansaitsee surveymetodiikkaan erikoistunut emeritusprofessori Seppo Laaksonen. Pieni erityiskiitos Sepolle kuuluu myös inspiraatiosta raportin nimeksi. Samankaltaiset kiitokset osoitan otantamenetelmiin ja pienalue-estimointiin erikoistuneelle professorille Risto Lehtoselle johdantokappaleesta löytyvästä sitaatista. Lisäksi haluan kiittää Kimmo Vehkalahtea kannustuksesta ja tuesta. Haluan toisaalta myös pahoitella, etten ole korvannut Cronbachin alfaa paremmalla sisäisen konsistenssin mitalla, Tarkkosen ja Vehkalahden rho:lla. Kommenttiryhmä varmisti, että kyselyssä tulee huomioiduksi opettajan näkökulma hyvästä opetuksesta ja koulutuksesta. Vaikka ryhmässä oli mukana myös kattava joukko opiskelijajäseniä, jäi heidän äänensä ryhmässä opettajien alle. Tämän näkökulman paremmin esille tuomisesta haluan kiittää ohjausryhmän jäseninäkin toimineita Suomen opiskelijakuntien liitto – SAMOKin entistä puheenjohtajaa Elin Blomqvistia sekä ennen kaikkea SAMOKin opetuksesta ja ohjauksesta vastaavaa asiantuntijaa Veli-Matti Taskilaa. Vellulle ja Elinille kuuluvat erityiskiitokset lukemattomista suurenmoisista ehdotuksista, kyselyn vastaamisen havainnointiin perustuvien pilotointien järjestämisestä sekä yleisestä läheisestä vuoden kestäneestä hedelmällisestä yhteistyöstä. SAMOKista kiitän kansainvälisistä asioista vastaavaa asiantuntijaa Pauliina Savolaa, jota konsultoin Kansainvälisyys ja kieliopinnot -moduulia varten ja josta on kiittäminen kotikansainvälistymisen huomioimisesta kyselyssä. Opiskelijajärjestöjen yhteistyökumppaneista lisäksi kiitän Metropolia Ammattikorkeakoulun opiskelijakunta – Metkan Aku Aarvaa, jolta tuli systemaattisesti hyviä kommentteja kyselyn väittämistä ja joka järjesti Metropolian ammattikorkeakoulussa kyselyn täyttämisen havainnointiin ja haastatteluihin perustuvia pilotointeja. SYL:n koulutuspoliittista sihteeriä Suvi Erikssonia haluan kiittää yliopistojen YOPALA-kyselyn kehitystyön kokemusten jakamisesta. Opiskelun ja koulutuksen tutkimussäätiöstä haluan erityisesti kiittää toiminnanjohtaja Jussi Junnia, joka on ottanut aktiivisesti osaa ohjausryhmään ja suonut minulle luottamuksen johtaa kyselyn kehitystyön tutkimuksellista tukea. Lisäksi erityisen kiitoksen ansaitsevat ennen kaikkea ajatusten, ideoiden ja metodologian sparraajana toiminut tutkija Juhani Saari (jota pahoittelen siitä, ettei hänen kehittämäänsä edistyksellistä tutkimusasetelmaa loppujen lopuksi voitu sellaisenaan toteuttaa) sekä tutkija Heidi Kettunen, jonka kasvatustieteellisen teorian tuntemus ja kriittinen kyselyn sisällön kommentointi on ollut korvaamaton osa kyselyn kehittymistä nykyisen kaltaiseksi. Raportin oikoluvusta ja korjaamisesta rakenteeltaan johdonmukaisemmaksi sekä tyyliltään selkokielisemmäksi valtava kiitos pedantille ja taitavalle kollegalleni Janne Mikkoselle. Kiitokset vielä Alina Inkiselle sekä Suvi Pulkkiselle, jotka osaltaan kävivät kyselyä läpi ja antoivat hyviä sisältöön ja muotoiluun liittyviä kehitysehdotuksia. Haluan kiittää ohjausryhmän upeita jäseniä: ennen kaikkea Arenen aikaansaavaa ja jämptiä toiminnanjohtajaa Timo Luopajärveä, joka oli merkittävänä tukena läpi prosessin ja josta on kiittäminen raportin yksityiskohtaisesta läpikäymisestä ja hienoista korjausehdotuksista. Lisäksi kiitän Metropolian Tiina Heikkistä, Karelian Jyrki Kankkusta sekä jo edellä mainittuja Veli-Matti Taskilaa, Elin Blomqvistia, Jussi Junnia sekä Juhani Saarta. Arenesta haluaisin vielä kiittää Eija Antilaa, joka mah- dollisti pilotoinnin onnistumisen jo huhtikuussa lyhyellä varoitusajalla neuvokkaalla ja nopealla toiminnallaan. Kiitokset haluan osoittaa myös kehitystyötä seuranneille ja arvioineille Opetus ja kulttuuriministeriön virkamiehille, ennen kaikkea korkeakoulu- ja tiedepolitiikan osastolle: johtaja Hannu Sirenille, opetusneuvoksille Armi Mikkolalle ja Tomi Haloselle sekä ylijohtajille Tapio Kosuselle ja Anita Lehikoiselle. Kiitos myös Bettina Backström-Widjeskogille Noviasta hienosta kesäkuun kyselyversion ruotsin kielen käännöksestä. Mitä nöyrimmät pahoitteluni siitä, että ammattikorkeakoulupedagogiikan kielen erityisesti huomioiva käännöksesi jäi huolimattomuusvirheen vuoksi käyttämättä. Kyselymittarin kääntäminen on haastava ja suuri työ: tästä erinomaisesti suoritumisesta kiitos Lapinrinteen ahkeralle kääntäjällemme Kristian Johanssonille. Monet jäivät nimeltä mainitsematta. Teille kymmenille ellei sadoille henkilöille, joiden kanssa olen kyselyn kehitystyön tiimoilta keskustellut, nöyrimmät kiitokseni. Korostettuani tässä kehitystyön yhteistyöluonnetta on hyvä vielä lopuksi painottaa, että kaikki kyselyyn jääneet puutteet ovat yksin minun vastuullani. Lopulliset päätökset siitä, mitä lisäyksiä, poistoja tai korjauksia kyselyyn tehdään tein omaa harkintaani käyttäen. Harva, jos kukaan, edellä mainitsemistani henkilöistä allekirjoittaisi kaikki kyselyn yksityiskohdat. Olen kiitollinen siitä, että minä voin niin tehdä. Helsingissä 4.11.2013, Leo Aarnio 15
Esipuhe ”Essentially, all models are wrong, but some models are us eful.” George E.P. Box (1987, 424) 16 Tämä kirjoitus kuvaa ja arvioi kehitystyötä, jonka tuloksena on syntynyt ammattikorkeakoulutuksen laadun kyselymittari. Tehtävään, jonka tavoitteena on määritellä koulutuksen laatu, ryhtyminen vaatii kyynisyydestä vapaata, kenties peräti naiivia pragmatismia. Täydellisyyden tavoittelu olisi toivoa saavuttaa todellisuudesta irtaantunut ihanne, joka on olemassa korkeintaan ideoiden maailmassa. Mahdottoman tavoittelu johtaisi halvaukseen tehtävän alkumetreillä. Jos osaa kuitenkin olla itselleen (ja muille) maltillisen armollinen ja asettaa realistiseksi tavoitteeksi maltillisen epäonnistumisen, kyseessä ei ole mahdottoman tekeminen mahdolliseksi. Koulutuksen laatua voidaan lähestyä – sitä kenties koskaan täysin saavuttamatta – niin lukuihin kuin sanoihin perustuvin kuvauksin. Tehtävään ei kuitenkaan myöskään tule ryhtyä henkselit paukkuen ymmärtämättä sen haasteellisuutta vaan nöyrästi annetun haasteen vakavuutta kunnioittaen. Koulutuksen laadun mittaaminen on nimittäin vaikeaa. Koulutuksen laadun käsite on samanaikaisesti sekä laaja että syvä: käytännössä moniulotteinen, periaatteessa pohjattoman filosofinen. Ensin mainitusta mittauskohteen ominaisuudesta seuraa, että joudutaan tekemään kaikkea muuta kuin itsestään selviä arvovalintoja. Näiden seurauksena joitain koulutuksen kannalta tärkeitä asioita jää varjoon toisten, tietystä näkökulmasta tärkeämmiksi koettujen asioiden kustannuksella. 1 Positionaalisesta objektiivisuudesta katso esimerkiksi Amartya Sen, 1993. Toiseksi mainitusta ominaisuudesta taas seuraa, ettei näitäkään lukemattomia käytännön asioita voida lähestyä ilman, että samalla otettaisiin kantaa, implisiittisesti tai eksplisiittisesti, sellaisiin perustaviin koulutuksen filosofiaan liittyviin kysymyksiin, kuten mitä henkilökohtaista ja yhteiskunnallista (eettistä, tiedollista ja taidollista) tehtävää koulutuksen tulisi ylipäätään palvella. Termi ”koulutuksen laatu” onkin latautunut: se on välttämättä sekä arvottava että kuvaileva. Teoreettisen käsitteen lailla ei käsitteen mittarikaan voi täten olla objektiivinen, vaan pikemminkin se on kiistanalainen, enemmän tai vähemmän perusteltu subjektiivinen, intersubjektiivinen tai korkeintaan tietyn ryhmän positionaalisesti tai perspektiivisesti objektiivinen1 arvio niistä asioista, joita koulutuksen järjestämisen kannalta hyvinä voidaan valituin ennakko-oletuksin pitää. Koska AVOP-kysely on kehitetty laajana yhteistyöprojektina ammattikorkeakoulukentän yhteistyökumppaneiden ja minun kesken, käsillä olevaa kuvausta ja sen pohjalta syntynyttä mittaria koulutuksen laadusta voi kenties parhaiten luonnehtia intersubjektiiviseksi kompromissiksi. Se on asianomaisten moniääninen, ei-konsensuaalinen käsitys siitä, mitä hyvä ammattikorkeakoulutus pitää sisällään. Kyseinen lopputulos on saavutettu joukkoistamalla deliberaation keinoin neuvottelemalla, ei aggregoimalla preferenssejä tai äänestämällä näkemyksistä. Näin filosofisen, moniulotteisen ja kiistanalaisen käsitteen mittaaminen onkin niin vaikeaa, että jos luulee siinä erehtymättömästi onnistuneensa, on joko hullu tai tyhmä. Raportti 17
18 on täten kuvaus epätäydellisestä prosessista, jota voidaan tehdyn työn ansiosta pitää jossain määrin onnistuneena. Tehtävänäni on seuraavassa perustella tämä onnistuneisuus kohtuudella, rehellisesti ja tosiasioihin perustuen. Tämän kirjoituksen näkemys, jonka mukaan koulutuksen laatu on mitattavissa, tarkoittaa, ettei nähdä olevan merkittäviä periaatteellisia syitä, miksei koulutuksen laadun käsitettä voisi käyttää myös arvottamaan korkeakouluja. Se, joka on tästä lähtökohtaisesti eri mieltä – perustellusti tai ei – voi jättää jatkon lukematta: tämän perustavanlaatuisen premissin totuudenmukaisuutta ei seuraavassa pyritä todistelemaan. Jotta koulutuksen laadun käsite voisi toimia kehitys- ja arviointityökaluna, täytyy se muuntaa mittariksi eli operationalisoida. Jotta mittari toimisi sille annetuissa tehtävissä, tulee sen olla onnistuneesti operationalisoitu. Tämä onnistuneisuus on sitä, että kaikkine ongelmineenkin mittari toimii; että sen käyttäminen koulutuksen laadun indikaattorina on suotavampaa kuin sen käyttämättä jättäminen. Onnistuneisuus on täten nähtävä suhteena muihin vaihtoehtoisiin tapoihin toimia: siis mitata, arvioida ja ohjata koulutuksen laatua. Onnistuneisuus tehtävässä ei siis ole puhtaasti absoluuttinen suure. Tätä suhteellista onnistuneisuutta kuvataan seuraavassa pääosin mittausteoreettisin, mittarin luotettavuuteen liittyvin termein. Kantaa ei kuitenkaan juuri oteta muiden mittareiden toimimiseen tai toimimattomuuteen. Jos on kiinnostunut suhteellisesta arvioinnista, voi sitten vertailla tässä tehtyjä arvioita muiden koulusjärjestelmää ohjaavien mittareiden arvioihin. Sen lisäksi, että onnistuneisuus on suhde muihin toimintatapoihin, se on myös riippuvaista käytännön toteutuksesta. Mittarin toimiminen on ehdollista sille, miten mittaria käytetään. Täten lopullinen työn onnistuneisuuden mitta saadaan vasta jälkikäteen – silloin, kun mittaria on jonkin aikaa käytetty onnistuneesti ammattikorkeakoulujen kehitystyössä ja arvioinnissa.
Johdanto 20 Tämän raportin näkökulma on rajattu. Kaikkia kehitystyön yksityiskohtia ei ole mielekästä lyhyessä raportissa tuoda esille. Tämän puutteen kohdalla toivon, että kehitystyön lopputuote - ehdotus ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyksi (AVOP) - johon kaikki pienimmätkin kehitystyön kommervenkit ovat tavalla tai toisella tulleet sisällytetyiksi, puhuu omasta puolestaan. Jokaisella kyselyn sisältämällä väittämällä on yksilöllinen historiansa. Yksi vaihtoehto kyselyn kehitystyön raportoinnille olisikin näiden historioiden kuvaileminen, perusteleminen ja arvioiminen. Tämä tulisi kuitenkin niin lukijalle kuin allekirjoittaneelle liian raskaaksi. Tämän vuoksi seuraavassa kuvaillaan ja hahmotellaan yleisellä tasolla niitä asioita ja tekijöitä, joita kyselyn kehitystyössä on otettu huomioon. Melko paljon huomiota kiinnitetään teoreettisiin perusteluihin ja käsitteiden läpikäyntiin. Tämän tarkoituksena on antaa lukijan osallistua mittarin rakennusprosessin arviointiin. Tällaisen tiiviimmän kuvauksen huono puoli on se, ettei kirjaamistani perusteluista yksiselitteisesti tai loogisesti seuraa johtopäätökset eli kyselyn sisältö. Voin korkeintaan taustoittaa tehtyjä valintoja. Tällöin toivon lukijan ymmärtävän, ettei taustojen ja päätösten väliin jäävä tyhjä tila ole summittainen. Perusteltuja päätöksiä on myös näissä kohdissa tehty, vaikkei niitä kaikkia voidakaan tässä raportoida. Kyselyn väittämien genealogian lisäksi vähälle käsittelylle jäävät ne yhteiskunnalliset ja koulutuspoliittiset tekijät, jotka ovat johtaneet päätökseen ottaa kysely osaksi korkeakoulujen rahoitusmallia. Nämä tekijät sietäisivät tulla tarkemmin käsitellyiksi siitä syystä, että ne vaikuttavat taustalla myös kyselyn sisältöön liittyviin päätöksiin. Raportin rakenne Raportti jakautuu kahteen osaan, joista ensimmäisessä on kolme ja jälkimmäisessä kaksi lukua. Ensimmäinen osa kuvaa kyselyn sisällön määrittämisen kehitystyötä ja mittarin arviointia, toinen osa ehdotusta kyselyksi sekä tämän hallinnoinniksi ensimmäisen osan näkökulmien pohjalta. Ensimmäisessä osassa kuvailen kyselyn sisältöä kokonaisvaltaisesta mittausteoreettisesta näkökulmasta. Tarkoituksena on jäsentää ja eritellä kyselyn rakentuminen prosessina, jossa käsitteellisestä analyysista siirrytään käsitteiden mittareiksi muuntamisen (luvut 1 ja 2) kautta mittarin toimivuuden ja laadun analyysiin testaamalla kyselymittarin ominaisuuksia (luku 3). Teoreettisen käsitteen, opiskelijapalautekyselyn mittauskohteen, valintaan ja rajaukseen vaikuttavia yhteiskunnallisia ja koulutuspoliittisia tekijöitä käsittelen lyhyesti raporttia taustoittavassa luvussa 1. Nämä tekijät vaikuttavat kyselylle asetettujen päämäärien ja tulevaisuuden kehitystarpeiden kautta teoreettisen käsitteen sisältöön. Toisessa luvussa syvennän koulutuksen laadun teoreettisen käsitteen muodostamista ja rajausta sekä selvennän, millä tavalla tämä käsite on muunnettu kyselymittariksi ja mistä syistä näihin valintoihin on päädytty. Teoreettisen käsitteen määritys lähtee liikkeelle Opiskelun ja koulutuksen tutkimussäätiön saamasta toimeksiannosta sekä ammattikorkeakoulutukselle laissa määrätyistä tavoitteista (luvut 2.1 ja 2.2). Nämä paikantavat vastausta kysymykseen, mitä AVOP-kyselyllä mitataan. 21
22 Tämän pohjalta hahmoteltava hyvän ammattikorkeakoulutuksen empiirinen käsitekartta tarkentuu teoreettisen taustatyön (luku 2.3), toimivien vertailukyselyjen analysoinnin (2.4), ammattikorkeakoulujen yhteistyökumppaneiden ja asiantuntijoiden kommenttien (2.5), kyselyversioiden laadullisten testausten (2.6) sekä vastausasteikon valintaan liittyvän surveymetodisen kirjallisuuden (2.7) kautta. Edellä mainitussa järjestyksessä pyrin siis ensimmäisessä ja toisessa luvussa vastaamaan kysymyksiin, (1) mitä ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyllä (AVOP) on tarkoitus mitata, ja (2) miten tätä on hyvä mitata. Näitä kysymyksiä ja niiden vastauksia käsittelen osittain päällekkäin vaiheiden keskinäisriippuvuuksien vuoksi. Ensimmäinen luku ja toisen luvun alku keskittyy teoreettisen käsitteen valintaan ja toisen luvun loppu siihen, miten tämä teoreettinen käsite muunnetaan empiiriseksi käsitteeksi, josta sitten johdetaan valittua käsitettä kuvaava kyselymittari. Ensimmäisen osan viimeisessä eli kolmannessa luvussa arvioin sitä, miten rakennetut mittarit vastaavat yleisiin mittausteoreettisiin ja psykometrisiin haasteisiin. Vastaan siis kysymykseen, kuinka hyvin mittarit mittaavat ammattikorkeakoulutuksen laatua. Vastaus koostuu muun muassa siitä, vaihtelevatko mittarit niille epäoleellisten muuttujien suhteen (systemaattinen mittausvirhe, luku 3.2), ovatko mittarit tarkkoja vai onko niissä satunnaista mittausvirhettä (eli ovatko mittarit reliaabeleja, 3.3) ja ennen kaikkea mittaavatko mittarit ensimmäisessä luvussa määriteltyjä asioita (eli ovatko mittarit valideja, 3.4). Raportin toisessa osassa esitän, miltä AVOP-kyselyn mielestäni tulisi näyttää ja miten sitä tulisi käyttää. Luvussa 4.1 teen ensimmäisessä osassa läpikäytyjen teemojen pohjalta ehdotuksen ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyksi. Luvussa 4.2 ehdotan, miten AVOP-kyselyn puutteita voitaisiin mielestäni korjata integroimalla se paremmin osaksi opiskelijapalautejärjestelmän kokonaisuutta. Neljännessä luvussa pyrin myös jakamaan kehitystyön tiimoilta syntyneen käsitykseni siitä, miten kyselyä voitaisiin käytännössä parhaalla mahdollisella tavalla hyödyntää ammattikorkeakoulutuksen kehittämisen tukena. Tähän liittyy kyselyn hallinnointi, tulosten raportointi sekä ehdotus tavaksi kerätä vastauksia kyselyyn. Esitän, että opintojaksosuoritteena kyselyn vastausten laatua voitaisiin parantaa ja samalla päästäisiin eroon pitkäksi muodostuneen kyselyn mahdollisesta vastauskadosta ja osaamisen mittariin liittyvistä ongelmista. Päätän loppukaneettiin luvussa 5, jossa pohdin niitä päättelyn sudenkuoppia, jotka ovat jääneet vähälle huomiolle raportissa mutta jotka oleellisesti vaikuttavat raportin sisällön yleistettävyyteen. Raportin tyyli Raportilla ei ole kohdennettua yleisöä, minkä seurauksena toivon, ettei se ole sietämätöntä luettavaa kaikille. Kompromissi, johon yksikään lukija ei pysty samaistumaan: liian akateeminen ja koukeroinen käytännön toimeenpanosta kiinnostuneille, liian matalaotsainen, suoraviivainen ja huonosti perusteltu akateemiselle yleisölle. Raportin tyylillinen ongelma onkin ilmentymä tehtävän luonteesta. Siinä missä tehtävä on yhtäältä varsin käytännöllinen (toimivan kyselytyökalun rakentaminen ammattikorkeakoulujen kehitystyöhön), se on toisaalta myös toivottoman akateeminen (psykometrisesti luotettavan mittarin rakentaminen kasvatustieteelliselle/filosofiselle koulutuksen laadun määreelle). Uskoisinkin, että valitsemani käsittelytavan vuoksi raportista voisivat olla yhtä lailla kiinnostuneita sekä korkeakoulujen kehitystyöhön vihkiytyneet käytännön toimijat että kasvatustieteellisistä mittareista innostuneet tutkijat ja mikseivät myös korkeakoulutuksen tai yleistä arviointityötä opiskelevat opiskelijat. Raportti on kirjoitettu niin tyylillisesti kuin sisällöllisestikin kuvaamaan sitä ajatustyötä, jonka olen itse läpikäynyt: kronologisena prosessina ensimmäisistä teoreettisen käsitteen valinnan pohdinnoista viimeisiin tulosten raportoinnin vaiheisiin. Se on kuvaus aavistuksesta, joka muuttuu matkalla perustelluksi a priori arvioksi siitä, mitä ammattikorkeakoulutuksen laatu pitää sisällään, ja huipentuu pilotoinnilla koeteltuun a posteriori arvioon tämän käsityksen toimivuudesta. Täten raportti ei valitettavasti kovin hyvin sovellu valikoiden luettavaksi ainakaan niin, että lukisi jotain raportin alkupäästä ja päättelisi tämän perusteella, mitä mieltä olen tai miten käytännön kehitystyössä tulisi toimia. Voi nimittäin olla, että alkuperäinen näkemykseni on osana prosessia tarkentunut tai peräti radikaalisti muuttanut muotoaan, ja tämä muutos on sisältynyt raporttiin siten, ettei raportin alkupään arvioni ole yhteneväinen loppupäässä esittämäni arvion kanssa. Raportin rakenteen onkin tarkoitus löyhästi muistuttaa niin sanottua bayesilaistä oppimisprosessia, jossa a priori käsitystä jostain asiasta (tässä koulutuksen laadusta) tarkennetaan ja päivitetään kerätyn aineiston avulla perustelluksi a posteriori arvioksi. Tämän oppimista kuvaavan muutosprosessin, joka ei toivottavasti aiheuta tarkkaavaisessa lukijassa hämmennystä, olen sisällyttänyt raporttiin, koska olen halunnut tuoda näkyviin myös ne perustelut, jotka ovat minulle ilmen- neet nimenomaan kumulatiivisena kronologisena prosessina. Ilman niiden pukemista tätä vastaavaan ulkoasuun jäisivät perustelut ulkopuolisille mutta niistä kenties kiinnostuneille piiloon. Samalla olen halunnut olla rehellinen sille, etteivät kaikki asiat – mitkään asiat itse asiassa – ole näyttäytyneet minulle ilmeisinä projektin alusta lähtien. Niinpä jos jotain lopullista haluaa poimia raportista, poimittakoon se raportin loppupäästä. Alussa esitetyt näkemykset ovat hioutumattomia, minkä vuoksi niiden perusteltuina pitäminen on lukijan itsensä vastuulla. Toisaalta raportin loppukaan ei seiso siinä mielessä itsenäisesti jaloillaan, että lopun lukeminen riittäisi johtopäätösten lisäksi myös perustelujen ymmärtämiseen. Jos käy läpi vain mittarin a posteriori arvion, ei kykene kattavasti arvioimaan mittarin määritysvirhettä, saati ymmärtämään, miksi jotain on tullut kyselyyn sisällytetyksi ja miksi jotain muuta on jätetty siitä pois. Käytännön ehdotuksia koskeva luku 4 on tältä osin poikkeus: siinä esitetyt toimenpiteet on johdettu kaikesta sitä ennen käsitellystä. Jos lukija on kiinnostunut toimenpide-ehdotuksista eikä niin välitä niiden perusteluista, hän voi hyvin tutustua vain neljänteen lukuun.
OSA 1: Perustelut ja arviot 1. Taustaa Tässä luvussa kuvailen koulutuspoliittisia taustoja, jotka kyselyn kehitystyötä ovat ohjanneet. Selvennän myös raportin näkökulmaa ja rakennetta paikantamalla sen raportin mittausteoreettiseen otteeseen. 1.1. Yhteiskunnalliset ja koulutuspoliittiset taustat pähkinänkuoressa 22 Tässä luvussa käyn lyhyesti läpi niitä yhteiskunnallisia ja koulutuspoliittisia taustoja, jotka ovat konkreettisesti, joskin lähinnä välillisesti, vaikuttaneet AVOP-kyselyn sisältöön ja muotoon. Ehdotus ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyksi koostuu kolmesta osakokonaisuudesta, jotka voidaan nähdä koulutuksen laadun vaihtoehtoisina, mutta toisiaan tukevina ja keskenään korreloivina mittareina. Nämä osakokonaisuudet ovat: Koulutuksen käytännöt (kesäkuun kyselyn, liite 17, moduulit 2–6), Osaamisen kehittyminen (kyselyn moduuli 7) ja Yleistyytyväisyys (moduuli 8). Kyselyyn yleisesti vaikuttavia yhteiskunnallisia ja koulutuspoliittisia kehityskaaria Erittelen seuraavassa kyselyyn vaikuttaneita yhteiskunnallisia ja koulutuspoliittisia kehityskaaria kyseisten osakokonaisuuksien kautta. Ennen tätä käyn kuitenkin lyhyesti läpi kaikkien osakokonaisuuksien taustalla yhteisesti vaikuttavia yleisiä koulutuspoliittisia trendejä sekä paikannan opiskelijapalautekyselyn osuuden ammattikorkeakoulujen uudistettavassa rahoitusmallissa. Yhteiskunnallisen ja koulutuspoliittisen ilmaston tarkastelu selventää niitä haasteita, joihin kyselyn tulee kyetä vastaamaan. Bolognan prosessi Bolognan prosessi, jonka tarkoituksena on saada aikaan kilpailukykyinen ja vetovoimainen sekä yhteinen ja yhtenäinen eurooppalainen korkeakoulutusalue, on vaikuttanut myös niihin tarpeisiin, joita valmistumisvaiheen opiskelijapalautekyselylle asetetaan. Bolognan prosessin voidaan nähdä pakottaneen selventämään ja yhdenmukaistamaan niitä korkeakoulutuksen laadunvalvonta-, ohjaus- ja kannustinjärjestelmiä, joiden avulla korkeakoulujen tuloksellisuutta on muutamien viimeisten vuosikymmenten ajan enenevissä määrin valvottu ja ylläpidetty sekä Suomessa että muualla Euroopassa. Bolognan prosessin seurauksena suomalaisen korkeakoulutuksen tutkintorakenne on muuttunut. Samalla on noussut tarve verrata tutkintoihin kuuluvia osaamiskokonaisuuksia ylikansallisesti, minkä seurauksena myös ammattikorkeakoulutukselle on luotu kansallisesti toimeenpantava viitekehys tutkinnon suorittamisella saavutettavista osaamiskokonaisuuksista. Tulosohjaus Suomessa korkeakoulujen tulosohjauksen lisääntyminen ainakin vuoden 1986 korkeakoulujen kehittämislaista lähtien on ollut sidoksissa korkeakoulujen autonomian kehittämisen vaatimukseen (Saarinen 1997, 16–18). Opiskelijapalautteen käyttäminen osana rahoitusmallia voidaan nähdä osana tätä ohjausjärjestelmän yleistä kehitystä. 23
24 Konsumerismi ja kilpailu Korkeakoulutuksen kansainvälisen ja kansallisen liikkuvuuden sekä korkeakoulujen autonomisen päätäntävallan ja ohjauksellisen tulosvastuun lisääntymisen myötä korkeakoulut kilpailevat kansainvälisesti sekä kansallisesti aiempaa enemmän keskenään. Bolognan prosessi on vauhdittanut tätä kehitystä, josta tulosohjaus on ollut yksi ilmentymä. Tämä on tuonut korkeakouluille mukanaan joko välittömänä realiteettina tai lähitulevaisuuden haasteena kilpailun lahjakkaista opiskelijoista, mikä puolestaan on pakottanut korkeakouluja sopeutumaan opiskelijalähtöisempään toimintamalliin. Joidenkin kriitikoiden mukaan skandinaaviseen korkeakoulukenttään on samalla rantautunut sille vieraita, angloamerikkalaisen korkeakoulutusmallin asiakaslähtöisiä tai konsumeristisia piirteitä. Opiskelijapalautteen kohdalla tällainen kritiikki on sikäli perusteltua, että juuri angloamerikkalaisissa yliopistoissa, ennen kaikkea Yhdysvalloissa ja Isossa-Britanniassa, mutta myös Australiassa, opiskelijapalautteen käyttöönotossa ja hyödyntämisessä on menty kaikkein pisimmälle (Richardson 2005). On kuitenkin vaikeaa ottaa kantaa siihen, missä määrin kehityskulkuun liittyminen on enää vapaaehtoinen kansallinen tai korkeakoulukohtainen valinta, missä määrin se taas on toimintaympäristön asettamaa yksittäiselle toimijalle välttämättömänä esiintyvää todellisuutta, joka koulujen on kilpailussa pärjätäkseen vain hyväksyttävä. Konsumerismin ja opiskelijalähtöisyyden paine lisääntynee entisestään mahdollisen lukukausimaksujen käyttöönoton myötä. Opiskelijapalautteella voi tässä mahdollisessa kehityksessä olla myös myönteinen, tiedollinen, opiskelijan korkeakouluvalintaa järkiperäistävä rooli. Esimerkiksi Isossa Britanniassa opiskelijalähtöisyyden kysynnän kasvuun on vastattu kehittämällä kandidaattivaiheen loppusuoralla täytettävä National Student Survey (NSS), kansallinen opiskelijapalautekysely, jonka yksi ensisijaisista tarkoituksista on antaa opinahjoaan pohtivalle tulevalle opiskelijalle paremmat tiedolliset valmiudet tehdä perusteltu korkeakouluvalinta. Tarkoituksena on tarjota vertailevaa tietoa kohdekorkeakoulujen opiskelijoiden näkemyksistä tutkintonsa onnistuneisuudesta. Korkeakouluvertailut Korkeakouluvertailujen kasvava kysyntä voidaan myös nähdä yhtenä esimerkkinä sekä liikkuvuuden lisääntymisen tiukentamasta kilpailusta lahjakkaista opiskelijoista että yliopistojen tuloksellisuuden arvioinnin kasvusta. Huonot korkeakouluvertailut vastaavat laadun arviointia vääristävään kuluttajan (tulevan opiskelijan) tarpeeseen saada yksinkertaisessa ja valmiiksi pureskellussa muodossa tietoa tulevasta opinahjostaan. Korkeakouluvertailuissa nähdäänkin enenevissä määrin ongelmia koulutuksen laadun mittareina. Näistä ongelmista yksi syvimmistä on vertailujen (toimivien tai toimimattomien) itsensä toteuttava ennuste: vertailut mittaavat laatua, joka osittain perustuu mittareiden luomaan korkeakoulun maineeseen. Hyvät korkeakouluvertailut pyrkivät löytämään tasapainon viestinnällisen tehokkuuden (joka vaatii yksinkertaistamista) ja mittausteoreettisen perusteltavuuden (joka vaatii liiallisen yksinkertaistamisen vastustusta) väliltä. Yhtenä esimerkkinä tarpeesta parantaa korkeakouluvertailuja voidaan nähdä Euroopan komission joulukuussa 2012 tekemä päätös kehittää uusi, komission mukaan moniulotteinen, kattava ja pätevä yliopistovertailujärjestelmä (U-Multirank). Tässä järjestelmässä perinteisten vertailujen yksipuolisuudesta ja tutkimuspainotteisuudesta siirryttäisiin mittaamaan korkeakoulutuksen laatua viidellä yhteismitattomalla ulottuvuudella, jotka ovat: 1. opetus ja oppiminen (teaching and learning), 2. tutkimustoiminta (research), 3. tiedon jakaminen (knowledge transfer), 4. kansainvälinen orientaatio (international orientation) sekä 5. paikallinen osallistuminen (regional engagement).2 Jos U-Multirankin voidaan nähdä vastaavan korkeakouluvertailujen hankaluuksiin, sen sisältöä on hyvä käyttää mallina myös ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselylle. Luonteva paikka 2 U-Multirank-projektista voi lukea verkosta osoitteesta: http://www.u-multirank.eu/ (poimittu 4.11.2013) opiskelijapalautekyselyllä yllä mainitun kaltaisessa jaottelussa on ainakin 1. ”Opetus ja oppiminen” -osio. Tätä osiota U-Multirank onkin aikeissa mitata muun muassa opiskelijatyytyväisyydellä seuraavissa osa-alueissa: oppimiskokemus (overall learning experience), opintojaksojen ja opetuksen laatu (quality of courses & teaching), opintojen organisointi (organisation of the programme), yhteys opettajiin (contact to the teachers), oppimis- ja sosiaalinen ympäristö (social climate), opiskelun tukipalvelut ja opiskeluympäristöt (facilities), opetuksen tutkimusorientaatio (research orientation of teaching) sekä työelämäkokemukset (work experience/practical elements). Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyssä on ennakoitu yliopistovertailujen U-Multirankin suuntaista kehitystä siten, että kyseisen vertailumittarin opiskelijatyytyväisyyden osa-alueet tulevat kyselymittarissa edustetuiksi. Vertailumittarin suosion mahdollisesti kasvaessa AVOP-kyselyä voidaan tällöin käyttää työkaluna ilman suurempia muokkauksia myös kyseisessä korkeakouluvertailussa pärjäämisen parantamiseen. Opiskelijapalautekyselyn paikka ammattikorkeakoulujen vuonna 2014 uudistettavassa rahoitusmallissa Tulosohjauksen painopiste on siirtynyt Suomessa tehokkuuskriteereistä kohti koulutuksen laadun ja vaikuttavuuden parantamista (Nyyssölä & Saarinen, 1997). Tämä näkyy myös opetusministeriön asiakirjassa ”Ehdotus ammattikorkeakoulujen rahoitusmalliksi vuodesta 2014 alkaen” (OKM 2012, 19), jossa lukee muun muassa seuraavasti: ”Hallitusohjelmaa tarkentavassa Koulutuksen ja tutkimuksen kehittämissuunnitelmasssa (KESU) vuosille 2011–2016 linjataan, että ammattikorkeakoulujen rahoitus- ja säädösohjausta uudistetaan vuoden 2014 alusta vauhdittamaan ammattikorkeakoulujen rakenteellista uudistamista ja toiminnan laadun ja vaikuttavuuden parantamista. Ammattikorkeakoulujen toimiluvat uudistetaan vuoden 2014 alusta, jolloin koulutustarjontaa voidaan suunnata työelämän tarpeisiin paremmin vastaaviksi. KESU-linjausten mukaisesti opetus- ja kulttuuritoimen rahoitusta koskeva lainsäädäntö muutetaan ammattikorkeakoulujen osalta niin, että rahoituksen määräytymisperusteissa ja rahoituskriteereissä otetaan huomioon ammattikorkeakoulujen koko lakisääteinen toiminta laatua, vaikuttavuutta ja tehokkuutta korostaen. Korkeakoulukohtainen rahoitus määräytyy pääasiassa suoritettujen tutkintojen ja opintoprosessien laadun ja tehokkuuden sekä työllistymisen perusteella.” Retoriikasta huolimatta nähdäkseni korkeakoulutuksen laatu on varsinaisissa rahoitusmallia ohjaavissa ja korkeakouluille varoja allokoivissa koulutuksen osoittimissa jäänyt määrää vähemmälle huomiolle. Vuonna 2014 uudistettavan rahoitusmallin ehdotetaan nimittäin jakavan ammattikorkeakouluille varoja seuraavien painotusten mukaisesti: TAULUKKO 1. KOULUTUKSEN INDIKAATTORIEN PAINOARVOT UUDISTETTAVASSA RAHOITUSMALLISSA. Koulutuksen indikaattori Paino rahoitusmallissa Suoritetut ammattikorkeakoulututkinnot 0,46 55 op suorittaneiden määrä 0,26 Valmistuneet työlliset 0,03 Avoimen ammattikorkeakoulun ja erillisten opintojen opintopisteet 0,02 Ammatillisessa opettajankoulutuksessa suoritetut opinnot 0,02 Opiskelijapalaute 0,03 Koulutuksen kansainvälisyys 0,03 25
Olen merkinnyt taulukossa punaisella ne indikaattorit, jotka mielestäni ovat puhtaasti määrällisiä ja joille ei ole – valmistuneita työllisiä sekä kansainvälisyyttä kenties lukuun ottamatta – kuviteltavissa määritelmällisen sijaan edes suoraa synteettistä yhteyttä koulutuksen laatuun. Se, kuinka paljon tutkintoja suoritetaan, millä tahdilla opiskellaan tai mitä opiskellaan, kertoo kyllä kulurakenteesta ja määrällisistä koulutuksen lopputuotteista muttei siitä, kuinka hyvä tämä lopputuote sisällöllisesti on. Työllistymistä ja kansainvälisyyttä voidaan puolestaan pitää laadun kannalta hyvinä asioina sinänsä, mutta niitäkin mitataan määrällisin indikaattorein ilman että selvitettäisiin, onko kansainvälistymisestä ollut hyötyä tai onko työllistytty koulutusta vastaaviin tehtäviin. Yhteensä koulutuksen indikaattorit määrittävät ammattikorkeakoulujen uudistettavasta rahoitusmallista 85 prosenttia. Rahoitusmallin toinen 15 prosentin osuus koostuu tutkimus- ja kehittämistoiminnan indikaattoreista seuraavalla tavalla: TAULUKKO 2. TK-TOIMINNAN INDIKAATTORIEN PAINOARVOT UUDISTETTAVASSA RAHOITUSMALLISSA. 26 Tutkimus- ja kehittämistoiminnan indikaattorit   TK-rahoitus 0,08 Ylemmät ammattikorkeakoulututkinnot 0,04 Julkaisut, taiteellinen toiminta, audiovisuaaliset aineistot sekä tieto ja viestintätekniset ohjelmat 0,02 Henkilöstön kansainvälinen liikkuvuus 0,01 TK-toiminnan painoista on vaikeampi määrittää, mitkä ovat laadullisia indikaattoreita, mitkä eivät. Sanottakoon, että näistäkin mittareista ainakin TK-rahoituksessa, ylemmissä ammattikorkeakoulututkinnoissa sekä henkilöstön kansainvälisessä liikkuvuudessa painottuvat määrälliset panokset, eivät laadulliset tuotokset. TK-rahoitus ei esimerkiksi kerro, onko tämän seurauksena syntynyt sitä mitä oikeasti halutaan, eli innovaatioita tai innovatiivisia ihmisiä, vaan se kertoo korkeintaan panostuksena näkyvästä toiveesta saada mainitulla sektorilla jotain aikaiseksi. (ks. Ketokivi 2011, 43–45) Näkisin asian tämän vuoksi niin, että opiskelijapalautteella on kolmen prosentin vaatimattomalla osuudellaan rahoitusmallissa raskas vastuu edustaa indikaattoreissa parhaalla sekä kattavimmalla mahdollisella tavalla sitä laadullisuuden kriteeriä, jota rahoitusmallin sanalliset kuvaukset niin selvästi painottavat mutta jonka käytännön indikaattorit pitkälti sivuuttavat. Tämän laadullisuuden sisällä opiskelijapalautteen erityisenä tehtävänä on edustaa opiskelijanäkökulmaa koulutuksen laatuun – asiaa, joka tulee tällä tavalla parhaiten mitatuksi ja jota ei millään muulla tavalla rahoitusmallissa oteta huomioon. Koulutuksen käytännöt -osakokonaisuuden yhteiskunnalliset ja koulutuspoliittiset taustat Koulutuksen käytäntöjen osakokonaisuus koostuu laadukkaan ammattikorkeakoulutuksen hyviksi koetuista käytännöistä ja niiden toimeenpanon onnistuneisuuden mittaamisesta. Tässä osiossa yhteiskunnallisista ja koulutuspoliittisista trendeistä näkyvät ennen kaikkea opetuksen ja oppimisen laadullisuus, rahoitusmallin painottama työelämäläheisyys sekä koulutuksen kansainvälisyyden tosiasiallinen laatu (päällekkäisyyttä ei ole, sillä rahoitusmallin muissa indikaattoreissa kansainvälisyyttä mitataan opiskelijoiden ja opettajien liikkuvuuden määrällä). Lisäksi osio mittaa kaikki U-Multirank-yliopistovertailumittarin edellä mainitut opiskelijatyytyväisyyden oleelliset osa-alueet. Anna Parpalan (2010, 1–2) mukaan yhtenä Bolognan prosessin ilmentymänä on ollut opetuksen ja oppimistavoitteiden täyttymisen laadunvalvonnan kehittyminen. Oppimiskeskeisen ajattelun korostuessa korostui hänen mukaansa 2000-luvun alussa enenevissä määrin myös oppijalähtöinen oppimisen ja opettamisen malli perinteisen opettajalähtöisen mallin sijaan. Väittäisin tämän kehityskaaren olevan myös pidemmän aikavälin kasvatustieteellisen teorian kehityksen mukainen: siirtymä keskitetysti ohjatusta behavioristisesta oppimisesta kokonaisvaltaisempaan, konstruktivistisempaan oppimiskäsitykseen (ks. luku 2.4 Teoreettinen taustatyö). Tämä opetuksen laadunvalvontaan liittyvä paradigman muutos – oli sen aiheuttaja mikä tahansa – näkyy kyselyn Opetus ja oppiminen -moduulissa. Väittämät on muotoiltu tarkoituksenmukaisuuden rajoissa mahdollisimman oppijalähtöisesti, opintoihin liittyvää ohjausta, suunnittelua sekä oppijan yksilöllisiä oppimistarpeita korostaen. Työelämäläheisyyden, ammattikorkeakoulutuksen tärkeän painopisteen, lisääntyvä korostaminen näkyy Koulutuksen käytännöt -osakokonaisuudessa, Työelämäyhteydet ja neuvonta -osiossa sekä Opetus ja oppiminen -osion käytännönläheisessä painotuksessa. Kansainvälisyyttä on puolestaan mitattu laadullisesta näkökulmasta Kansainvälisyys, monikulttuurisuus ja kieliopinnot -osiossa. Osaamisen kehittyminen osakokonaisuuden yhteiskunnalliset ja koulutuspoliittiset taustat Osaamisen kehittyminen -osakokonaisuus mittaa opiskelijan arviota osaamisensa kehittymisestä ammattikorkeakoulutuksen aikana. Osaamisen kehittyminen -osion kyselyyn mukaan ottamisessa yhdistyvät työelämäläheisyyden tarve – osiossa mitataan työelämärelevanttien osaamisalueiden kehittymistä – sekä yllä mainittu opiskelijalähtöisyyden ja oppimistulosten painottaminen opettajakeskeisten käytäntöjen mittaamisen sijaan. Sisällöltään osaamisen kehittymisen osakokonaisuus on lähes suoraan seurausta Bolognan prosessista, jonka tiimoilta eurooppalaista liikkuvuutta on pyritty parantamaan yhdenmukaistamalla ja tuomalla esiin kansallisten koulutusjärjestelmien tutkintojen seurauksena syntyvät oppimistulokset ja osaamis- sisällöt. Nämä sisällöt ovat eurooppalaisessa viitekehyksessä kuvattuina EQF-standardeissa (European Qualifications Framework), jotka on tarkoitus toimeenpanna kansallisella tasolla kansallisten viitekehysten avulla (NQF National Quality Framework). Tutkintotasoja, joiden mukaan osaamistulokset jaotellaan, on kahdeksan. Näistä alemmat ammattikorkeakoulututkinnot sijoittuvat tasolle 6. Ammattikorkeakoulujen rehtorineuvosto ARENE ry on tehnyt varsin yksityiskohtaisen suosituksen kansallisesti käyttöönotettavista NQF-kompetensseista, jotka ovat jaettavissa yhteisiin ja koulutusohjelmakohtaisiin kompetensseihin (ARENE 2006). Koska AVOP toiminee osana rahoitusmallia koulutuksille yhteisenä indikaattorina, ovat juuri yhteiset ARENEn määrittelemät kompetenssit luonteva käsitepohja oppimis- ja osaamistulosten mittaamiselle. Kyseiset kompetenssit on muutamin poistoin ja lisäyksin muunnettu mittareiksi tai indikaattoreiksi eli operationalisoitu AVOP-kyselyn Osaamisen kehittyminen osakokonaisuuteen. Kokonaistyytyväisyys-osakokonaisuuden yhteiskunnalliset ja koulutuspoliittiset taustat Koulutuksen käytäntöjen sekä osaamisen kehittymisen lisäksi opiskelijatyytyväisyys on tärkeä osa koulutuksen laadun opiskelijanäkökulman mittaamista. Kolmannen koulutuksen laadun näkökulman, Kokonaistyytyväisyyden, voidaan nähdä ilmentävän opiskelijalähtöisyyden korostumista korkeakoulupolitiikassa. Olettaen, että opiskelija osaa arvioida koulutuksen toteutumista suhteessa annettuihin realistisiin tavoitteisiin oikein, voi kokonaistyytyväisyyttä pitää itsessään tärkeänä hyvän koulutuksen osa-alueena. Tyytyväisyys voi tietenkin olla joidenkin mielestä väärin perustein syntynyt (ks. Richardson 2005, 403). Opiskelijan tyytyväisyys mittaa hänen valmistumisvaiheen arviotaan koulutuksen onnistuneisuudesta. Tämän arvion voidaan väittää olevan subjektiivisesta näkökulmastakin harhainen esimerkiksi osoittamalla arvion muuttuvan opiskelijan saadessa enemmän tai parempaa kokemusta siitä, 27
minkälainen koulutus hänen elämänsä kannalta on tarpeellisin. Tämä näkökulma liittyy arvion mittausteoreettiseen stabiliteetin käsitteeseen, johon palaan kolmannessa luvussa. Tässä vaiheessa on kuitenkin syytä todeta, ettei tyytyväisyys viittaa sen enempää jonkun muun kuin opiskelijan itsensä määrittelemään väärin kuin oikein ymmärrykseenkään vaan korkeakoulun kykyyn ottaa huomioon opiskelijan subjektiivisesti koulutukselleen tai tutkinnon sisällölleen asettamat halut, toiveet ja tarpeet. Täten kokonaistyytyväisyys ei käsitteellisestä näkökulmasta mitenkään väistämättä mallinna asiakaslähtöistä kaiken kattavaa ja perusteetonta ”asiakas on aina oikeassa, vaikka se olisikin väärässä” -ajattelua konsumerismin kritiikin mukaisesti3. Käsitys, että se niin tekisi, olettaa opiskelijan arvioivan koulutustaan markkinahyödykkeenä, jonka tarkoituksena on pikemminkin tyydyttää opiskelijan (yleensä lyhyen tähtäimen pinnalliset ja perustelemattomat) mielihalut kuin tämän ylevämpinä nähdyt pitkän aikavälin oppimis- tai henkisen kasvun tavoitteet.   28 1.2. Kokonaisvaltainen näkökulma yleiseen mittausteoriaan Raportin ensimmäisen osion rakenne sekä tässä esiteltävä näkökulma kyselymittarin arvioimiseen noudattelee läheisesti Mikko Ketokiven (2011, 43–83) näkemyksiä mittauksen luotettavuuden arvioinnista. Raportin ensimmäisen osion kappalejako perustuu Ketokiven esittelemään kokonaisvaltaiseen, realistiseen ja klassisen testiteorian mukaiseen näkemykseen yleisestä mittausteoriasta. Kappalejako noudattelee sitä järjestystä, jossa toivottu asia, idea tai käsite ensin valikoidaan ja rajataan teoreettiseksi mitattavaksi käsitteeksi ja sitten muunnetaan tätä määritelmää kuvaavaksi määrämittaiseksi empiiriseksi indikaattoriksi tai mittariksi. Kun puhutaan kvantitatiivisesta kyselymittarista, tarkoittaa tämä yhden tai useamman käsitettä kuvaavan lukuarvon (tai estimaatin) määrittämistä rakennetun mittarin (tai estimaattorin) avulla alkuperäistä teoreettista käsitettä kuvaamaan. Kun mittari on rakennettu, sen toimivuutta arvioidaan erinäisin luotettavuuskriteerein empiirisellä pilottikyselyllä. Viittaan näkökulmaan attribuutilla ”kokonaisvaltainen” siksi, että haluan korostaa käsitteen määrittelyn merkitystä erotuksena tämän jo määritellyn käsitteen mittaamisen onnistuneisuudesta tietyssä mittaustilanteessa. Tämän teen siksi, että mielestäni (Ketokiven käsityksen mukaisesti) käytännön syistä liian usein mittauksen luotettavuusanalyysissa tarkastellaan vain operationalisoinnin seurauksena syntyneen mittarin mittausvirheen osuutta, huomioimatta mahdollista määritysvirheen osuutta mittarin rakentamisen (epä) onnistuneisuudesta. Määritysvirhe syntyy jo ennen mittaustilannetta siirryttäessä teoreettisesta käsitteestä (joka yleensä valikoituu ennen tutkimuksen aloittamista) empiiriseen käsitteeseen. Hyvä esimerkki määritysvirheen unohtamisesta yleiselläkin tasolla on se, että toisinaan virheellisesti kuvitellaan käsitteellisen analyysin olevan yksin kvalitatiivisen tutkimuksen ominaispiirre eikä kuuluvan kvantitatiiviseen tutkimukseen lainkaan. Tällöin mittareiden rakentaminen ja niiden testaaminen nähdään ikään kuin itsetarkoituksellisena prosessina, jossa mittarin yhteydestä teoreettisen käsitteistöön ei olla lainkaan huolissaan (tästä kirjoittaa muun muassa Töttö 2012). Lopullisen mittaustuloksen voidaankin määritysvirheen huomioivan kokonaisvaltaisen mittausteoreettisen näkökulman mukaan nähdä koostuvan seuraavista komponenteista: x=X+s+m missä x=mittaustulos, X=teoreettisen käsitteen todellinen arvo, s=määritysvirhe ja m=mittausvirhe (Ketokivi, 2011, 46). Kaava on kuvaannollinen: se ei tarkoita, että suureet olisivat yhteismitallisia tai suoraviivaisesti laskettavissa yhteen, vaan ainoastaan, että saatu mittaustulos voidaan jakaa kyseiseen kolmeen osatekijään eli komponenttiin. Koska määritysvirheen ja mittausvirheen osuuksia on vaikeaa määrämittaisesti erotella (mikä ei tarkoita, ettei niitä tulisi eritellen 3 Todettakoon tässä kuitenkin, että tietyissä tapauksissa, kuten paljon käytetyn Noel-Levitz Student Satisfaction Surveyn kohdalla, kyselyn sisältö perustuu nimenomaan kulutusteoriaan. Osaksi siitä syystä, että haluttiin tehdä eksplisiittisen pesäero kulutustutkimuksen traditioon, on AVOP-kyselyssä valittu varsin erilainen mittari opiskelutyytyväisyydelle. pohtia), klassisessa testiteoriassa yllä olevat mittaustuloksen komponentit typistetään usein kahteen: x=X+ ε, missä ε=s+m 4 Yleistettävyysteoriassa mittausvirhe ε jaetaan vielä systemaattiseen ja satunnaiseen mittausvirheeseen. Koska klassisessa testiteoriassa mittarin reliabiliteetti samaistetaan toistettavissa olevan varianssin (systemaattisen mittausvirheen JA (systemaattisen) todellisen arvon varianssin) osuudeksi mittaustuloksen kokonaisvarianssista, ei tällä päästä käsiksi systemaattisen mittausvirheen osuuteen, sillä kyseisellä lähestymistavalla se tulee samaistetuksi mittauskohteen todellisen arvon kanssa. Systemaattisen mittausvirheen huomiotta jättäminen on kuitenkin satunnaista vakavampaa. Tämä tuo mukanaan nimittäin myös systemaattisen harhan. Yleistettävyysteoriassa systemaattisen mittausvirheen osuutta voidaan tarkastella operationalisoimalla ja mittaamalla tai vaihtoehtoisesti teoreettisesti ja käytännöllisesti arvioimalla metoditekijöiden (tässä tapauksessa kyselytutkimukseen sisältyvien) mittauskohteen todellista arvoa tai tosiarvoa vääristävää vaikutusta mittaustuloksessa. Metoditekijöillä tarkoitetaan tässä siis sellaista mittaustavan tai mittarin vaikutusta mittaustulokseen, joka on ymmärrettävissä todellisesta arvosta poikkeavaksi osuudeksi mittaustuloksesta. Koska tällaiset tekijät ovat valitun metodin, eivät mittauskohteen ominaisuuksia, kutsutaan niitä metoditekijöiksi. Klassisessa testiteoriassa metoditekijöihin liittyvään ongelmaan voidaan päästä käsiksi ainakin osittain hyvällä validiteetin tarkastelulla, mikä puolestaan tarkoittaa huomion kiinnittämistä mittaukseen kokonaisvaltaisesti, prosessin alun käsitteen valinnasta ja määrittelystä aina mittaustuloksen tulkintaan. (Ketokivi 2011, 43–83) Mittarin kyky kuvata tiettyä teoreettista käsitettä on siis riippuvaista teoreettisen käsitteen empiirisen määrittelyn onnistuneisuudesta. Määrittelyn onnistuneisuuden arviointi on tämän vuoksi ensisijaista: epäonnistunutta määrittelyä ei voida mitenkään pelastaa mittausvirhettä varsinaisessa mittaustilanteessa minimoimalla. Yllä olevan kaavan mukaisten mittaustulosten komponenttien määrittely voidaankin jakaa seuraavankaltaiseen, ohjeelliseen ja polkuriippuvaiseen ajalliseen prosessiin (lainattu teoksesta Ketokivi 2011, 44): KUVIO 1. MITTAAMISEN YLEINEN PROSESSI. Mittaria rakentaessa aloitetaan siis valitsemalla, rajaamalla tai vastaanottamalla teoreettinen käsite (jos tämä tulee tutkijalle annettuna, on kyse tietenkin viimeisestä), joka muunnetaan empiiriseksi käsitteeksi selvittämällä, kuinka teoreettista käsitettä voitaisiin mitata. Jos teoreettinen käsite ei tule annettuna, tulee teoreettinen käsite valita ja rajata suhteessa johonkin ennalta asetettuun tavoitteeseen. Näissä tapauksissa jo teoreettisen käsitteen rajauksessa ja valinnassa voi tapahtua virhe, jos teoreettinen käsite ei vastaa tutkimukselle annettua tavoitetta. Tämän jälkeen teoreettinen käsite muunnetaan empiiriseksi käsitteeksi, eli määritellään käsitteet ja termit joko teoreettiselta tai käytännölliseltä pohjalta perustellusti siten, että empiirinen käsite muuntuu mitattavissa olevan mittarin muotoon. Kun empiirinen käsite on määritelty operationalisoitavaan muotoon, tämä käsite muunnetaan mittariksi eli operationalisoidaan, minkä jälkeen suoritetaan mittaus arvioimalla mittarille sopivin mittaustapa, mittausympäristö ja tiedonkeruukokonaisuus. Kyselymittarin kohdalla tähän työvaiheeseen kuuluu niin otanta-asetelman suunnittelu kuin käytännön kysymykset siitä, mitä taustatietoja tarvitaan esimerkiksi vastausten painottamiseen, miten vastaajia kyselymittariin kerätään sekä miten ja missä kyselyyn vastataan. Siirryttäessä empiirisestä käsitteestä varsinaiseen mittaustulokseen, on aina odotettavissa jonkin suuruinen mittausvirhe, jonka usein oletetaan olevan normaalisti jakautunut 4 Kokonaisvaltaisesta mittausteoreettisesta näkökulmasta on tärkeää, ettei mittausvirhettä sekoita samalla latinalaisella aakkosella usein merkittävään jäännöstermiin eli residuaaliin, joka tietyin ehdoin rajatuissa tapauksissa estimaatin mittausvirhettä hyvin approksimoikin. Myös tässä kaavassa komponenttien summaaminen on ymmärrettävä kuvaannollisena havainnollistuksena. 29
30 satunnaismuuttuja. Mittausvirhe voi syntyä mittarin epätarkkuudesta, mittaria tulkitsevan tutkijan epätarkkuudesta, lähtöarvojen määrittelyn epätarkkuudesta tai vaikka, kuten usein kyselymittarin kohdalla, mittarin antamien arvojen vaihtelusta epäoleellisten kolmansien tekijöiden suhteen. Yllä olevassa prosessikaaviossa määritysvirhe s tapahtuu siis siirryttäessä teoreettisesta käsitteestä empiiriseen käsitteeseen, mittausvirhe m siirryttäessä empiirisestä käsitteestä mittaustulokseen. Prosessin kaaviossa on merkitty korrespondenssit k1 sekä k2, jotka kuvaavat prosessin mukaisten käsitteiden välistä suhdetta. Jos teoreettinen käsite määritellään sen empiirisenä muunnoksena, oletetaan korrespondenssi k1 identiteetiksi. Tällöin puhutaan operatiivisesta määritelmästä. (Ketokivi 2011, 47) Tässä raportissa omaksuttu näkökulma on realistinen eikä operatiivinen, koska se ei tämänkaltaista identiteettiä oleta vaan pyrkii tarkastelemaan mittaamisen päämäärän (tässä teoreettisen käsitteen) korrespondenssia saatuun varsinaiseen mittaustulokseen koko prosessin pituudelta. Tämä tehdään eritellen molempia korrespondensseja vastaavien prosessien onnistuneisuutta arvioimalla sekä määritysvirheen että mittausvirheen todennäköisyyttä ja suuruutta. AVOP-kyselyn kehitystyössä on päädytty realistiseen tulkintaan mittaamisesta siksi, että operatiivisessa määritelmässä menetetään mahdollisuus tarkastella käsitteen määrittelyssä mahdollisesti tapahtuvia perustavanlaatuisia virheitä. Realistisen tulkinnan omaksumisen ongelma kiisteltyyn ja tulkinnanvaraiseen koulutuksen laadun käsitteeseen on, että tosiarvosta puhuminen antaa ymmärtää objektiivisesti olemassa olevan ’koulutuksen laatu’ nimisen olion, jonka tosiarvon vaihtelua voidaan luotettavuusanalyysissa sitten vertailla mittaustuloksen antamien arvojen vaihteluun määrittäen erotuksen mittariin palautuviksi heikkouksiksi. Tässä raportissa ei kyetä käsittelemään tähän valintaan mahdollisesti liittyvää metodista sen enempää kuin totuusteoreettistakaan ongelmaa. Todettakoon, että jos koulutuksen laadun suhteen ei halua omaksua ylimääräistä tieteellisen realismin mukaista objektiivisen koulutuksen laadun olion olemassaolon oletusta, voidaan tosiarvo ja sen ympärille rakennettu käsitteistö myös ymmärtää pragmatistisena tarkistuksena mittarin toimivuudesta sisäisesti yhdenmukaisena ja synteettisesti perusteltuna koulutuksen kehittämisen työvälineenä. Operatiivista määritelmää ei siis ole hylätty totuusteoreettisista, vaan käytännöllisistä syistä. Siirryttäessä koulutuksen laadun teoreettisesta, käytännöllisestä ja poliittisesta käsitteestä sen (tässä kyselymittarilla) mitattavaan empiiriseen määritelmään, voitaisiin tehdä rajaus, jossa koulutuksen laadun empiiriseksi käsitteeksi valittaisiin niin sanottu määrällinen indikaattori, kuten korkeakoulussa suoritettujen tutkintojen määrä. Kun tutkintojen määrää sitten mitataan, huomataan, ettei mittaustilanteessa synny lainkaan mittausvirhettä: suoritettujen tutkintojen määrä saadaan suoraan rekistereistä ja tietokannoista. Kun korrespondenssi k1 oletettaisiin vielä operatiivisesti identiteetiksi, päädyttäisiin sitten suosittelemaan tutkintojen määrää laadun indikaattoriksi, sillä a) operatiivisesti määriteltynä mittarilla ei ole määritysvirhettä b) kyseisellä operationalisoinnilla on mitä luultavimmin pienempi mittausvirheen osuus kuin vaikkapa käsissä olevalla laadullisella opiskelijapalautemittarilla. Mittari tulkitaan lähes aukottomaksi. Tämän tulkinnan mukaan teoreettisen koulutuksen laadun käsitteen ja tutkintojen määrän mittaustuloksen välillä korrespondenssi on lähellä yhtä. Väitteen pätevyyden arvioinnin kannalta on hyödyllistä erottaa koulutuspoliittisen arviointityön kannalta tärkeät koulutuksen määrän, yksikkölaadun ja kokonaislaadun käsitteet. Valitaan esimerkin vuoksi koulutuksen määrän mittariksi korkeakoulun tuottamien tutkintojen määrä tietyllä aikavälillä ja yksikkölaadun mittariksi laatu/tutkinto, joka operationalisoidaan esimerkin vuoksi kapeasti (korkeakoulun aikaansaamana) osaamisena tutkintoa kohden. Tällöin korkeakoulun tuottama kokonaislaatu on osaamisen määrä (annetulla aikavälillä), mikä saadaan kertomalla yksikkölaatu tutkintojen määrällä (annetulla aikavälillä). Koulutuksen laadulla voidaan siis viitata joko kokonaislaatuun tai yksikkölaatuun. Jos viitataan ensimmäiseen, korrespondenssin k1 olettaminen identiteetiksi pätee korkekaoulukohtaisesti keskimäärin, kunhan yksikkölaatu on riippumaton kokonaislaadusta. Tällöin tutkintojen määrän mittari ei systemaattisesti yli tai aliarvioi minkään korkeakoulun kokonaislaatua samaistaessaan kokonaislaadun tämän tuottamien tutkintojen määrään. On huomionarvoista, että tässäkin tapauksessa yksikkölaatuun olisi järkevää kiinnittää huomiota, jos yksikkölaadun mittarin avulla pystyttäisiin tarkentamaan kokonaislaadun korkeakoulukohtaista arviota kustannustehokkaalla tavalla verrattuna tilanteeseen, jossa kokonaislaatu on samaistettu tutkintojen määräksi kertaa jokin tutkintokohtaista yksikkölaatua kuvaava vakio. Asian estimoiminen on hyödyllistä, jos estimaatin keskivirhe on pienempi kuin koulutuksen laadun keskihajonta yli korkeakoulujen, ja tarkemmasta informaatiosta voidaan johtaa kustannustehokkaampia kehitystoimenpiteitä. Riippumattomuuden ennaltaolettaminen ei kuitenkaan ole perusteltua, sillä mittaria käytetään koulutuspoliittisessa arviointityössä nimenomaan siksi, että sillä olisi vaikutus korkeakoulujen toimintaan. Jos rahoituskriteereinä käytetään yksinomaan tutkintojen määrää ja korkeakouluja palkitaan piittaamatta yksikkölaadusta, on korkeakoulun rationaalista kasvattaa tutkintojen määrää ja minimoida yksikkökustannukset. Kustannustehokkuus vakioiden yksikkökustannusten pienentämisestä seuraa yksikkölaadun heikkeneminen. Tällöin yksikkölaadun ja tutkintoje määrällä on yhteys, jonka perusteella tutkintojen määriään eniten kasvattaneet korkeakoulut ovat todennäköisesti yksikkölaatuaan samalla myös eniten heikentäneet. Jos tutkintojen määrän kasvu ei korkeakoulukentällä ole riittävä korvaamaan yksikkölaadun heikkenemisen vaikutusta laadun kokonaismäärään, on tutkintojen määrän mittari ennen pitkää, niin käytännöllisilta vaikutuksiltaan kuin tosiarvon vastaavuudeltaan, huonompi kokonaislaadun mittari kuin esimerkiksi korkeakoulujen ikkunoiden määrä. Melko kyynisin, muttei täysin perusteettomin oletuksin, sekä yksikkölaadusta että tutkintojen määrästä riippumaton ikkunoiden määrän ohjausmittari sekä vaikuttaa pitkällä aikavälillä kokonaislaatuun vähemmän haitallisesti että vastaa paremmin kokonaislaadun tosiarvoa kuin laatuun käänteisesti vaikuttava tutkintojen määrän mittari. Koska yksikkölaadun seuraaminen on siis tärkeää, vaikka olisi yksinomaan kiinnostunut kokonaislaadun maksimoimisesta (mikä ei myöskään liene yhteiskuntapoliittisesti järkevä päämäärä, tarvitaanhan yhteiskunnassa muutakin kuin korkeakouluosaamista), ei korrespondenssia k1 voida olettaa identiteetiksi. Koska kokonaislaatu saadaan kertomalla yksikkölaatu tutkintojen määrällä, ja tutkintojen määrä on muualta saatavissa, on tässä raportissa kuvattu kyselymittari rakennettu mittariksi ammattikorkeakoulun tutkintokohtaisesta yksikkölaadusta ja lähestymistavaksi valittu realistinen eikä operatiivinen määritelmä. Kyselymittarista voidaan toki johtaa myös kokonaislaadun totaaliestimaatti, vaikka tässä onkin keskiarvoestimaattiin keskitytty.5 Vaikka kuviosta 1 löytyvän prosessin osien erittelyn mukainen analyyttinen jako on prosessin kuvausta selkiyttävä, ei se missään nimessä tarkoita, ettei prosessissa edettäisi osittain myös toisessa järjestyksessä, saati ettei empiirisen ja teoreettisen käsitteen välille olisi vaikeaa tehdä selvää erottelua. Näin on esimerkiksi siinä tapauksessa, kun teoreettinen käsite ei tule suoraan annettuna, vaan tehtävänanto antaa tilaa myös teoreettisen käsitteen valikoinnille. Mittarin määrittely jo toimeksiannossa kyselyksi vaikuttaa myös siihen, mitä teoreettista käsitettä mittarin voidaan nähdä kuvaavan. Koska kyselymittari rajaa tarkastelun kohteeksi väistämättä opiskelijan antaman arvion tutkinnostaan, voi tämä vaikuttaa käsitteellisestä näkökulmasta riippuen vaihtoehtoisesti joko 1) teoreettisen tai 2) empiirisen käsitteen valintaan, mikä sitten puolestaan vaikuttaa mittaustuloksen tulkintaan. Ensimmäisessä tapauksessa teoreettinen käsite voidaan määritellä koulutuksen laadun opiskelijanäkökulmaksi, 5 Tämän laadun ymmärretään pitävän sisällään muutakin kuin osaamisen määrän. 31
32 tai vaihtoehtoisesti jälkimmäisessä tapauksessa opiskelijapalautekysely voidaan nähdä koulutuksen yleisen laadun teoreettisen käsitteen empiirisenä käsitteellistyksenä. Prosessin osien päällekkäisyydestä huolimatta prosessin suunnassa voidaan nähdä kronologisen prosessijärjestyksen mukainen virheiden hierarkia, joka vastaa karkeasti psykometrian mukaista validiteetin ja reliabiliteetin välistä hierarkiaa (ks. luku 2.3 ja 3). Jos korrespondenssi k1 on huono ja määritysvirhe täten suuri, eikä empiirinen käsite kuvaa teoreettista käsitettä hyvin tai peräti millään tavalla, on jokseenkin yhdentekevää, kuinka hyvä korrespondessi k2 on, eli kuinka suuri mittaustilanteessa syntyvän mittausvirheen osuus itsessään on. Tällöin mittari saattaa olla reliaabeli, muttei validi. Ivallisesti voitaisiin väittää, että jos on syytä olettaa empiirisen määritelmän olevan jopa päinvastainen kuin toivotun mittauksen teoreettisen kohteen, voidaan suuremman mittausvirheen nähdä olevan pienempää toivottavampi: tällöin edes osa mittauksesta saattaa osua oikeaan maaliin eli valittuun mittauskohteeseen. Raportin ensimmäisen osion ensisijaisena tarkoituksena on siis osoittaa, että empiirinen käsite on hyvin määritelty ja määritysvirheen osuus pieni. Tämän määritysvirhen voi halutessaan ymmärtää suhteessa objektiiviseen tosiarvoon tai pragmaattisesti toimivaan koulutuksen laadun käsitteeseen. Toissijaisena tavoitteena on osoittaa, että mittaus toimii hyvin ja mittausvirheen osuus on pieni. Raportin ensimmäisen osan rakennetta voidaankin kuvata seuraavalla yllä kuvattua prosessikaaviota mukailevalla kaaviolla: Luvuissa yksi ja kaksi käsitellään kysymyksiä, mitä ja miten mitataan. Tähän kuuluu käsitteen valinta ja rajaus (teoreettinen käsite), käsitteen määrittely (empiirinen käsite) sekä empiirisen käsitteen muuntaminen mittariksi (operationalisointi). Lukujen tavoitteena on kuvata määritysvirheen mahdollisuutta käsitteen määrittelyn ja operationalisoinnin prosessien kautta. Tässä ei voida sanoa varsinaisesti siirryttävän yllä kuvaillun kaltaisesti teoreettisesta koulutuksen laadun opiskelijanäkökulman käsitteestä empiiriseen määritelmään. Alkuperäinen valittu käsite on nimittäin paitsi teoreettisesti, myös käytännöllisesti, poliittisesti ja lainsäädännöllisesti rajattu. Luvussa kolme käsitellään kysymystä, miten varsinainen mittaus toimii. Tässä luvussa otan Niiniluodon yleisille mittausteoreettisille ominaisuuksille antamaa määrittelyä (1984, 183–191) mukaillen kantaa psykometrisestä näkökulmasta ennen kaikkea mittarin reliabiliteettiin ja validiteettiin. Mittarin käytännön hyötyä en erittele, vaan se tulee teemana näkyviin sekä reliabiliteetin että validiteetin käsittelyjen yhteydessä. Reliabiliteetti ja validiteetti voidaan edelleen jakaa pienempiin osa-alueisiin, joihin palataan myöhemmin raportissa. Luvussa kolme tarkastellaan lisäksi systemaattista mittausvirhettä sen erityisluonteen vuoksi erillään reliabiliteetista ja validiteetista. Systemaattista mittausvirhettä kartoittavassa luvussa 3.2 käsittelen metodifaktoreita, kuten kyselyn pituuden ja en osaa sanoa -vaihtoehdon poisjättämisen vaikutusta sekä taustamuuttujien vaikutusta kyselymittarin tulosten yleistettävyyteen. KUVIO 2. KOULUTUKSEN LAADUN MITTAAMINEN OPISKELIJAPALAUTEKYSELYLLÄ. Yllä olevaan prosessikaavioon merkatut kovarianssinuolet mittausteoreettisten ominaisuuksien välillä tarkoittavat, että psykometriset ominaisuudet ovat keskinäisriippuvaisia. Joissain tapauksissa, kuten sisältövaliditeetin ja konsistenssin kohdalla, ne ovat jopa keskenään ristiriidassa. Siksi kaikkia ominaisuuksia on usein mahdotonta maksimoida. Tätä aihepiiriä käsittelen luvussa 2.3. Osiossa kaksi esitän kyselyn sekä sen optimaaliseen käyttöön liittyvän toiminnallisen kokonaisuuden ensimmäisessä osassa tekemäni arvion pohjalta. Mitä kokonaisvaltaisesta näkökulmasta jää raportissa vähemmälle huomiolle? Tässä raportissa valituksi tulleesta näkökulmasta käytän termiä kokonaisvaltainen, koska se huomioi mittaamisen prosessin kokonaisuudessaan. Mitä tulee prosessiin mahdollisesti liittyviin virhelähteisiin, teen kuitenkin tiettyjä rajauksia. Kyseessähän on kyselymittarin pilotointi: tehtävä, jonka mandaatti loppuu tältä erää kyselymittarin rakentamiseen ja jatkotyöstämisen ehdotusten antamiseen luotettavuusanalyysin perusteella. Siirryttäessä pitkä matka valmiista mittarista sen antamien raakatulosten kautta aineiston putsauksen ja tulkittujen tulosten mukaiseen toimeenpanoon, virhelähteitä ilmaantuu tietenkin lisää. Ensinnäkään kyselymittariin eivät vastaa kaikki kiinnostusperusjoukon alkiot. Vaikka suunnitelmien mukaan varsinaista otantaa ei tehdä vaan koulutuksen laatu johdetaan poimimalla opiskelijapalautekyselyyn kaikki perusjoukon alkiot, tapahtuu aina vastauskatoa, mikä luo oman virhelähteensä. Tämä virhelähde vaikuttaa tilastolliseen päättelyyn, jossa perusjoukon osajoukolta, eli kyselyn vastaajajoukolta, saadut estimaatit yleistetään koskemaan koko perusjoukkoa. Tätä virhettä voitaisiin kutsua, mukaan lukien mahdollinen otanta-asetelman suunnittelu, yhdistetyksi otanta -ja päättelyvirheeksi. Risto Lehtosta mukaillen (2004, 14) tähän otantastrategian kokonaisuuteen kuuluu otanta-asetelma ja valittu estimaattori. Tämän li- säksi otanta- ja päättelyvirheeseen ymmärretään kuuluvaksi analyysivaiheeseen tultaessa tapahtuva, puuttuneisuudesta pitkälti johtuva ei-otantavirhe (non-sampling error, ks. Lehtonen 2004, 112), jota voidaan ainakin osittain korjata uudelleenpainotuksilla. Vaikka virhettä sivutaan tarkastelemalla koulutuksen laadun mittarista johdetun keskiarvoestimaattorin harhattomuutta ja tehokkuutta ilman puuttuneisuutta, jää tämä tarkastelu vähemmälle huomiolle, koska virhelähde ilmenee vasta kyselymittarin rakentamisen jälkeen ja riippuu analyysivaihetta edeltävästä mahdollisesta valinnasta uudelleenpainotusmenetelmäksi. Tämän lisäksi käytännössä kaikkiin virhelähteisiin ja prosessin osien mukaisten tulosten tulkintaan liittyy tulkintavirheen osuus: mikään mittaustuloksen komponenteista ei ole yksiselitteisesti ja suoraviivaisesti mitattavissa, vaan niiden kaikkien arviointi on jokseenkin tutkijan subjektiivisesta harkinnasta sekä arvovalinnoista riippuvaista. Ennen kaikkea näin on tietenkin siinä vaiheessa, kun kyselymittari on rakennettu, mittarista on tehty päättely tavoiteperusjoukkoon ja näiden päätelmien mukaisille estimaateilla täytyy tehdä sisällöllinen tulkinta. Toisin sanottuna merkittävä virhelähde on vielä tulostenkin tulkinnan vaihe, vaikka kaikki olisi tilastollisten estimaattien suhteen täysin kunnossa. Vaikka tämä vaihe mittareiden käytöstä on jo selvästi mittarin rakentamisen näkökulmasta periferiassa, täytyy tulosten tulkintaakin pohtia jo mittaria rakennettaessa. Tämän vuoksi raportti sivuaa myös tulosten tulkintaa ja sisällöllistä analyysia esitetyistä tilastollisista parametreista. Raportti loppuukin siihen, mitä kokonaisvaltaisen mittausprosessin tuloksena tuotetaan: käytännöllinen koulutuksen laadun kehittämisen työkalu, joka tulee toimiakseen sisältää mahdollisimman vähän rajaus-/tulkintavirhettä, määritysvirhettä, mittausvirhettä, otanta- ja päättelyvirhettä ja joka täytyy vielä onnistuneesti tulkita ja toimeenpanna osana korkeakoulujen kehitystyötä. Hienosyistä virhelähteiden jakoa voidaan paikantaa esimerkiksi seuraavan kuvion mukaisesti. Kronologisena järjestyksenä virhelähteiden esiintyminen viittaa siihen, että 33
34 prosessin alussa tapahtuvat virheet voivat ohjata koko kyselymittarin rakentamisen väärille urille. Jos teoreettisen käsitteen valinta ja rajaus eivät esimerkiksi ole mittarin käyttötarkoituksen eli korkeakoulujen arviointi- ja ohjaustyön näkökulmasta perusteltuja, ei tätä voi korjata muuntamalla mittaustilanteen tai tiedonkeruun järjestelyjä. Virheetönkin tilastollinen päättely mittarilla, joka ei ole käyttötarkoitukseen sopiva, on lähes hyödytöntä. Tässä raportissa sivutaan kaikkia virhelähteitä, joskin pääpaino on määritys- ja mittausvirheellä. Valinta-/rajausvirhettä käsitellään mittarin rakentamisen taustoja kartoittamalla ja sille asetettua käyttötarkoitusta analysoiden. Otantavirhettä ei juuri käsitellä, sillä varsinaista otantaa ei tehdä. Sen sijaan otossuureista johdettavien estimaattorien ominaisuuksia tarkastellaan ja puuttuneisuuden vaikutuksia tilastolliseen päättelyyn eritellään. Lisäksi pohditaan metoditekijöitä mahdollisten päättelyvirheiden lähteinä. Tulkintavirheestä lähinnä varoitellaan: sen osuutta voidaan parhaiten arvioida vasta kehitystyön kokemusten kautta. Onkin hyvä pitää mielessä seuraava (kysely)mittarin rakentamisen virhelähteiden erittely. Myös sisällöllistä tulkintaa tehdessä tulee huomioida koko mittarin rakennusprosessi. KUVIO 3. MITTARIN RAKENTAMISEN VIRHELÄHTEET PROSESSIJÄRJESTYKSESSÄ. 35

Recommended

2014 Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysely
2014 Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysely2014 Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysely
2014 Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyResearch Foundation for Studies and Education Otus
 
SYL:n lausunto Koulutus ja tutkimus vuosina 2011–2016 -kehittämissuunnitelman...
SYL:n lausunto Koulutus ja tutkimus vuosina 2011–2016 -kehittämissuunnitelman...SYL:n lausunto Koulutus ja tutkimus vuosina 2011–2016 -kehittämissuunnitelman...
SYL:n lausunto Koulutus ja tutkimus vuosina 2011–2016 -kehittämissuunnitelman...SYL
 
Saavutettavuuskriteeristön koulutus Vaasan yliopisto 11102019
Saavutettavuuskriteeristön koulutus Vaasan yliopisto 11102019Saavutettavuuskriteeristön koulutus Vaasan yliopisto 11102019
Saavutettavuuskriteeristön koulutus Vaasan yliopisto 11102019Heli Antila
 
Opiskelijatutkimuksen päivät 2014 tiivistelmät
Opiskelijatutkimuksen päivät 2014 tiivistelmätOpiskelijatutkimuksen päivät 2014 tiivistelmät
Opiskelijatutkimuksen päivät 2014 tiivistelmätResearch Foundation for Studies and Education Otus
 
Opiskelijatutkimuksen päivä 2013: Vieno otus070313
Opiskelijatutkimuksen päivä 2013: Vieno otus070313Opiskelijatutkimuksen päivä 2013: Vieno otus070313
Opiskelijatutkimuksen päivä 2013: Vieno otus070313Research Foundation for Studies and Education Otus
 
Masalah sosial sivik form 4
Masalah sosial sivik form 4Masalah sosial sivik form 4
Masalah sosial sivik form 4ANnur RAshid
 
Cocco rose ropa infantil
Cocco rose ropa infantilCocco rose ropa infantil
Cocco rose ropa infantilangelssmile
 
Avop liite 18 ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysel...
Avop liite 18 ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysel...Avop liite 18 ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysel...
Avop liite 18 ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysel...Research Foundation for Studies and Education Otus
 

Recommended

2014 Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysely
2014 Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysely2014 Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysely
2014 Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyResearch Foundation for Studies and Education Otus
 
SYL:n lausunto Koulutus ja tutkimus vuosina 2011–2016 -kehittämissuunnitelman...
SYL:n lausunto Koulutus ja tutkimus vuosina 2011–2016 -kehittämissuunnitelman...SYL:n lausunto Koulutus ja tutkimus vuosina 2011–2016 -kehittämissuunnitelman...
SYL:n lausunto Koulutus ja tutkimus vuosina 2011–2016 -kehittämissuunnitelman...SYL
 
Saavutettavuuskriteeristön koulutus Vaasan yliopisto 11102019
Saavutettavuuskriteeristön koulutus Vaasan yliopisto 11102019Saavutettavuuskriteeristön koulutus Vaasan yliopisto 11102019
Saavutettavuuskriteeristön koulutus Vaasan yliopisto 11102019Heli Antila
 
Opiskelijatutkimuksen päivät 2014 tiivistelmät
Opiskelijatutkimuksen päivät 2014 tiivistelmätOpiskelijatutkimuksen päivät 2014 tiivistelmät
Opiskelijatutkimuksen päivät 2014 tiivistelmätResearch Foundation for Studies and Education Otus
 
Opiskelijatutkimuksen päivä 2013: Vieno otus070313
Opiskelijatutkimuksen päivä 2013: Vieno otus070313Opiskelijatutkimuksen päivä 2013: Vieno otus070313
Opiskelijatutkimuksen päivä 2013: Vieno otus070313Research Foundation for Studies and Education Otus
 
Masalah sosial sivik form 4
Masalah sosial sivik form 4Masalah sosial sivik form 4
Masalah sosial sivik form 4ANnur RAshid
 
Cocco rose ropa infantil
Cocco rose ropa infantilCocco rose ropa infantil
Cocco rose ropa infantilangelssmile
 
Avop liite 18 ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysel...
Avop liite 18 ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysel...Avop liite 18 ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysel...
Avop liite 18 ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysel...Research Foundation for Studies and Education Otus
 
Opiskelijatutkimuksen päivä 2013: Kunttu tiu toiveita 7.3.13
Opiskelijatutkimuksen päivä 2013: Kunttu tiu toiveita 7.3.13Opiskelijatutkimuksen päivä 2013: Kunttu tiu toiveita 7.3.13
Opiskelijatutkimuksen päivä 2013: Kunttu tiu toiveita 7.3.13Research Foundation for Studies and Education Otus
 
Opiskelijatutkimuksen päivä 2014: Leo Aarnio_Miten koulutuksen laatua mitataan?
Opiskelijatutkimuksen päivä 2014: Leo Aarnio_Miten koulutuksen laatua mitataan?Opiskelijatutkimuksen päivä 2014: Leo Aarnio_Miten koulutuksen laatua mitataan?
Opiskelijatutkimuksen päivä 2014: Leo Aarnio_Miten koulutuksen laatua mitataan?Research Foundation for Studies and Education Otus
 
Avop liite 12 opala pilotointi_lähestymiskirje
Avop liite 12 opala pilotointi_lähestymiskirjeAvop liite 12 opala pilotointi_lähestymiskirje
Avop liite 12 opala pilotointi_lähestymiskirjeResearch Foundation for Studies and Education Otus
 
Lyhyestä elämästä. Gaudeamus igitur uudesti suomennettuna
Lyhyestä elämästä. Gaudeamus igitur uudesti suomennettunaLyhyestä elämästä. Gaudeamus igitur uudesti suomennettuna
Lyhyestä elämästä. Gaudeamus igitur uudesti suomennettunaResearch Foundation for Studies and Education Otus
 
HYYn oikeusturvakysely 2011
HYYn oikeusturvakysely 2011HYYn oikeusturvakysely 2011
HYYn oikeusturvakysely 2011Research Foundation for Studies and Education Otus
 
2013 Opiskelijabarometri 2012
2013 Opiskelijabarometri 20122013 Opiskelijabarometri 2012
2013 Opiskelijabarometri 2012Research Foundation for Studies and Education Otus
 
Professional Ethics
Professional EthicsProfessional Ethics
Professional EthicsKrish Jagan
 
Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointi
Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointiAmmatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointi
Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointiLaila Bröcker
 
Johdatus nayttotutkintojarjestelmaan
Johdatus nayttotutkintojarjestelmaanJohdatus nayttotutkintojarjestelmaan
Johdatus nayttotutkintojarjestelmaanedupoliope
 
Opetusneuvos Jukka Lehtinen
Opetusneuvos Jukka LehtinenOpetusneuvos Jukka Lehtinen
Opetusneuvos Jukka LehtinenSirpa Pursiainen
 
Amkista uralle -datasetti 2018
Amkista uralle -datasetti 2018Amkista uralle -datasetti 2018
Amkista uralle -datasetti 2018Miika Rautiainen
 
AHOT osana ohjauksen kokonaisuutta
AHOT osana ohjauksen kokonaisuuttaAHOT osana ohjauksen kokonaisuutta
AHOT osana ohjauksen kokonaisuuttaTerhi-Maija Itkonen-Isakov
 
Ammatillisen koulutuksen reformi
Ammatillisen koulutuksen reformiAmmatillisen koulutuksen reformi
Ammatillisen koulutuksen reformiSuomen Ammattiliittojen Keskusjärjestö SAK
 
Ammatillisen koulutuksen reformi
Ammatillisen koulutuksen reformiAmmatillisen koulutuksen reformi
Ammatillisen koulutuksen reformiSuomen Ammattiliittojen Keskusjärjestö SAK
 
Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...
Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...
Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...AkateemistenUraseuranta
 
Top rakenteet
Top rakenteetTop rakenteet
Top rakenteethellevitervo
 
Rahoitusmalliehdotukset ryhmä 4 vuorilahti
Rahoitusmalliehdotukset ryhmä 4 vuorilahtiRahoitusmalliehdotukset ryhmä 4 vuorilahti
Rahoitusmalliehdotukset ryhmä 4 vuorilahtiMattiSYL
 
Mihin menet oppilasarviointi
Mihin menet oppilasarviointiMihin menet oppilasarviointi
Mihin menet oppilasarviointiMessukeskus Helsinki
 
Avop liite 2 opala palautekierros1-kysely
Avop liite 2 opala palautekierros1-kyselyAvop liite 2 opala palautekierros1-kysely
Avop liite 2 opala palautekierros1-kyselyResearch Foundation for Studies and Education Otus
 
Ajankohtaista koulutuspolitiikasta
Ajankohtaista koulutuspolitiikastaAjankohtaista koulutuspolitiikasta
Ajankohtaista koulutuspolitiikastaSuomen Ammattiliittojen Keskusjärjestö SAK
 
Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...
Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...
Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...Petri Lempinen
 
Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...
Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...
Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...Nappiparisto - vertaisvoimaa oppimisympäristöjen kehittämiseen
 

More Related Content

Viewers also liked

Professional Ethics
Professional EthicsProfessional Ethics
Professional EthicsKrish Jagan
 

Viewers also liked (7)

Opiskelijatutkimuksen päivä 2013: Kunttu tiu toiveita 7.3.13
Opiskelijatutkimuksen päivä 2013: Kunttu tiu toiveita 7.3.13Opiskelijatutkimuksen päivä 2013: Kunttu tiu toiveita 7.3.13
Opiskelijatutkimuksen päivä 2013: Kunttu tiu toiveita 7.3.13
 
Opiskelijatutkimuksen päivä 2014: Leo Aarnio_Miten koulutuksen laatua mitataan?
Opiskelijatutkimuksen päivä 2014: Leo Aarnio_Miten koulutuksen laatua mitataan?Opiskelijatutkimuksen päivä 2014: Leo Aarnio_Miten koulutuksen laatua mitataan?
Opiskelijatutkimuksen päivä 2014: Leo Aarnio_Miten koulutuksen laatua mitataan?
 
Avop liite 12 opala pilotointi_lähestymiskirje
Avop liite 12 opala pilotointi_lähestymiskirjeAvop liite 12 opala pilotointi_lähestymiskirje
Avop liite 12 opala pilotointi_lähestymiskirje
 
Lyhyestä elämästä. Gaudeamus igitur uudesti suomennettuna
Lyhyestä elämästä. Gaudeamus igitur uudesti suomennettunaLyhyestä elämästä. Gaudeamus igitur uudesti suomennettuna
Lyhyestä elämästä. Gaudeamus igitur uudesti suomennettuna
 
HYYn oikeusturvakysely 2011
HYYn oikeusturvakysely 2011HYYn oikeusturvakysely 2011
HYYn oikeusturvakysely 2011
 
2013 Opiskelijabarometri 2012
2013 Opiskelijabarometri 20122013 Opiskelijabarometri 2012
2013 Opiskelijabarometri 2012
 
Professional Ethics
Professional EthicsProfessional Ethics
Professional Ethics
 

Similar to Ensimmäiset sivut avop raportista

Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointi
Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointiAmmatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointi
Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointiLaila Bröcker
 
Johdatus nayttotutkintojarjestelmaan
Johdatus nayttotutkintojarjestelmaanJohdatus nayttotutkintojarjestelmaan
Johdatus nayttotutkintojarjestelmaanedupoliope
 
Opetusneuvos Jukka Lehtinen
Opetusneuvos Jukka LehtinenOpetusneuvos Jukka Lehtinen
Opetusneuvos Jukka LehtinenSirpa Pursiainen
 
Amkista uralle -datasetti 2018
Amkista uralle -datasetti 2018Amkista uralle -datasetti 2018
Amkista uralle -datasetti 2018Miika Rautiainen
 
Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...
Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...
Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...AkateemistenUraseuranta
 
Rahoitusmalliehdotukset ryhmä 4 vuorilahti
Rahoitusmalliehdotukset ryhmä 4 vuorilahtiRahoitusmalliehdotukset ryhmä 4 vuorilahti
Rahoitusmalliehdotukset ryhmä 4 vuorilahtiMattiSYL
 
Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...
Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...
Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...Petri Lempinen
 
Miten tästä eteenpäin, amk tki päivät 2013, 13022013
Miten tästä eteenpäin, amk tki päivät 2013, 13022013Miten tästä eteenpäin, amk tki päivät 2013, 13022013
Miten tästä eteenpäin, amk tki päivät 2013, 13022013Outi Kallioinen
 
SEFE-seminaari 2013 Oulun yliopiston esittely
SEFE-seminaari 2013 Oulun yliopiston esittelySEFE-seminaari 2013 Oulun yliopiston esittely
SEFE-seminaari 2013 Oulun yliopiston esittelySuomen Ekonomit
 

Similar to Ensimmäiset sivut avop raportista (20)

Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointi
Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointiAmmatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointi
Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointi
 
Johdatus nayttotutkintojarjestelmaan
Johdatus nayttotutkintojarjestelmaanJohdatus nayttotutkintojarjestelmaan
Johdatus nayttotutkintojarjestelmaan
 
Opetusneuvos Jukka Lehtinen
Opetusneuvos Jukka LehtinenOpetusneuvos Jukka Lehtinen
Opetusneuvos Jukka Lehtinen
 
Amkista uralle -datasetti 2018
Amkista uralle -datasetti 2018Amkista uralle -datasetti 2018
Amkista uralle -datasetti 2018
 
AHOT osana ohjauksen kokonaisuutta
AHOT osana ohjauksen kokonaisuuttaAHOT osana ohjauksen kokonaisuutta
AHOT osana ohjauksen kokonaisuutta
 
Ammatillisen koulutuksen reformi
Ammatillisen koulutuksen reformiAmmatillisen koulutuksen reformi
Ammatillisen koulutuksen reformi
 
Ammatillisen koulutuksen reformi
Ammatillisen koulutuksen reformiAmmatillisen koulutuksen reformi
Ammatillisen koulutuksen reformi
 
Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...
Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...
Uraseurantatiedon hyödyntäminen yliopistoissa – tiedontarpeet, käyttötilantee...
 
Top rakenteet
Top rakenteetTop rakenteet
Top rakenteet
 
Rahoitusmalliehdotukset ryhmä 4 vuorilahti
Rahoitusmalliehdotukset ryhmä 4 vuorilahtiRahoitusmalliehdotukset ryhmä 4 vuorilahti
Rahoitusmalliehdotukset ryhmä 4 vuorilahti
 
Mihin menet oppilasarviointi
Mihin menet oppilasarviointiMihin menet oppilasarviointi
Mihin menet oppilasarviointi
 
Avop liite 2 opala palautekierros1-kysely
Avop liite 2 opala palautekierros1-kyselyAvop liite 2 opala palautekierros1-kysely
Avop liite 2 opala palautekierros1-kysely
 
Ajankohtaista koulutuspolitiikasta
Ajankohtaista koulutuspolitiikastaAjankohtaista koulutuspolitiikasta
Ajankohtaista koulutuspolitiikasta
 
Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...
Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...
Korkeakoulutus ja jatkuva oppiminen eduskuntapuolueiden ohjelmissa 2019 edusk...
 
Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...
Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...
Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...
 
Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...
Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...
Seija rasku levi 19.9.2012 työelämälähtöisen ammatillisen koulutuksen kehitt...
 
Avop liite 4 opala palautekierros1-kooste
Avop liite 4 opala palautekierros1-koosteAvop liite 4 opala palautekierros1-kooste
Avop liite 4 opala palautekierros1-kooste
 
Miten tästä eteenpäin, amk tki päivät 2013, 13022013
Miten tästä eteenpäin, amk tki päivät 2013, 13022013Miten tästä eteenpäin, amk tki päivät 2013, 13022013
Miten tästä eteenpäin, amk tki päivät 2013, 13022013
 
Laatop 2 091209 Ylä Savo
Laatop 2 091209 Ylä SavoLaatop 2 091209 Ylä Savo
Laatop 2 091209 Ylä Savo
 
SEFE-seminaari 2013 Oulun yliopiston esittely
SEFE-seminaari 2013 Oulun yliopiston esittelySEFE-seminaari 2013 Oulun yliopiston esittely
SEFE-seminaari 2013 Oulun yliopiston esittely
 

More from Research Foundation for Studies and Education Otus

More from Research Foundation for Studies and Education Otus (20)

Kukin kykynsä mukaan
Kukin kykynsä mukaanKukin kykynsä mukaan
Kukin kykynsä mukaan
 
Toimitusehdot
ToimitusehdotToimitusehdot
Toimitusehdot
 
2014 korkeakoululiikunnan barometri 2013
2014 korkeakoululiikunnan barometri 20132014 korkeakoululiikunnan barometri 2013
2014 korkeakoululiikunnan barometri 2013
 
2014 Moninkertaiset kouluttautujat
2014 Moninkertaiset kouluttautujat2014 Moninkertaiset kouluttautujat
2014 Moninkertaiset kouluttautujat
 
2014 Monenlaisia nuoria, yhdenlaisia toiveita, Lavikainen Elina
2014 Monenlaisia nuoria, yhdenlaisia toiveita, Lavikainen Elina 2014 Monenlaisia nuoria, yhdenlaisia toiveita, Lavikainen Elina
2014 Monenlaisia nuoria, yhdenlaisia toiveita, Lavikainen Elina
 
2014 Yliopistokoulutuksen maksullisuuspuhe
2014 Yliopistokoulutuksen maksullisuuspuhe2014 Yliopistokoulutuksen maksullisuuspuhe
2014 Yliopistokoulutuksen maksullisuuspuhe
 
Opiskelijatutkimuksen päivä 2013: Yliopiston järjestelmät suomi ja ranska 2.2013
Opiskelijatutkimuksen päivä 2013: Yliopiston järjestelmät suomi ja ranska 2.2013Opiskelijatutkimuksen päivä 2013: Yliopiston järjestelmät suomi ja ranska 2.2013
Opiskelijatutkimuksen päivä 2013: Yliopiston järjestelmät suomi ja ranska 2.2013
 
Opiskelijatutkimuksen päivä 2013: Otus vuorovaikutus 2013 (1)
Opiskelijatutkimuksen päivä 2013: Otus vuorovaikutus 2013 (1)Opiskelijatutkimuksen päivä 2013: Otus vuorovaikutus 2013 (1)
Opiskelijatutkimuksen päivä 2013: Otus vuorovaikutus 2013 (1)
 
Opiskelijatutkimuksen päivä 2013: Otus he in fi & fce 7.3.13
Opiskelijatutkimuksen päivä 2013: Otus he in fi & fce 7.3.13Opiskelijatutkimuksen päivä 2013: Otus he in fi & fce 7.3.13
Opiskelijatutkimuksen päivä 2013: Otus he in fi & fce 7.3.13
 
Opiskelijatutkimuksen päivä 2013: Opiskelijatutkimuksen paiva-baro-final
Opiskelijatutkimuksen päivä 2013: Opiskelijatutkimuksen paiva-baro-finalOpiskelijatutkimuksen päivä 2013: Opiskelijatutkimuksen paiva-baro-final
Opiskelijatutkimuksen päivä 2013: Opiskelijatutkimuksen paiva-baro-final
 
Opiskelijatutkimuksen päivä 2013: Lavikainen mikkonen otus070313
Opiskelijatutkimuksen päivä 2013: Lavikainen mikkonen otus070313Opiskelijatutkimuksen päivä 2013: Lavikainen mikkonen otus070313
Opiskelijatutkimuksen päivä 2013: Lavikainen mikkonen otus070313
 
Opiskelijatutkimuksen päivä 2014: Kati Vasalampi_Nuorten koulutustavoitteiden...
Opiskelijatutkimuksen päivä 2014: Kati Vasalampi_Nuorten koulutustavoitteiden...Opiskelijatutkimuksen päivä 2014: Kati Vasalampi_Nuorten koulutustavoitteiden...
Opiskelijatutkimuksen päivä 2014: Kati Vasalampi_Nuorten koulutustavoitteiden...
 
Opiskelijatutkimuksen päivä 2014: Nina Haltia_Neljä diskurssia kouluttautumis...
Opiskelijatutkimuksen päivä 2014: Nina Haltia_Neljä diskurssia kouluttautumis...Opiskelijatutkimuksen päivä 2014: Nina Haltia_Neljä diskurssia kouluttautumis...
Opiskelijatutkimuksen päivä 2014: Nina Haltia_Neljä diskurssia kouluttautumis...
 
Opiskelijatutkimuksen päivä 2014: Jenni Keskinen & Jenna Vekkaila_Tie tohtori...
Opiskelijatutkimuksen päivä 2014: Jenni Keskinen & Jenna Vekkaila_Tie tohtori...Opiskelijatutkimuksen päivä 2014: Jenni Keskinen & Jenna Vekkaila_Tie tohtori...
Opiskelijatutkimuksen päivä 2014: Jenni Keskinen & Jenna Vekkaila_Tie tohtori...
 
Opiskelijatutkimuksen päivä 2014: Hanna Ahola, Tapio Anttonen & Ilona Laakkon...
Opiskelijatutkimuksen päivä 2014: Hanna Ahola, Tapio Anttonen & Ilona Laakkon...Opiskelijatutkimuksen päivä 2014: Hanna Ahola, Tapio Anttonen & Ilona Laakkon...
Opiskelijatutkimuksen päivä 2014: Hanna Ahola, Tapio Anttonen & Ilona Laakkon...
 
Opiskelijatutkimuksen päivä 2014: Anne Virtanen_Työssäoppiminen - harjoittelu...
Opiskelijatutkimuksen päivä 2014: Anne Virtanen_Työssäoppiminen - harjoittelu...Opiskelijatutkimuksen päivä 2014: Anne Virtanen_Työssäoppiminen - harjoittelu...
Opiskelijatutkimuksen päivä 2014: Anne Virtanen_Työssäoppiminen - harjoittelu...
 
Otuksen oppimäärä. Säätiön 25-vuotishistoriikki
Otuksen oppimäärä. Säätiön 25-vuotishistoriikkiOtuksen oppimäärä. Säätiön 25-vuotishistoriikki
Otuksen oppimäärä. Säätiön 25-vuotishistoriikki
 
Avop liite 3 opala palautekierros1-saate
Avop liite 3 opala palautekierros1-saateAvop liite 3 opala palautekierros1-saate
Avop liite 3 opala palautekierros1-saate
 
Avop liite 5 opala palautekierros2-sähköposti
Avop liite 5 opala palautekierros2-sähköpostiAvop liite 5 opala palautekierros2-sähköposti
Avop liite 5 opala palautekierros2-sähköposti
 
Avop liite 6 opala palautekierros2-kysely
Avop liite 6 opala palautekierros2-kyselyAvop liite 6 opala palautekierros2-kysely
Avop liite 6 opala palautekierros2-kysely
 

Recently uploaded

Tekoälyä koulunkäynninohjaajille. Jyty 27.4.24
Tekoälyä koulunkäynninohjaajille. Jyty 27.4.24Tekoälyä koulunkäynninohjaajille. Jyty 27.4.24
Tekoälyä koulunkäynninohjaajille. Jyty 27.4.24Matleena Laakso
 
Tekoäly ja oppiminen. Airut-hanke 23.4.24
Tekoäly ja oppiminen. Airut-hanke 23.4.24Tekoäly ja oppiminen. Airut-hanke 23.4.24
Tekoäly ja oppiminen. Airut-hanke 23.4.24Matleena Laakso
 
Tekoäly opetuksessa. Seinäjoen lyseo 24.4.24
Tekoäly opetuksessa. Seinäjoen lyseo 24.4.24Tekoäly opetuksessa. Seinäjoen lyseo 24.4.24
Tekoäly opetuksessa. Seinäjoen lyseo 24.4.24Matleena Laakso
 
Tekoäly ja opinto-ohjaus, webinaari 26.4.24
Tekoäly ja opinto-ohjaus, webinaari 26.4.24Tekoäly ja opinto-ohjaus, webinaari 26.4.24
Tekoäly ja opinto-ohjaus, webinaari 26.4.24Matleena Laakso
 
Opettaja ja tekoäly. Pedaiiltapäivä 25.4.24
Opettaja ja tekoäly. Pedaiiltapäivä 25.4.24Opettaja ja tekoäly. Pedaiiltapäivä 25.4.24
Opettaja ja tekoäly. Pedaiiltapäivä 25.4.24Matleena Laakso
 
Tekoäly opetuksessa, opettajien kevätpäivä 26.4.24
Tekoäly opetuksessa, opettajien kevätpäivä 26.4.24Tekoäly opetuksessa, opettajien kevätpäivä 26.4.24
Tekoäly opetuksessa, opettajien kevätpäivä 26.4.24Matleena Laakso
 
Valkohäntäpeura (Odocoileus virginianus).pptx
Valkohäntäpeura (Odocoileus virginianus).pptxValkohäntäpeura (Odocoileus virginianus).pptx
Valkohäntäpeura (Odocoileus virginianus).pptxpurmonen8
 

Recently uploaded (8)

Tekoälyä koulunkäynninohjaajille. Jyty 27.4.24
Tekoälyä koulunkäynninohjaajille. Jyty 27.4.24Tekoälyä koulunkäynninohjaajille. Jyty 27.4.24
Tekoälyä koulunkäynninohjaajille. Jyty 27.4.24
 
Tekoäly ja oppiminen. Airut-hanke 23.4.24
Tekoäly ja oppiminen. Airut-hanke 23.4.24Tekoäly ja oppiminen. Airut-hanke 23.4.24
Tekoäly ja oppiminen. Airut-hanke 23.4.24
 
Tekoäly opetuksessa. Seinäjoen lyseo 24.4.24
Tekoäly opetuksessa. Seinäjoen lyseo 24.4.24Tekoäly opetuksessa. Seinäjoen lyseo 24.4.24
Tekoäly opetuksessa. Seinäjoen lyseo 24.4.24
 
Tekoäly ja opinto-ohjaus, webinaari 26.4.24
Tekoäly ja opinto-ohjaus, webinaari 26.4.24Tekoäly ja opinto-ohjaus, webinaari 26.4.24
Tekoäly ja opinto-ohjaus, webinaari 26.4.24
 
Koulutuksen palkat ja kustannukset sekä koulutuksen ansiot
Koulutuksen palkat ja kustannukset sekä koulutuksen ansiotKoulutuksen palkat ja kustannukset sekä koulutuksen ansiot
Koulutuksen palkat ja kustannukset sekä koulutuksen ansiot
 
Opettaja ja tekoäly. Pedaiiltapäivä 25.4.24
Opettaja ja tekoäly. Pedaiiltapäivä 25.4.24Opettaja ja tekoäly. Pedaiiltapäivä 25.4.24
Opettaja ja tekoäly. Pedaiiltapäivä 25.4.24
 
Tekoäly opetuksessa, opettajien kevätpäivä 26.4.24
Tekoäly opetuksessa, opettajien kevätpäivä 26.4.24Tekoäly opetuksessa, opettajien kevätpäivä 26.4.24
Tekoäly opetuksessa, opettajien kevätpäivä 26.4.24
 
Valkohäntäpeura (Odocoileus virginianus).pptx
Valkohäntäpeura (Odocoileus virginianus).pptxValkohäntäpeura (Odocoileus virginianus).pptx
Valkohäntäpeura (Odocoileus virginianus).pptx
 

Ensimmäiset sivut avop raportista

  • 1. AMMATTIKORKEAKOULUJEN VALMISTUMISVAIHEEN OPISKELIJAPALAUTEKYSELY Ammattikorkeakoulutuksen laadun määrittelystä kyselymittarin arvioinnin kautta tulosten raportointiin: kokemuksia kyselyn kehitystyöstä AVOP2012-2013 Leo Aarnio Opiskelun ja koulutuksen tutkimussäätiö Otus 5/12/2013
  • 2. Copyright: Opiskelun ja koulutuksen tutkimussäätiö Otus Leo Aarnio Taitto: Tero Silvast Oikoluku: Janne Mikkonen, Timo Luopajärvi Julkaisija: Opiskelun ja koulutuksen tutkimussäätiö Otus Lapinrinne 2 00180 HELSINKI www.otus.fi ISBN: ISSN: Paino: AMMATTIKORKEAKOULUJEN VALMISTUMISVAIHEEN MONITULOISET OPISKELIJAPALAUTEKYSELY Korkeakouluopiskelijoiden Ammattikorkeakoulutuksen laadun tulonlähteet ja kokemus määrittelystä kyselymittarin arviointoimeentulosta erilaisissa nin kautta tulosten raportointiin: kokemuksia elämäntilanteissa AVOP-kyselyn kehitystyöstä 2012-2013 Janne Aarnio Leo Mikkonen Elina Lavikainen Juhani Saari Opiskelun ja koulutuksen tutkimussäätiö Otus Opiskelun ja koulutuksen tutkimussäätiö Otus 5/12/2013 40/2013
  • 3. Sisällysluettelo 4 Tiivistelmä käytännön kehitystyöstä 7 kiinnostuneelle (executive summary) 7 Kiitokset 11 Esipuhe 15 Johdanto 19 Raportin rakenne 19 Raportin tyyli 20 1. Taustaa 23 1.1. Yhteiskunnalliset ja koulutuspoliittiset taustat pähkinänkuoressa 23 1.2. Kokonaisvaltainen näkökulma yleiseen mittausteoriaan 28 2. Teoreettisen käsitteen määrittely ja operationalisointi: mitä ja miten mitataan? 37 2.1. Toimeksianto 38 2.2. Ammattikorkeakoulutuksen lainsäädännölliset tavoitteet 38 2.3. Teoreettiset taustat 40 2.4. Vertailukyselyt 76 2.5. Kommenttikierrokset 90 2.6. Observointiin perustuva laadullinen kyselyiden koestaminen 96 2.7. Vastausasteikko 98 2.8. Yhteenveto: mitä ja miten mitataan? 103 3. Mittarin luotettavuusanalyysi: miten mittari a posteriori toimii? 113 3.1. Kyselymittarin testaus ja koulutuksen laadun indikaattori 114 3.2. Huolimattomasti vastanneet, metodifaktorit ja kontrollimuuttujat 125 3.3. Reliabiliteetti 159 3.4. Validiteetti 171 3.5. Yhteenveto luvusta 3: Miten AVOP-kyselyn koulutuksen laadun mittari a posteriori toimii? 204 4. Ehdotus koulutuksen laadun opiskelijapalautekyselymittariksi osana ammattikorkeakoulujen opiskelijapalautejärjestelmää 211 4.1. Koulutuksen laadun mittarin väittämät, komponentit ja vastausasteikko 212 4.2. Miten ratkaista kyselyyn liittyvät ongelmat? 225 4.3. Vastaajien keruu ja tulosten raportointi 234 4.4. Yhteenveto AVOP-kyselyn käytännön hyödyntämisestä 238 5. Loppukaneetti 241 Viitteet 247 Kesäkuun yhdistetyn kyselyn väittämäkohtaiset tunnusluvut 252 1. Hyvät käytännöt 253 Frekvenssitaulukot 264 1. Hyvät käytännöt Koulutuksen laadun kokonaisindikaattorin sekä komponenttien jakaumat, tunnusluvut ja Kolmogorov-Smirnov-testit normaalisuudelle Liitteet 266 272 277 5
  • 4. Tiivistelmä käytännön kehitystyöstä kiinnostuneelle (executive summary) Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekysely (AVOP) on mittari ammattikorkeakoulun opiskelijalle tarjoamasta koulutuksen laadusta. Kyselymittari perustuu arvioon, jonka alemman korkea-asteen ammattikorkeakouluopiskelijat valmistumisvaiheessa tutkinnostaan tekevät. Kyselymittarissa on mallinnettu kolme toisiaan täydentävää koulutuksen laadun näkökulmaa: korkeakoulun toteuttamien toimien hyvä käytännön toteutuminen (hyvät käytännöt), ammattikorkekouluopiskelijan oppiminen (tämän osaaminen ja sen kehittyminen ennen kaikkea NQF-kompetensseina mitattuna) sekä opiskelijan koulutuksensa osa-alueille asettamien toiveiden ja tavoitteiden täyttyminen (opiskelutyytyväisyys). Näille näkökulmille on rakennettu kuusi koulutuksen laadun mittaria, joista yhdessä johdetaan koulutuksen laatua kokonaisuudessaan kuvaava arvio. Ammattikorkeakoulutuksen laadussa on otettu huomioon ammattikorkeakoulun erityinen rooli osana suomalaisen korkeakoulujärjestelmän duaalimallia. Kansainvälisesti kehitetyt mittarit eivät siten sovellu AVOP-kyselyn malliksi, vaan kysely on alusta alkaen rakennettu silmällä pitäen ammattikorkeakoulujen työelämäläheisyys kouluille asetettuna tehtävänä tuottaa työelämässä käyttökelpoista ja sitä uudistavaa korkeatasoista osaamista. Poikkeuksellista kyselyn kehitystyössä on, että kyselyn sisältö on rakennettu yhteistyönä ammattikorkeakoulujen kanssa: 700–800 kansallista korkeakoulukenttää kattavasti edustavaa asiantuntijaa on osallistunut lähes vuoden ajan kyselyn laatimiseen. Kyselyä voidaankin kuvata joukkoistamalla aikaansaaduksi. Valit- tu työskentelytapa varmistaa sen, että kyselyssä tulevat tasapainoisesti ja monipuolisesti näkyviin ne koulutuksen laadun osa-alueet, joita opiskelijat, opettajat ja henkilökunta pitävät tärkeinä. Prosessi ei ole ollut ainoastaan mittarin luotettavuuden kannalta tehokas, vaan se on myös legitimoinut mittarin rakentamisen prosessia ja varmistanut, että mittari on hyödynnettävissä siinä kehitystyössä, johon kommentointiin osallistuneet henkilöt ottavat osaa myös jatkossa. Erilaisten toisiaan tukevien luotettavuuden ominaisuuksien perusteella mittari on tilastollisesti ja psykometrisesti mitattuna pääosin luotettava. Mittari kykenee erottelemaan korkeakouluja niiden laadulle arvioitujen keskiarvoestimaattien avulla, mutta tähän erotteluun tulee suhtautua varauksella. Ensinnäkin kaikki erot eivät poikkea toisistaan tilastollisesti merkitsevästi, ellei vastaajamäärän suhteellista osuutta perusjoukosta saada sellaiselle tasolle, joka käytännössä edellyttää vastaamiseen pakottamista. Toisaalta, vaikka erottelu saataisiinkin aikaiseksi, ei ole selvää, että kaikkien korkeakoulujen erotteleminen toisistaan olisi sisällöllisesti perusteltua. Vaikka mittarissa on tilastollista voimaa korkeakoulujen erottelemiseen, ovat nämä erot käytännössä silti pieniä, eivätkä välttämättä sellaisia, joiden perusteella voitaisiin esimerkiksi väittää korkeimman arvosanan saaneen korkeakoulun olevan parempi kuin toiseksi korkeimman arvosanan saanut. Vaikka mittari kokonaisuudessaan toimii hyvin, se kärsii kolmesta pääasiallisesta ongelmasta: 1) kyselymittari on pitkä, 2) osaamisen mittari toimii melko huonosti, 3) kyselymittarin pilotoinnissa ilmeni liiallista vastauskatoa. 7
  • 5. 8 Käytännössä kyselyn kehitystyö ei ole valmis, ennen kuin nämä ongelmat on ratkaistu. Haasteisiin voidaan yhtäältä vastata integroimalla kysely osaksi opiskelijapalautejärjestelmää, toisaalta tekemällä hienoisia muutoksia myös kyselyn sisältöön. Kehitetty kysely tulee ammattikorkeakouluissa integroida osaksi opiskelijapalautejärjestelmiä siten, että opiskelijoita opetetaan arvioimaan koulutustaan ja myös itse omaa oppimistaan NQF-osaamisen (tutkintojen ja muun osaaamisen kansallinen viitekehys) mittarin avulla. Geneeristen kompetenssien mittarin poistamista tulee harkita ja sen tilalla koestaa kyselyssä käytettyjä yleisiä periaatteita (muun muassa vastausasteikkoa) noudattavien koulutusalakohtaisten osaamisten mittaristo. Jos tällainen mittari on opiskelijalle helpommin arvioitavissa ja vastaa paremmin kunkin koulutusalan laatua, mainittujen kehitystoimien pitäisi lisätä osaamisen mittarin luotettavuutta. Osaamisen mittarista tulee myös poistaa huonosti toimiva retrospektiivinen arvio opiskelijan korkeakoulun aloittamisen aikaisesta lähtötasosta. Tämä arvio täytyy tehdä jo silloin kun se on ajankohtainen, eli ensimmäisen opiskeluvuoden aikana, ja tehtyä arviota täytyy sitten verrata valmistumisvaiheessa osana AVOP-kyselyä tehtyyn osaamisen arvioon. Kyselyn pituuteen ja vastauskatoon liittyvät ongelmat voidaan ratkaista lisäämällä vastaaminen osaksi korkeakouluihin luotavaa palautteen antamisen ja vastaanottamisen opintojaksoa. Tällä opintojaksolla opiskelijat oppivat antamaan palautetta ja tekemään arviointityötä omasta ja muiden osaamisesta. Opiskelijan oman osaamisen lisäksi ehdotus parantaisi ammattikorkeakoulujen opiskelijapalautejärjestelmien yleistä toimivuutta. Kerättävää kvantitatiivista palautetta on syvennettävä laadullisella palautteella, jotta kehitystyötä voidaan palautteen perusteella kohdentaa oikein. AVOP-kyselyn korkeakoulukentän rahoituksen allokaatioon käytettävä määrällinen palaute on kehitystyön tehokkaaseen korkeakoulukohtaiseen suuntaamiseen yksinään pääasiassa liian yleisluontoista. Olisi toivottavaa, että ammattikorkeakoulut noudattaisivat yhtenäisiä ohjeita ja standardeja siitä, miten laadullista palautetta tulee kerätä tukemaan AVOP-kyselyn arvioinnin hyödynnettävyyttä ja luotettavuutta. Näiden mittaria parantavien toimien lisäksi on hallinnollisesti pohdittava ja päätettävä, miten ja keille mittarin tuloksia tulee raportoida. Raportoinnissa on huomioitava tyylin sopeuttaminen kohdeyleisön tarpeisiin: opiskelijoiden ja korkeakoulujen tietoon tulee saattaa laadun osa-aluekohtaisia suhteellisia arvioita, jotka koskevat niin korkeakouluja kuin koulutusaloja korkeakoulujen sisällä. Korkeakoulujen kehityksen asiantuntijoille täytyy aineistoa jakaa putsattuna ja suojattuna harkinnanvaraiseen tutkimus- ja kehitystyökäyttöön, ja lisätä aineisto yleiseen tietokantaan. Tämän lisäksi korkeakoulujen pitäisi valituin määräajoin (esimerkiksi kolmivuotisen rahoituskauden lopuksi) saada lyhyt raportti suhteellisesta pärjäämisestään kyselymittarin koulutuksen laadun indikaattoreilla, jotta korkeakoulut voisivat kohdentaa toimiansa tehokkaasti tiettyihin koulutuksen osa-alueisiin koulutuksensa kokonaislaadun parantamiseksi. Kyselyvastausten keruu tulee järjestää siten, etteivät korkeakoulukohtaiset käytännöt vaihtele tai vähintään niin, ettei käytäntöjen hienoinen vaihtelu pääse vaikuttamaan arvioihin koulutuksen laadusta. Ei ole välttämättä toivottavaa, että rahoitusmallissa kyselyn arvio perustuu siihen sisältyvän koulutuksen laadun mittarin ohella vastaajien määrään. Mittarin paikantamat erot koulutuksen laadussa ovat liian pieniä ja sensitiivisiä, jotta tämänkaltainen laadun näkökulmasta epäoleellinen tekijä voitaisiin hyväksyttävästi sisällyttää korkeakoulukohtaisiin rahoituspäätöksiin. Jos näin tehdään, on vaarana, että korkeakoulujen kyselymittariin perustuva rahoitusosuus on vain näennäinen; että tosiasiassa rahoitus on enemmän vastausprosentin kuin koulutuksen laadun funktio. Korkeakoulukohtaiset erot koulutuksen laadussa ovat pieniä, ja erotuksen signaalia heikentävät edelleen vääjäämättömät määritys- ja mittausvirheet. Kyselymittarin mahdollisimman hyvä eristäminen mittauskohteeseensa – korkeakoulun tarjoaman koulutuksen laatuun – tulee tämän vuoksi ottaa huomioon kaikissa kyselyä koskevissa opiskelijapalautejärjestelmän toimissa. Kun nämä ehdotukset huomioidaan, saadaan AVOP -kyselymittarista hyvä ja kauan kaivattu ammattikorkeakoulutuksen laadun arviointi- ja kehitystyökalu niin korkeakoulujärjestelmän, yksittäisten korkeakoulujen kuin tulevien korkeakouluopiskelijoidenkin tarpeisiin. AVOP-kyselyn kehitystyöstä vastaava tutkija, Leo Aarnio Opiskelun ja koulutuksen tutkimussäätiö Otus 9
  • 6. Yhteistyössä ammattikorkeakoulutuksen laadun mittaria kehittämässä 10 Koulutuksen ja erityisesti korkeakoulutuksen laadun arvioiminen ei ole kovin yksinkertainen tehtävä. Korkeakoulutuksen laadun arviointi on kuitenkin noussut tärkeäksi tekijäksi korkeakoulutuksen yhteiskunnallista vaikuttavuutta arvioitaessa ja kehitettäessä. Siksi myös ammattikorkeakoulujen ja yliopistojen rahoituskriteereissä opiskelijoiden arvioima korkeakoulutuksen laatu on kohoamassa erääksi korkeakoulujen rahoitusta määrittelevistä tekijöistä. Ammattikorkeakouluissa aiempana opiskelijoiden arvioinnin mittarina on käytetty nk. OPALA-kyselyä. OPALAn keskeisiä ongelmia ovat olleet mittarin luotettavuuskysymykset, kyselyn osioiden yksiselitteisyyden puute sekä kyselyyn vastanneiden vähäisyys valmistuneiden opiskelijoiden määriin verraten. Käsillä oleva julkaisu on yhteenvetoraportti siitä määrätietoisesta ammattikorkeakoulujen koulutuksen laadun arvioinnin kehittämiseksi tehdystä työstä, jota on parin viime vuoden aikana toteutettu Ammattikorkeakoulujen rehtorineuvosto Arene ry:n ja Suomen ammattikorkeakouluopiskelijakuntien liitto SAMOK ry:n yhteisenä hankkeena. Hanketta on rahoittanut opetus- ja kulttuuriministeriö ja sen käytännön toteuttamisesta on vastannut Opiskelun ja koulutuksen tutkimussäätiö OTUS. Kuten raportista voidaan todeta, tässä on toteutettu kansainvälisestikin arvioiden useiden satojen ammattikorkeakouluasiantuntijoiden kanssa yksi laajimpia ja perusteellisimpia korkeakoulutuksen laadun arvioinnin mittarin kehittämishankkeita. Varsin seikkaperäisen ja perusteellisen raportin perusteella voidaan todeta, että hankkeessa on syntynyt korkeakoulutuksen laadun arvioimiseksi mittari, jota voidaan hyödyntää laajemminkin kuin pelkästään suomalaisten ammattikorkeakoulujen laadun arvioinnin työkaluna. Toivonkin, että mittari otetaan käyttöön kaikkien suomalaisten ammattikorkeakoulujen laadun arvioinnin työkaluna ja tämän julkaisun ja saatujen kokemusten kautta sitä sovelletaan myös laajemmin sekä kotimaisessa että kansainvälisessä korkeakoulutuksen laadun arvioinnissa. Tässä yhteydessä esitän lämpimät kiitokseni kaikille hankkeessa mukana olleille ja erityisesti hankkeesta päävastuussa olleelle tutkija Leo Aarniolle, joka on tehnyt todella mittavan työn korkeakoulutuksen laadun arvioinnin mittaamisen sekä laajemmin koulutuksen laadun arvioinnin ja kyselymenetelmällä tehtävän arvioinnin ja sen luotettavuuden kehittämiseksi. Timo Luopajärvi Toiminnanjohtaja, Ammattikorkeakoulujen rehtorineuvosto Arene ry KT, dosentti 11
  • 7. Kiitokset 12 Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyn pilottiluonnokset eivät ole minun. Sekä käsitteelliset valinnat että niiden muotoileminen koulutuksen laadun mittareiksi on tehty laajana ammattikorkeakoulukentän kattavana yhteistyöprojektina. Minun tehtävänäni on ollut johtaa kyseistä projektia: tehdä ehdotuksia, ohjata keskustelua, tiedottaa tehdystä työstä, perustella tehtyjä valintoja, suorittaa luotettavuusanalyysi ja kirjoittaa loppuraportti. Ensimmäisenä haluankin kiittää – käytännön syistä valitettavasti anonyymisti – sitä 700–800 henkilön joukkoa, joka ammattikorkeakouluista on kahdeksan kuukauden ajan säännöllisesti kommentoinut, ideoinut ja rakentavasti kritisoinut kyselyn kehityksen eteen tehtyä työtä. Teidän työpanoksenne on ollut niin keskeinen, ettei ole väärin kutsua työn tuloksena syntyneitä kyselyitä joukkoistamalla aikaansaaduiksi. Kommentti- ja keskusteluryhmään on kuulunut henkilöitä, joiden osuus tehdystä työstä on niin suuri, että he ansaitsisivat siitä enemmän kuin seuraavan nöyrän kiitokseni. Toivon, että kyseiseen ryhmään kuuluvat henkilöt ottavat vastaan lämpimimmän kiitoksenosoitukseni siitä huolimatta, että he valikoituivat korostettuun rooliinsa nimenomaan sinnikkään ja tiukan, mutta perustellun kritiikkinsä ansiosta. Kiitos siis pitkistä keskusteluista, piinaavista kyseenalaistuksista sekä mainioista muutos- ja korjausehdotuksista sekä FUAS:n laaturyhmän jäsenille Tarja Gustafssonille, Jaana Ignatiukselle, Marjo-Riitta Järviselle ja Pirjo Kuismalle että Metropolian Oiva-tiimiläisille: Robert Arpolle, Minna Hautamäelle, Jaana Holvikivelle, Juha Lindforsille, Marjo Mannilalle, Merja Reijoselle, Seija Ristimäelle, Carina Savander-Ranteelle, Miikka Tanhualle, Heikki Valmulle sekä erityisesti Johanna Holvikivelle. Haluan myös kiittää sekä Metropolian että OPALA-kehitystyön ohjausryhmän Tiina Heikkistä tapaamisen järjestämisestä Metropolian asiantuntijoiden kanssa. Erityismaininnan ansaitsevat myös Kymenlaakson ammattikorkeakoulun Sinikka Ruohonen ja Sinikka Pekkalin, jotka suostuivat ystävällisesti ja ahkerasti muotoilemaan oman ehdotuksensa Opetus ja oppiminen -moduuliksi kesäkuun pilotointikierrosta varten. Aivan poikkeukselliseksi sen tehdyn valtavan työn, joka kaikkia kommenttikierroksille osallistuneita koskee, tekee se tosiasia, että suurin osa työstä tehtiin muiden töiden ohella, ikään kuin pro bono, mikä on osoitus osallistujien yleisestä hyväntahtoisuudesta, intohimosta sekä aidosta epäitsekkäästä halusta vaikuttaa myönteisesti korkeakoulujen arviointiin. Ennen kaikkea tämä on osoitus asianomaisten poikkeuksellisesta työteliäisyydestä. Suomalaisella ammattikorkeakoulukentällä ei ole mitään hätää, kun sen hyvinvointia vahtii tällainen ryhmä osaavia työmyyriä. Vielä kerran, kiitokset tämän osalta täytyy erityisesti osoittaa yllä mainituille henkilöille: he näkivät valtavan vaivan esimerkiksi laatiessaan vaihtoehtoisia mittareita behaviorismin peikosta kärsineelle Opetus- ja oppiminen -osiolle. Tästä(kään) työstä minulla ei valitettavasti ollut tarjota sitä rahallista palkkiota, jonka ylimääräinen työ olisi aivan päivänselvästi ansainnut. Toivon todella, että kyseisissä ammattikorkeakouluissa osataan mainittujen henkilöiden 13
  • 8. 14 erityispanosta arvostaa niiden arvoisilla erityisillä huomionosoituksilla. Hahmoteltuamme kyselyn moduulirakenteen syksyn 2012 lopussa kävimme keskusteluja moduulien konkreettisista sisällöistä suurenmoisten asiantuntijoiden kanssa. Edellä mainitun kommenttiryhmän lisäksi haluan kiittää ennen kaikkea Helsingin yliopiston yliopistopedagogiikan tutkimus- ja kehittämisyksikön johtajaa Sari Lindblom-Ylännettä sekä tutkija Anna Parpalaa, jotka jakoivat sekä asiantuntemustaan että konkreettisia Oppi-kyselyn tiimoilta kehitettyjä väittämiä ja syntyneitä kokemuksia Opetus ja oppiminen -moduulin kehittämisen tueksi. Opetus ja oppiminen -moduulin sisällöllisen kehitystyön tiimoilta haluan lisäksi kiittää Hämeen ammatti-instituutin johtajaa Seija Mahlamäki-Kultasta. Dosentti Pentti Rauhalalle kuuluu lämmin kiitos sekä konsultaatiosta kyselyn sisältöön kokonaisuudessaan liittyen että ohjausryhmän väliaikaisena puheenjohtajana mallikkaasti toimimisesta. Kiitokset hyvistä kommenteista ja ohjeista TKI-toiminnan huomioimisessa osana kyselyä Jyväskylän ammattikorkeakoulun rehtorille Jussi Halttuselle. Erityisen lämpimästi haluan kiittää Centria ammattikorkeakoulun Paula Erkkilää, jonka kokemukset opiskelun ja työelämäyhteyksien INTO-kehittämisverkoston tiimoilta rakennetusta työelämäläheisen oppimisen mallin kyselymittarista olivat korvaamattomia Työelämäyhteydet ja -neuvonta -moduulille. Useat moduulin väittämät ovat joko muokattuja kyseisestä kyselymittarista tai otettu sellaisinaan osaksi kyselyä. Kyselyn luotettavuusanalyysin asetelmassa oli tarkoitus alun perin käyttää suurta määrää kyselyn ositteita, jotka olisivat pitäneet sisällään vaihtoehtoisia väittämämuotoiluja koulutuksen laadun mahdollisimman kattavaa teoreettista käsitekenttää kuvaamaan. Moninkertaisen imputoinnin algoritmeillä oli tarkoitus sitten täyttää puuttuvat solut matriisista, joka mallintaisi mahdollisimman kokonaisvaltaisesti superpopulaatiota kuvaavia vaihtoehtoisia muotoiluja koulutuksen laadusta. Tämän asetelman arvioimisesta sekä yleisestä kannus- tuksesta ja avusta haluan kiittää Helsingin yliopiston tilastotieteen laitosta. Aivan erityisen kiitoksen kyselyn kehitystyön tukemisessa ansaitsee surveymetodiikkaan erikoistunut emeritusprofessori Seppo Laaksonen. Pieni erityiskiitos Sepolle kuuluu myös inspiraatiosta raportin nimeksi. Samankaltaiset kiitokset osoitan otantamenetelmiin ja pienalue-estimointiin erikoistuneelle professorille Risto Lehtoselle johdantokappaleesta löytyvästä sitaatista. Lisäksi haluan kiittää Kimmo Vehkalahtea kannustuksesta ja tuesta. Haluan toisaalta myös pahoitella, etten ole korvannut Cronbachin alfaa paremmalla sisäisen konsistenssin mitalla, Tarkkosen ja Vehkalahden rho:lla. Kommenttiryhmä varmisti, että kyselyssä tulee huomioiduksi opettajan näkökulma hyvästä opetuksesta ja koulutuksesta. Vaikka ryhmässä oli mukana myös kattava joukko opiskelijajäseniä, jäi heidän äänensä ryhmässä opettajien alle. Tämän näkökulman paremmin esille tuomisesta haluan kiittää ohjausryhmän jäseninäkin toimineita Suomen opiskelijakuntien liitto – SAMOKin entistä puheenjohtajaa Elin Blomqvistia sekä ennen kaikkea SAMOKin opetuksesta ja ohjauksesta vastaavaa asiantuntijaa Veli-Matti Taskilaa. Vellulle ja Elinille kuuluvat erityiskiitokset lukemattomista suurenmoisista ehdotuksista, kyselyn vastaamisen havainnointiin perustuvien pilotointien järjestämisestä sekä yleisestä läheisestä vuoden kestäneestä hedelmällisestä yhteistyöstä. SAMOKista kiitän kansainvälisistä asioista vastaavaa asiantuntijaa Pauliina Savolaa, jota konsultoin Kansainvälisyys ja kieliopinnot -moduulia varten ja josta on kiittäminen kotikansainvälistymisen huomioimisesta kyselyssä. Opiskelijajärjestöjen yhteistyökumppaneista lisäksi kiitän Metropolia Ammattikorkeakoulun opiskelijakunta – Metkan Aku Aarvaa, jolta tuli systemaattisesti hyviä kommentteja kyselyn väittämistä ja joka järjesti Metropolian ammattikorkeakoulussa kyselyn täyttämisen havainnointiin ja haastatteluihin perustuvia pilotointeja. SYL:n koulutuspoliittista sihteeriä Suvi Erikssonia haluan kiittää yliopistojen YOPALA-kyselyn kehitystyön kokemusten jakamisesta. Opiskelun ja koulutuksen tutkimussäätiöstä haluan erityisesti kiittää toiminnanjohtaja Jussi Junnia, joka on ottanut aktiivisesti osaa ohjausryhmään ja suonut minulle luottamuksen johtaa kyselyn kehitystyön tutkimuksellista tukea. Lisäksi erityisen kiitoksen ansaitsevat ennen kaikkea ajatusten, ideoiden ja metodologian sparraajana toiminut tutkija Juhani Saari (jota pahoittelen siitä, ettei hänen kehittämäänsä edistyksellistä tutkimusasetelmaa loppujen lopuksi voitu sellaisenaan toteuttaa) sekä tutkija Heidi Kettunen, jonka kasvatustieteellisen teorian tuntemus ja kriittinen kyselyn sisällön kommentointi on ollut korvaamaton osa kyselyn kehittymistä nykyisen kaltaiseksi. Raportin oikoluvusta ja korjaamisesta rakenteeltaan johdonmukaisemmaksi sekä tyyliltään selkokielisemmäksi valtava kiitos pedantille ja taitavalle kollegalleni Janne Mikkoselle. Kiitokset vielä Alina Inkiselle sekä Suvi Pulkkiselle, jotka osaltaan kävivät kyselyä läpi ja antoivat hyviä sisältöön ja muotoiluun liittyviä kehitysehdotuksia. Haluan kiittää ohjausryhmän upeita jäseniä: ennen kaikkea Arenen aikaansaavaa ja jämptiä toiminnanjohtajaa Timo Luopajärveä, joka oli merkittävänä tukena läpi prosessin ja josta on kiittäminen raportin yksityiskohtaisesta läpikäymisestä ja hienoista korjausehdotuksista. Lisäksi kiitän Metropolian Tiina Heikkistä, Karelian Jyrki Kankkusta sekä jo edellä mainittuja Veli-Matti Taskilaa, Elin Blomqvistia, Jussi Junnia sekä Juhani Saarta. Arenesta haluaisin vielä kiittää Eija Antilaa, joka mah- dollisti pilotoinnin onnistumisen jo huhtikuussa lyhyellä varoitusajalla neuvokkaalla ja nopealla toiminnallaan. Kiitokset haluan osoittaa myös kehitystyötä seuranneille ja arvioineille Opetus ja kulttuuriministeriön virkamiehille, ennen kaikkea korkeakoulu- ja tiedepolitiikan osastolle: johtaja Hannu Sirenille, opetusneuvoksille Armi Mikkolalle ja Tomi Haloselle sekä ylijohtajille Tapio Kosuselle ja Anita Lehikoiselle. Kiitos myös Bettina Backström-Widjeskogille Noviasta hienosta kesäkuun kyselyversion ruotsin kielen käännöksestä. Mitä nöyrimmät pahoitteluni siitä, että ammattikorkeakoulupedagogiikan kielen erityisesti huomioiva käännöksesi jäi huolimattomuusvirheen vuoksi käyttämättä. Kyselymittarin kääntäminen on haastava ja suuri työ: tästä erinomaisesti suoritumisesta kiitos Lapinrinteen ahkeralle kääntäjällemme Kristian Johanssonille. Monet jäivät nimeltä mainitsematta. Teille kymmenille ellei sadoille henkilöille, joiden kanssa olen kyselyn kehitystyön tiimoilta keskustellut, nöyrimmät kiitokseni. Korostettuani tässä kehitystyön yhteistyöluonnetta on hyvä vielä lopuksi painottaa, että kaikki kyselyyn jääneet puutteet ovat yksin minun vastuullani. Lopulliset päätökset siitä, mitä lisäyksiä, poistoja tai korjauksia kyselyyn tehdään tein omaa harkintaani käyttäen. Harva, jos kukaan, edellä mainitsemistani henkilöistä allekirjoittaisi kaikki kyselyn yksityiskohdat. Olen kiitollinen siitä, että minä voin niin tehdä. Helsingissä 4.11.2013, Leo Aarnio 15
  • 9. Esipuhe ”Essentially, all models are wrong, but some models are us eful.” George E.P. Box (1987, 424) 16 Tämä kirjoitus kuvaa ja arvioi kehitystyötä, jonka tuloksena on syntynyt ammattikorkeakoulutuksen laadun kyselymittari. Tehtävään, jonka tavoitteena on määritellä koulutuksen laatu, ryhtyminen vaatii kyynisyydestä vapaata, kenties peräti naiivia pragmatismia. Täydellisyyden tavoittelu olisi toivoa saavuttaa todellisuudesta irtaantunut ihanne, joka on olemassa korkeintaan ideoiden maailmassa. Mahdottoman tavoittelu johtaisi halvaukseen tehtävän alkumetreillä. Jos osaa kuitenkin olla itselleen (ja muille) maltillisen armollinen ja asettaa realistiseksi tavoitteeksi maltillisen epäonnistumisen, kyseessä ei ole mahdottoman tekeminen mahdolliseksi. Koulutuksen laatua voidaan lähestyä – sitä kenties koskaan täysin saavuttamatta – niin lukuihin kuin sanoihin perustuvin kuvauksin. Tehtävään ei kuitenkaan myöskään tule ryhtyä henkselit paukkuen ymmärtämättä sen haasteellisuutta vaan nöyrästi annetun haasteen vakavuutta kunnioittaen. Koulutuksen laadun mittaaminen on nimittäin vaikeaa. Koulutuksen laadun käsite on samanaikaisesti sekä laaja että syvä: käytännössä moniulotteinen, periaatteessa pohjattoman filosofinen. Ensin mainitusta mittauskohteen ominaisuudesta seuraa, että joudutaan tekemään kaikkea muuta kuin itsestään selviä arvovalintoja. Näiden seurauksena joitain koulutuksen kannalta tärkeitä asioita jää varjoon toisten, tietystä näkökulmasta tärkeämmiksi koettujen asioiden kustannuksella. 1 Positionaalisesta objektiivisuudesta katso esimerkiksi Amartya Sen, 1993. Toiseksi mainitusta ominaisuudesta taas seuraa, ettei näitäkään lukemattomia käytännön asioita voida lähestyä ilman, että samalla otettaisiin kantaa, implisiittisesti tai eksplisiittisesti, sellaisiin perustaviin koulutuksen filosofiaan liittyviin kysymyksiin, kuten mitä henkilökohtaista ja yhteiskunnallista (eettistä, tiedollista ja taidollista) tehtävää koulutuksen tulisi ylipäätään palvella. Termi ”koulutuksen laatu” onkin latautunut: se on välttämättä sekä arvottava että kuvaileva. Teoreettisen käsitteen lailla ei käsitteen mittarikaan voi täten olla objektiivinen, vaan pikemminkin se on kiistanalainen, enemmän tai vähemmän perusteltu subjektiivinen, intersubjektiivinen tai korkeintaan tietyn ryhmän positionaalisesti tai perspektiivisesti objektiivinen1 arvio niistä asioista, joita koulutuksen järjestämisen kannalta hyvinä voidaan valituin ennakko-oletuksin pitää. Koska AVOP-kysely on kehitetty laajana yhteistyöprojektina ammattikorkeakoulukentän yhteistyökumppaneiden ja minun kesken, käsillä olevaa kuvausta ja sen pohjalta syntynyttä mittaria koulutuksen laadusta voi kenties parhaiten luonnehtia intersubjektiiviseksi kompromissiksi. Se on asianomaisten moniääninen, ei-konsensuaalinen käsitys siitä, mitä hyvä ammattikorkeakoulutus pitää sisällään. Kyseinen lopputulos on saavutettu joukkoistamalla deliberaation keinoin neuvottelemalla, ei aggregoimalla preferenssejä tai äänestämällä näkemyksistä. Näin filosofisen, moniulotteisen ja kiistanalaisen käsitteen mittaaminen onkin niin vaikeaa, että jos luulee siinä erehtymättömästi onnistuneensa, on joko hullu tai tyhmä. Raportti 17
  • 10. 18 on täten kuvaus epätäydellisestä prosessista, jota voidaan tehdyn työn ansiosta pitää jossain määrin onnistuneena. Tehtävänäni on seuraavassa perustella tämä onnistuneisuus kohtuudella, rehellisesti ja tosiasioihin perustuen. Tämän kirjoituksen näkemys, jonka mukaan koulutuksen laatu on mitattavissa, tarkoittaa, ettei nähdä olevan merkittäviä periaatteellisia syitä, miksei koulutuksen laadun käsitettä voisi käyttää myös arvottamaan korkeakouluja. Se, joka on tästä lähtökohtaisesti eri mieltä – perustellusti tai ei – voi jättää jatkon lukematta: tämän perustavanlaatuisen premissin totuudenmukaisuutta ei seuraavassa pyritä todistelemaan. Jotta koulutuksen laadun käsite voisi toimia kehitys- ja arviointityökaluna, täytyy se muuntaa mittariksi eli operationalisoida. Jotta mittari toimisi sille annetuissa tehtävissä, tulee sen olla onnistuneesti operationalisoitu. Tämä onnistuneisuus on sitä, että kaikkine ongelmineenkin mittari toimii; että sen käyttäminen koulutuksen laadun indikaattorina on suotavampaa kuin sen käyttämättä jättäminen. Onnistuneisuus on täten nähtävä suhteena muihin vaihtoehtoisiin tapoihin toimia: siis mitata, arvioida ja ohjata koulutuksen laatua. Onnistuneisuus tehtävässä ei siis ole puhtaasti absoluuttinen suure. Tätä suhteellista onnistuneisuutta kuvataan seuraavassa pääosin mittausteoreettisin, mittarin luotettavuuteen liittyvin termein. Kantaa ei kuitenkaan juuri oteta muiden mittareiden toimimiseen tai toimimattomuuteen. Jos on kiinnostunut suhteellisesta arvioinnista, voi sitten vertailla tässä tehtyjä arvioita muiden koulusjärjestelmää ohjaavien mittareiden arvioihin. Sen lisäksi, että onnistuneisuus on suhde muihin toimintatapoihin, se on myös riippuvaista käytännön toteutuksesta. Mittarin toimiminen on ehdollista sille, miten mittaria käytetään. Täten lopullinen työn onnistuneisuuden mitta saadaan vasta jälkikäteen – silloin, kun mittaria on jonkin aikaa käytetty onnistuneesti ammattikorkeakoulujen kehitystyössä ja arvioinnissa.
  • 11. Johdanto 20 Tämän raportin näkökulma on rajattu. Kaikkia kehitystyön yksityiskohtia ei ole mielekästä lyhyessä raportissa tuoda esille. Tämän puutteen kohdalla toivon, että kehitystyön lopputuote - ehdotus ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyksi (AVOP) - johon kaikki pienimmätkin kehitystyön kommervenkit ovat tavalla tai toisella tulleet sisällytetyiksi, puhuu omasta puolestaan. Jokaisella kyselyn sisältämällä väittämällä on yksilöllinen historiansa. Yksi vaihtoehto kyselyn kehitystyön raportoinnille olisikin näiden historioiden kuvaileminen, perusteleminen ja arvioiminen. Tämä tulisi kuitenkin niin lukijalle kuin allekirjoittaneelle liian raskaaksi. Tämän vuoksi seuraavassa kuvaillaan ja hahmotellaan yleisellä tasolla niitä asioita ja tekijöitä, joita kyselyn kehitystyössä on otettu huomioon. Melko paljon huomiota kiinnitetään teoreettisiin perusteluihin ja käsitteiden läpikäyntiin. Tämän tarkoituksena on antaa lukijan osallistua mittarin rakennusprosessin arviointiin. Tällaisen tiiviimmän kuvauksen huono puoli on se, ettei kirjaamistani perusteluista yksiselitteisesti tai loogisesti seuraa johtopäätökset eli kyselyn sisältö. Voin korkeintaan taustoittaa tehtyjä valintoja. Tällöin toivon lukijan ymmärtävän, ettei taustojen ja päätösten väliin jäävä tyhjä tila ole summittainen. Perusteltuja päätöksiä on myös näissä kohdissa tehty, vaikkei niitä kaikkia voidakaan tässä raportoida. Kyselyn väittämien genealogian lisäksi vähälle käsittelylle jäävät ne yhteiskunnalliset ja koulutuspoliittiset tekijät, jotka ovat johtaneet päätökseen ottaa kysely osaksi korkeakoulujen rahoitusmallia. Nämä tekijät sietäisivät tulla tarkemmin käsitellyiksi siitä syystä, että ne vaikuttavat taustalla myös kyselyn sisältöön liittyviin päätöksiin. Raportin rakenne Raportti jakautuu kahteen osaan, joista ensimmäisessä on kolme ja jälkimmäisessä kaksi lukua. Ensimmäinen osa kuvaa kyselyn sisällön määrittämisen kehitystyötä ja mittarin arviointia, toinen osa ehdotusta kyselyksi sekä tämän hallinnoinniksi ensimmäisen osan näkökulmien pohjalta. Ensimmäisessä osassa kuvailen kyselyn sisältöä kokonaisvaltaisesta mittausteoreettisesta näkökulmasta. Tarkoituksena on jäsentää ja eritellä kyselyn rakentuminen prosessina, jossa käsitteellisestä analyysista siirrytään käsitteiden mittareiksi muuntamisen (luvut 1 ja 2) kautta mittarin toimivuuden ja laadun analyysiin testaamalla kyselymittarin ominaisuuksia (luku 3). Teoreettisen käsitteen, opiskelijapalautekyselyn mittauskohteen, valintaan ja rajaukseen vaikuttavia yhteiskunnallisia ja koulutuspoliittisia tekijöitä käsittelen lyhyesti raporttia taustoittavassa luvussa 1. Nämä tekijät vaikuttavat kyselylle asetettujen päämäärien ja tulevaisuuden kehitystarpeiden kautta teoreettisen käsitteen sisältöön. Toisessa luvussa syvennän koulutuksen laadun teoreettisen käsitteen muodostamista ja rajausta sekä selvennän, millä tavalla tämä käsite on muunnettu kyselymittariksi ja mistä syistä näihin valintoihin on päädytty. Teoreettisen käsitteen määritys lähtee liikkeelle Opiskelun ja koulutuksen tutkimussäätiön saamasta toimeksiannosta sekä ammattikorkeakoulutukselle laissa määrätyistä tavoitteista (luvut 2.1 ja 2.2). Nämä paikantavat vastausta kysymykseen, mitä AVOP-kyselyllä mitataan. 21
  • 12. 22 Tämän pohjalta hahmoteltava hyvän ammattikorkeakoulutuksen empiirinen käsitekartta tarkentuu teoreettisen taustatyön (luku 2.3), toimivien vertailukyselyjen analysoinnin (2.4), ammattikorkeakoulujen yhteistyökumppaneiden ja asiantuntijoiden kommenttien (2.5), kyselyversioiden laadullisten testausten (2.6) sekä vastausasteikon valintaan liittyvän surveymetodisen kirjallisuuden (2.7) kautta. Edellä mainitussa järjestyksessä pyrin siis ensimmäisessä ja toisessa luvussa vastaamaan kysymyksiin, (1) mitä ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyllä (AVOP) on tarkoitus mitata, ja (2) miten tätä on hyvä mitata. Näitä kysymyksiä ja niiden vastauksia käsittelen osittain päällekkäin vaiheiden keskinäisriippuvuuksien vuoksi. Ensimmäinen luku ja toisen luvun alku keskittyy teoreettisen käsitteen valintaan ja toisen luvun loppu siihen, miten tämä teoreettinen käsite muunnetaan empiiriseksi käsitteeksi, josta sitten johdetaan valittua käsitettä kuvaava kyselymittari. Ensimmäisen osan viimeisessä eli kolmannessa luvussa arvioin sitä, miten rakennetut mittarit vastaavat yleisiin mittausteoreettisiin ja psykometrisiin haasteisiin. Vastaan siis kysymykseen, kuinka hyvin mittarit mittaavat ammattikorkeakoulutuksen laatua. Vastaus koostuu muun muassa siitä, vaihtelevatko mittarit niille epäoleellisten muuttujien suhteen (systemaattinen mittausvirhe, luku 3.2), ovatko mittarit tarkkoja vai onko niissä satunnaista mittausvirhettä (eli ovatko mittarit reliaabeleja, 3.3) ja ennen kaikkea mittaavatko mittarit ensimmäisessä luvussa määriteltyjä asioita (eli ovatko mittarit valideja, 3.4). Raportin toisessa osassa esitän, miltä AVOP-kyselyn mielestäni tulisi näyttää ja miten sitä tulisi käyttää. Luvussa 4.1 teen ensimmäisessä osassa läpikäytyjen teemojen pohjalta ehdotuksen ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyksi. Luvussa 4.2 ehdotan, miten AVOP-kyselyn puutteita voitaisiin mielestäni korjata integroimalla se paremmin osaksi opiskelijapalautejärjestelmän kokonaisuutta. Neljännessä luvussa pyrin myös jakamaan kehitystyön tiimoilta syntyneen käsitykseni siitä, miten kyselyä voitaisiin käytännössä parhaalla mahdollisella tavalla hyödyntää ammattikorkeakoulutuksen kehittämisen tukena. Tähän liittyy kyselyn hallinnointi, tulosten raportointi sekä ehdotus tavaksi kerätä vastauksia kyselyyn. Esitän, että opintojaksosuoritteena kyselyn vastausten laatua voitaisiin parantaa ja samalla päästäisiin eroon pitkäksi muodostuneen kyselyn mahdollisesta vastauskadosta ja osaamisen mittariin liittyvistä ongelmista. Päätän loppukaneettiin luvussa 5, jossa pohdin niitä päättelyn sudenkuoppia, jotka ovat jääneet vähälle huomiolle raportissa mutta jotka oleellisesti vaikuttavat raportin sisällön yleistettävyyteen. Raportin tyyli Raportilla ei ole kohdennettua yleisöä, minkä seurauksena toivon, ettei se ole sietämätöntä luettavaa kaikille. Kompromissi, johon yksikään lukija ei pysty samaistumaan: liian akateeminen ja koukeroinen käytännön toimeenpanosta kiinnostuneille, liian matalaotsainen, suoraviivainen ja huonosti perusteltu akateemiselle yleisölle. Raportin tyylillinen ongelma onkin ilmentymä tehtävän luonteesta. Siinä missä tehtävä on yhtäältä varsin käytännöllinen (toimivan kyselytyökalun rakentaminen ammattikorkeakoulujen kehitystyöhön), se on toisaalta myös toivottoman akateeminen (psykometrisesti luotettavan mittarin rakentaminen kasvatustieteelliselle/filosofiselle koulutuksen laadun määreelle). Uskoisinkin, että valitsemani käsittelytavan vuoksi raportista voisivat olla yhtä lailla kiinnostuneita sekä korkeakoulujen kehitystyöhön vihkiytyneet käytännön toimijat että kasvatustieteellisistä mittareista innostuneet tutkijat ja mikseivät myös korkeakoulutuksen tai yleistä arviointityötä opiskelevat opiskelijat. Raportti on kirjoitettu niin tyylillisesti kuin sisällöllisestikin kuvaamaan sitä ajatustyötä, jonka olen itse läpikäynyt: kronologisena prosessina ensimmäisistä teoreettisen käsitteen valinnan pohdinnoista viimeisiin tulosten raportoinnin vaiheisiin. Se on kuvaus aavistuksesta, joka muuttuu matkalla perustelluksi a priori arvioksi siitä, mitä ammattikorkeakoulutuksen laatu pitää sisällään, ja huipentuu pilotoinnilla koeteltuun a posteriori arvioon tämän käsityksen toimivuudesta. Täten raportti ei valitettavasti kovin hyvin sovellu valikoiden luettavaksi ainakaan niin, että lukisi jotain raportin alkupäästä ja päättelisi tämän perusteella, mitä mieltä olen tai miten käytännön kehitystyössä tulisi toimia. Voi nimittäin olla, että alkuperäinen näkemykseni on osana prosessia tarkentunut tai peräti radikaalisti muuttanut muotoaan, ja tämä muutos on sisältynyt raporttiin siten, ettei raportin alkupään arvioni ole yhteneväinen loppupäässä esittämäni arvion kanssa. Raportin rakenteen onkin tarkoitus löyhästi muistuttaa niin sanottua bayesilaistä oppimisprosessia, jossa a priori käsitystä jostain asiasta (tässä koulutuksen laadusta) tarkennetaan ja päivitetään kerätyn aineiston avulla perustelluksi a posteriori arvioksi. Tämän oppimista kuvaavan muutosprosessin, joka ei toivottavasti aiheuta tarkkaavaisessa lukijassa hämmennystä, olen sisällyttänyt raporttiin, koska olen halunnut tuoda näkyviin myös ne perustelut, jotka ovat minulle ilmen- neet nimenomaan kumulatiivisena kronologisena prosessina. Ilman niiden pukemista tätä vastaavaan ulkoasuun jäisivät perustelut ulkopuolisille mutta niistä kenties kiinnostuneille piiloon. Samalla olen halunnut olla rehellinen sille, etteivät kaikki asiat – mitkään asiat itse asiassa – ole näyttäytyneet minulle ilmeisinä projektin alusta lähtien. Niinpä jos jotain lopullista haluaa poimia raportista, poimittakoon se raportin loppupäästä. Alussa esitetyt näkemykset ovat hioutumattomia, minkä vuoksi niiden perusteltuina pitäminen on lukijan itsensä vastuulla. Toisaalta raportin loppukaan ei seiso siinä mielessä itsenäisesti jaloillaan, että lopun lukeminen riittäisi johtopäätösten lisäksi myös perustelujen ymmärtämiseen. Jos käy läpi vain mittarin a posteriori arvion, ei kykene kattavasti arvioimaan mittarin määritysvirhettä, saati ymmärtämään, miksi jotain on tullut kyselyyn sisällytetyksi ja miksi jotain muuta on jätetty siitä pois. Käytännön ehdotuksia koskeva luku 4 on tältä osin poikkeus: siinä esitetyt toimenpiteet on johdettu kaikesta sitä ennen käsitellystä. Jos lukija on kiinnostunut toimenpide-ehdotuksista eikä niin välitä niiden perusteluista, hän voi hyvin tutustua vain neljänteen lukuun.
  • 13. OSA 1: Perustelut ja arviot 1. Taustaa Tässä luvussa kuvailen koulutuspoliittisia taustoja, jotka kyselyn kehitystyötä ovat ohjanneet. Selvennän myös raportin näkökulmaa ja rakennetta paikantamalla sen raportin mittausteoreettiseen otteeseen. 1.1. Yhteiskunnalliset ja koulutuspoliittiset taustat pähkinänkuoressa 22 Tässä luvussa käyn lyhyesti läpi niitä yhteiskunnallisia ja koulutuspoliittisia taustoja, jotka ovat konkreettisesti, joskin lähinnä välillisesti, vaikuttaneet AVOP-kyselyn sisältöön ja muotoon. Ehdotus ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyksi koostuu kolmesta osakokonaisuudesta, jotka voidaan nähdä koulutuksen laadun vaihtoehtoisina, mutta toisiaan tukevina ja keskenään korreloivina mittareina. Nämä osakokonaisuudet ovat: Koulutuksen käytännöt (kesäkuun kyselyn, liite 17, moduulit 2–6), Osaamisen kehittyminen (kyselyn moduuli 7) ja Yleistyytyväisyys (moduuli 8). Kyselyyn yleisesti vaikuttavia yhteiskunnallisia ja koulutuspoliittisia kehityskaaria Erittelen seuraavassa kyselyyn vaikuttaneita yhteiskunnallisia ja koulutuspoliittisia kehityskaaria kyseisten osakokonaisuuksien kautta. Ennen tätä käyn kuitenkin lyhyesti läpi kaikkien osakokonaisuuksien taustalla yhteisesti vaikuttavia yleisiä koulutuspoliittisia trendejä sekä paikannan opiskelijapalautekyselyn osuuden ammattikorkeakoulujen uudistettavassa rahoitusmallissa. Yhteiskunnallisen ja koulutuspoliittisen ilmaston tarkastelu selventää niitä haasteita, joihin kyselyn tulee kyetä vastaamaan. Bolognan prosessi Bolognan prosessi, jonka tarkoituksena on saada aikaan kilpailukykyinen ja vetovoimainen sekä yhteinen ja yhtenäinen eurooppalainen korkeakoulutusalue, on vaikuttanut myös niihin tarpeisiin, joita valmistumisvaiheen opiskelijapalautekyselylle asetetaan. Bolognan prosessin voidaan nähdä pakottaneen selventämään ja yhdenmukaistamaan niitä korkeakoulutuksen laadunvalvonta-, ohjaus- ja kannustinjärjestelmiä, joiden avulla korkeakoulujen tuloksellisuutta on muutamien viimeisten vuosikymmenten ajan enenevissä määrin valvottu ja ylläpidetty sekä Suomessa että muualla Euroopassa. Bolognan prosessin seurauksena suomalaisen korkeakoulutuksen tutkintorakenne on muuttunut. Samalla on noussut tarve verrata tutkintoihin kuuluvia osaamiskokonaisuuksia ylikansallisesti, minkä seurauksena myös ammattikorkeakoulutukselle on luotu kansallisesti toimeenpantava viitekehys tutkinnon suorittamisella saavutettavista osaamiskokonaisuuksista. Tulosohjaus Suomessa korkeakoulujen tulosohjauksen lisääntyminen ainakin vuoden 1986 korkeakoulujen kehittämislaista lähtien on ollut sidoksissa korkeakoulujen autonomian kehittämisen vaatimukseen (Saarinen 1997, 16–18). Opiskelijapalautteen käyttäminen osana rahoitusmallia voidaan nähdä osana tätä ohjausjärjestelmän yleistä kehitystä. 23
  • 14. 24 Konsumerismi ja kilpailu Korkeakoulutuksen kansainvälisen ja kansallisen liikkuvuuden sekä korkeakoulujen autonomisen päätäntävallan ja ohjauksellisen tulosvastuun lisääntymisen myötä korkeakoulut kilpailevat kansainvälisesti sekä kansallisesti aiempaa enemmän keskenään. Bolognan prosessi on vauhdittanut tätä kehitystä, josta tulosohjaus on ollut yksi ilmentymä. Tämä on tuonut korkeakouluille mukanaan joko välittömänä realiteettina tai lähitulevaisuuden haasteena kilpailun lahjakkaista opiskelijoista, mikä puolestaan on pakottanut korkeakouluja sopeutumaan opiskelijalähtöisempään toimintamalliin. Joidenkin kriitikoiden mukaan skandinaaviseen korkeakoulukenttään on samalla rantautunut sille vieraita, angloamerikkalaisen korkeakoulutusmallin asiakaslähtöisiä tai konsumeristisia piirteitä. Opiskelijapalautteen kohdalla tällainen kritiikki on sikäli perusteltua, että juuri angloamerikkalaisissa yliopistoissa, ennen kaikkea Yhdysvalloissa ja Isossa-Britanniassa, mutta myös Australiassa, opiskelijapalautteen käyttöönotossa ja hyödyntämisessä on menty kaikkein pisimmälle (Richardson 2005). On kuitenkin vaikeaa ottaa kantaa siihen, missä määrin kehityskulkuun liittyminen on enää vapaaehtoinen kansallinen tai korkeakoulukohtainen valinta, missä määrin se taas on toimintaympäristön asettamaa yksittäiselle toimijalle välttämättömänä esiintyvää todellisuutta, joka koulujen on kilpailussa pärjätäkseen vain hyväksyttävä. Konsumerismin ja opiskelijalähtöisyyden paine lisääntynee entisestään mahdollisen lukukausimaksujen käyttöönoton myötä. Opiskelijapalautteella voi tässä mahdollisessa kehityksessä olla myös myönteinen, tiedollinen, opiskelijan korkeakouluvalintaa järkiperäistävä rooli. Esimerkiksi Isossa Britanniassa opiskelijalähtöisyyden kysynnän kasvuun on vastattu kehittämällä kandidaattivaiheen loppusuoralla täytettävä National Student Survey (NSS), kansallinen opiskelijapalautekysely, jonka yksi ensisijaisista tarkoituksista on antaa opinahjoaan pohtivalle tulevalle opiskelijalle paremmat tiedolliset valmiudet tehdä perusteltu korkeakouluvalinta. Tarkoituksena on tarjota vertailevaa tietoa kohdekorkeakoulujen opiskelijoiden näkemyksistä tutkintonsa onnistuneisuudesta. Korkeakouluvertailut Korkeakouluvertailujen kasvava kysyntä voidaan myös nähdä yhtenä esimerkkinä sekä liikkuvuuden lisääntymisen tiukentamasta kilpailusta lahjakkaista opiskelijoista että yliopistojen tuloksellisuuden arvioinnin kasvusta. Huonot korkeakouluvertailut vastaavat laadun arviointia vääristävään kuluttajan (tulevan opiskelijan) tarpeeseen saada yksinkertaisessa ja valmiiksi pureskellussa muodossa tietoa tulevasta opinahjostaan. Korkeakouluvertailuissa nähdäänkin enenevissä määrin ongelmia koulutuksen laadun mittareina. Näistä ongelmista yksi syvimmistä on vertailujen (toimivien tai toimimattomien) itsensä toteuttava ennuste: vertailut mittaavat laatua, joka osittain perustuu mittareiden luomaan korkeakoulun maineeseen. Hyvät korkeakouluvertailut pyrkivät löytämään tasapainon viestinnällisen tehokkuuden (joka vaatii yksinkertaistamista) ja mittausteoreettisen perusteltavuuden (joka vaatii liiallisen yksinkertaistamisen vastustusta) väliltä. Yhtenä esimerkkinä tarpeesta parantaa korkeakouluvertailuja voidaan nähdä Euroopan komission joulukuussa 2012 tekemä päätös kehittää uusi, komission mukaan moniulotteinen, kattava ja pätevä yliopistovertailujärjestelmä (U-Multirank). Tässä järjestelmässä perinteisten vertailujen yksipuolisuudesta ja tutkimuspainotteisuudesta siirryttäisiin mittaamaan korkeakoulutuksen laatua viidellä yhteismitattomalla ulottuvuudella, jotka ovat: 1. opetus ja oppiminen (teaching and learning), 2. tutkimustoiminta (research), 3. tiedon jakaminen (knowledge transfer), 4. kansainvälinen orientaatio (international orientation) sekä 5. paikallinen osallistuminen (regional engagement).2 Jos U-Multirankin voidaan nähdä vastaavan korkeakouluvertailujen hankaluuksiin, sen sisältöä on hyvä käyttää mallina myös ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselylle. Luonteva paikka 2 U-Multirank-projektista voi lukea verkosta osoitteesta: http://www.u-multirank.eu/ (poimittu 4.11.2013) opiskelijapalautekyselyllä yllä mainitun kaltaisessa jaottelussa on ainakin 1. ”Opetus ja oppiminen” -osio. Tätä osiota U-Multirank onkin aikeissa mitata muun muassa opiskelijatyytyväisyydellä seuraavissa osa-alueissa: oppimiskokemus (overall learning experience), opintojaksojen ja opetuksen laatu (quality of courses & teaching), opintojen organisointi (organisation of the programme), yhteys opettajiin (contact to the teachers), oppimis- ja sosiaalinen ympäristö (social climate), opiskelun tukipalvelut ja opiskeluympäristöt (facilities), opetuksen tutkimusorientaatio (research orientation of teaching) sekä työelämäkokemukset (work experience/practical elements). Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyssä on ennakoitu yliopistovertailujen U-Multirankin suuntaista kehitystä siten, että kyseisen vertailumittarin opiskelijatyytyväisyyden osa-alueet tulevat kyselymittarissa edustetuiksi. Vertailumittarin suosion mahdollisesti kasvaessa AVOP-kyselyä voidaan tällöin käyttää työkaluna ilman suurempia muokkauksia myös kyseisessä korkeakouluvertailussa pärjäämisen parantamiseen. Opiskelijapalautekyselyn paikka ammattikorkeakoulujen vuonna 2014 uudistettavassa rahoitusmallissa Tulosohjauksen painopiste on siirtynyt Suomessa tehokkuuskriteereistä kohti koulutuksen laadun ja vaikuttavuuden parantamista (Nyyssölä & Saarinen, 1997). Tämä näkyy myös opetusministeriön asiakirjassa ”Ehdotus ammattikorkeakoulujen rahoitusmalliksi vuodesta 2014 alkaen” (OKM 2012, 19), jossa lukee muun muassa seuraavasti: ”Hallitusohjelmaa tarkentavassa Koulutuksen ja tutkimuksen kehittämissuunnitelmasssa (KESU) vuosille 2011–2016 linjataan, että ammattikorkeakoulujen rahoitus- ja säädösohjausta uudistetaan vuoden 2014 alusta vauhdittamaan ammattikorkeakoulujen rakenteellista uudistamista ja toiminnan laadun ja vaikuttavuuden parantamista. Ammattikorkeakoulujen toimiluvat uudistetaan vuoden 2014 alusta, jolloin koulutustarjontaa voidaan suunnata työelämän tarpeisiin paremmin vastaaviksi. KESU-linjausten mukaisesti opetus- ja kulttuuritoimen rahoitusta koskeva lainsäädäntö muutetaan ammattikorkeakoulujen osalta niin, että rahoituksen määräytymisperusteissa ja rahoituskriteereissä otetaan huomioon ammattikorkeakoulujen koko lakisääteinen toiminta laatua, vaikuttavuutta ja tehokkuutta korostaen. Korkeakoulukohtainen rahoitus määräytyy pääasiassa suoritettujen tutkintojen ja opintoprosessien laadun ja tehokkuuden sekä työllistymisen perusteella.” Retoriikasta huolimatta nähdäkseni korkeakoulutuksen laatu on varsinaisissa rahoitusmallia ohjaavissa ja korkeakouluille varoja allokoivissa koulutuksen osoittimissa jäänyt määrää vähemmälle huomiolle. Vuonna 2014 uudistettavan rahoitusmallin ehdotetaan nimittäin jakavan ammattikorkeakouluille varoja seuraavien painotusten mukaisesti: TAULUKKO 1. KOULUTUKSEN INDIKAATTORIEN PAINOARVOT UUDISTETTAVASSA RAHOITUSMALLISSA. Koulutuksen indikaattori Paino rahoitusmallissa Suoritetut ammattikorkeakoulututkinnot 0,46 55 op suorittaneiden määrä 0,26 Valmistuneet työlliset 0,03 Avoimen ammattikorkeakoulun ja erillisten opintojen opintopisteet 0,02 Ammatillisessa opettajankoulutuksessa suoritetut opinnot 0,02 Opiskelijapalaute 0,03 Koulutuksen kansainvälisyys 0,03 25
  • 15. Olen merkinnyt taulukossa punaisella ne indikaattorit, jotka mielestäni ovat puhtaasti määrällisiä ja joille ei ole – valmistuneita työllisiä sekä kansainvälisyyttä kenties lukuun ottamatta – kuviteltavissa määritelmällisen sijaan edes suoraa synteettistä yhteyttä koulutuksen laatuun. Se, kuinka paljon tutkintoja suoritetaan, millä tahdilla opiskellaan tai mitä opiskellaan, kertoo kyllä kulurakenteesta ja määrällisistä koulutuksen lopputuotteista muttei siitä, kuinka hyvä tämä lopputuote sisällöllisesti on. Työllistymistä ja kansainvälisyyttä voidaan puolestaan pitää laadun kannalta hyvinä asioina sinänsä, mutta niitäkin mitataan määrällisin indikaattorein ilman että selvitettäisiin, onko kansainvälistymisestä ollut hyötyä tai onko työllistytty koulutusta vastaaviin tehtäviin. Yhteensä koulutuksen indikaattorit määrittävät ammattikorkeakoulujen uudistettavasta rahoitusmallista 85 prosenttia. Rahoitusmallin toinen 15 prosentin osuus koostuu tutkimus- ja kehittämistoiminnan indikaattoreista seuraavalla tavalla: TAULUKKO 2. TK-TOIMINNAN INDIKAATTORIEN PAINOARVOT UUDISTETTAVASSA RAHOITUSMALLISSA. 26 Tutkimus- ja kehittämistoiminnan indikaattorit   TK-rahoitus 0,08 Ylemmät ammattikorkeakoulututkinnot 0,04 Julkaisut, taiteellinen toiminta, audiovisuaaliset aineistot sekä tieto ja viestintätekniset ohjelmat 0,02 Henkilöstön kansainvälinen liikkuvuus 0,01 TK-toiminnan painoista on vaikeampi määrittää, mitkä ovat laadullisia indikaattoreita, mitkä eivät. Sanottakoon, että näistäkin mittareista ainakin TK-rahoituksessa, ylemmissä ammattikorkeakoulututkinnoissa sekä henkilöstön kansainvälisessä liikkuvuudessa painottuvat määrälliset panokset, eivät laadulliset tuotokset. TK-rahoitus ei esimerkiksi kerro, onko tämän seurauksena syntynyt sitä mitä oikeasti halutaan, eli innovaatioita tai innovatiivisia ihmisiä, vaan se kertoo korkeintaan panostuksena näkyvästä toiveesta saada mainitulla sektorilla jotain aikaiseksi. (ks. Ketokivi 2011, 43–45) Näkisin asian tämän vuoksi niin, että opiskelijapalautteella on kolmen prosentin vaatimattomalla osuudellaan rahoitusmallissa raskas vastuu edustaa indikaattoreissa parhaalla sekä kattavimmalla mahdollisella tavalla sitä laadullisuuden kriteeriä, jota rahoitusmallin sanalliset kuvaukset niin selvästi painottavat mutta jonka käytännön indikaattorit pitkälti sivuuttavat. Tämän laadullisuuden sisällä opiskelijapalautteen erityisenä tehtävänä on edustaa opiskelijanäkökulmaa koulutuksen laatuun – asiaa, joka tulee tällä tavalla parhaiten mitatuksi ja jota ei millään muulla tavalla rahoitusmallissa oteta huomioon. Koulutuksen käytännöt -osakokonaisuuden yhteiskunnalliset ja koulutuspoliittiset taustat Koulutuksen käytäntöjen osakokonaisuus koostuu laadukkaan ammattikorkeakoulutuksen hyviksi koetuista käytännöistä ja niiden toimeenpanon onnistuneisuuden mittaamisesta. Tässä osiossa yhteiskunnallisista ja koulutuspoliittisista trendeistä näkyvät ennen kaikkea opetuksen ja oppimisen laadullisuus, rahoitusmallin painottama työelämäläheisyys sekä koulutuksen kansainvälisyyden tosiasiallinen laatu (päällekkäisyyttä ei ole, sillä rahoitusmallin muissa indikaattoreissa kansainvälisyyttä mitataan opiskelijoiden ja opettajien liikkuvuuden määrällä). Lisäksi osio mittaa kaikki U-Multirank-yliopistovertailumittarin edellä mainitut opiskelijatyytyväisyyden oleelliset osa-alueet. Anna Parpalan (2010, 1–2) mukaan yhtenä Bolognan prosessin ilmentymänä on ollut opetuksen ja oppimistavoitteiden täyttymisen laadunvalvonnan kehittyminen. Oppimiskeskeisen ajattelun korostuessa korostui hänen mukaansa 2000-luvun alussa enenevissä määrin myös oppijalähtöinen oppimisen ja opettamisen malli perinteisen opettajalähtöisen mallin sijaan. Väittäisin tämän kehityskaaren olevan myös pidemmän aikavälin kasvatustieteellisen teorian kehityksen mukainen: siirtymä keskitetysti ohjatusta behavioristisesta oppimisesta kokonaisvaltaisempaan, konstruktivistisempaan oppimiskäsitykseen (ks. luku 2.4 Teoreettinen taustatyö). Tämä opetuksen laadunvalvontaan liittyvä paradigman muutos – oli sen aiheuttaja mikä tahansa – näkyy kyselyn Opetus ja oppiminen -moduulissa. Väittämät on muotoiltu tarkoituksenmukaisuuden rajoissa mahdollisimman oppijalähtöisesti, opintoihin liittyvää ohjausta, suunnittelua sekä oppijan yksilöllisiä oppimistarpeita korostaen. Työelämäläheisyyden, ammattikorkeakoulutuksen tärkeän painopisteen, lisääntyvä korostaminen näkyy Koulutuksen käytännöt -osakokonaisuudessa, Työelämäyhteydet ja neuvonta -osiossa sekä Opetus ja oppiminen -osion käytännönläheisessä painotuksessa. Kansainvälisyyttä on puolestaan mitattu laadullisesta näkökulmasta Kansainvälisyys, monikulttuurisuus ja kieliopinnot -osiossa. Osaamisen kehittyminen osakokonaisuuden yhteiskunnalliset ja koulutuspoliittiset taustat Osaamisen kehittyminen -osakokonaisuus mittaa opiskelijan arviota osaamisensa kehittymisestä ammattikorkeakoulutuksen aikana. Osaamisen kehittyminen -osion kyselyyn mukaan ottamisessa yhdistyvät työelämäläheisyyden tarve – osiossa mitataan työelämärelevanttien osaamisalueiden kehittymistä – sekä yllä mainittu opiskelijalähtöisyyden ja oppimistulosten painottaminen opettajakeskeisten käytäntöjen mittaamisen sijaan. Sisällöltään osaamisen kehittymisen osakokonaisuus on lähes suoraan seurausta Bolognan prosessista, jonka tiimoilta eurooppalaista liikkuvuutta on pyritty parantamaan yhdenmukaistamalla ja tuomalla esiin kansallisten koulutusjärjestelmien tutkintojen seurauksena syntyvät oppimistulokset ja osaamis- sisällöt. Nämä sisällöt ovat eurooppalaisessa viitekehyksessä kuvattuina EQF-standardeissa (European Qualifications Framework), jotka on tarkoitus toimeenpanna kansallisella tasolla kansallisten viitekehysten avulla (NQF National Quality Framework). Tutkintotasoja, joiden mukaan osaamistulokset jaotellaan, on kahdeksan. Näistä alemmat ammattikorkeakoulututkinnot sijoittuvat tasolle 6. Ammattikorkeakoulujen rehtorineuvosto ARENE ry on tehnyt varsin yksityiskohtaisen suosituksen kansallisesti käyttöönotettavista NQF-kompetensseista, jotka ovat jaettavissa yhteisiin ja koulutusohjelmakohtaisiin kompetensseihin (ARENE 2006). Koska AVOP toiminee osana rahoitusmallia koulutuksille yhteisenä indikaattorina, ovat juuri yhteiset ARENEn määrittelemät kompetenssit luonteva käsitepohja oppimis- ja osaamistulosten mittaamiselle. Kyseiset kompetenssit on muutamin poistoin ja lisäyksin muunnettu mittareiksi tai indikaattoreiksi eli operationalisoitu AVOP-kyselyn Osaamisen kehittyminen osakokonaisuuteen. Kokonaistyytyväisyys-osakokonaisuuden yhteiskunnalliset ja koulutuspoliittiset taustat Koulutuksen käytäntöjen sekä osaamisen kehittymisen lisäksi opiskelijatyytyväisyys on tärkeä osa koulutuksen laadun opiskelijanäkökulman mittaamista. Kolmannen koulutuksen laadun näkökulman, Kokonaistyytyväisyyden, voidaan nähdä ilmentävän opiskelijalähtöisyyden korostumista korkeakoulupolitiikassa. Olettaen, että opiskelija osaa arvioida koulutuksen toteutumista suhteessa annettuihin realistisiin tavoitteisiin oikein, voi kokonaistyytyväisyyttä pitää itsessään tärkeänä hyvän koulutuksen osa-alueena. Tyytyväisyys voi tietenkin olla joidenkin mielestä väärin perustein syntynyt (ks. Richardson 2005, 403). Opiskelijan tyytyväisyys mittaa hänen valmistumisvaiheen arviotaan koulutuksen onnistuneisuudesta. Tämän arvion voidaan väittää olevan subjektiivisesta näkökulmastakin harhainen esimerkiksi osoittamalla arvion muuttuvan opiskelijan saadessa enemmän tai parempaa kokemusta siitä, 27
  • 16. minkälainen koulutus hänen elämänsä kannalta on tarpeellisin. Tämä näkökulma liittyy arvion mittausteoreettiseen stabiliteetin käsitteeseen, johon palaan kolmannessa luvussa. Tässä vaiheessa on kuitenkin syytä todeta, ettei tyytyväisyys viittaa sen enempää jonkun muun kuin opiskelijan itsensä määrittelemään väärin kuin oikein ymmärrykseenkään vaan korkeakoulun kykyyn ottaa huomioon opiskelijan subjektiivisesti koulutukselleen tai tutkinnon sisällölleen asettamat halut, toiveet ja tarpeet. Täten kokonaistyytyväisyys ei käsitteellisestä näkökulmasta mitenkään väistämättä mallinna asiakaslähtöistä kaiken kattavaa ja perusteetonta ”asiakas on aina oikeassa, vaikka se olisikin väärässä” -ajattelua konsumerismin kritiikin mukaisesti3. Käsitys, että se niin tekisi, olettaa opiskelijan arvioivan koulutustaan markkinahyödykkeenä, jonka tarkoituksena on pikemminkin tyydyttää opiskelijan (yleensä lyhyen tähtäimen pinnalliset ja perustelemattomat) mielihalut kuin tämän ylevämpinä nähdyt pitkän aikavälin oppimis- tai henkisen kasvun tavoitteet.   28 1.2. Kokonaisvaltainen näkökulma yleiseen mittausteoriaan Raportin ensimmäisen osion rakenne sekä tässä esiteltävä näkökulma kyselymittarin arvioimiseen noudattelee läheisesti Mikko Ketokiven (2011, 43–83) näkemyksiä mittauksen luotettavuuden arvioinnista. Raportin ensimmäisen osion kappalejako perustuu Ketokiven esittelemään kokonaisvaltaiseen, realistiseen ja klassisen testiteorian mukaiseen näkemykseen yleisestä mittausteoriasta. Kappalejako noudattelee sitä järjestystä, jossa toivottu asia, idea tai käsite ensin valikoidaan ja rajataan teoreettiseksi mitattavaksi käsitteeksi ja sitten muunnetaan tätä määritelmää kuvaavaksi määrämittaiseksi empiiriseksi indikaattoriksi tai mittariksi. Kun puhutaan kvantitatiivisesta kyselymittarista, tarkoittaa tämä yhden tai useamman käsitettä kuvaavan lukuarvon (tai estimaatin) määrittämistä rakennetun mittarin (tai estimaattorin) avulla alkuperäistä teoreettista käsitettä kuvaamaan. Kun mittari on rakennettu, sen toimivuutta arvioidaan erinäisin luotettavuuskriteerein empiirisellä pilottikyselyllä. Viittaan näkökulmaan attribuutilla ”kokonaisvaltainen” siksi, että haluan korostaa käsitteen määrittelyn merkitystä erotuksena tämän jo määritellyn käsitteen mittaamisen onnistuneisuudesta tietyssä mittaustilanteessa. Tämän teen siksi, että mielestäni (Ketokiven käsityksen mukaisesti) käytännön syistä liian usein mittauksen luotettavuusanalyysissa tarkastellaan vain operationalisoinnin seurauksena syntyneen mittarin mittausvirheen osuutta, huomioimatta mahdollista määritysvirheen osuutta mittarin rakentamisen (epä) onnistuneisuudesta. Määritysvirhe syntyy jo ennen mittaustilannetta siirryttäessä teoreettisesta käsitteestä (joka yleensä valikoituu ennen tutkimuksen aloittamista) empiiriseen käsitteeseen. Hyvä esimerkki määritysvirheen unohtamisesta yleiselläkin tasolla on se, että toisinaan virheellisesti kuvitellaan käsitteellisen analyysin olevan yksin kvalitatiivisen tutkimuksen ominaispiirre eikä kuuluvan kvantitatiiviseen tutkimukseen lainkaan. Tällöin mittareiden rakentaminen ja niiden testaaminen nähdään ikään kuin itsetarkoituksellisena prosessina, jossa mittarin yhteydestä teoreettisen käsitteistöön ei olla lainkaan huolissaan (tästä kirjoittaa muun muassa Töttö 2012). Lopullisen mittaustuloksen voidaankin määritysvirheen huomioivan kokonaisvaltaisen mittausteoreettisen näkökulman mukaan nähdä koostuvan seuraavista komponenteista: x=X+s+m missä x=mittaustulos, X=teoreettisen käsitteen todellinen arvo, s=määritysvirhe ja m=mittausvirhe (Ketokivi, 2011, 46). Kaava on kuvaannollinen: se ei tarkoita, että suureet olisivat yhteismitallisia tai suoraviivaisesti laskettavissa yhteen, vaan ainoastaan, että saatu mittaustulos voidaan jakaa kyseiseen kolmeen osatekijään eli komponenttiin. Koska määritysvirheen ja mittausvirheen osuuksia on vaikeaa määrämittaisesti erotella (mikä ei tarkoita, ettei niitä tulisi eritellen 3 Todettakoon tässä kuitenkin, että tietyissä tapauksissa, kuten paljon käytetyn Noel-Levitz Student Satisfaction Surveyn kohdalla, kyselyn sisältö perustuu nimenomaan kulutusteoriaan. Osaksi siitä syystä, että haluttiin tehdä eksplisiittisen pesäero kulutustutkimuksen traditioon, on AVOP-kyselyssä valittu varsin erilainen mittari opiskelutyytyväisyydelle. pohtia), klassisessa testiteoriassa yllä olevat mittaustuloksen komponentit typistetään usein kahteen: x=X+ ε, missä ε=s+m 4 Yleistettävyysteoriassa mittausvirhe ε jaetaan vielä systemaattiseen ja satunnaiseen mittausvirheeseen. Koska klassisessa testiteoriassa mittarin reliabiliteetti samaistetaan toistettavissa olevan varianssin (systemaattisen mittausvirheen JA (systemaattisen) todellisen arvon varianssin) osuudeksi mittaustuloksen kokonaisvarianssista, ei tällä päästä käsiksi systemaattisen mittausvirheen osuuteen, sillä kyseisellä lähestymistavalla se tulee samaistetuksi mittauskohteen todellisen arvon kanssa. Systemaattisen mittausvirheen huomiotta jättäminen on kuitenkin satunnaista vakavampaa. Tämä tuo mukanaan nimittäin myös systemaattisen harhan. Yleistettävyysteoriassa systemaattisen mittausvirheen osuutta voidaan tarkastella operationalisoimalla ja mittaamalla tai vaihtoehtoisesti teoreettisesti ja käytännöllisesti arvioimalla metoditekijöiden (tässä tapauksessa kyselytutkimukseen sisältyvien) mittauskohteen todellista arvoa tai tosiarvoa vääristävää vaikutusta mittaustuloksessa. Metoditekijöillä tarkoitetaan tässä siis sellaista mittaustavan tai mittarin vaikutusta mittaustulokseen, joka on ymmärrettävissä todellisesta arvosta poikkeavaksi osuudeksi mittaustuloksesta. Koska tällaiset tekijät ovat valitun metodin, eivät mittauskohteen ominaisuuksia, kutsutaan niitä metoditekijöiksi. Klassisessa testiteoriassa metoditekijöihin liittyvään ongelmaan voidaan päästä käsiksi ainakin osittain hyvällä validiteetin tarkastelulla, mikä puolestaan tarkoittaa huomion kiinnittämistä mittaukseen kokonaisvaltaisesti, prosessin alun käsitteen valinnasta ja määrittelystä aina mittaustuloksen tulkintaan. (Ketokivi 2011, 43–83) Mittarin kyky kuvata tiettyä teoreettista käsitettä on siis riippuvaista teoreettisen käsitteen empiirisen määrittelyn onnistuneisuudesta. Määrittelyn onnistuneisuuden arviointi on tämän vuoksi ensisijaista: epäonnistunutta määrittelyä ei voida mitenkään pelastaa mittausvirhettä varsinaisessa mittaustilanteessa minimoimalla. Yllä olevan kaavan mukaisten mittaustulosten komponenttien määrittely voidaankin jakaa seuraavankaltaiseen, ohjeelliseen ja polkuriippuvaiseen ajalliseen prosessiin (lainattu teoksesta Ketokivi 2011, 44): KUVIO 1. MITTAAMISEN YLEINEN PROSESSI. Mittaria rakentaessa aloitetaan siis valitsemalla, rajaamalla tai vastaanottamalla teoreettinen käsite (jos tämä tulee tutkijalle annettuna, on kyse tietenkin viimeisestä), joka muunnetaan empiiriseksi käsitteeksi selvittämällä, kuinka teoreettista käsitettä voitaisiin mitata. Jos teoreettinen käsite ei tule annettuna, tulee teoreettinen käsite valita ja rajata suhteessa johonkin ennalta asetettuun tavoitteeseen. Näissä tapauksissa jo teoreettisen käsitteen rajauksessa ja valinnassa voi tapahtua virhe, jos teoreettinen käsite ei vastaa tutkimukselle annettua tavoitetta. Tämän jälkeen teoreettinen käsite muunnetaan empiiriseksi käsitteeksi, eli määritellään käsitteet ja termit joko teoreettiselta tai käytännölliseltä pohjalta perustellusti siten, että empiirinen käsite muuntuu mitattavissa olevan mittarin muotoon. Kun empiirinen käsite on määritelty operationalisoitavaan muotoon, tämä käsite muunnetaan mittariksi eli operationalisoidaan, minkä jälkeen suoritetaan mittaus arvioimalla mittarille sopivin mittaustapa, mittausympäristö ja tiedonkeruukokonaisuus. Kyselymittarin kohdalla tähän työvaiheeseen kuuluu niin otanta-asetelman suunnittelu kuin käytännön kysymykset siitä, mitä taustatietoja tarvitaan esimerkiksi vastausten painottamiseen, miten vastaajia kyselymittariin kerätään sekä miten ja missä kyselyyn vastataan. Siirryttäessä empiirisestä käsitteestä varsinaiseen mittaustulokseen, on aina odotettavissa jonkin suuruinen mittausvirhe, jonka usein oletetaan olevan normaalisti jakautunut 4 Kokonaisvaltaisesta mittausteoreettisesta näkökulmasta on tärkeää, ettei mittausvirhettä sekoita samalla latinalaisella aakkosella usein merkittävään jäännöstermiin eli residuaaliin, joka tietyin ehdoin rajatuissa tapauksissa estimaatin mittausvirhettä hyvin approksimoikin. Myös tässä kaavassa komponenttien summaaminen on ymmärrettävä kuvaannollisena havainnollistuksena. 29
  • 17. 30 satunnaismuuttuja. Mittausvirhe voi syntyä mittarin epätarkkuudesta, mittaria tulkitsevan tutkijan epätarkkuudesta, lähtöarvojen määrittelyn epätarkkuudesta tai vaikka, kuten usein kyselymittarin kohdalla, mittarin antamien arvojen vaihtelusta epäoleellisten kolmansien tekijöiden suhteen. Yllä olevassa prosessikaaviossa määritysvirhe s tapahtuu siis siirryttäessä teoreettisesta käsitteestä empiiriseen käsitteeseen, mittausvirhe m siirryttäessä empiirisestä käsitteestä mittaustulokseen. Prosessin kaaviossa on merkitty korrespondenssit k1 sekä k2, jotka kuvaavat prosessin mukaisten käsitteiden välistä suhdetta. Jos teoreettinen käsite määritellään sen empiirisenä muunnoksena, oletetaan korrespondenssi k1 identiteetiksi. Tällöin puhutaan operatiivisesta määritelmästä. (Ketokivi 2011, 47) Tässä raportissa omaksuttu näkökulma on realistinen eikä operatiivinen, koska se ei tämänkaltaista identiteettiä oleta vaan pyrkii tarkastelemaan mittaamisen päämäärän (tässä teoreettisen käsitteen) korrespondenssia saatuun varsinaiseen mittaustulokseen koko prosessin pituudelta. Tämä tehdään eritellen molempia korrespondensseja vastaavien prosessien onnistuneisuutta arvioimalla sekä määritysvirheen että mittausvirheen todennäköisyyttä ja suuruutta. AVOP-kyselyn kehitystyössä on päädytty realistiseen tulkintaan mittaamisesta siksi, että operatiivisessa määritelmässä menetetään mahdollisuus tarkastella käsitteen määrittelyssä mahdollisesti tapahtuvia perustavanlaatuisia virheitä. Realistisen tulkinnan omaksumisen ongelma kiisteltyyn ja tulkinnanvaraiseen koulutuksen laadun käsitteeseen on, että tosiarvosta puhuminen antaa ymmärtää objektiivisesti olemassa olevan ’koulutuksen laatu’ nimisen olion, jonka tosiarvon vaihtelua voidaan luotettavuusanalyysissa sitten vertailla mittaustuloksen antamien arvojen vaihteluun määrittäen erotuksen mittariin palautuviksi heikkouksiksi. Tässä raportissa ei kyetä käsittelemään tähän valintaan mahdollisesti liittyvää metodista sen enempää kuin totuusteoreettistakaan ongelmaa. Todettakoon, että jos koulutuksen laadun suhteen ei halua omaksua ylimääräistä tieteellisen realismin mukaista objektiivisen koulutuksen laadun olion olemassaolon oletusta, voidaan tosiarvo ja sen ympärille rakennettu käsitteistö myös ymmärtää pragmatistisena tarkistuksena mittarin toimivuudesta sisäisesti yhdenmukaisena ja synteettisesti perusteltuna koulutuksen kehittämisen työvälineenä. Operatiivista määritelmää ei siis ole hylätty totuusteoreettisista, vaan käytännöllisistä syistä. Siirryttäessä koulutuksen laadun teoreettisesta, käytännöllisestä ja poliittisesta käsitteestä sen (tässä kyselymittarilla) mitattavaan empiiriseen määritelmään, voitaisiin tehdä rajaus, jossa koulutuksen laadun empiiriseksi käsitteeksi valittaisiin niin sanottu määrällinen indikaattori, kuten korkeakoulussa suoritettujen tutkintojen määrä. Kun tutkintojen määrää sitten mitataan, huomataan, ettei mittaustilanteessa synny lainkaan mittausvirhettä: suoritettujen tutkintojen määrä saadaan suoraan rekistereistä ja tietokannoista. Kun korrespondenssi k1 oletettaisiin vielä operatiivisesti identiteetiksi, päädyttäisiin sitten suosittelemaan tutkintojen määrää laadun indikaattoriksi, sillä a) operatiivisesti määriteltynä mittarilla ei ole määritysvirhettä b) kyseisellä operationalisoinnilla on mitä luultavimmin pienempi mittausvirheen osuus kuin vaikkapa käsissä olevalla laadullisella opiskelijapalautemittarilla. Mittari tulkitaan lähes aukottomaksi. Tämän tulkinnan mukaan teoreettisen koulutuksen laadun käsitteen ja tutkintojen määrän mittaustuloksen välillä korrespondenssi on lähellä yhtä. Väitteen pätevyyden arvioinnin kannalta on hyödyllistä erottaa koulutuspoliittisen arviointityön kannalta tärkeät koulutuksen määrän, yksikkölaadun ja kokonaislaadun käsitteet. Valitaan esimerkin vuoksi koulutuksen määrän mittariksi korkeakoulun tuottamien tutkintojen määrä tietyllä aikavälillä ja yksikkölaadun mittariksi laatu/tutkinto, joka operationalisoidaan esimerkin vuoksi kapeasti (korkeakoulun aikaansaamana) osaamisena tutkintoa kohden. Tällöin korkeakoulun tuottama kokonaislaatu on osaamisen määrä (annetulla aikavälillä), mikä saadaan kertomalla yksikkölaatu tutkintojen määrällä (annetulla aikavälillä). Koulutuksen laadulla voidaan siis viitata joko kokonaislaatuun tai yksikkölaatuun. Jos viitataan ensimmäiseen, korrespondenssin k1 olettaminen identiteetiksi pätee korkekaoulukohtaisesti keskimäärin, kunhan yksikkölaatu on riippumaton kokonaislaadusta. Tällöin tutkintojen määrän mittari ei systemaattisesti yli tai aliarvioi minkään korkeakoulun kokonaislaatua samaistaessaan kokonaislaadun tämän tuottamien tutkintojen määrään. On huomionarvoista, että tässäkin tapauksessa yksikkölaatuun olisi järkevää kiinnittää huomiota, jos yksikkölaadun mittarin avulla pystyttäisiin tarkentamaan kokonaislaadun korkeakoulukohtaista arviota kustannustehokkaalla tavalla verrattuna tilanteeseen, jossa kokonaislaatu on samaistettu tutkintojen määräksi kertaa jokin tutkintokohtaista yksikkölaatua kuvaava vakio. Asian estimoiminen on hyödyllistä, jos estimaatin keskivirhe on pienempi kuin koulutuksen laadun keskihajonta yli korkeakoulujen, ja tarkemmasta informaatiosta voidaan johtaa kustannustehokkaampia kehitystoimenpiteitä. Riippumattomuuden ennaltaolettaminen ei kuitenkaan ole perusteltua, sillä mittaria käytetään koulutuspoliittisessa arviointityössä nimenomaan siksi, että sillä olisi vaikutus korkeakoulujen toimintaan. Jos rahoituskriteereinä käytetään yksinomaan tutkintojen määrää ja korkeakouluja palkitaan piittaamatta yksikkölaadusta, on korkeakoulun rationaalista kasvattaa tutkintojen määrää ja minimoida yksikkökustannukset. Kustannustehokkuus vakioiden yksikkökustannusten pienentämisestä seuraa yksikkölaadun heikkeneminen. Tällöin yksikkölaadun ja tutkintoje määrällä on yhteys, jonka perusteella tutkintojen määriään eniten kasvattaneet korkeakoulut ovat todennäköisesti yksikkölaatuaan samalla myös eniten heikentäneet. Jos tutkintojen määrän kasvu ei korkeakoulukentällä ole riittävä korvaamaan yksikkölaadun heikkenemisen vaikutusta laadun kokonaismäärään, on tutkintojen määrän mittari ennen pitkää, niin käytännöllisilta vaikutuksiltaan kuin tosiarvon vastaavuudeltaan, huonompi kokonaislaadun mittari kuin esimerkiksi korkeakoulujen ikkunoiden määrä. Melko kyynisin, muttei täysin perusteettomin oletuksin, sekä yksikkölaadusta että tutkintojen määrästä riippumaton ikkunoiden määrän ohjausmittari sekä vaikuttaa pitkällä aikavälillä kokonaislaatuun vähemmän haitallisesti että vastaa paremmin kokonaislaadun tosiarvoa kuin laatuun käänteisesti vaikuttava tutkintojen määrän mittari. Koska yksikkölaadun seuraaminen on siis tärkeää, vaikka olisi yksinomaan kiinnostunut kokonaislaadun maksimoimisesta (mikä ei myöskään liene yhteiskuntapoliittisesti järkevä päämäärä, tarvitaanhan yhteiskunnassa muutakin kuin korkeakouluosaamista), ei korrespondenssia k1 voida olettaa identiteetiksi. Koska kokonaislaatu saadaan kertomalla yksikkölaatu tutkintojen määrällä, ja tutkintojen määrä on muualta saatavissa, on tässä raportissa kuvattu kyselymittari rakennettu mittariksi ammattikorkeakoulun tutkintokohtaisesta yksikkölaadusta ja lähestymistavaksi valittu realistinen eikä operatiivinen määritelmä. Kyselymittarista voidaan toki johtaa myös kokonaislaadun totaaliestimaatti, vaikka tässä onkin keskiarvoestimaattiin keskitytty.5 Vaikka kuviosta 1 löytyvän prosessin osien erittelyn mukainen analyyttinen jako on prosessin kuvausta selkiyttävä, ei se missään nimessä tarkoita, ettei prosessissa edettäisi osittain myös toisessa järjestyksessä, saati ettei empiirisen ja teoreettisen käsitteen välille olisi vaikeaa tehdä selvää erottelua. Näin on esimerkiksi siinä tapauksessa, kun teoreettinen käsite ei tule suoraan annettuna, vaan tehtävänanto antaa tilaa myös teoreettisen käsitteen valikoinnille. Mittarin määrittely jo toimeksiannossa kyselyksi vaikuttaa myös siihen, mitä teoreettista käsitettä mittarin voidaan nähdä kuvaavan. Koska kyselymittari rajaa tarkastelun kohteeksi väistämättä opiskelijan antaman arvion tutkinnostaan, voi tämä vaikuttaa käsitteellisestä näkökulmasta riippuen vaihtoehtoisesti joko 1) teoreettisen tai 2) empiirisen käsitteen valintaan, mikä sitten puolestaan vaikuttaa mittaustuloksen tulkintaan. Ensimmäisessä tapauksessa teoreettinen käsite voidaan määritellä koulutuksen laadun opiskelijanäkökulmaksi, 5 Tämän laadun ymmärretään pitävän sisällään muutakin kuin osaamisen määrän. 31
  • 18. 32 tai vaihtoehtoisesti jälkimmäisessä tapauksessa opiskelijapalautekysely voidaan nähdä koulutuksen yleisen laadun teoreettisen käsitteen empiirisenä käsitteellistyksenä. Prosessin osien päällekkäisyydestä huolimatta prosessin suunnassa voidaan nähdä kronologisen prosessijärjestyksen mukainen virheiden hierarkia, joka vastaa karkeasti psykometrian mukaista validiteetin ja reliabiliteetin välistä hierarkiaa (ks. luku 2.3 ja 3). Jos korrespondenssi k1 on huono ja määritysvirhe täten suuri, eikä empiirinen käsite kuvaa teoreettista käsitettä hyvin tai peräti millään tavalla, on jokseenkin yhdentekevää, kuinka hyvä korrespondessi k2 on, eli kuinka suuri mittaustilanteessa syntyvän mittausvirheen osuus itsessään on. Tällöin mittari saattaa olla reliaabeli, muttei validi. Ivallisesti voitaisiin väittää, että jos on syytä olettaa empiirisen määritelmän olevan jopa päinvastainen kuin toivotun mittauksen teoreettisen kohteen, voidaan suuremman mittausvirheen nähdä olevan pienempää toivottavampi: tällöin edes osa mittauksesta saattaa osua oikeaan maaliin eli valittuun mittauskohteeseen. Raportin ensimmäisen osion ensisijaisena tarkoituksena on siis osoittaa, että empiirinen käsite on hyvin määritelty ja määritysvirheen osuus pieni. Tämän määritysvirhen voi halutessaan ymmärtää suhteessa objektiiviseen tosiarvoon tai pragmaattisesti toimivaan koulutuksen laadun käsitteeseen. Toissijaisena tavoitteena on osoittaa, että mittaus toimii hyvin ja mittausvirheen osuus on pieni. Raportin ensimmäisen osan rakennetta voidaankin kuvata seuraavalla yllä kuvattua prosessikaaviota mukailevalla kaaviolla: Luvuissa yksi ja kaksi käsitellään kysymyksiä, mitä ja miten mitataan. Tähän kuuluu käsitteen valinta ja rajaus (teoreettinen käsite), käsitteen määrittely (empiirinen käsite) sekä empiirisen käsitteen muuntaminen mittariksi (operationalisointi). Lukujen tavoitteena on kuvata määritysvirheen mahdollisuutta käsitteen määrittelyn ja operationalisoinnin prosessien kautta. Tässä ei voida sanoa varsinaisesti siirryttävän yllä kuvaillun kaltaisesti teoreettisesta koulutuksen laadun opiskelijanäkökulman käsitteestä empiiriseen määritelmään. Alkuperäinen valittu käsite on nimittäin paitsi teoreettisesti, myös käytännöllisesti, poliittisesti ja lainsäädännöllisesti rajattu. Luvussa kolme käsitellään kysymystä, miten varsinainen mittaus toimii. Tässä luvussa otan Niiniluodon yleisille mittausteoreettisille ominaisuuksille antamaa määrittelyä (1984, 183–191) mukaillen kantaa psykometrisestä näkökulmasta ennen kaikkea mittarin reliabiliteettiin ja validiteettiin. Mittarin käytännön hyötyä en erittele, vaan se tulee teemana näkyviin sekä reliabiliteetin että validiteetin käsittelyjen yhteydessä. Reliabiliteetti ja validiteetti voidaan edelleen jakaa pienempiin osa-alueisiin, joihin palataan myöhemmin raportissa. Luvussa kolme tarkastellaan lisäksi systemaattista mittausvirhettä sen erityisluonteen vuoksi erillään reliabiliteetista ja validiteetista. Systemaattista mittausvirhettä kartoittavassa luvussa 3.2 käsittelen metodifaktoreita, kuten kyselyn pituuden ja en osaa sanoa -vaihtoehdon poisjättämisen vaikutusta sekä taustamuuttujien vaikutusta kyselymittarin tulosten yleistettävyyteen. KUVIO 2. KOULUTUKSEN LAADUN MITTAAMINEN OPISKELIJAPALAUTEKYSELYLLÄ. Yllä olevaan prosessikaavioon merkatut kovarianssinuolet mittausteoreettisten ominaisuuksien välillä tarkoittavat, että psykometriset ominaisuudet ovat keskinäisriippuvaisia. Joissain tapauksissa, kuten sisältövaliditeetin ja konsistenssin kohdalla, ne ovat jopa keskenään ristiriidassa. Siksi kaikkia ominaisuuksia on usein mahdotonta maksimoida. Tätä aihepiiriä käsittelen luvussa 2.3. Osiossa kaksi esitän kyselyn sekä sen optimaaliseen käyttöön liittyvän toiminnallisen kokonaisuuden ensimmäisessä osassa tekemäni arvion pohjalta. Mitä kokonaisvaltaisesta näkökulmasta jää raportissa vähemmälle huomiolle? Tässä raportissa valituksi tulleesta näkökulmasta käytän termiä kokonaisvaltainen, koska se huomioi mittaamisen prosessin kokonaisuudessaan. Mitä tulee prosessiin mahdollisesti liittyviin virhelähteisiin, teen kuitenkin tiettyjä rajauksia. Kyseessähän on kyselymittarin pilotointi: tehtävä, jonka mandaatti loppuu tältä erää kyselymittarin rakentamiseen ja jatkotyöstämisen ehdotusten antamiseen luotettavuusanalyysin perusteella. Siirryttäessä pitkä matka valmiista mittarista sen antamien raakatulosten kautta aineiston putsauksen ja tulkittujen tulosten mukaiseen toimeenpanoon, virhelähteitä ilmaantuu tietenkin lisää. Ensinnäkään kyselymittariin eivät vastaa kaikki kiinnostusperusjoukon alkiot. Vaikka suunnitelmien mukaan varsinaista otantaa ei tehdä vaan koulutuksen laatu johdetaan poimimalla opiskelijapalautekyselyyn kaikki perusjoukon alkiot, tapahtuu aina vastauskatoa, mikä luo oman virhelähteensä. Tämä virhelähde vaikuttaa tilastolliseen päättelyyn, jossa perusjoukon osajoukolta, eli kyselyn vastaajajoukolta, saadut estimaatit yleistetään koskemaan koko perusjoukkoa. Tätä virhettä voitaisiin kutsua, mukaan lukien mahdollinen otanta-asetelman suunnittelu, yhdistetyksi otanta -ja päättelyvirheeksi. Risto Lehtosta mukaillen (2004, 14) tähän otantastrategian kokonaisuuteen kuuluu otanta-asetelma ja valittu estimaattori. Tämän li- säksi otanta- ja päättelyvirheeseen ymmärretään kuuluvaksi analyysivaiheeseen tultaessa tapahtuva, puuttuneisuudesta pitkälti johtuva ei-otantavirhe (non-sampling error, ks. Lehtonen 2004, 112), jota voidaan ainakin osittain korjata uudelleenpainotuksilla. Vaikka virhettä sivutaan tarkastelemalla koulutuksen laadun mittarista johdetun keskiarvoestimaattorin harhattomuutta ja tehokkuutta ilman puuttuneisuutta, jää tämä tarkastelu vähemmälle huomiolle, koska virhelähde ilmenee vasta kyselymittarin rakentamisen jälkeen ja riippuu analyysivaihetta edeltävästä mahdollisesta valinnasta uudelleenpainotusmenetelmäksi. Tämän lisäksi käytännössä kaikkiin virhelähteisiin ja prosessin osien mukaisten tulosten tulkintaan liittyy tulkintavirheen osuus: mikään mittaustuloksen komponenteista ei ole yksiselitteisesti ja suoraviivaisesti mitattavissa, vaan niiden kaikkien arviointi on jokseenkin tutkijan subjektiivisesta harkinnasta sekä arvovalinnoista riippuvaista. Ennen kaikkea näin on tietenkin siinä vaiheessa, kun kyselymittari on rakennettu, mittarista on tehty päättely tavoiteperusjoukkoon ja näiden päätelmien mukaisille estimaateilla täytyy tehdä sisällöllinen tulkinta. Toisin sanottuna merkittävä virhelähde on vielä tulostenkin tulkinnan vaihe, vaikka kaikki olisi tilastollisten estimaattien suhteen täysin kunnossa. Vaikka tämä vaihe mittareiden käytöstä on jo selvästi mittarin rakentamisen näkökulmasta periferiassa, täytyy tulosten tulkintaakin pohtia jo mittaria rakennettaessa. Tämän vuoksi raportti sivuaa myös tulosten tulkintaa ja sisällöllistä analyysia esitetyistä tilastollisista parametreista. Raportti loppuukin siihen, mitä kokonaisvaltaisen mittausprosessin tuloksena tuotetaan: käytännöllinen koulutuksen laadun kehittämisen työkalu, joka tulee toimiakseen sisältää mahdollisimman vähän rajaus-/tulkintavirhettä, määritysvirhettä, mittausvirhettä, otanta- ja päättelyvirhettä ja joka täytyy vielä onnistuneesti tulkita ja toimeenpanna osana korkeakoulujen kehitystyötä. Hienosyistä virhelähteiden jakoa voidaan paikantaa esimerkiksi seuraavan kuvion mukaisesti. Kronologisena järjestyksenä virhelähteiden esiintyminen viittaa siihen, että 33
  • 19. 34 prosessin alussa tapahtuvat virheet voivat ohjata koko kyselymittarin rakentamisen väärille urille. Jos teoreettisen käsitteen valinta ja rajaus eivät esimerkiksi ole mittarin käyttötarkoituksen eli korkeakoulujen arviointi- ja ohjaustyön näkökulmasta perusteltuja, ei tätä voi korjata muuntamalla mittaustilanteen tai tiedonkeruun järjestelyjä. Virheetönkin tilastollinen päättely mittarilla, joka ei ole käyttötarkoitukseen sopiva, on lähes hyödytöntä. Tässä raportissa sivutaan kaikkia virhelähteitä, joskin pääpaino on määritys- ja mittausvirheellä. Valinta-/rajausvirhettä käsitellään mittarin rakentamisen taustoja kartoittamalla ja sille asetettua käyttötarkoitusta analysoiden. Otantavirhettä ei juuri käsitellä, sillä varsinaista otantaa ei tehdä. Sen sijaan otossuureista johdettavien estimaattorien ominaisuuksia tarkastellaan ja puuttuneisuuden vaikutuksia tilastolliseen päättelyyn eritellään. Lisäksi pohditaan metoditekijöitä mahdollisten päättelyvirheiden lähteinä. Tulkintavirheestä lähinnä varoitellaan: sen osuutta voidaan parhaiten arvioida vasta kehitystyön kokemusten kautta. Onkin hyvä pitää mielessä seuraava (kysely)mittarin rakentamisen virhelähteiden erittely. Myös sisällöllistä tulkintaa tehdessä tulee huomioida koko mittarin rakennusprosessi. KUVIO 3. MITTARIN RAKENTAMISEN VIRHELÄHTEET PROSESSIJÄRJESTYKSESSÄ. 35