2. Copyright:
Opiskelun ja koulutuksen tutkimussäätiö Otus
Leo Aarnio
Taitto:
Tero Silvast
Oikoluku:
Janne Mikkonen, Timo Luopajärvi
Julkaisija:
Opiskelun ja koulutuksen tutkimussäätiö Otus
Lapinrinne 2
00180 HELSINKI
www.otus.fi
ISBN:
ISSN:
Paino:
AMMATTIKORKEAKOULUJEN
VALMISTUMISVAIHEEN
MONITULOISET
OPISKELIJAPALAUTEKYSELY
Korkeakouluopiskelijoiden
Ammattikorkeakoulutuksen laadun
tulonlähteet ja kokemus
määrittelystä kyselymittarin arviointoimeentulosta erilaisissa
nin kautta tulosten raportointiin: kokemuksia
elämäntilanteissa
AVOP-kyselyn kehitystyöstä
2012-2013
Janne Aarnio
Leo Mikkonen
Elina Lavikainen
Juhani Saari
Opiskelun ja koulutuksen tutkimussäätiö
Otus
Opiskelun ja koulutuksen tutkimussäätiö
Otus
5/12/2013
40/2013
3. Sisällysluettelo
4
Tiivistelmä käytännön kehitystyöstä
7
kiinnostuneelle (executive summary)
7
Kiitokset 11
Esipuhe 15
Johdanto 19
Raportin rakenne
19
Raportin tyyli
20
1. Taustaa
23
1.1. Yhteiskunnalliset ja koulutuspoliittiset taustat pähkinänkuoressa
23
1.2. Kokonaisvaltainen näkökulma yleiseen mittausteoriaan
28
2. Teoreettisen käsitteen määrittely ja operationalisointi: mitä ja miten mitataan?
37
2.1. Toimeksianto
38
2.2. Ammattikorkeakoulutuksen lainsäädännölliset tavoitteet
38
2.3. Teoreettiset taustat
40
2.4. Vertailukyselyt
76
2.5. Kommenttikierrokset
90
2.6. Observointiin perustuva laadullinen kyselyiden koestaminen
96
2.7. Vastausasteikko
98
2.8. Yhteenveto: mitä ja miten mitataan?
103
3. Mittarin luotettavuusanalyysi: miten mittari a posteriori toimii?
113
3.1. Kyselymittarin testaus ja koulutuksen laadun indikaattori
114
3.2. Huolimattomasti vastanneet, metodifaktorit ja kontrollimuuttujat
125
3.3. Reliabiliteetti
159
3.4. Validiteetti
171
3.5. Yhteenveto luvusta 3: Miten AVOP-kyselyn
koulutuksen laadun mittari a posteriori toimii?
204
4. Ehdotus koulutuksen laadun opiskelijapalautekyselymittariksi osana
ammattikorkeakoulujen opiskelijapalautejärjestelmää
211
4.1. Koulutuksen laadun mittarin väittämät, komponentit ja vastausasteikko
212
4.2. Miten ratkaista kyselyyn liittyvät ongelmat?
225
4.3. Vastaajien keruu ja tulosten raportointi
234
4.4. Yhteenveto AVOP-kyselyn käytännön hyödyntämisestä
238
5. Loppukaneetti
241
Viitteet 247
Kesäkuun yhdistetyn kyselyn väittämäkohtaiset tunnusluvut
252
1. Hyvät käytännöt
253
Frekvenssitaulukot 264
1. Hyvät käytännöt
Koulutuksen laadun kokonaisindikaattorin sekä komponenttien jakaumat,
tunnusluvut ja Kolmogorov-Smirnov-testit normaalisuudelle
Liitteet
266
272
277
5
4. Tiivistelmä käytännön kehitystyöstä
kiinnostuneelle (executive summary)
Ammattikorkeakoulujen valmistumisvaiheen
opiskelijapalautekysely (AVOP) on mittari ammattikorkeakoulun opiskelijalle tarjoamasta
koulutuksen laadusta. Kyselymittari perustuu
arvioon, jonka alemman korkea-asteen ammattikorkeakouluopiskelijat valmistumisvaiheessa
tutkinnostaan tekevät.
Kyselymittarissa on mallinnettu kolme toisiaan täydentävää koulutuksen laadun näkökulmaa: korkeakoulun toteuttamien toimien
hyvä käytännön toteutuminen (hyvät käytännöt), ammattikorkekouluopiskelijan oppiminen (tämän osaaminen ja sen kehittyminen
ennen kaikkea NQF-kompetensseina mitattuna) sekä opiskelijan koulutuksensa osa-alueille
asettamien toiveiden ja tavoitteiden täyttyminen (opiskelutyytyväisyys). Näille näkökulmille
on rakennettu kuusi koulutuksen laadun mittaria, joista yhdessä johdetaan koulutuksen laatua kokonaisuudessaan kuvaava arvio.
Ammattikorkeakoulutuksen laadussa on
otettu huomioon ammattikorkeakoulun erityinen rooli osana suomalaisen korkeakoulujärjestelmän duaalimallia. Kansainvälisesti kehitetyt mittarit eivät siten sovellu AVOP-kyselyn
malliksi, vaan kysely on alusta alkaen rakennettu silmällä pitäen ammattikorkeakoulujen työelämäläheisyys kouluille asetettuna tehtävänä
tuottaa työelämässä käyttökelpoista ja sitä uudistavaa korkeatasoista osaamista.
Poikkeuksellista kyselyn kehitystyössä on,
että kyselyn sisältö on rakennettu yhteistyönä
ammattikorkeakoulujen kanssa: 700–800 kansallista korkeakoulukenttää kattavasti edustavaa asiantuntijaa on osallistunut lähes vuoden
ajan kyselyn laatimiseen. Kyselyä voidaankin
kuvata joukkoistamalla aikaansaaduksi. Valit-
tu työskentelytapa varmistaa sen, että kyselyssä tulevat tasapainoisesti ja monipuolisesti näkyviin ne koulutuksen laadun osa-alueet, joita
opiskelijat, opettajat ja henkilökunta pitävät
tärkeinä. Prosessi ei ole ollut ainoastaan mittarin luotettavuuden kannalta tehokas, vaan se
on myös legitimoinut mittarin rakentamisen
prosessia ja varmistanut, että mittari on hyödynnettävissä siinä kehitystyössä, johon kommentointiin osallistuneet henkilöt ottavat osaa
myös jatkossa.
Erilaisten toisiaan tukevien luotettavuuden ominaisuuksien perusteella mittari on tilastollisesti ja psykometrisesti mitattuna pääosin luotettava. Mittari kykenee erottelemaan
korkeakouluja niiden laadulle arvioitujen keskiarvoestimaattien avulla, mutta tähän erotteluun tulee suhtautua varauksella. Ensinnäkin
kaikki erot eivät poikkea toisistaan tilastollisesti merkitsevästi, ellei vastaajamäärän suhteellista osuutta perusjoukosta saada sellaiselle tasolle, joka käytännössä edellyttää vastaamiseen
pakottamista. Toisaalta, vaikka erottelu saataisiinkin aikaiseksi, ei ole selvää, että kaikkien
korkeakoulujen erotteleminen toisistaan olisi
sisällöllisesti perusteltua. Vaikka mittarissa on
tilastollista voimaa korkeakoulujen erottelemiseen, ovat nämä erot käytännössä silti pieniä,
eivätkä välttämättä sellaisia, joiden perusteella
voitaisiin esimerkiksi väittää korkeimman arvosanan saaneen korkeakoulun olevan parempi
kuin toiseksi korkeimman arvosanan saanut.
Vaikka mittari kokonaisuudessaan toimii
hyvin, se kärsii kolmesta pääasiallisesta ongelmasta: 1) kyselymittari on pitkä, 2) osaamisen
mittari toimii melko huonosti, 3) kyselymittarin pilotoinnissa ilmeni liiallista vastauskatoa.
7
5. 8
Käytännössä kyselyn kehitystyö ei ole valmis, ennen kuin nämä ongelmat on ratkaistu.
Haasteisiin voidaan yhtäältä vastata integroimalla kysely osaksi opiskelijapalautejärjestelmää, toisaalta tekemällä hienoisia muutoksia
myös kyselyn sisältöön.
Kehitetty kysely tulee ammattikorkeakouluissa integroida osaksi opiskelijapalautejärjestelmiä siten, että opiskelijoita opetetaan
arvioimaan koulutustaan ja myös itse omaa
oppimistaan NQF-osaamisen (tutkintojen ja
muun osaaamisen kansallinen viitekehys) mittarin avulla.
Geneeristen kompetenssien mittarin poistamista tulee harkita ja sen tilalla koestaa kyselyssä käytettyjä yleisiä periaatteita (muun
muassa vastausasteikkoa) noudattavien koulutusalakohtaisten osaamisten mittaristo. Jos
tällainen mittari on opiskelijalle helpommin
arvioitavissa ja vastaa paremmin kunkin koulutusalan laatua, mainittujen kehitystoimien
pitäisi lisätä osaamisen mittarin luotettavuutta.
Osaamisen mittarista tulee myös poistaa
huonosti toimiva retrospektiivinen arvio opiskelijan korkeakoulun aloittamisen aikaisesta
lähtötasosta. Tämä arvio täytyy tehdä jo silloin kun se on ajankohtainen, eli ensimmäisen
opiskeluvuoden aikana, ja tehtyä arviota täytyy sitten verrata valmistumisvaiheessa osana
AVOP-kyselyä tehtyyn osaamisen arvioon.
Kyselyn pituuteen ja vastauskatoon liittyvät ongelmat voidaan ratkaista lisäämällä
vastaaminen osaksi korkeakouluihin luotavaa palautteen antamisen ja vastaanottamisen opintojaksoa. Tällä opintojaksolla opiskelijat oppivat antamaan palautetta ja tekemään
arviointityötä omasta ja muiden osaamisesta.
Opiskelijan oman osaamisen lisäksi ehdotus
parantaisi ammattikorkeakoulujen opiskelijapalautejärjestelmien yleistä toimivuutta.
Kerättävää kvantitatiivista palautetta on
syvennettävä laadullisella palautteella, jotta kehitystyötä voidaan palautteen perusteella kohdentaa oikein. AVOP-kyselyn korkeakoulukentän rahoituksen allokaatioon käytettävä
määrällinen palaute on kehitystyön tehokkaaseen korkeakoulukohtaiseen suuntaamiseen
yksinään pääasiassa liian yleisluontoista. Olisi
toivottavaa, että ammattikorkeakoulut noudattaisivat yhtenäisiä ohjeita ja standardeja siitä,
miten laadullista palautetta tulee kerätä tukemaan AVOP-kyselyn arvioinnin hyödynnettävyyttä ja luotettavuutta.
Näiden mittaria parantavien toimien lisäksi on hallinnollisesti pohdittava ja päätettävä,
miten ja keille mittarin tuloksia tulee raportoida. Raportoinnissa on huomioitava tyylin
sopeuttaminen kohdeyleisön tarpeisiin: opiskelijoiden ja korkeakoulujen tietoon tulee saattaa laadun osa-aluekohtaisia suhteellisia arvioita, jotka koskevat niin korkeakouluja kuin
koulutusaloja korkeakoulujen sisällä. Korkeakoulujen kehityksen asiantuntijoille täytyy aineistoa jakaa putsattuna ja suojattuna harkinnanvaraiseen tutkimus- ja kehitystyökäyttöön,
ja lisätä aineisto yleiseen tietokantaan. Tämän
lisäksi korkeakoulujen pitäisi valituin määräajoin (esimerkiksi kolmivuotisen rahoituskauden lopuksi) saada lyhyt raportti suhteellisesta pärjäämisestään kyselymittarin koulutuksen
laadun indikaattoreilla, jotta korkeakoulut voisivat kohdentaa toimiansa tehokkaasti tiettyihin koulutuksen osa-alueisiin koulutuksensa
kokonaislaadun parantamiseksi.
Kyselyvastausten keruu tulee järjestää siten, etteivät korkeakoulukohtaiset käytännöt
vaihtele tai vähintään niin, ettei käytäntöjen
hienoinen vaihtelu pääse vaikuttamaan arvioihin koulutuksen laadusta.
Ei ole välttämättä toivottavaa, että rahoitusmallissa kyselyn arvio perustuu siihen sisältyvän koulutuksen laadun mittarin ohella vastaajien määrään. Mittarin paikantamat
erot koulutuksen laadussa ovat liian pieniä ja
sensitiivisiä, jotta tämänkaltainen laadun näkökulmasta epäoleellinen tekijä voitaisiin hyväksyttävästi sisällyttää korkeakoulukohtaisiin
rahoituspäätöksiin. Jos näin tehdään, on vaarana, että korkeakoulujen kyselymittariin perustuva rahoitusosuus on vain näennäinen; että
tosiasiassa rahoitus on enemmän vastausprosentin kuin koulutuksen laadun funktio.
Korkeakoulukohtaiset erot koulutuksen laadussa ovat pieniä, ja erotuksen signaalia heikentävät edelleen vääjäämättömät määritys- ja mittausvirheet. Kyselymittarin mahdollisimman
hyvä eristäminen mittauskohteeseensa – korkeakoulun tarjoaman koulutuksen laatuun –
tulee tämän vuoksi ottaa huomioon kaikissa
kyselyä koskevissa opiskelijapalautejärjestelmän toimissa.
Kun nämä ehdotukset huomioidaan, saadaan AVOP -kyselymittarista hyvä ja kauan
kaivattu ammattikorkeakoulutuksen laadun
arviointi- ja kehitystyökalu niin korkeakoulujärjestelmän, yksittäisten korkeakoulujen kuin tulevien korkeakouluopiskelijoidenkin tarpeisiin.
AVOP-kyselyn kehitystyöstä vastaava tutkija,
Leo Aarnio
Opiskelun ja koulutuksen tutkimussäätiö Otus
9
6. Yhteistyössä ammattikorkeakoulutuksen
laadun mittaria kehittämässä
10
Koulutuksen ja erityisesti korkeakoulutuksen
laadun arvioiminen ei ole kovin yksinkertainen tehtävä. Korkeakoulutuksen laadun arviointi on kuitenkin noussut tärkeäksi tekijäksi
korkeakoulutuksen yhteiskunnallista vaikuttavuutta arvioitaessa ja kehitettäessä.
Siksi myös ammattikorkeakoulujen ja yliopistojen rahoituskriteereissä opiskelijoiden
arvioima korkeakoulutuksen laatu on kohoamassa erääksi korkeakoulujen rahoitusta määrittelevistä tekijöistä. Ammattikorkeakouluissa
aiempana opiskelijoiden arvioinnin mittarina
on käytetty nk. OPALA-kyselyä. OPALAn keskeisiä ongelmia ovat olleet mittarin luotettavuuskysymykset, kyselyn osioiden yksiselitteisyyden puute sekä kyselyyn vastanneiden
vähäisyys valmistuneiden opiskelijoiden määriin verraten.
Käsillä oleva julkaisu on yhteenvetoraportti siitä määrätietoisesta ammattikorkeakoulujen koulutuksen laadun arvioinnin kehittämiseksi tehdystä työstä, jota on parin viime
vuoden aikana toteutettu Ammattikorkeakoulujen rehtorineuvosto Arene ry:n ja Suomen ammattikorkeakouluopiskelijakuntien liitto SAMOK ry:n yhteisenä hankkeena. Hanketta
on rahoittanut opetus- ja kulttuuriministeriö
ja sen käytännön toteuttamisesta on vastannut Opiskelun ja koulutuksen tutkimussäätiö
OTUS.
Kuten raportista voidaan todeta, tässä on
toteutettu kansainvälisestikin arvioiden useiden satojen ammattikorkeakouluasiantuntijoiden kanssa yksi laajimpia ja perusteellisimpia
korkeakoulutuksen laadun arvioinnin mittarin
kehittämishankkeita. Varsin seikkaperäisen ja
perusteellisen raportin perusteella voidaan todeta, että hankkeessa on syntynyt korkeakoulutuksen laadun arvioimiseksi mittari, jota voidaan hyödyntää laajemminkin kuin pelkästään
suomalaisten ammattikorkeakoulujen laadun
arvioinnin työkaluna. Toivonkin, että mittari
otetaan käyttöön kaikkien suomalaisten ammattikorkeakoulujen laadun arvioinnin työkaluna ja tämän julkaisun ja saatujen kokemusten kautta sitä sovelletaan myös laajemmin
sekä kotimaisessa että kansainvälisessä korkeakoulutuksen laadun arvioinnissa.
Tässä yhteydessä esitän lämpimät kiitokseni kaikille hankkeessa mukana olleille ja erityisesti hankkeesta päävastuussa olleelle tutkija
Leo Aarniolle, joka on tehnyt todella mittavan
työn korkeakoulutuksen laadun arvioinnin mittaamisen sekä laajemmin koulutuksen laadun
arvioinnin ja kyselymenetelmällä tehtävän arvioinnin ja sen luotettavuuden kehittämiseksi.
Timo Luopajärvi
Toiminnanjohtaja, Ammattikorkeakoulujen
rehtorineuvosto Arene ry
KT, dosentti
11
7. Kiitokset
12
Ammattikorkeakoulujen valmistumisvaiheen
opiskelijapalautekyselyn pilottiluonnokset eivät ole minun. Sekä käsitteelliset valinnat että
niiden muotoileminen koulutuksen laadun mittareiksi on tehty laajana ammattikorkeakoulukentän kattavana yhteistyöprojektina. Minun
tehtävänäni on ollut johtaa kyseistä projektia:
tehdä ehdotuksia, ohjata keskustelua, tiedottaa tehdystä työstä, perustella tehtyjä valintoja, suorittaa luotettavuusanalyysi ja kirjoittaa
loppuraportti.
Ensimmäisenä haluankin kiittää – käytännön syistä valitettavasti anonyymisti – sitä
700–800 henkilön joukkoa, joka ammattikorkeakouluista on kahdeksan kuukauden ajan
säännöllisesti kommentoinut, ideoinut ja rakentavasti kritisoinut kyselyn kehityksen eteen
tehtyä työtä. Teidän työpanoksenne on ollut
niin keskeinen, ettei ole väärin kutsua työn tuloksena syntyneitä kyselyitä joukkoistamalla
aikaansaaduiksi.
Kommentti- ja keskusteluryhmään on
kuulunut henkilöitä, joiden osuus tehdystä
työstä on niin suuri, että he ansaitsisivat siitä enemmän kuin seuraavan nöyrän kiitokseni. Toivon, että kyseiseen ryhmään kuuluvat
henkilöt ottavat vastaan lämpimimmän kiitoksenosoitukseni siitä huolimatta, että he valikoituivat korostettuun rooliinsa nimenomaan
sinnikkään ja tiukan, mutta perustellun kritiikkinsä ansiosta.
Kiitos siis pitkistä keskusteluista, piinaavista kyseenalaistuksista sekä mainioista muutos- ja
korjausehdotuksista sekä FUAS:n laaturyhmän
jäsenille Tarja Gustafssonille, Jaana Ignatiukselle, Marjo-Riitta Järviselle ja Pirjo Kuismalle että
Metropolian Oiva-tiimiläisille: Robert Arpolle,
Minna Hautamäelle, Jaana Holvikivelle, Juha
Lindforsille, Marjo Mannilalle, Merja Reijoselle, Seija Ristimäelle, Carina Savander-Ranteelle, Miikka Tanhualle, Heikki Valmulle sekä
erityisesti Johanna Holvikivelle. Haluan myös
kiittää sekä Metropolian että OPALA-kehitystyön ohjausryhmän Tiina Heikkistä tapaamisen järjestämisestä Metropolian asiantuntijoiden kanssa. Erityismaininnan ansaitsevat myös
Kymenlaakson ammattikorkeakoulun Sinikka
Ruohonen ja Sinikka Pekkalin, jotka suostuivat
ystävällisesti ja ahkerasti muotoilemaan oman
ehdotuksensa Opetus ja oppiminen -moduuliksi kesäkuun pilotointikierrosta varten.
Aivan poikkeukselliseksi sen tehdyn valtavan työn, joka kaikkia kommenttikierroksille osallistuneita koskee, tekee se tosiasia, että
suurin osa työstä tehtiin muiden töiden ohella,
ikään kuin pro bono, mikä on osoitus osallistujien yleisestä hyväntahtoisuudesta, intohimosta sekä aidosta epäitsekkäästä halusta vaikuttaa myönteisesti korkeakoulujen arviointiin.
Ennen kaikkea tämä on osoitus asianomaisten
poikkeuksellisesta työteliäisyydestä.
Suomalaisella ammattikorkeakoulukentällä ei ole mitään hätää, kun sen hyvinvointia vahtii tällainen ryhmä osaavia työmyyriä.
Vielä kerran, kiitokset tämän osalta täytyy erityisesti osoittaa yllä mainituille henkilöille: he
näkivät valtavan vaivan esimerkiksi laatiessaan
vaihtoehtoisia mittareita behaviorismin peikosta kärsineelle Opetus- ja oppiminen -osiolle. Tästä(kään) työstä minulla ei valitettavasti
ollut tarjota sitä rahallista palkkiota, jonka ylimääräinen työ olisi aivan päivänselvästi ansainnut. Toivon todella, että kyseisissä ammattikorkeakouluissa osataan mainittujen henkilöiden
13
8. 14
erityispanosta arvostaa niiden arvoisilla erityisillä huomionosoituksilla.
Hahmoteltuamme kyselyn moduulirakenteen syksyn 2012 lopussa kävimme keskusteluja moduulien konkreettisista sisällöistä suurenmoisten asiantuntijoiden kanssa.
Edellä mainitun kommenttiryhmän lisäksi haluan kiittää ennen kaikkea Helsingin yliopiston yliopistopedagogiikan tutkimus- ja kehittämisyksikön johtajaa Sari Lindblom-Ylännettä
sekä tutkija Anna Parpalaa, jotka jakoivat sekä
asiantuntemustaan että konkreettisia Oppi-kyselyn tiimoilta kehitettyjä väittämiä ja syntyneitä kokemuksia Opetus ja oppiminen -moduulin
kehittämisen tueksi. Opetus ja oppiminen -moduulin sisällöllisen kehitystyön tiimoilta haluan
lisäksi kiittää Hämeen ammatti-instituutin johtajaa Seija Mahlamäki-Kultasta.
Dosentti Pentti Rauhalalle kuuluu lämmin
kiitos sekä konsultaatiosta kyselyn sisältöön
kokonaisuudessaan liittyen että ohjausryhmän
väliaikaisena puheenjohtajana mallikkaasti toimimisesta. Kiitokset hyvistä kommenteista ja
ohjeista TKI-toiminnan huomioimisessa osana
kyselyä Jyväskylän ammattikorkeakoulun rehtorille Jussi Halttuselle. Erityisen lämpimästi
haluan kiittää Centria ammattikorkeakoulun
Paula Erkkilää, jonka kokemukset opiskelun
ja työelämäyhteyksien INTO-kehittämisverkoston tiimoilta rakennetusta työelämäläheisen oppimisen mallin kyselymittarista olivat
korvaamattomia Työelämäyhteydet ja -neuvonta -moduulille. Useat moduulin väittämät ovat
joko muokattuja kyseisestä kyselymittarista tai
otettu sellaisinaan osaksi kyselyä.
Kyselyn luotettavuusanalyysin asetelmassa oli tarkoitus alun perin käyttää suurta määrää kyselyn ositteita, jotka olisivat pitäneet
sisällään vaihtoehtoisia väittämämuotoiluja
koulutuksen laadun mahdollisimman kattavaa
teoreettista käsitekenttää kuvaamaan. Moninkertaisen imputoinnin algoritmeillä oli tarkoitus sitten täyttää puuttuvat solut matriisista,
joka mallintaisi mahdollisimman kokonaisvaltaisesti superpopulaatiota kuvaavia vaihtoehtoisia muotoiluja koulutuksen laadusta. Tämän
asetelman arvioimisesta sekä yleisestä kannus-
tuksesta ja avusta haluan kiittää Helsingin yliopiston tilastotieteen laitosta.
Aivan erityisen kiitoksen kyselyn kehitystyön tukemisessa ansaitsee surveymetodiikkaan erikoistunut emeritusprofessori Seppo
Laaksonen. Pieni erityiskiitos Sepolle kuuluu
myös inspiraatiosta raportin nimeksi. Samankaltaiset kiitokset osoitan otantamenetelmiin
ja pienalue-estimointiin erikoistuneelle professorille Risto Lehtoselle johdantokappaleesta löytyvästä sitaatista. Lisäksi haluan kiittää
Kimmo Vehkalahtea kannustuksesta ja tuesta.
Haluan toisaalta myös pahoitella, etten ole korvannut Cronbachin alfaa paremmalla sisäisen
konsistenssin mitalla, Tarkkosen ja Vehkalahden rho:lla.
Kommenttiryhmä varmisti, että kyselyssä tulee huomioiduksi opettajan näkökulma
hyvästä opetuksesta ja koulutuksesta. Vaikka ryhmässä oli mukana myös kattava joukko
opiskelijajäseniä, jäi heidän äänensä ryhmässä
opettajien alle. Tämän näkökulman paremmin
esille tuomisesta haluan kiittää ohjausryhmän
jäseninäkin toimineita Suomen opiskelijakuntien liitto – SAMOKin entistä puheenjohtajaa
Elin Blomqvistia sekä ennen kaikkea SAMOKin opetuksesta ja ohjauksesta vastaavaa asiantuntijaa Veli-Matti Taskilaa. Vellulle ja Elinille
kuuluvat erityiskiitokset lukemattomista suurenmoisista ehdotuksista, kyselyn vastaamisen
havainnointiin perustuvien pilotointien järjestämisestä sekä yleisestä läheisestä vuoden kestäneestä hedelmällisestä yhteistyöstä.
SAMOKista kiitän kansainvälisistä asioista vastaavaa asiantuntijaa Pauliina Savolaa,
jota konsultoin Kansainvälisyys ja kieliopinnot -moduulia varten ja josta on kiittäminen
kotikansainvälistymisen huomioimisesta kyselyssä. Opiskelijajärjestöjen yhteistyökumppaneista lisäksi kiitän Metropolia Ammattikorkeakoulun opiskelijakunta – Metkan Aku
Aarvaa, jolta tuli systemaattisesti hyviä kommentteja kyselyn väittämistä ja joka järjesti
Metropolian ammattikorkeakoulussa kyselyn
täyttämisen havainnointiin ja haastatteluihin
perustuvia pilotointeja. SYL:n koulutuspoliittista sihteeriä Suvi Erikssonia haluan kiittää
yliopistojen YOPALA-kyselyn kehitystyön kokemusten jakamisesta.
Opiskelun ja koulutuksen tutkimussäätiöstä haluan erityisesti kiittää toiminnanjohtaja
Jussi Junnia, joka on ottanut aktiivisesti osaa
ohjausryhmään ja suonut minulle luottamuksen johtaa kyselyn kehitystyön tutkimuksellista tukea. Lisäksi erityisen kiitoksen ansaitsevat
ennen kaikkea ajatusten, ideoiden ja metodologian sparraajana toiminut tutkija Juhani Saari (jota pahoittelen siitä, ettei hänen kehittämäänsä edistyksellistä tutkimusasetelmaa
loppujen lopuksi voitu sellaisenaan toteuttaa)
sekä tutkija Heidi Kettunen, jonka kasvatustieteellisen teorian tuntemus ja kriittinen kyselyn
sisällön kommentointi on ollut korvaamaton
osa kyselyn kehittymistä nykyisen kaltaiseksi.
Raportin oikoluvusta ja korjaamisesta rakenteeltaan johdonmukaisemmaksi sekä tyyliltään
selkokielisemmäksi valtava kiitos pedantille ja
taitavalle kollegalleni Janne Mikkoselle. Kiitokset vielä Alina Inkiselle sekä Suvi Pulkkiselle,
jotka osaltaan kävivät kyselyä läpi ja antoivat
hyviä sisältöön ja muotoiluun liittyviä kehitysehdotuksia.
Haluan kiittää ohjausryhmän upeita jäseniä: ennen kaikkea Arenen aikaansaavaa ja
jämptiä toiminnanjohtajaa Timo Luopajärveä,
joka oli merkittävänä tukena läpi prosessin ja
josta on kiittäminen raportin yksityiskohtaisesta läpikäymisestä ja hienoista korjausehdotuksista. Lisäksi kiitän Metropolian Tiina Heikkistä, Karelian Jyrki Kankkusta sekä jo edellä
mainittuja Veli-Matti Taskilaa, Elin Blomqvistia, Jussi Junnia sekä Juhani Saarta. Arenesta
haluaisin vielä kiittää Eija Antilaa, joka mah-
dollisti pilotoinnin onnistumisen jo huhtikuussa lyhyellä varoitusajalla neuvokkaalla ja nopealla toiminnallaan.
Kiitokset haluan osoittaa myös kehitystyötä seuranneille ja arvioineille Opetus ja kulttuuriministeriön virkamiehille, ennen kaikkea
korkeakoulu- ja tiedepolitiikan osastolle: johtaja Hannu Sirenille, opetusneuvoksille Armi
Mikkolalle ja Tomi Haloselle sekä ylijohtajille
Tapio Kosuselle ja Anita Lehikoiselle.
Kiitos myös Bettina Backström-Widjeskogille Noviasta hienosta kesäkuun kyselyversion
ruotsin kielen käännöksestä. Mitä nöyrimmät
pahoitteluni siitä, että ammattikorkeakoulupedagogiikan kielen erityisesti huomioiva käännöksesi jäi huolimattomuusvirheen vuoksi
käyttämättä. Kyselymittarin kääntäminen on
haastava ja suuri työ: tästä erinomaisesti suoritumisesta kiitos Lapinrinteen ahkeralle kääntäjällemme Kristian Johanssonille.
Monet jäivät nimeltä mainitsematta. Teille kymmenille ellei sadoille henkilöille, joiden
kanssa olen kyselyn kehitystyön tiimoilta keskustellut, nöyrimmät kiitokseni.
Korostettuani tässä kehitystyön yhteistyöluonnetta on hyvä vielä lopuksi painottaa, että
kaikki kyselyyn jääneet puutteet ovat yksin minun vastuullani. Lopulliset päätökset siitä, mitä
lisäyksiä, poistoja tai korjauksia kyselyyn tehdään tein omaa harkintaani käyttäen. Harva,
jos kukaan, edellä mainitsemistani henkilöistä
allekirjoittaisi kaikki kyselyn yksityiskohdat.
Olen kiitollinen siitä, että minä voin niin tehdä.
Helsingissä 4.11.2013,
Leo Aarnio
15
9. Esipuhe
”Essentially, all models are wrong, but
some models are us eful.”
George E.P. Box (1987, 424)
16
Tämä kirjoitus kuvaa ja arvioi kehitystyötä, jonka tuloksena on syntynyt ammattikorkeakoulutuksen laadun kyselymittari.
Tehtävään, jonka tavoitteena on määritellä
koulutuksen laatu, ryhtyminen vaatii kyynisyydestä vapaata, kenties peräti naiivia pragmatismia. Täydellisyyden tavoittelu olisi toivoa saavuttaa todellisuudesta irtaantunut ihanne, joka
on olemassa korkeintaan ideoiden maailmassa. Mahdottoman tavoittelu johtaisi halvaukseen tehtävän alkumetreillä. Jos osaa kuitenkin
olla itselleen (ja muille) maltillisen armollinen
ja asettaa realistiseksi tavoitteeksi maltillisen
epäonnistumisen, kyseessä ei ole mahdottoman
tekeminen mahdolliseksi. Koulutuksen laatua
voidaan lähestyä – sitä kenties koskaan täysin
saavuttamatta – niin lukuihin kuin sanoihin
perustuvin kuvauksin.
Tehtävään ei kuitenkaan myöskään tule
ryhtyä henkselit paukkuen ymmärtämättä sen
haasteellisuutta vaan nöyrästi annetun haasteen vakavuutta kunnioittaen. Koulutuksen laadun mittaaminen on nimittäin vaikeaa. Koulutuksen laadun käsite on samanaikaisesti sekä
laaja että syvä: käytännössä moniulotteinen,
periaatteessa pohjattoman filosofinen.
Ensin mainitusta mittauskohteen ominaisuudesta seuraa, että joudutaan tekemään kaikkea muuta kuin itsestään selviä arvovalintoja.
Näiden seurauksena joitain koulutuksen kannalta tärkeitä asioita jää varjoon toisten, tietystä näkökulmasta tärkeämmiksi koettujen asioiden kustannuksella.
1 Positionaalisesta objektiivisuudesta katso esimerkiksi Amartya Sen, 1993.
Toiseksi mainitusta ominaisuudesta taas
seuraa, ettei näitäkään lukemattomia käytännön asioita voida lähestyä ilman, että samalla otettaisiin kantaa, implisiittisesti tai eksplisiittisesti, sellaisiin perustaviin koulutuksen
filosofiaan liittyviin kysymyksiin, kuten mitä
henkilökohtaista ja yhteiskunnallista (eettistä,
tiedollista ja taidollista) tehtävää koulutuksen
tulisi ylipäätään palvella.
Termi ”koulutuksen laatu” onkin latautunut: se on välttämättä sekä arvottava että kuvaileva. Teoreettisen käsitteen lailla ei käsitteen
mittarikaan voi täten olla objektiivinen, vaan
pikemminkin se on kiistanalainen, enemmän
tai vähemmän perusteltu subjektiivinen, intersubjektiivinen tai korkeintaan tietyn ryhmän
positionaalisesti tai perspektiivisesti objektiivinen1 arvio niistä asioista, joita koulutuksen
järjestämisen kannalta hyvinä voidaan valituin
ennakko-oletuksin pitää.
Koska AVOP-kysely on kehitetty laajana
yhteistyöprojektina ammattikorkeakoulukentän yhteistyökumppaneiden ja minun kesken,
käsillä olevaa kuvausta ja sen pohjalta syntynyttä mittaria koulutuksen laadusta voi kenties parhaiten luonnehtia intersubjektiiviseksi
kompromissiksi. Se on asianomaisten moniääninen, ei-konsensuaalinen käsitys siitä, mitä
hyvä ammattikorkeakoulutus pitää sisällään.
Kyseinen lopputulos on saavutettu joukkoistamalla deliberaation keinoin neuvottelemalla,
ei aggregoimalla preferenssejä tai äänestämällä näkemyksistä.
Näin filosofisen, moniulotteisen ja kiistanalaisen käsitteen mittaaminen onkin niin vaikeaa, että jos luulee siinä erehtymättömästi onnistuneensa, on joko hullu tai tyhmä. Raportti
17
10. 18
on täten kuvaus epätäydellisestä prosessista,
jota voidaan tehdyn työn ansiosta pitää jossain
määrin onnistuneena. Tehtävänäni on seuraavassa perustella tämä onnistuneisuus kohtuudella, rehellisesti ja tosiasioihin perustuen.
Tämän kirjoituksen näkemys, jonka mukaan koulutuksen laatu on mitattavissa, tarkoittaa, ettei nähdä olevan merkittäviä periaatteellisia syitä, miksei koulutuksen laadun
käsitettä voisi käyttää myös arvottamaan korkeakouluja. Se, joka on tästä lähtökohtaisesti eri mieltä – perustellusti tai ei – voi jättää
jatkon lukematta: tämän perustavanlaatuisen
premissin totuudenmukaisuutta ei seuraavassa pyritä todistelemaan.
Jotta koulutuksen laadun käsite voisi toimia kehitys- ja arviointityökaluna, täytyy se
muuntaa mittariksi eli operationalisoida. Jotta mittari toimisi sille annetuissa tehtävissä,
tulee sen olla onnistuneesti operationalisoitu.
Tämä onnistuneisuus on sitä, että kaikkine ongelmineenkin mittari toimii; että sen käyttäminen koulutuksen laadun indikaattorina on
suotavampaa kuin sen käyttämättä jättäminen.
Onnistuneisuus on täten nähtävä suhteena muihin vaihtoehtoisiin tapoihin toimia: siis
mitata, arvioida ja ohjata koulutuksen laatua.
Onnistuneisuus tehtävässä ei siis ole puhtaasti
absoluuttinen suure. Tätä suhteellista onnistuneisuutta kuvataan seuraavassa pääosin mittausteoreettisin, mittarin luotettavuuteen liittyvin termein. Kantaa ei kuitenkaan juuri oteta
muiden mittareiden toimimiseen tai toimimattomuuteen. Jos on kiinnostunut suhteellisesta
arvioinnista, voi sitten vertailla tässä tehtyjä
arvioita muiden koulusjärjestelmää ohjaavien
mittareiden arvioihin.
Sen lisäksi, että onnistuneisuus on suhde
muihin toimintatapoihin, se on myös riippuvaista käytännön toteutuksesta. Mittarin toimiminen on ehdollista sille, miten mittaria käytetään. Täten lopullinen työn onnistuneisuuden
mitta saadaan vasta jälkikäteen – silloin, kun
mittaria on jonkin aikaa käytetty onnistuneesti ammattikorkeakoulujen kehitystyössä ja arvioinnissa.
11. Johdanto
20
Tämän raportin näkökulma on rajattu. Kaikkia
kehitystyön yksityiskohtia ei ole mielekästä lyhyessä raportissa tuoda esille. Tämän puutteen
kohdalla toivon, että kehitystyön lopputuote
- ehdotus ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyksi (AVOP)
- johon kaikki pienimmätkin kehitystyön kommervenkit ovat tavalla tai toisella tulleet sisällytetyiksi, puhuu omasta puolestaan.
Jokaisella kyselyn sisältämällä väittämällä
on yksilöllinen historiansa. Yksi vaihtoehto kyselyn kehitystyön raportoinnille olisikin näiden
historioiden kuvaileminen, perusteleminen ja
arvioiminen. Tämä tulisi kuitenkin niin lukijalle kuin allekirjoittaneelle liian raskaaksi. Tämän vuoksi seuraavassa kuvaillaan ja hahmotellaan yleisellä tasolla niitä asioita ja tekijöitä,
joita kyselyn kehitystyössä on otettu huomioon.
Melko paljon huomiota kiinnitetään teoreettisiin perusteluihin ja käsitteiden läpikäyntiin.
Tämän tarkoituksena on antaa lukijan osallistua mittarin rakennusprosessin arviointiin.
Tällaisen tiiviimmän kuvauksen huono
puoli on se, ettei kirjaamistani perusteluista yksiselitteisesti tai loogisesti seuraa johtopäätökset eli kyselyn sisältö. Voin korkeintaan taustoittaa tehtyjä valintoja. Tällöin toivon lukijan
ymmärtävän, ettei taustojen ja päätösten väliin
jäävä tyhjä tila ole summittainen. Perusteltuja
päätöksiä on myös näissä kohdissa tehty, vaikkei niitä kaikkia voidakaan tässä raportoida.
Kyselyn väittämien genealogian lisäksi vähälle käsittelylle jäävät ne yhteiskunnalliset ja
koulutuspoliittiset tekijät, jotka ovat johtaneet
päätökseen ottaa kysely osaksi korkeakoulujen
rahoitusmallia. Nämä tekijät sietäisivät tulla
tarkemmin käsitellyiksi siitä syystä, että ne vaikuttavat taustalla myös kyselyn sisältöön liittyviin päätöksiin.
Raportin rakenne
Raportti jakautuu kahteen osaan, joista ensimmäisessä on kolme ja jälkimmäisessä kaksi lukua.
Ensimmäinen osa kuvaa kyselyn sisällön
määrittämisen kehitystyötä ja mittarin arviointia, toinen osa ehdotusta kyselyksi sekä tämän hallinnoinniksi ensimmäisen osan näkökulmien pohjalta.
Ensimmäisessä osassa kuvailen kyselyn sisältöä kokonaisvaltaisesta mittausteoreettisesta näkökulmasta. Tarkoituksena on jäsentää ja
eritellä kyselyn rakentuminen prosessina, jossa käsitteellisestä analyysista siirrytään käsitteiden mittareiksi muuntamisen (luvut 1 ja 2)
kautta mittarin toimivuuden ja laadun analyysiin testaamalla kyselymittarin ominaisuuksia
(luku 3).
Teoreettisen käsitteen, opiskelijapalautekyselyn mittauskohteen, valintaan ja rajaukseen vaikuttavia yhteiskunnallisia ja koulutuspoliittisia tekijöitä käsittelen lyhyesti raporttia
taustoittavassa luvussa 1. Nämä tekijät vaikuttavat kyselylle asetettujen päämäärien ja tulevaisuuden kehitystarpeiden kautta teoreettisen
käsitteen sisältöön.
Toisessa luvussa syvennän koulutuksen
laadun teoreettisen käsitteen muodostamista
ja rajausta sekä selvennän, millä tavalla tämä
käsite on muunnettu kyselymittariksi ja mistä
syistä näihin valintoihin on päädytty. Teoreettisen käsitteen määritys lähtee liikkeelle Opiskelun ja koulutuksen tutkimussäätiön saamasta
toimeksiannosta sekä ammattikorkeakoulutukselle laissa määrätyistä tavoitteista (luvut 2.1
ja 2.2). Nämä paikantavat vastausta kysymykseen, mitä AVOP-kyselyllä mitataan.
21
12. 22
Tämän pohjalta hahmoteltava hyvän ammattikorkeakoulutuksen empiirinen käsitekartta tarkentuu teoreettisen taustatyön (luku 2.3),
toimivien vertailukyselyjen analysoinnin (2.4),
ammattikorkeakoulujen yhteistyökumppaneiden ja asiantuntijoiden kommenttien (2.5),
kyselyversioiden laadullisten testausten (2.6)
sekä vastausasteikon valintaan liittyvän surveymetodisen kirjallisuuden (2.7) kautta.
Edellä mainitussa järjestyksessä pyrin siis
ensimmäisessä ja toisessa luvussa vastaamaan
kysymyksiin, (1) mitä ammattikorkeakoulujen
valmistumisvaiheen opiskelijapalautekyselyllä (AVOP) on tarkoitus mitata, ja (2) miten
tätä on hyvä mitata. Näitä kysymyksiä ja niiden vastauksia käsittelen osittain päällekkäin
vaiheiden keskinäisriippuvuuksien vuoksi. Ensimmäinen luku ja toisen luvun alku keskittyy
teoreettisen käsitteen valintaan ja toisen luvun
loppu siihen, miten tämä teoreettinen käsite
muunnetaan empiiriseksi käsitteeksi, josta sitten johdetaan valittua käsitettä kuvaava kyselymittari.
Ensimmäisen osan viimeisessä eli kolmannessa luvussa arvioin sitä, miten rakennetut
mittarit vastaavat yleisiin mittausteoreettisiin
ja psykometrisiin haasteisiin. Vastaan siis kysymykseen, kuinka hyvin mittarit mittaavat ammattikorkeakoulutuksen laatua. Vastaus koostuu muun muassa siitä, vaihtelevatko mittarit
niille epäoleellisten muuttujien suhteen (systemaattinen mittausvirhe, luku 3.2), ovatko mittarit tarkkoja vai onko niissä satunnaista mittausvirhettä (eli ovatko mittarit reliaabeleja,
3.3) ja ennen kaikkea mittaavatko mittarit ensimmäisessä luvussa määriteltyjä asioita (eli
ovatko mittarit valideja, 3.4).
Raportin toisessa osassa esitän, miltä
AVOP-kyselyn mielestäni tulisi näyttää ja miten sitä tulisi käyttää. Luvussa 4.1 teen ensimmäisessä osassa läpikäytyjen teemojen pohjalta
ehdotuksen ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyksi. Luvussa 4.2 ehdotan, miten AVOP-kyselyn puutteita
voitaisiin mielestäni korjata integroimalla se
paremmin osaksi opiskelijapalautejärjestelmän
kokonaisuutta.
Neljännessä luvussa pyrin myös jakamaan
kehitystyön tiimoilta syntyneen käsitykseni siitä, miten kyselyä voitaisiin käytännössä parhaalla mahdollisella tavalla hyödyntää ammattikorkeakoulutuksen kehittämisen tukena.
Tähän liittyy kyselyn hallinnointi, tulosten raportointi sekä ehdotus tavaksi kerätä vastauksia kyselyyn. Esitän, että opintojaksosuoritteena kyselyn vastausten laatua voitaisiin parantaa
ja samalla päästäisiin eroon pitkäksi muodostuneen kyselyn mahdollisesta vastauskadosta
ja osaamisen mittariin liittyvistä ongelmista.
Päätän loppukaneettiin luvussa 5, jossa pohdin niitä päättelyn sudenkuoppia, jotka ovat jääneet vähälle huomiolle raportissa
mutta jotka oleellisesti vaikuttavat raportin sisällön yleistettävyyteen.
Raportin tyyli
Raportilla ei ole kohdennettua yleisöä, minkä
seurauksena toivon, ettei se ole sietämätöntä
luettavaa kaikille. Kompromissi, johon yksikään lukija ei pysty samaistumaan: liian akateeminen ja koukeroinen käytännön toimeenpanosta kiinnostuneille, liian matalaotsainen,
suoraviivainen ja huonosti perusteltu akateemiselle yleisölle. Raportin tyylillinen ongelma
onkin ilmentymä tehtävän luonteesta. Siinä
missä tehtävä on yhtäältä varsin käytännöllinen (toimivan kyselytyökalun rakentaminen
ammattikorkeakoulujen kehitystyöhön), se on
toisaalta myös toivottoman akateeminen (psykometrisesti luotettavan mittarin rakentaminen kasvatustieteelliselle/filosofiselle koulutuksen laadun määreelle).
Uskoisinkin, että valitsemani käsittelytavan vuoksi raportista voisivat olla yhtä lailla
kiinnostuneita sekä korkeakoulujen kehitystyöhön vihkiytyneet käytännön toimijat että
kasvatustieteellisistä mittareista innostuneet
tutkijat ja mikseivät myös korkeakoulutuksen
tai yleistä arviointityötä opiskelevat opiskelijat.
Raportti on kirjoitettu niin tyylillisesti
kuin sisällöllisestikin kuvaamaan sitä ajatustyötä, jonka olen itse läpikäynyt: kronologisena prosessina ensimmäisistä teoreettisen käsitteen valinnan pohdinnoista viimeisiin tulosten
raportoinnin vaiheisiin. Se on kuvaus aavistuksesta, joka muuttuu matkalla perustelluksi a
priori arvioksi siitä, mitä ammattikorkeakoulutuksen laatu pitää sisällään, ja huipentuu pilotoinnilla koeteltuun a posteriori arvioon tämän
käsityksen toimivuudesta.
Täten raportti ei valitettavasti kovin hyvin
sovellu valikoiden luettavaksi ainakaan niin,
että lukisi jotain raportin alkupäästä ja päättelisi tämän perusteella, mitä mieltä olen tai miten käytännön kehitystyössä tulisi toimia. Voi
nimittäin olla, että alkuperäinen näkemykseni
on osana prosessia tarkentunut tai peräti radikaalisti muuttanut muotoaan, ja tämä muutos
on sisältynyt raporttiin siten, ettei raportin alkupään arvioni ole yhteneväinen loppupäässä esittämäni arvion kanssa. Raportin rakenteen onkin tarkoitus löyhästi muistuttaa niin
sanottua bayesilaistä oppimisprosessia, jossa
a priori käsitystä jostain asiasta (tässä koulutuksen laadusta) tarkennetaan ja päivitetään
kerätyn aineiston avulla perustelluksi a posteriori arvioksi.
Tämän oppimista kuvaavan muutosprosessin, joka ei toivottavasti aiheuta tarkkaavaisessa lukijassa hämmennystä, olen sisällyttänyt
raporttiin, koska olen halunnut tuoda näkyviin
myös ne perustelut, jotka ovat minulle ilmen-
neet nimenomaan kumulatiivisena kronologisena prosessina. Ilman niiden pukemista tätä
vastaavaan ulkoasuun jäisivät perustelut ulkopuolisille mutta niistä kenties kiinnostuneille
piiloon. Samalla olen halunnut olla rehellinen
sille, etteivät kaikki asiat – mitkään asiat itse
asiassa – ole näyttäytyneet minulle ilmeisinä
projektin alusta lähtien.
Niinpä jos jotain lopullista haluaa poimia
raportista, poimittakoon se raportin loppupäästä. Alussa esitetyt näkemykset ovat hioutumattomia, minkä vuoksi niiden perusteltuina
pitäminen on lukijan itsensä vastuulla. Toisaalta raportin loppukaan ei seiso siinä mielessä
itsenäisesti jaloillaan, että lopun lukeminen
riittäisi johtopäätösten lisäksi myös perustelujen ymmärtämiseen. Jos käy läpi vain mittarin a posteriori arvion, ei kykene kattavasti arvioimaan mittarin määritysvirhettä, saati
ymmärtämään, miksi jotain on tullut kyselyyn
sisällytetyksi ja miksi jotain muuta on jätetty
siitä pois.
Käytännön ehdotuksia koskeva luku 4 on
tältä osin poikkeus: siinä esitetyt toimenpiteet
on johdettu kaikesta sitä ennen käsitellystä. Jos
lukija on kiinnostunut toimenpide-ehdotuksista eikä niin välitä niiden perusteluista, hän voi
hyvin tutustua vain neljänteen lukuun.
13. OSA 1: Perustelut ja arviot
1. Taustaa
Tässä luvussa kuvailen koulutuspoliittisia taustoja, jotka kyselyn kehitystyötä ovat ohjanneet.
Selvennän myös raportin näkökulmaa ja rakennetta paikantamalla sen raportin mittausteoreettiseen otteeseen.
1.1. Yhteiskunnalliset ja koulutuspoliittiset taustat pähkinänkuoressa
22
Tässä luvussa käyn lyhyesti läpi niitä yhteiskunnallisia ja koulutuspoliittisia taustoja, jotka ovat konkreettisesti, joskin lähinnä välillisesti, vaikuttaneet AVOP-kyselyn sisältöön ja
muotoon.
Ehdotus ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyksi
koostuu kolmesta osakokonaisuudesta, jotka
voidaan nähdä koulutuksen laadun vaihtoehtoisina, mutta toisiaan tukevina ja keskenään
korreloivina mittareina. Nämä osakokonaisuudet ovat: Koulutuksen käytännöt (kesäkuun
kyselyn, liite 17, moduulit 2–6), Osaamisen
kehittyminen (kyselyn moduuli 7) ja Yleistyytyväisyys (moduuli 8).
Kyselyyn yleisesti vaikuttavia yhteiskunnallisia ja koulutuspoliittisia kehityskaaria
Erittelen seuraavassa kyselyyn vaikuttaneita
yhteiskunnallisia ja koulutuspoliittisia kehityskaaria kyseisten osakokonaisuuksien kautta.
Ennen tätä käyn kuitenkin lyhyesti läpi kaikkien osakokonaisuuksien taustalla yhteisesti vaikuttavia yleisiä koulutuspoliittisia trendejä sekä paikannan opiskelijapalautekyselyn
osuuden ammattikorkeakoulujen uudistettavassa rahoitusmallissa. Yhteiskunnallisen ja
koulutuspoliittisen ilmaston tarkastelu selventää niitä haasteita, joihin kyselyn tulee kyetä
vastaamaan.
Bolognan prosessi
Bolognan prosessi, jonka tarkoituksena on saada aikaan kilpailukykyinen ja vetovoimainen
sekä yhteinen ja yhtenäinen eurooppalainen
korkeakoulutusalue, on vaikuttanut myös niihin tarpeisiin, joita valmistumisvaiheen opiskelijapalautekyselylle asetetaan.
Bolognan prosessin voidaan nähdä pakottaneen selventämään ja yhdenmukaistamaan
niitä korkeakoulutuksen laadunvalvonta-, ohjaus- ja kannustinjärjestelmiä, joiden avulla
korkeakoulujen tuloksellisuutta on muutamien
viimeisten vuosikymmenten ajan enenevissä
määrin valvottu ja ylläpidetty sekä Suomessa
että muualla Euroopassa.
Bolognan prosessin seurauksena suomalaisen korkeakoulutuksen tutkintorakenne on muuttunut. Samalla on noussut tarve
verrata tutkintoihin kuuluvia osaamiskokonaisuuksia ylikansallisesti, minkä seurauksena myös ammattikorkeakoulutukselle on
luotu kansallisesti toimeenpantava viitekehys tutkinnon suorittamisella saavutettavista
osaamiskokonaisuuksista.
Tulosohjaus
Suomessa korkeakoulujen tulosohjauksen lisääntyminen ainakin vuoden 1986 korkeakoulujen kehittämislaista lähtien on ollut
sidoksissa korkeakoulujen autonomian kehittämisen vaatimukseen (Saarinen 1997, 16–18).
Opiskelijapalautteen käyttäminen osana rahoitusmallia voidaan nähdä osana tätä ohjausjärjestelmän yleistä kehitystä.
23
14. 24
Konsumerismi ja kilpailu
Korkeakoulutuksen kansainvälisen ja kansallisen liikkuvuuden sekä korkeakoulujen autonomisen päätäntävallan ja ohjauksellisen tulosvastuun lisääntymisen myötä korkeakoulut
kilpailevat kansainvälisesti sekä kansallisesti
aiempaa enemmän keskenään. Bolognan prosessi on vauhdittanut tätä kehitystä, josta tulosohjaus on ollut yksi ilmentymä. Tämä on
tuonut korkeakouluille mukanaan joko välittömänä realiteettina tai lähitulevaisuuden
haasteena kilpailun lahjakkaista opiskelijoista,
mikä puolestaan on pakottanut korkeakouluja sopeutumaan opiskelijalähtöisempään toimintamalliin.
Joidenkin kriitikoiden mukaan skandinaaviseen korkeakoulukenttään on samalla rantautunut sille vieraita, angloamerikkalaisen korkeakoulutusmallin asiakaslähtöisiä
tai konsumeristisia piirteitä. Opiskelijapalautteen kohdalla tällainen kritiikki on sikäli perusteltua, että juuri angloamerikkalaisissa yliopistoissa, ennen kaikkea Yhdysvalloissa ja
Isossa-Britanniassa, mutta myös Australiassa,
opiskelijapalautteen käyttöönotossa ja hyödyntämisessä on menty kaikkein pisimmälle
(Richardson 2005). On kuitenkin vaikeaa ottaa kantaa siihen, missä määrin kehityskulkuun
liittyminen on enää vapaaehtoinen kansallinen
tai korkeakoulukohtainen valinta, missä määrin se taas on toimintaympäristön asettamaa
yksittäiselle toimijalle välttämättömänä esiintyvää todellisuutta, joka koulujen on kilpailussa
pärjätäkseen vain hyväksyttävä.
Konsumerismin ja opiskelijalähtöisyyden
paine lisääntynee entisestään mahdollisen lukukausimaksujen käyttöönoton myötä. Opiskelijapalautteella voi tässä mahdollisessa kehityksessä olla myös myönteinen, tiedollinen,
opiskelijan korkeakouluvalintaa järkiperäistävä
rooli. Esimerkiksi Isossa Britanniassa opiskelijalähtöisyyden kysynnän kasvuun on vastattu
kehittämällä kandidaattivaiheen loppusuoralla täytettävä National Student Survey (NSS),
kansallinen opiskelijapalautekysely, jonka
yksi ensisijaisista tarkoituksista on antaa opinahjoaan pohtivalle tulevalle opiskelijalle paremmat tiedolliset valmiudet tehdä perusteltu
korkeakouluvalinta. Tarkoituksena on tarjota
vertailevaa tietoa kohdekorkeakoulujen opiskelijoiden näkemyksistä tutkintonsa onnistuneisuudesta.
Korkeakouluvertailut
Korkeakouluvertailujen kasvava kysyntä voidaan myös nähdä yhtenä esimerkkinä sekä
liikkuvuuden lisääntymisen tiukentamasta
kilpailusta lahjakkaista opiskelijoista että yliopistojen tuloksellisuuden arvioinnin kasvusta. Huonot korkeakouluvertailut vastaavat laadun arviointia vääristävään kuluttajan (tulevan
opiskelijan) tarpeeseen saada yksinkertaisessa ja valmiiksi pureskellussa muodossa tietoa
tulevasta opinahjostaan. Korkeakouluvertailuissa nähdäänkin enenevissä määrin ongelmia
koulutuksen laadun mittareina. Näistä ongelmista yksi syvimmistä on vertailujen (toimivien tai toimimattomien) itsensä toteuttava ennuste: vertailut mittaavat laatua, joka osittain
perustuu mittareiden luomaan korkeakoulun
maineeseen. Hyvät korkeakouluvertailut pyrkivät löytämään tasapainon viestinnällisen tehokkuuden (joka vaatii yksinkertaistamista)
ja mittausteoreettisen perusteltavuuden (joka
vaatii liiallisen yksinkertaistamisen vastustusta) väliltä.
Yhtenä esimerkkinä tarpeesta parantaa
korkeakouluvertailuja voidaan nähdä Euroopan
komission joulukuussa 2012 tekemä päätös kehittää uusi, komission mukaan moniulotteinen,
kattava ja pätevä yliopistovertailujärjestelmä
(U-Multirank). Tässä järjestelmässä perinteisten vertailujen yksipuolisuudesta ja tutkimuspainotteisuudesta siirryttäisiin mittaamaan
korkeakoulutuksen laatua viidellä yhteismitattomalla ulottuvuudella, jotka ovat: 1. opetus ja
oppiminen (teaching and learning), 2. tutkimustoiminta (research), 3. tiedon jakaminen
(knowledge transfer), 4. kansainvälinen orientaatio (international orientation) sekä 5. paikallinen osallistuminen (regional engagement).2
Jos U-Multirankin voidaan nähdä vastaavan korkeakouluvertailujen hankaluuksiin, sen sisältöä on hyvä käyttää mallina myös
ammattikorkeakoulujen valmistumisvaiheen
opiskelijapalautekyselylle. Luonteva paikka
2 U-Multirank-projektista voi lukea verkosta osoitteesta: http://www.u-multirank.eu/ (poimittu 4.11.2013)
opiskelijapalautekyselyllä yllä mainitun kaltaisessa jaottelussa on ainakin 1. ”Opetus ja oppiminen” -osio. Tätä osiota U-Multirank onkin
aikeissa mitata muun muassa opiskelijatyytyväisyydellä seuraavissa osa-alueissa: oppimiskokemus (overall learning experience), opintojaksojen ja opetuksen laatu (quality of courses
& teaching), opintojen organisointi (organisation of the programme), yhteys opettajiin (contact to the teachers), oppimis- ja sosiaalinen
ympäristö (social climate), opiskelun tukipalvelut ja opiskeluympäristöt (facilities), opetuksen tutkimusorientaatio (research orientation
of teaching) sekä työelämäkokemukset (work
experience/practical elements).
Ammattikorkeakoulujen valmistumisvaiheen opiskelijapalautekyselyssä on ennakoitu
yliopistovertailujen U-Multirankin suuntaista kehitystä siten, että kyseisen vertailumittarin opiskelijatyytyväisyyden osa-alueet tulevat
kyselymittarissa edustetuiksi. Vertailumittarin
suosion mahdollisesti kasvaessa AVOP-kyselyä
voidaan tällöin käyttää työkaluna ilman suurempia muokkauksia myös kyseisessä korkeakouluvertailussa pärjäämisen parantamiseen.
Opiskelijapalautekyselyn paikka ammattikorkeakoulujen vuonna 2014 uudistettavassa rahoitusmallissa
Tulosohjauksen painopiste on siirtynyt Suomessa tehokkuuskriteereistä kohti koulutuksen laadun ja vaikuttavuuden parantamista (Nyyssölä & Saarinen, 1997). Tämä näkyy
myös opetusministeriön asiakirjassa ”Ehdotus
ammattikorkeakoulujen rahoitusmalliksi vuodesta 2014 alkaen” (OKM 2012, 19), jossa lukee
muun muassa seuraavasti:
”Hallitusohjelmaa tarkentavassa Koulutuksen ja tutkimuksen kehittämissuunnitelmasssa (KESU) vuosille 2011–2016
linjataan, että ammattikorkeakoulujen
rahoitus- ja säädösohjausta uudistetaan vuoden 2014 alusta vauhdittamaan
ammattikorkeakoulujen rakenteellista
uudistamista ja toiminnan laadun ja
vaikuttavuuden parantamista. Ammattikorkeakoulujen toimiluvat uudistetaan
vuoden 2014 alusta, jolloin koulutustarjontaa voidaan suunnata työelämän tarpeisiin paremmin vastaaviksi.
KESU-linjausten mukaisesti opetus- ja
kulttuuritoimen rahoitusta koskeva lainsäädäntö muutetaan ammattikorkeakoulujen osalta niin, että rahoituksen
määräytymisperusteissa ja rahoituskriteereissä otetaan huomioon ammattikorkeakoulujen koko lakisääteinen
toiminta laatua, vaikuttavuutta ja tehokkuutta korostaen. Korkeakoulukohtainen rahoitus määräytyy pääasiassa
suoritettujen tutkintojen ja opintoprosessien laadun ja tehokkuuden sekä työllistymisen perusteella.”
Retoriikasta huolimatta nähdäkseni korkeakoulutuksen laatu on varsinaisissa rahoitusmallia ohjaavissa ja korkeakouluille varoja
allokoivissa koulutuksen osoittimissa jäänyt
määrää vähemmälle huomiolle. Vuonna 2014
uudistettavan rahoitusmallin ehdotetaan nimittäin jakavan ammattikorkeakouluille varoja
seuraavien painotusten mukaisesti:
TAULUKKO 1. KOULUTUKSEN INDIKAATTORIEN PAINOARVOT UUDISTETTAVASSA RAHOITUSMALLISSA.
Koulutuksen indikaattori
Paino rahoitusmallissa
Suoritetut
ammattikorkeakoulututkinnot
0,46
55 op suorittaneiden määrä
0,26
Valmistuneet työlliset
0,03
Avoimen ammattikorkeakoulun ja
erillisten opintojen opintopisteet
0,02
Ammatillisessa
opettajankoulutuksessa suoritetut
opinnot
0,02
Opiskelijapalaute
0,03
Koulutuksen kansainvälisyys
0,03
25
15. Olen merkinnyt taulukossa punaisella ne indikaattorit, jotka mielestäni ovat puhtaasti määrällisiä ja joille ei ole – valmistuneita työllisiä
sekä kansainvälisyyttä kenties lukuun ottamatta – kuviteltavissa määritelmällisen sijaan
edes suoraa synteettistä yhteyttä koulutuksen
laatuun. Se, kuinka paljon tutkintoja suoritetaan, millä tahdilla opiskellaan tai mitä opiskellaan, kertoo kyllä kulurakenteesta ja määrällisistä koulutuksen lopputuotteista muttei
siitä, kuinka hyvä tämä lopputuote sisällöllisesti on. Työllistymistä ja kansainvälisyyttä
voidaan puolestaan pitää laadun kannalta hyvinä asioina sinänsä, mutta niitäkin mitataan
määrällisin indikaattorein ilman että selvitettäisiin, onko kansainvälistymisestä ollut hyötyä tai onko työllistytty koulutusta vastaaviin
tehtäviin. Yhteensä koulutuksen indikaattorit
määrittävät ammattikorkeakoulujen uudistettavasta rahoitusmallista 85 prosenttia.
Rahoitusmallin toinen 15 prosentin osuus
koostuu tutkimus- ja kehittämistoiminnan indikaattoreista seuraavalla tavalla:
TAULUKKO 2. TK-TOIMINNAN INDIKAATTORIEN PAINOARVOT UUDISTETTAVASSA RAHOITUSMALLISSA.
26
Tutkimus- ja kehittämistoiminnan
indikaattorit
TK-rahoitus
0,08
Ylemmät ammattikorkeakoulututkinnot
0,04
Julkaisut, taiteellinen toiminta,
audiovisuaaliset aineistot sekä tieto ja
viestintätekniset ohjelmat
0,02
Henkilöstön kansainvälinen liikkuvuus
0,01
TK-toiminnan painoista on vaikeampi määrittää, mitkä ovat laadullisia indikaattoreita,
mitkä eivät. Sanottakoon, että näistäkin mittareista ainakin TK-rahoituksessa, ylemmissä
ammattikorkeakoulututkinnoissa sekä henkilöstön kansainvälisessä liikkuvuudessa painottuvat määrälliset panokset, eivät laadulliset tuotokset. TK-rahoitus ei esimerkiksi kerro,
onko tämän seurauksena syntynyt sitä mitä oikeasti halutaan, eli innovaatioita tai innovatiivisia ihmisiä, vaan se kertoo korkeintaan
panostuksena näkyvästä toiveesta saada mainitulla sektorilla jotain aikaiseksi. (ks. Ketokivi 2011, 43–45)
Näkisin asian tämän vuoksi niin, että opiskelijapalautteella on kolmen prosentin vaatimattomalla osuudellaan rahoitusmallissa raskas vastuu edustaa indikaattoreissa parhaalla
sekä kattavimmalla mahdollisella tavalla sitä
laadullisuuden kriteeriä, jota rahoitusmallin
sanalliset kuvaukset niin selvästi painottavat
mutta jonka käytännön indikaattorit pitkälti
sivuuttavat.
Tämän laadullisuuden sisällä opiskelijapalautteen erityisenä tehtävänä on edustaa opiskelijanäkökulmaa koulutuksen laatuun – asiaa,
joka tulee tällä tavalla parhaiten mitatuksi ja
jota ei millään muulla tavalla rahoitusmallissa
oteta huomioon.
Koulutuksen käytännöt -osakokonaisuuden yhteiskunnalliset ja koulutuspoliittiset
taustat
Koulutuksen käytäntöjen osakokonaisuus koostuu laadukkaan ammattikorkeakoulutuksen hyviksi koetuista käytännöistä ja niiden toimeenpanon onnistuneisuuden mittaamisesta. Tässä
osiossa yhteiskunnallisista ja koulutuspoliittisista trendeistä näkyvät ennen kaikkea opetuksen ja oppimisen laadullisuus, rahoitusmallin
painottama työelämäläheisyys sekä koulutuksen kansainvälisyyden tosiasiallinen laatu (päällekkäisyyttä ei ole, sillä rahoitusmallin
muissa indikaattoreissa kansainvälisyyttä mitataan opiskelijoiden ja opettajien liikkuvuuden
määrällä). Lisäksi osio mittaa kaikki U-Multirank-yliopistovertailumittarin edellä mainitut
opiskelijatyytyväisyyden oleelliset osa-alueet.
Anna Parpalan (2010, 1–2) mukaan yhtenä Bolognan prosessin ilmentymänä on ollut opetuksen ja oppimistavoitteiden täyttymisen laadunvalvonnan kehittyminen.
Oppimiskeskeisen ajattelun korostuessa korostui hänen mukaansa 2000-luvun alussa enenevissä määrin myös oppijalähtöinen oppimisen
ja opettamisen malli perinteisen opettajalähtöisen mallin sijaan.
Väittäisin tämän kehityskaaren olevan
myös pidemmän aikavälin kasvatustieteellisen teorian kehityksen mukainen: siirtymä
keskitetysti ohjatusta behavioristisesta oppimisesta kokonaisvaltaisempaan, konstruktivistisempaan oppimiskäsitykseen (ks. luku 2.4
Teoreettinen taustatyö). Tämä opetuksen laadunvalvontaan liittyvä paradigman muutos –
oli sen aiheuttaja mikä tahansa – näkyy kyselyn
Opetus ja oppiminen -moduulissa. Väittämät
on muotoiltu tarkoituksenmukaisuuden rajoissa mahdollisimman oppijalähtöisesti, opintoihin liittyvää ohjausta, suunnittelua sekä oppijan yksilöllisiä oppimistarpeita korostaen.
Työelämäläheisyyden, ammattikorkeakoulutuksen tärkeän painopisteen, lisääntyvä korostaminen näkyy Koulutuksen käytännöt -osakokonaisuudessa, Työelämäyhteydet
ja neuvonta -osiossa sekä Opetus ja oppiminen -osion käytännönläheisessä painotuksessa.
Kansainvälisyyttä on puolestaan mitattu laadullisesta näkökulmasta Kansainvälisyys, monikulttuurisuus ja kieliopinnot -osiossa.
Osaamisen kehittyminen osakokonaisuuden yhteiskunnalliset ja koulutuspoliittiset
taustat
Osaamisen kehittyminen -osakokonaisuus
mittaa opiskelijan arviota osaamisensa kehittymisestä ammattikorkeakoulutuksen aikana.
Osaamisen kehittyminen -osion kyselyyn mukaan ottamisessa yhdistyvät työelämäläheisyyden tarve – osiossa mitataan työelämärelevanttien osaamisalueiden kehittymistä – sekä yllä
mainittu opiskelijalähtöisyyden ja oppimistulosten painottaminen opettajakeskeisten käytäntöjen mittaamisen sijaan.
Sisällöltään osaamisen kehittymisen osakokonaisuus on lähes suoraan seurausta Bolognan prosessista, jonka tiimoilta eurooppalaista liikkuvuutta on pyritty parantamaan
yhdenmukaistamalla ja tuomalla esiin kansallisten koulutusjärjestelmien tutkintojen seurauksena syntyvät oppimistulokset ja osaamis-
sisällöt. Nämä sisällöt ovat eurooppalaisessa
viitekehyksessä kuvattuina EQF-standardeissa (European Qualifications Framework), jotka
on tarkoitus toimeenpanna kansallisella tasolla
kansallisten viitekehysten avulla (NQF National Quality Framework). Tutkintotasoja, joiden
mukaan osaamistulokset jaotellaan, on kahdeksan. Näistä alemmat ammattikorkeakoulututkinnot sijoittuvat tasolle 6.
Ammattikorkeakoulujen rehtorineuvosto
ARENE ry on tehnyt varsin yksityiskohtaisen
suosituksen kansallisesti käyttöönotettavista
NQF-kompetensseista, jotka ovat jaettavissa
yhteisiin ja koulutusohjelmakohtaisiin kompetensseihin (ARENE 2006). Koska AVOP
toiminee osana rahoitusmallia koulutuksille
yhteisenä indikaattorina, ovat juuri yhteiset
ARENEn määrittelemät kompetenssit luonteva käsitepohja oppimis- ja osaamistulosten
mittaamiselle. Kyseiset kompetenssit on muutamin poistoin ja lisäyksin muunnettu mittareiksi tai indikaattoreiksi eli operationalisoitu
AVOP-kyselyn Osaamisen kehittyminen osakokonaisuuteen.
Kokonaistyytyväisyys-osakokonaisuuden yhteiskunnalliset ja koulutuspoliittiset taustat
Koulutuksen käytäntöjen sekä osaamisen kehittymisen lisäksi opiskelijatyytyväisyys on tärkeä
osa koulutuksen laadun opiskelijanäkökulman
mittaamista. Kolmannen koulutuksen laadun
näkökulman, Kokonaistyytyväisyyden, voidaan
nähdä ilmentävän opiskelijalähtöisyyden korostumista korkeakoulupolitiikassa. Olettaen,
että opiskelija osaa arvioida koulutuksen toteutumista suhteessa annettuihin realistisiin
tavoitteisiin oikein, voi kokonaistyytyväisyyttä pitää itsessään tärkeänä hyvän koulutuksen
osa-alueena.
Tyytyväisyys voi tietenkin olla joidenkin mielestä väärin perustein syntynyt (ks.
Richardson 2005, 403). Opiskelijan tyytyväisyys mittaa hänen valmistumisvaiheen arviotaan koulutuksen onnistuneisuudesta. Tämän
arvion voidaan väittää olevan subjektiivisesta
näkökulmastakin harhainen esimerkiksi osoittamalla arvion muuttuvan opiskelijan saadessa enemmän tai parempaa kokemusta siitä,
27
16. minkälainen koulutus hänen elämänsä kannalta on tarpeellisin. Tämä näkökulma liittyy arvion mittausteoreettiseen stabiliteetin käsitteeseen, johon palaan kolmannessa luvussa.
Tässä vaiheessa on kuitenkin syytä todeta, ettei tyytyväisyys viittaa sen enempää jonkun muun kuin opiskelijan itsensä määrittelemään väärin kuin oikein ymmärrykseenkään
vaan korkeakoulun kykyyn ottaa huomioon
opiskelijan subjektiivisesti koulutukselleen tai
tutkinnon sisällölleen asettamat halut, toiveet
ja tarpeet. Täten kokonaistyytyväisyys ei käsitteellisestä näkökulmasta mitenkään väistämättä mallinna asiakaslähtöistä kaiken kattavaa ja
perusteetonta ”asiakas on aina oikeassa, vaikka
se olisikin väärässä” -ajattelua konsumerismin
kritiikin mukaisesti3. Käsitys, että se niin tekisi, olettaa opiskelijan arvioivan koulutustaan
markkinahyödykkeenä, jonka tarkoituksena on
pikemminkin tyydyttää opiskelijan (yleensä lyhyen tähtäimen pinnalliset ja perustelemattomat) mielihalut kuin tämän ylevämpinä nähdyt
pitkän aikavälin oppimis- tai henkisen kasvun
tavoitteet.
28
1.2. Kokonaisvaltainen näkökulma
yleiseen mittausteoriaan
Raportin ensimmäisen osion rakenne sekä tässä esiteltävä näkökulma kyselymittarin arvioimiseen noudattelee läheisesti Mikko Ketokiven
(2011, 43–83) näkemyksiä mittauksen luotettavuuden arvioinnista.
Raportin ensimmäisen osion kappalejako perustuu Ketokiven esittelemään kokonaisvaltaiseen, realistiseen ja klassisen testiteorian
mukaiseen näkemykseen yleisestä mittausteoriasta. Kappalejako noudattelee sitä järjestystä, jossa toivottu asia, idea tai käsite ensin valikoidaan ja rajataan teoreettiseksi mitattavaksi
käsitteeksi ja sitten muunnetaan tätä määritelmää kuvaavaksi määrämittaiseksi empiiriseksi indikaattoriksi tai mittariksi. Kun puhutaan
kvantitatiivisesta kyselymittarista, tarkoittaa
tämä yhden tai useamman käsitettä kuvaavan
lukuarvon (tai estimaatin) määrittämistä rakennetun mittarin (tai estimaattorin) avulla alkuperäistä teoreettista käsitettä kuvaamaan.
Kun mittari on rakennettu, sen toimivuutta
arvioidaan erinäisin luotettavuuskriteerein empiirisellä pilottikyselyllä.
Viittaan näkökulmaan attribuutilla ”kokonaisvaltainen” siksi, että haluan korostaa
käsitteen määrittelyn merkitystä erotuksena
tämän jo määritellyn käsitteen mittaamisen
onnistuneisuudesta tietyssä mittaustilanteessa. Tämän teen siksi, että mielestäni (Ketokiven käsityksen mukaisesti) käytännön syistä
liian usein mittauksen luotettavuusanalyysissa tarkastellaan vain operationalisoinnin seurauksena syntyneen mittarin mittausvirheen
osuutta, huomioimatta mahdollista määritysvirheen osuutta mittarin rakentamisen (epä)
onnistuneisuudesta.
Määritysvirhe syntyy jo ennen mittaustilannetta siirryttäessä teoreettisesta käsitteestä (joka yleensä valikoituu ennen tutkimuksen
aloittamista) empiiriseen käsitteeseen. Hyvä
esimerkki määritysvirheen unohtamisesta yleiselläkin tasolla on se, että toisinaan virheellisesti kuvitellaan käsitteellisen analyysin olevan
yksin kvalitatiivisen tutkimuksen ominaispiirre
eikä kuuluvan kvantitatiiviseen tutkimukseen
lainkaan. Tällöin mittareiden rakentaminen ja
niiden testaaminen nähdään ikään kuin itsetarkoituksellisena prosessina, jossa mittarin yhteydestä teoreettisen käsitteistöön ei olla lainkaan huolissaan (tästä kirjoittaa muun muassa
Töttö 2012).
Lopullisen mittaustuloksen voidaankin
määritysvirheen huomioivan kokonaisvaltaisen mittausteoreettisen näkökulman mukaan
nähdä koostuvan seuraavista komponenteista:
x=X+s+m
missä x=mittaustulos, X=teoreettisen käsitteen todellinen arvo, s=määritysvirhe ja
m=mittausvirhe (Ketokivi, 2011, 46).
Kaava on kuvaannollinen: se ei tarkoita,
että suureet olisivat yhteismitallisia tai suoraviivaisesti laskettavissa yhteen, vaan ainoastaan, että saatu mittaustulos voidaan jakaa kyseiseen kolmeen osatekijään eli komponenttiin.
Koska määritysvirheen ja mittausvirheen
osuuksia on vaikeaa määrämittaisesti erotella (mikä ei tarkoita, ettei niitä tulisi eritellen
3 Todettakoon tässä kuitenkin, että tietyissä tapauksissa, kuten paljon käytetyn Noel-Levitz Student Satisfaction Surveyn kohdalla, kyselyn sisältö
perustuu nimenomaan kulutusteoriaan. Osaksi siitä syystä, että haluttiin tehdä eksplisiittisen pesäero kulutustutkimuksen traditioon, on AVOP-kyselyssä valittu varsin erilainen mittari opiskelutyytyväisyydelle.
pohtia), klassisessa testiteoriassa yllä olevat
mittaustuloksen komponentit typistetään usein
kahteen:
x=X+ ε, missä ε=s+m 4
Yleistettävyysteoriassa mittausvirhe ε jaetaan
vielä systemaattiseen ja satunnaiseen mittausvirheeseen. Koska klassisessa testiteoriassa
mittarin reliabiliteetti samaistetaan toistettavissa olevan varianssin (systemaattisen mittausvirheen JA (systemaattisen) todellisen
arvon varianssin) osuudeksi mittaustuloksen
kokonaisvarianssista, ei tällä päästä käsiksi systemaattisen mittausvirheen osuuteen, sillä kyseisellä lähestymistavalla se tulee samaistetuksi
mittauskohteen todellisen arvon kanssa.
Systemaattisen mittausvirheen huomiotta jättäminen on kuitenkin satunnaista vakavampaa. Tämä tuo mukanaan nimittäin myös
systemaattisen harhan. Yleistettävyysteoriassa
systemaattisen mittausvirheen osuutta voidaan
tarkastella operationalisoimalla ja mittaamalla tai vaihtoehtoisesti teoreettisesti ja käytännöllisesti arvioimalla metoditekijöiden (tässä
tapauksessa kyselytutkimukseen sisältyvien)
mittauskohteen todellista arvoa tai tosiarvoa
vääristävää vaikutusta mittaustuloksessa. Metoditekijöillä tarkoitetaan tässä siis sellaista
mittaustavan tai mittarin vaikutusta mittaustulokseen, joka on ymmärrettävissä todellisesta
arvosta poikkeavaksi osuudeksi mittaustuloksesta. Koska tällaiset tekijät ovat valitun metodin, eivät mittauskohteen ominaisuuksia, kutsutaan niitä metoditekijöiksi.
Klassisessa testiteoriassa metoditekijöihin
liittyvään ongelmaan voidaan päästä käsiksi ainakin osittain hyvällä validiteetin tarkastelulla,
mikä puolestaan tarkoittaa huomion kiinnittämistä mittaukseen kokonaisvaltaisesti, prosessin alun käsitteen valinnasta ja määrittelystä aina mittaustuloksen tulkintaan. (Ketokivi
2011, 43–83)
Mittarin kyky kuvata tiettyä teoreettista
käsitettä on siis riippuvaista teoreettisen käsitteen empiirisen määrittelyn onnistuneisuudesta. Määrittelyn onnistuneisuuden arviointi
on tämän vuoksi ensisijaista: epäonnistunutta
määrittelyä ei voida mitenkään pelastaa mittausvirhettä varsinaisessa mittaustilanteessa minimoimalla. Yllä olevan kaavan mukaisten mittaustulosten komponenttien määrittely
voidaankin jakaa seuraavankaltaiseen, ohjeelliseen ja polkuriippuvaiseen ajalliseen prosessiin
(lainattu teoksesta Ketokivi 2011, 44):
KUVIO 1. MITTAAMISEN YLEINEN PROSESSI.
Mittaria rakentaessa aloitetaan siis valitsemalla, rajaamalla tai vastaanottamalla teoreettinen
käsite (jos tämä tulee tutkijalle annettuna, on
kyse tietenkin viimeisestä), joka muunnetaan
empiiriseksi käsitteeksi selvittämällä, kuinka
teoreettista käsitettä voitaisiin mitata. Jos teoreettinen käsite ei tule annettuna, tulee teoreettinen käsite valita ja rajata suhteessa johonkin
ennalta asetettuun tavoitteeseen. Näissä tapauksissa jo teoreettisen käsitteen rajauksessa
ja valinnassa voi tapahtua virhe, jos teoreettinen käsite ei vastaa tutkimukselle annettua
tavoitetta.
Tämän jälkeen teoreettinen käsite muunnetaan empiiriseksi käsitteeksi, eli määritellään
käsitteet ja termit joko teoreettiselta tai käytännölliseltä pohjalta perustellusti siten, että
empiirinen käsite muuntuu mitattavissa olevan mittarin muotoon. Kun empiirinen käsite
on määritelty operationalisoitavaan muotoon,
tämä käsite muunnetaan mittariksi eli operationalisoidaan, minkä jälkeen suoritetaan mittaus arvioimalla mittarille sopivin mittaustapa,
mittausympäristö ja tiedonkeruukokonaisuus.
Kyselymittarin kohdalla tähän työvaiheeseen
kuuluu niin otanta-asetelman suunnittelu kuin
käytännön kysymykset siitä, mitä taustatietoja
tarvitaan esimerkiksi vastausten painottamiseen, miten vastaajia kyselymittariin kerätään
sekä miten ja missä kyselyyn vastataan.
Siirryttäessä empiirisestä käsitteestä varsinaiseen mittaustulokseen, on aina odotettavissa jonkin suuruinen mittausvirhe, jonka
usein oletetaan olevan normaalisti jakautunut
4 Kokonaisvaltaisesta mittausteoreettisesta näkökulmasta on tärkeää, ettei mittausvirhettä sekoita samalla latinalaisella aakkosella usein merkittävään jäännöstermiin eli residuaaliin, joka tietyin ehdoin rajatuissa tapauksissa estimaatin mittausvirhettä hyvin approksimoikin. Myös tässä
kaavassa komponenttien summaaminen on ymmärrettävä kuvaannollisena havainnollistuksena.
29
17. 30
satunnaismuuttuja. Mittausvirhe voi syntyä
mittarin epätarkkuudesta, mittaria tulkitsevan
tutkijan epätarkkuudesta, lähtöarvojen määrittelyn epätarkkuudesta tai vaikka, kuten usein
kyselymittarin kohdalla, mittarin antamien arvojen vaihtelusta epäoleellisten kolmansien tekijöiden suhteen.
Yllä olevassa prosessikaaviossa määritysvirhe s tapahtuu siis siirryttäessä teoreettisesta
käsitteestä empiiriseen käsitteeseen, mittausvirhe m siirryttäessä empiirisestä käsitteestä
mittaustulokseen. Prosessin kaaviossa on merkitty korrespondenssit k1 sekä k2, jotka kuvaavat prosessin mukaisten käsitteiden välistä
suhdetta. Jos teoreettinen käsite määritellään
sen empiirisenä muunnoksena, oletetaan korrespondenssi k1 identiteetiksi. Tällöin puhutaan operatiivisesta määritelmästä. (Ketokivi
2011, 47) Tässä raportissa omaksuttu näkökulma on realistinen eikä operatiivinen, koska se
ei tämänkaltaista identiteettiä oleta vaan pyrkii
tarkastelemaan mittaamisen päämäärän (tässä teoreettisen käsitteen) korrespondenssia
saatuun varsinaiseen mittaustulokseen koko
prosessin pituudelta. Tämä tehdään eritellen
molempia korrespondensseja vastaavien prosessien onnistuneisuutta arvioimalla sekä määritysvirheen että mittausvirheen todennäköisyyttä ja suuruutta.
AVOP-kyselyn kehitystyössä on päädytty realistiseen tulkintaan mittaamisesta siksi,
että operatiivisessa määritelmässä menetetään
mahdollisuus tarkastella käsitteen määrittelyssä mahdollisesti tapahtuvia perustavanlaatuisia
virheitä. Realistisen tulkinnan omaksumisen
ongelma kiisteltyyn ja tulkinnanvaraiseen koulutuksen laadun käsitteeseen on, että tosiarvosta puhuminen antaa ymmärtää objektiivisesti
olemassa olevan ’koulutuksen laatu’ nimisen
olion, jonka tosiarvon vaihtelua voidaan luotettavuusanalyysissa sitten vertailla mittaustuloksen antamien arvojen vaihteluun määrittäen
erotuksen mittariin palautuviksi heikkouksiksi.
Tässä raportissa ei kyetä käsittelemään
tähän valintaan mahdollisesti liittyvää metodista sen enempää kuin totuusteoreettistakaan
ongelmaa. Todettakoon, että jos koulutuksen
laadun suhteen ei halua omaksua ylimääräistä
tieteellisen realismin mukaista objektiivisen
koulutuksen laadun olion olemassaolon oletusta, voidaan tosiarvo ja sen ympärille rakennettu käsitteistö myös ymmärtää pragmatistisena
tarkistuksena mittarin toimivuudesta sisäisesti
yhdenmukaisena ja synteettisesti perusteltuna
koulutuksen kehittämisen työvälineenä.
Operatiivista määritelmää ei siis ole hylätty totuusteoreettisista, vaan käytännöllisistä syistä. Siirryttäessä koulutuksen laadun
teoreettisesta, käytännöllisestä ja poliittisesta
käsitteestä sen (tässä kyselymittarilla) mitattavaan empiiriseen määritelmään, voitaisiin
tehdä rajaus, jossa koulutuksen laadun empiiriseksi käsitteeksi valittaisiin niin sanottu
määrällinen indikaattori, kuten korkeakoulussa suoritettujen tutkintojen määrä. Kun tutkintojen määrää sitten mitataan, huomataan, ettei
mittaustilanteessa synny lainkaan mittausvirhettä: suoritettujen tutkintojen määrä saadaan
suoraan rekistereistä ja tietokannoista. Kun
korrespondenssi k1 oletettaisiin vielä operatiivisesti identiteetiksi, päädyttäisiin sitten suosittelemaan tutkintojen määrää laadun indikaattoriksi, sillä a) operatiivisesti määriteltynä
mittarilla ei ole määritysvirhettä b) kyseisellä
operationalisoinnilla on mitä luultavimmin pienempi mittausvirheen osuus kuin vaikkapa käsissä olevalla laadullisella opiskelijapalautemittarilla. Mittari tulkitaan lähes aukottomaksi.
Tämän tulkinnan mukaan teoreettisen
koulutuksen laadun käsitteen ja tutkintojen
määrän mittaustuloksen välillä korrespondenssi on lähellä yhtä. Väitteen pätevyyden arvioinnin kannalta on hyödyllistä erottaa koulutuspoliittisen arviointityön kannalta tärkeät
koulutuksen määrän, yksikkölaadun ja kokonaislaadun käsitteet. Valitaan esimerkin vuoksi
koulutuksen määrän mittariksi korkeakoulun
tuottamien tutkintojen määrä tietyllä aikavälillä ja yksikkölaadun mittariksi laatu/tutkinto, joka operationalisoidaan esimerkin vuoksi
kapeasti (korkeakoulun aikaansaamana) osaamisena tutkintoa kohden. Tällöin korkeakoulun
tuottama kokonaislaatu on osaamisen määrä
(annetulla aikavälillä), mikä saadaan kertomalla yksikkölaatu tutkintojen määrällä (annetulla
aikavälillä).
Koulutuksen laadulla voidaan siis viitata
joko kokonaislaatuun tai yksikkölaatuun. Jos
viitataan ensimmäiseen, korrespondenssin k1
olettaminen identiteetiksi pätee korkekaoulukohtaisesti keskimäärin, kunhan yksikkölaatu
on riippumaton kokonaislaadusta. Tällöin tutkintojen määrän mittari ei systemaattisesti yli
tai aliarvioi minkään korkeakoulun kokonaislaatua samaistaessaan kokonaislaadun tämän
tuottamien tutkintojen määrään. On huomionarvoista, että tässäkin tapauksessa yksikkölaatuun olisi järkevää kiinnittää huomiota,
jos yksikkölaadun mittarin avulla pystyttäisiin
tarkentamaan kokonaislaadun korkeakoulukohtaista arviota kustannustehokkaalla tavalla verrattuna tilanteeseen, jossa kokonaislaatu on samaistettu tutkintojen määräksi kertaa
jokin tutkintokohtaista yksikkölaatua kuvaava
vakio. Asian estimoiminen on hyödyllistä, jos
estimaatin keskivirhe on pienempi kuin koulutuksen laadun keskihajonta yli korkeakoulujen,
ja tarkemmasta informaatiosta voidaan johtaa
kustannustehokkaampia kehitystoimenpiteitä.
Riippumattomuuden ennaltaolettaminen
ei kuitenkaan ole perusteltua, sillä mittaria
käytetään koulutuspoliittisessa arviointityössä nimenomaan siksi, että sillä olisi vaikutus
korkeakoulujen toimintaan. Jos rahoituskriteereinä käytetään yksinomaan tutkintojen määrää ja korkeakouluja palkitaan piittaamatta yksikkölaadusta, on korkeakoulun rationaalista
kasvattaa tutkintojen määrää ja minimoida yksikkökustannukset. Kustannustehokkuus vakioiden yksikkökustannusten pienentämisestä
seuraa yksikkölaadun heikkeneminen. Tällöin
yksikkölaadun ja tutkintoje määrällä on yhteys,
jonka perusteella tutkintojen määriään eniten
kasvattaneet korkeakoulut ovat todennäköisesti yksikkölaatuaan samalla myös eniten heikentäneet.
Jos tutkintojen määrän kasvu ei korkeakoulukentällä ole riittävä korvaamaan yksikkölaadun heikkenemisen vaikutusta laadun kokonaismäärään, on tutkintojen määrän mittari
ennen pitkää, niin käytännöllisilta vaikutuksiltaan kuin tosiarvon vastaavuudeltaan, huonompi kokonaislaadun mittari kuin esimerkiksi korkeakoulujen ikkunoiden määrä. Melko
kyynisin, muttei täysin perusteettomin oletuksin, sekä yksikkölaadusta että tutkintojen
määrästä riippumaton ikkunoiden määrän ohjausmittari sekä vaikuttaa pitkällä aikavälillä
kokonaislaatuun vähemmän haitallisesti että
vastaa paremmin kokonaislaadun tosiarvoa
kuin laatuun käänteisesti vaikuttava tutkintojen määrän mittari.
Koska yksikkölaadun seuraaminen on siis
tärkeää, vaikka olisi yksinomaan kiinnostunut kokonaislaadun maksimoimisesta (mikä
ei myöskään liene yhteiskuntapoliittisesti järkevä päämäärä, tarvitaanhan yhteiskunnassa
muutakin kuin korkeakouluosaamista), ei korrespondenssia k1 voida olettaa identiteetiksi.
Koska kokonaislaatu saadaan kertomalla yksikkölaatu tutkintojen määrällä, ja tutkintojen
määrä on muualta saatavissa, on tässä raportissa kuvattu kyselymittari rakennettu mittariksi ammattikorkeakoulun tutkintokohtaisesta yksikkölaadusta ja lähestymistavaksi valittu
realistinen eikä operatiivinen määritelmä. Kyselymittarista voidaan toki johtaa myös kokonaislaadun totaaliestimaatti, vaikka tässä onkin
keskiarvoestimaattiin keskitytty.5
Vaikka kuviosta 1 löytyvän prosessin osien
erittelyn mukainen analyyttinen jako on prosessin kuvausta selkiyttävä, ei se missään nimessä tarkoita, ettei prosessissa edettäisi osittain myös toisessa järjestyksessä, saati ettei
empiirisen ja teoreettisen käsitteen välille olisi vaikeaa tehdä selvää erottelua. Näin on esimerkiksi siinä tapauksessa, kun teoreettinen
käsite ei tule suoraan annettuna, vaan tehtävänanto antaa tilaa myös teoreettisen käsitteen
valikoinnille.
Mittarin määrittely jo toimeksiannossa kyselyksi vaikuttaa myös siihen, mitä teoreettista käsitettä mittarin voidaan nähdä kuvaavan.
Koska kyselymittari rajaa tarkastelun kohteeksi väistämättä opiskelijan antaman arvion tutkinnostaan, voi tämä vaikuttaa käsitteellisestä
näkökulmasta riippuen vaihtoehtoisesti joko 1)
teoreettisen tai 2) empiirisen käsitteen valintaan, mikä sitten puolestaan vaikuttaa mittaustuloksen tulkintaan. Ensimmäisessä tapauksessa teoreettinen käsite voidaan määritellä
koulutuksen laadun opiskelijanäkökulmaksi,
5 Tämän laadun ymmärretään pitävän sisällään muutakin kuin osaamisen määrän.
31
18. 32
tai vaihtoehtoisesti jälkimmäisessä tapauksessa opiskelijapalautekysely voidaan nähdä
koulutuksen yleisen laadun teoreettisen käsitteen empiirisenä käsitteellistyksenä.
Prosessin osien päällekkäisyydestä huolimatta prosessin suunnassa voidaan nähdä
kronologisen prosessijärjestyksen mukainen
virheiden hierarkia, joka vastaa karkeasti psykometrian mukaista validiteetin ja reliabiliteetin välistä hierarkiaa (ks. luku 2.3 ja 3). Jos
korrespondenssi k1 on huono ja määritysvirhe
täten suuri, eikä empiirinen käsite kuvaa teoreettista käsitettä hyvin tai peräti millään tavalla, on jokseenkin yhdentekevää, kuinka hyvä
korrespondessi k2 on, eli kuinka suuri mittaustilanteessa syntyvän mittausvirheen osuus itsessään on. Tällöin mittari saattaa olla reliaabeli, muttei validi. Ivallisesti voitaisiin väittää,
että jos on syytä olettaa empiirisen määritelmän olevan jopa päinvastainen kuin toivotun
mittauksen teoreettisen kohteen, voidaan suuremman mittausvirheen nähdä olevan pienempää toivottavampi: tällöin edes osa mittauksesta saattaa osua oikeaan maaliin eli valittuun
mittauskohteeseen.
Raportin ensimmäisen osion ensisijaisena tarkoituksena on siis osoittaa, että empiirinen käsite on hyvin määritelty ja määritysvirheen osuus pieni. Tämän määritysvirhen voi
halutessaan ymmärtää suhteessa objektiiviseen
tosiarvoon tai pragmaattisesti toimivaan koulutuksen laadun käsitteeseen. Toissijaisena tavoitteena on osoittaa, että mittaus toimii hyvin
ja mittausvirheen osuus on pieni. Raportin ensimmäisen osan rakennetta voidaankin kuvata
seuraavalla yllä kuvattua prosessikaaviota mukailevalla kaaviolla:
Luvuissa yksi ja kaksi käsitellään kysymyksiä,
mitä ja miten mitataan. Tähän kuuluu käsitteen
valinta ja rajaus (teoreettinen käsite), käsitteen
määrittely (empiirinen käsite) sekä empiirisen
käsitteen muuntaminen mittariksi (operationalisointi). Lukujen tavoitteena on kuvata määritysvirheen mahdollisuutta käsitteen määrittelyn ja operationalisoinnin prosessien kautta.
Tässä ei voida sanoa varsinaisesti siirryttävän
yllä kuvaillun kaltaisesti teoreettisesta koulutuksen laadun opiskelijanäkökulman käsitteestä empiiriseen määritelmään. Alkuperäinen
valittu käsite on nimittäin paitsi teoreettisesti,
myös käytännöllisesti, poliittisesti ja lainsäädännöllisesti rajattu.
Luvussa kolme käsitellään kysymystä, miten varsinainen mittaus toimii. Tässä luvussa
otan Niiniluodon yleisille mittausteoreettisille ominaisuuksille antamaa määrittelyä (1984,
183–191) mukaillen kantaa psykometrisestä
näkökulmasta ennen kaikkea mittarin reliabiliteettiin ja validiteettiin. Mittarin käytännön
hyötyä en erittele, vaan se tulee teemana näkyviin sekä reliabiliteetin että validiteetin käsittelyjen yhteydessä. Reliabiliteetti ja validiteetti
voidaan edelleen jakaa pienempiin osa-alueisiin, joihin palataan myöhemmin raportissa.
Luvussa kolme tarkastellaan lisäksi systemaattista mittausvirhettä sen erityisluonteen
vuoksi erillään reliabiliteetista ja validiteetista. Systemaattista mittausvirhettä kartoittavassa luvussa 3.2 käsittelen metodifaktoreita,
kuten kyselyn pituuden ja en osaa sanoa -vaihtoehdon poisjättämisen vaikutusta sekä taustamuuttujien vaikutusta kyselymittarin tulosten
yleistettävyyteen.
KUVIO 2. KOULUTUKSEN LAADUN MITTAAMINEN OPISKELIJAPALAUTEKYSELYLLÄ.
Yllä olevaan prosessikaavioon merkatut
kovarianssinuolet mittausteoreettisten ominaisuuksien välillä tarkoittavat, että psykometriset ominaisuudet ovat keskinäisriippuvaisia.
Joissain tapauksissa, kuten sisältövaliditeetin
ja konsistenssin kohdalla, ne ovat jopa keskenään ristiriidassa. Siksi kaikkia ominaisuuksia
on usein mahdotonta maksimoida. Tätä aihepiiriä käsittelen luvussa 2.3.
Osiossa kaksi esitän kyselyn sekä sen optimaaliseen käyttöön liittyvän toiminnallisen
kokonaisuuden ensimmäisessä osassa tekemäni arvion pohjalta.
Mitä kokonaisvaltaisesta näkökulmasta jää
raportissa vähemmälle huomiolle?
Tässä raportissa valituksi tulleesta näkökulmasta käytän termiä kokonaisvaltainen, koska se huomioi mittaamisen prosessin kokonaisuudessaan. Mitä tulee prosessiin mahdollisesti
liittyviin virhelähteisiin, teen kuitenkin tiettyjä
rajauksia. Kyseessähän on kyselymittarin pilotointi: tehtävä, jonka mandaatti loppuu tältä
erää kyselymittarin rakentamiseen ja jatkotyöstämisen ehdotusten antamiseen luotettavuusanalyysin perusteella.
Siirryttäessä pitkä matka valmiista mittarista sen antamien raakatulosten kautta aineiston putsauksen ja tulkittujen tulosten mukaiseen toimeenpanoon, virhelähteitä ilmaantuu
tietenkin lisää.
Ensinnäkään kyselymittariin eivät vastaa
kaikki kiinnostusperusjoukon alkiot. Vaikka
suunnitelmien mukaan varsinaista otantaa ei
tehdä vaan koulutuksen laatu johdetaan poimimalla opiskelijapalautekyselyyn kaikki perusjoukon alkiot, tapahtuu aina vastauskatoa,
mikä luo oman virhelähteensä. Tämä virhelähde vaikuttaa tilastolliseen päättelyyn, jossa perusjoukon osajoukolta, eli kyselyn vastaajajoukolta, saadut estimaatit yleistetään koskemaan
koko perusjoukkoa.
Tätä virhettä voitaisiin kutsua, mukaan lukien mahdollinen otanta-asetelman suunnittelu, yhdistetyksi otanta -ja päättelyvirheeksi. Risto Lehtosta mukaillen (2004, 14) tähän
otantastrategian kokonaisuuteen kuuluu otanta-asetelma ja valittu estimaattori. Tämän li-
säksi otanta- ja päättelyvirheeseen ymmärretään kuuluvaksi analyysivaiheeseen tultaessa
tapahtuva, puuttuneisuudesta pitkälti johtuva
ei-otantavirhe (non-sampling error, ks. Lehtonen 2004, 112), jota voidaan ainakin osittain
korjata uudelleenpainotuksilla. Vaikka virhettä sivutaan tarkastelemalla koulutuksen laadun mittarista johdetun keskiarvoestimaattorin
harhattomuutta ja tehokkuutta ilman puuttuneisuutta, jää tämä tarkastelu vähemmälle
huomiolle, koska virhelähde ilmenee vasta kyselymittarin rakentamisen jälkeen ja riippuu
analyysivaihetta edeltävästä mahdollisesta valinnasta uudelleenpainotusmenetelmäksi.
Tämän lisäksi käytännössä kaikkiin virhelähteisiin ja prosessin osien mukaisten tulosten tulkintaan liittyy tulkintavirheen osuus:
mikään mittaustuloksen komponenteista ei ole
yksiselitteisesti ja suoraviivaisesti mitattavissa,
vaan niiden kaikkien arviointi on jokseenkin
tutkijan subjektiivisesta harkinnasta sekä arvovalinnoista riippuvaista. Ennen kaikkea näin
on tietenkin siinä vaiheessa, kun kyselymittari
on rakennettu, mittarista on tehty päättely tavoiteperusjoukkoon ja näiden päätelmien mukaisille estimaateilla täytyy tehdä sisällöllinen
tulkinta. Toisin sanottuna merkittävä virhelähde on vielä tulostenkin tulkinnan vaihe, vaikka
kaikki olisi tilastollisten estimaattien suhteen
täysin kunnossa. Vaikka tämä vaihe mittareiden käytöstä on jo selvästi mittarin rakentamisen näkökulmasta periferiassa, täytyy tulosten
tulkintaakin pohtia jo mittaria rakennettaessa. Tämän vuoksi raportti sivuaa myös tulosten
tulkintaa ja sisällöllistä analyysia esitetyistä tilastollisista parametreista. Raportti loppuukin
siihen, mitä kokonaisvaltaisen mittausprosessin tuloksena tuotetaan: käytännöllinen koulutuksen laadun kehittämisen työkalu, joka tulee
toimiakseen sisältää mahdollisimman vähän
rajaus-/tulkintavirhettä, määritysvirhettä, mittausvirhettä, otanta- ja päättelyvirhettä ja joka
täytyy vielä onnistuneesti tulkita ja toimeenpanna osana korkeakoulujen kehitystyötä.
Hienosyistä virhelähteiden jakoa voidaan paikantaa esimerkiksi seuraavan kuvion
mukaisesti. Kronologisena järjestyksenä virhelähteiden esiintyminen viittaa siihen, että
33
19. 34
prosessin alussa tapahtuvat virheet voivat ohjata koko kyselymittarin rakentamisen väärille
urille. Jos teoreettisen käsitteen valinta ja rajaus eivät esimerkiksi ole mittarin käyttötarkoituksen eli korkeakoulujen arviointi- ja ohjaustyön näkökulmasta perusteltuja, ei tätä voi
korjata muuntamalla mittaustilanteen tai tiedonkeruun järjestelyjä. Virheetönkin tilastollinen päättely mittarilla, joka ei ole käyttötarkoitukseen sopiva, on lähes hyödytöntä.
Tässä raportissa sivutaan kaikkia virhelähteitä, joskin pääpaino on määritys- ja mittausvirheellä. Valinta-/rajausvirhettä käsitellään
mittarin rakentamisen taustoja kartoittamalla
ja sille asetettua käyttötarkoitusta analysoiden.
Otantavirhettä ei juuri käsitellä, sillä varsinaista otantaa ei tehdä. Sen sijaan otossuureista
johdettavien estimaattorien ominaisuuksia
tarkastellaan ja puuttuneisuuden vaikutuksia tilastolliseen päättelyyn eritellään. Lisäksi
pohditaan metoditekijöitä mahdollisten päättelyvirheiden lähteinä. Tulkintavirheestä lähinnä varoitellaan: sen osuutta voidaan parhaiten
arvioida vasta kehitystyön kokemusten kautta.
Onkin hyvä pitää mielessä seuraava (kysely)mittarin rakentamisen virhelähteiden erittely. Myös sisällöllistä tulkintaa tehdessä tulee huomioida koko mittarin rakennusprosessi.
KUVIO 3. MITTARIN RAKENTAMISEN VIRHELÄHTEET PROSESSIJÄRJESTYKSESSÄ.
35