Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

2013 Luotettava mittari opiskelijapalautteelle

600 views

Published on

Leo Aarnio. Luotettava mittari opiskelijapalautteelle. Tieteessä tapahtuu 4/2013.

  • Be the first to comment

  • Be the first to like this

2013 Luotettava mittari opiskelijapalautteelle

  1. 1. 66 t i e t e e s s ä ta pa h t u U 4/2013Visa Tuominen, Juha Rautapuro ja Antero Puhakkaottivat edellisessä numerossa (Tieteessä tapahtuu3/2013, 15–23) sanojensa mukaan jossain määrinkriittisen tai ei-kriittisen kannan opiskelijapalaut-teen käyttämisestä osana korkeakoulujen rahoi-tusmallia. Kirjoitus on epämääräisyydessäänkinhyvä ja perusteltu näkökulma monimutkaiseenaiheeseen.Seuraavassa en argumentoi heidän varovais-ta johtopäätöstään vastaan vaan keskityn sii-hen, mitä kirjoituksesta tulkitsemani leikittele-vän kriittinen sävy jättää huomiotta. Yleisenäkannanottona opiskelijapalautteen käyttämisentoivottavuudesta osana korkeakoulujen rahoi-tusmallia heidän näkökulmansa on turhan yksi-puolinen ja valikoiva.Opiskelijapalaute yhtenä koulutuksenlaadun mittarinaKuten kirjoittajat jokseenkin itsestään selväs-ti toteavat (s. 23), ei opiskelijapalaute ole auko-ton tapa saada tietoa opetuksen ja koulutuksenlaadusta. Kirjoittajat myös ymmärtävät, etteitästä tosiasiasta seuraa, ettei palautetta tulisikäyttää koulutuksen laadun mittarina osanakorkeakoulujen uutta rahoitusmallia. Pätevässäargumentissa opiskelijapalautekyselymittarinkäyttämisen toivottavuudesta koulutuksen laa-dun indikaattorina tulisikin ottaa huomioonvaihtoehtoiset tavat mitata koulutuksen laatua.Oletetaan, että koulutuksen laadun käyt-tämistä osana korkeakoulujen rahoitusmalliapidetään suotavana. Tällöin muutamin varauk-sin, joihin palaan kirjoituksen lopussa, olisikenties perusteltua valita koulutuksen laadunindikaattoriksi yleisiltä mittausteoreettisiltaominaisuuksiltaan paras mittari.Näihin ominaisuuksiin voidaan Niiniluotoa(1984, 183–191) karkeasti mukaillen lukea kuu-luviksi esimerkiksi reliabiliteetti, validiteetti sekämittariin liittyvä käytännön hyöty (tai haitta).Yllä mainittuja yleisiä mittausteoreettisiaominaisuuksia kirjoittajat eivät käsittele sys-temaattisesti, vertaile tai erittele arvioidessaanopiskelijapalautteen käyttöä koulutuksen arvi-oinnissa. Seuraavassa keskitynkin ennen kaik-kea niihin reliabiliteetin, tämän alle kuuluvanstabiliteetin, erottelukyvyn ja hyödyllisyydenkäsitteisiin, joita he tulevat kirjoituksessaansivunneeksi (tarkemmin ja kattavammin opis-kelijapalautteen todennetuista mittausteoreetti-sista ominaisuuksista, ks. Richardson 2005).Reliabiliteetti, stabiliteetti jaerottelukykyTarkastellessaan eroja Joensuun yliopiston koulu-tusalojen välillä, kirjoittajat päätyvät siihen tulok-seen, että osana rahoitusmallia koulutusalojenvälille syntyisi kyseisellä mittarilla mitä ilmeisim-min tasapeli ja näin voisi käydä myös YOPALAnkohdalla tämän pyrkiessä erottelemaan yliopisto-ja näiden tarjoaman koulutuksen laadun mukaan.Mutta onko tasapeli välttämättä huono asia?Tasapeli voidaan nähdä huonona asiana, josse on seurausta mittarin huonosta erotteluky-vystä. Toisin sanoen silloin, jos yliopistojenvälillä todella on merkittäviä eroja, mutta neeivät näyttäydy merkittävinä käytetyn kysely-mittarin takia. Näin voi käydä esimerkiksi siksi,1) että tutkinnon sisällä paljon vaihtelevaa kou-lutuksen laatua on kokonaisuudessaan vaikeaarvioida, minkä seurauksena yksittäisetkin sitäkoskevat arviot hakeutuvat asteikon keskelle, taisiksi, 2) että kyselyssä käytetty asteikko tasapäis-tää vastauksia.Luotettava mittari opiskelijapalautteelleLeo Aarnio
  2. 2. T i e t e e s s ä ta pa h t u u 4/2013 67Kohta 1) on ongelmallinen vain, jos vastaa-jan koulutuksen kokonaisuutta kuvaava keski-määräinen arvio ei kuvaa todellisuutta. Suureltaosin vastausten tasapäisyys kuitenkin selittyneesillä tosiasialla, että keskimääräiset kokemuk-set todella ovat melko samankaltaisia. Mitta-rin erottelukyky korkeakoulujen välillä riip-puu tällöin otoksen koosta sekä korkeakoulujenvälisten erojen suuruudesta ja hajonnasta. Jostämänkaltaista tilastolliseen päättelyyn perus-tuvaa merkittävää eroa ei ole löydettävissä, käy-tännön erottelun mielekkyyttäkin tulisi tieten-kin harkita.Kohta 2) on ongelmallisempi siksi, että keski-määrin positiiviset vastaukset ovat tällöin astei-kon, eivät mitattavan asian eli koulutuksen laa-dun funktioita. Väittäisin, että tässä tapauksessaongelma koskee kuitenkin ennemmin arvioituaJoensuun-kyselyä neliportaisine asteikkoineenkuin opiskelijakyselymittareita yleensä.Vastaajia saataneen Joensuun-kyselyä parem-min eroteltua lisäämällä vastausvaihtoehtojasekä tarkentamalla väittämien muotoiluja. Tut-kimukset indikoivatkin, että erottelukyvyltään,reliabiliteetiltaan, validiteetiltaan sekä käyttä-jäystävällisyydeltään noin seitsenportainen vas-tausasteikko on optimaalinen ja merkittävästineliportaista parempi (Preston & Colman 2000;Ramsay 1973).Vaikka vastaajien taipumus suosia heikos-ti positiivisia vastausvaihtoehtoja onkin mel-ko yleisesti todennettu, tämäkään ei aiheuttaneharhaa rahoitusmallin suhteelliseen mittariin.”Jokseenkin samaa mieltä” vastausta ei tulisi-kaan tulkita osoituksena absoluuttisesta tyyty-väisyydestä: niin sisällöllisessä tulkinnassa kuinrahoitusmallin osanakin tulee vastauksia arvioi-da suhteessa muihin annettuihin vastauksiin.Vaikka kirjoittajien huomiot tutkintoa koske-van kyselymittarin erottelukykyvystä ovat hyviä,unohtavat he, miksi koulutusalojen eroja alunperin tarkasteltiin. Jos kyselyn väittämien on tar-koitus mitata yliopistoon eikä ainoastaan koulu-tusohjelmaan palautuvaa opiskelijakokemusta,voivat pienet erot koulutusalojen välillä laadunmittarissa olla huonon erottelukyvyn lisäksi indi-kaattoreita myös hyvästä reliabiliteetista.Kirjoittajat viittaavat toisaalla kirjoitukses-saan opiskelijapalautekyselymittarin reliabili-teettiin epäilevään sävyyn vaikka jättävätkin yllämainitussa tilanteessa asian huomiotta. Luotet-tavan mittarin tulisi antaa samankaltaisia tulok-sia riippumatta mittaustilanteesta tai muidenarvioitavan asian kannalta epäoleellisten tausta-muuttujien vaihtelusta. Tällaisten epäoleellistenkolmansien tekijöiden vaikutusten arvioiminenonkin perusperiaate kyselyjä laadittaessa. Kir-joittajat sivuuttavatkin muutamissa asiaa kos-kevissa negatiivisissa huomioissaan koko liudantutkimuksia kyselyistä, joiden reliabiliteetti onhyväksi havaittu (ks. edellä mainittu Richardson2005).On kuitenkin totta, ettei kaikkia koulutusinsti-tuution toimista riippumattomia kyselyarvioihinvaikuttavia epäoleellisia kolmansia tekijöitä saadaotetuksi huomioon tai kontrolloitua kyselytutki-muksen keinoin. Näin ollen on hyvä olla epäile-väinen ja osoittaa kritiikkiä rakennettuja kysely-mittareita kohtaan, koska se auttaa korjaamaanmittareita luotettavammiksi ja ottamaan huo­mioon niihin välttämättä jääviä puutteita.Ei tule kuitenkaan vaatia mahdottomia. Mit-tarin arvioitu yleiseen mittausteoriaan perustu-va laatu tulee suhteuttaa muiden vastaavien mit-tareiden vastaaviin ominaisuuksiin. Täydellistäkoulutuksen tai opetuksen laadun mittaria eiole olemassakaan. Esimerkiksi suoritettujen tut-kintojen määrä on koulutuksen laadun mittari-na tarkka eli reliaabeli, muttei validi: sillä ei olemitään tekemistä laadun kanssa. Opettajien ver-taisarviointi on puolestaan havaittu epäluotetta-vaksi mittariksi opetuksen laadusta. Ei olekaansyytä olettaa opiskelijapalautteen olevan esi-merkiksi edellä mainittuja mittareita huonompi,pikemminkin päinvastoin. Hyvät kyselymittaritpystyvät kattavasti ottamaan huomioon kou-lutuksen sisällöllisen laadun. Ne myös antavattodistetusti samansuuntaisia tuloksia esimerkik-si yleisesti melko luotettavana pidettyjen ulko-puolisten ammattiarvioijien arvioiden kanssa(Richardson 2005, 389–390).Arvioidessaan Joensuun kyselymittarin erot-telukykyä vastausten liukuvan keskiarvon avullavuosina 2003–08, kirjoittajat tulevat arvioineek-
  3. 3. 68 t i e t e e s s ä ta pa h t u U 4/2013si, mutteivät eritelleeksi, myös mittarin stabili-teettia. Ceteris paribus on nimittäin toivottavaa,etteivät mittarin antamat arvot merkittävästimuutu näinkin lyhyellä ajanjaksolla siirryttäes-sä mittaustilanteesta toiseen. Siinä missä tulok-sen olisi voinut arvioida positiiviseksi mittarinluotettavuuden näkökulmasta, päätyvät kirjoit-tajat tulkitsemaan vastausten säilyvyyden sta-biliteetin sen sijaan yksinomaan sekä huonok-si erottelukyvyksi että osoitukseksi mittarinkäytännöllisestä hyödyttömyydestä opetuksenkehittämisessä.Palautteen hyödyttömyyttä pohtiessaan kir-joittajat jopa ikään kuin ohimennen viittaavattutkimukseen, jossa epäonnisesti oli päädyttytekemään opetuksen laatua huonontavia muu-toksia kyselymittaria välineenä käyttäen. Toisinkuin he antavat ymmärtää, ei liene yllättävää,että on myös positiivisia esimerkkejä siitä, kuin-ka kyselymittareita on käytetty onnistuneestihyödyksi opetuksen laadun parantamisessa (ks.Hativa 1996).Koulutuksen laadun eri mittaritVaikka mikään opiskelijapalautekysely ei kyke-nekään täydellisesti vastaamaan sitä kohtaan esi-tettyyn yleiseen mittausteoreettiseen kritiikkiin,ei tästä seuraa, ettei opiskelijapalautetta tulisikäyttää osana rahoitusmallia.Opiskelijapalautekyselymittarin käyttämisentoivottavuus osana rahoitusmallia riippuu sii-tä, kuinka hyvä mittarista onnistutaan rakenta-maan. Kirjoittajien esiin nostamat muutamiinkokemuksiin perustuvat huolet ovat perustel-tuja ja vakavasti otettavia, mutta liian valikoiviaeivätkä täten yleistettävissä opiskelijapalautteenkäytön kannatettavuuteen osana rahoitusmalliayleensä.Jos opiskelijapalaute nähdään yhtenä koulu-tuksen laadun mittarina muiden joukossa, eikäole syytä olettaa sen olevan mittausteoreettisil-ta ominaisuuksiltaan vaihtoehtoisia mittareitahuonompi, ei sen käyttöä kohtaan tulisi myös-kään suhtautua penseästi. Pikemminkin use-amman vaihtoehtoisen mittarin käyttäminentällöin todennäköisesti parantaa koulutuksenlaadun kokonaismittarin luotettavuutta.Jos puolestaan nähdään, ettei opiskelijapa-laute mittaa koulutuksen laatua täysin samastanäkökulmasta kuin muut koulutuksen laadunmittarit, kuten auditoinnit tai yliopistovertailut,olisi opiskelijapalautteella perusteltu sija osa-na rahoitusmallia, vaikka koulutuksen laadunmittarina se olisikin hieman muita huonompi.Tällöin on kyse siitä, pidetäänkö opiskelijan kor-keakoulukokemusta itsessään niin tärkeänä osa-na hyvää korkeakoulutusta, että se on hyvä ottaaitsenäisesti huomioon osana rahoitusmallia.Kunhan varmistetaan, että opiskelijapalau-tekyselyihin liittyvä kehitystyö on tehty hyvinja rakennetut mittarit ovat riittävän luotettavia,pidän opiskelijapalautteen käyttämistä osanakorkeakoulujen rahoitusmallia kaavaillun suu-ruisena hyvänä asiana.KirjallisuusHativa, N. (1996) University instructors’ ratings profiles: sta-bility over time, and disciplinary differences, Researchin Higher Education, 37, 341–365.Niiniluoto, Ilkka (2002). Johdatus tieteenfilosofiaan. Otava.Preston, Carolyn C. & Colman, Andrew M. (2000). Optimalnumber of response categories in rating scales: reli-ability, validity, discriminating power, and respon-dent preferences. Acta Psychologica, 104 (1), 1–15.Ramsay, J. O (1973). The effect of number of categories inrating scales on precision of estimation of scale val-ues. Psychometrika 38 (4), 513–532.Richardson, John T. E. (2005): Instruments for obtainingstudent feedback: a review of the literature. Assess-ment & Evaluation in Higher Education 30 (4), 2005,387–415.Kirjoittaja on tutkijana Opiskelun ja koulutuksentutkimussäätiö Otuksessa ja vastaa ammattikor-keakoulujen valmistumisvaiheen opiskelijapalau-tekyselyn tutkimuksellisesta tuesta.
  4. 4. Parasta suomalaista tietokirjallisuuttaRichard WranghamTulella kypsennetty.Miten keittotaitoteki meistä ihmisiä.Ovh. 40,–Daniel J. LevitinMusiikki ja aivot.Ihmisen eräänpakkomielteen tiedettäOvh. 40,–Nouriel Roubini jaStephen MihnKriisitaloustiedeOvh. 40,–Nicholas CarrPinnalliset.Mitä internet tekeeaivoillemmeOvh. 40,–W. Brian ArthurTeknologian luonne.Mitä se on ja millainenon sen evoluutioOvh. 40,–Stuart A. KauffmanPyhän uudelleenkeksiminen. Uusi näkemysluonnontieteestä, järjestäja uskonnostaOvh. 40,–Kirjakaupasta tai suoraan kustantajaltaTERRA COGNITA OYwww.terracognita.fi

×