Eläketurvakeskuksen tutkimuksen ulkoinen arviointi

218 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Eläketurvakeskuksen tutkimuksen ulkoinen arviointi

  1. 1. Eläketurvakeskuksen tutkimuksen ulkoinen arviointi Susan Kuivalainen
  2. 2. Arvioinnin sisältö • ETK tilasi ulkoisen arvioinnin tutkimustoiminnastaan keväällä 2013. • Arvio tutkimustoiminnasta yleisesti ja painopistealueittain (tieteellinen laatu, eläkepoliittinen relevanssi, painottuminen, tulokset, viestintä ja hyödyntäminen, merkitys ETK:n strategian toteuttamisessa, tutkimuksen resurssit ja toimintatapa), arvio tutkimustoiminnan tuloksellisuudesta ja vaikuttavuudesta sekä kehittämisehdotuksia tutkimustoiminnan suuntaamiseksi. • Kolme arvioijaa: Olli Kangas (Kela), Jukka Pirttilä (Tampereen yliopisto), Jussi Simpura (THL).
  3. 3. Toteutus • Käynnistystapaaminen 15.5.2013, jossa tutkimustoiminnan esittely, keskustelua tehtävästä ja materiaalin antaminen • Arviointi käynnistetty 1.6.2013. Arvioijien keskinäinen työnjako tutkimuksiin tutustumisesta; kokoontumiset kerran kuukaudessa. • Haastattelukierros tutkimustoiminnan vaikuttavuudesta (7 haastattelua: työeläkelaitokset, tutkimustahot, ministeriöt). • Arvion suullinen esittely 11.12.2013, raportin luovutus 21.12.2013 ja lopullinen versio 20.1.2014.
  4. 4. Arvio tutkimustoiminnasta yleisesti • Yleiskatsaus ETK:n tutkimustoiminnasta ja sen toimintaympäristöstä on myönteinen. • Tutkimustoiminta ”varsin laajaa”, ja on ”merkittävä osa ETK:n toimintaa”. • Suhteellinen etu vakaa rahoitusasema ja tietovarannot sekä muu organisaatiosta saatava tuki tutkimukselle (viestintä ym.)  keskimääräistä paremmat edellytykset tutkimukselle • ETK:n tutkimustoiminta verkostoituminen neljälle kehälle: 1) työeläkekysymyksiä sivuavat (talous)tutkimuslaitokset, 2) muut asiantuntijalaitokset, mm. TTL, 3) yliopistot ja 4) kansainvälinen yhteistyö.
  5. 5. Arvio tutkimuksesta painoalueilla • Työurat ja eläkkeelle siirtyminen + Ajantasaisen tiedon tuottaja, eläkepolitiikan ydintä, tiedolla tärkeä merkitys, suunnitelmallista tutkimusta + Tärkeitä, huolellisia ja luotettavia tutkimuksia, osin innovatiivisiakin • Eläketurvan rahoitus + Pts-työ + Mikrosimulointimallin kehittäminen • Eläkkeiden riittävyys + Erittäin relevantti alue, tematiikasta kattavaa tutkimustoimintaa + Tuotettu tärkeää tietoa, laatu on luotettavaa, tulokset käyttökelpoisia - Julkaisut omissa sarjoissa, vertaisarvioituja julkaisuja vähän - Ambitiotasoa korkeammaksi, lisää kv. yhteistyötä ja julkaisemista ”Tutkimusohjelma on selkeä ja hyvin ennakoiva.”
  6. 6. Tuloksellisuus • Arvioinnissa hyödynnetty VATU-kehikkoa, jossa tuloksellisuus = – Palvelukyky (asiakaspalvelun tavoitteiden ja laadun toteutuminen) – Aikaansaannoskyky (kyky saada resursseilla tuloksellisuutta) – Tuottavuus ja taloudellisuus (tuotosten ja panosten suhde; panokset tuotannontekijöinä tai rahana) – Vaikuttavuus (tavoitteeksi asetettujen yhteiskunnallisten tilojen saavuttamisen aste) Arvioijien kysymys: voisiko tutkimustoiminnan tavoitteita asettaa tarkemmin näiden pohjalta? • Arvio: ”palvelukyky hyvä, aikaansaannoskyky kohtalainen tai hyvä, tuottavuus ja taloudellisuus hyväksyttävällä tasolla”.
  7. 7. Vaikuttavuus • Sidosryhmien mielestä merkittävä laitos, jonka asiantuntemukseen luotetaan ja joka saa palveluistaan korkean arvosanan. • Tutkimustoiminnan vaikuttavuus liittyy erityisesti uudistusten valmisteluun, arviointiin ja seurantaan. • Tutkimuksilla erilaiset kohdeyleisöt, niihin viitataan vaihtelevasti. Eläketurvakeskus 7 ”Yleisvaikutelmana on, että verrattuna muihin vastaavankaltaisiin tutkimuslaitoksiin ETK:n tutkimus näyttää toimivan tehokkaasti ja suhteellisen pienillä resursseilla. ETK:n tutkimuksen etuna on myös suhteellisen matala organisaatio ja suora ja toimiva yhteys ETK:n johtoon.”
  8. 8. Yhteenveto • ”Ohjelmallinen, huolellinen, varovainen, tuottelias”. • Yleisvaikutelma laadusta ”varsin positiivinen”. • Tutkimus suuntautuu eläkepoliittisesti erittäin relevantteihin teemoihin, katvealueita ei juuri jää. Päällekkäisyyttä muihin laitoksiin ei ole. • ETK on luotettava tiedon tuottaja ja tulokset ovat relevantteja. • Tutkimus on vaikuttavaa. Tutkimustieto helposti saatavilla, tutkimus vastaa ETK:n strategiaa, ja on vaikuttavaa. • Kokonaisarvio tutkimuksen laadusta ja sen yhteiskunnallisesta merkityksestä on hyvin myönteinen.
  9. 9. Kriittisempiä huomioita • Tutkimus on lähes yksinomaan kotimaista ja julkaisufoorumina ETK:n julkaisusarja • Vähäinen kansainvälinen yhteistyö • Vertailevien tutkimusten vähäinen määrä • Tutkimustulokset eivät leviä laajalle yleisölle • Tutkimustoimintaa leimaa tietty konservatiivisuus: ”Ei ole tieteellisesti kunnianhimoinen, kokeileva ja yllätyksellinen, ei ole akateemisia meriittejä etsivä tai kansainvälisesti suuntautunut.” Seuraamuksia • Tuoko ohjelmallisuus jäykkyyttä ja konservatiivisuutta? • Nykyisen eläkejärjestelmän vaihtoehtoja ei pohdita tai tuoda esille. • Kansainväliseen julkaisemiseen ei panosteta vaikka siihen olisi edellytykset. • Suomen eläkejärjestelmä tunnetaan kansainvälisesti huonosti (vrt. Ruotsi)
  10. 10. Arvioinnin kehittämisehdotukset • Tieteellisen laadun ja kattavuuden kehittäminen • Aihevalintojen laajentaminen (eläkejärjestelmien) kansainvälisiin vertailuihin • Kansainvälisen yhteistyön vahvistaminen • Ekonometristen arvioiden vahvistaminen • Tutkimusrahoitus (ulkopuolinen) selvemmäksi • Avoimen datan mahdollisuuksien selvittäminen

×