• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Prezentácia_Peter Mederly
 

Prezentácia_Peter Mederly

on

  • 1,307 views

 

Statistics

Views

Total Views
1,307
Views on SlideShare
992
Embed Views
315

Actions

Likes
1
Downloads
3
Comments
0

3 Embeds 315

http://www.arra.sk 179
http://arra.sk 135
http://webcache.googleusercontent.com 1

Accessibility

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Prezentácia_Peter Mederly Prezentácia_Peter Mederly Presentation Transcript

    • Hodnotenie výskumu v britskom systéme RAE s dôrazom na hodnotenie humanitných a spoločenskovedných odborov Peter Mederly Ministerstvo školstva, vedy, výskumu a športu SR Seminár ARRA, máj 2011
    • Cieľ príspevku
      • podať základné informácie o systéme na hodnotenie vysokoškolského výskumu RAE používaného v Spojenom kráľovstve (UK)
      • na príklade odboru filozofia ilustrovať ako sa v RAE uskutočňuje hodnotenie humanitných a spoločenskovedných odborov
      • naznačiť smer ďalšieho vývoja v hodnotení výskumu
      • v príspevku sú použité informácie dostupné na www.rae.ac.uk a www.ref.ac.uk
      Seminár ARRA, máj 2011
    • Čo je RAE?
      • RAE ( R esearch A ssessment E xercise) je systém, ktorý v periodických viacročných intervaloch poskytuje informácie o výkone vysokých škôl v UK v oblasti výskumu
      • tieto informácie používajú financujúce inštitúcie v UK na rozpis štátnych dotácií vysokým školám
      • RAE je aktivitou 4 financujúcich inštitúcií:
        • HEFCE – HE Funding Council of England
        • SHEFC – Scottish HE Funding Council
        • HEFCW – HE Funding Council of Wales
        • DEL – Dpt for Employment and Learning, Northern Ireland
      • bezprostredné riadenie RAE zabezpečuje RAE team sídliaci na HEFCE
      Seminár ARRA, máj 2011
    • Definícia výskumu v RAE (mierne skrátená)
      • výskumom na účely RAE sa rozumie
        • pôvodné skúmanie (original investigation) zamerané na získavanie poznatkov
        • v prípadoch, kde nasledujúce aktivity vedú k novému alebo podstatne zlepšenému preniknutiu do podstaty vecí, do výskumu patria aj
          • práce priamo súvisiace s potrebami obchodu, priemyslu, verejnosti a tretieho sektora
          • tvorba, vývoj a udržiavanie intelektuálnej infraštruktúry predmetov a disciplín formou slovníkov, katalógov a príspevkov do veľkých výskumných databáz
          • invencia a generovanie myšlienok, predstáv, výkonov, výtvorov (artefacts)
        • použitie existujúcich poznatkov v experimentálnom vývoji na produkciu nových alebo podstatne zlepšených materiálov, zariadení, výrobkov a procesov, vrátane dizajnu a konštrukcie
      • do výskumu nepatria
        • rutinné testovanie a rutinné analýzy materiálov, komponentov a procesov
        • vývoj učebných materiálov nezahŕňajúci pôvodný výskum
      Seminár ARRA, máj 2011
    • História RAE
      • prvé RAE sa uskutočnilo v roku 1986 (vtedy pod názvom RSE – Research Selectivity Exercise) – zaviedol sa ním explicitný a formalizovaný proces hodnotenia kvality výskumu na vysokých školách v UK
      • ďalšie kolá sa uskutočnili v rokoch 1989, 1992, 1996, 2001 a 2008
      • RAE sa postupne vyvíjalo smerom k zvýšenej transparentnosti a komplexnosti; posilňoval sa aj jeho systémový charakter
      • v nateraz poslednom kole v roku 2008 sa do hodnotenia zapojilo (o hodnotenie požiadalo) 2344 kolektívov zo 159 vysokých škôl
      • RAE je základný nástroj, použitím ktorého vysoké školy môžu zistiť aká je kvalita ich výskumu v rámci vysokoškolského sektora
      Seminár ARRA, máj 2011
    • RAE 2008
      • po RAE 2001 si financujúce subjekty objednali zhodnotenie dovtedajších kôl s cieľom určiť ďalší postup
      • hodnotiacu správu vypracoval tím G.Robertsa z Wolfson College, Oxford
      • po vypracovaní hodnotiacej správy nasledovala široká diskusia
      • prišlo k istým zmenám, avšak zostal zachovaný základný princíp, že jadrom systému je hodnotenie podaní (submissions) predložených vysokými školami založené na názoroch expertov (expert review, peer assessment) formulovaných komisiami expertov (panelmi) po jednotlivých oblastiach výskumu
      • predmetom hodnotenia sú len najlepší výskumníci a ich najlepšie práce, podľa výberu inštitúcie
      Seminár ARRA, máj 2011
    • Zmeny v RAE 2008 oproti RAE 2001
      • základný princíp hodnotenia (peer assessment) zostal zachovaný, nastalo však niekoľko významných zmien:
        • výsledky hodnotenia sú formulované ako profil kvality (pätica čísiel), nie ako jedno číslo zo sedem stupňovej škály ako v roku 2001
        • tento prístup umožňuje identifikáciu excelentných lokalít a citlivejší spôsob financovania v porovnaní s hodnotením založeným na jednej známke (redukcia „cliff edge“ efektu)
        • dvojstupňový systém komisií expertov (panelov) zabezpečujúci väčšiu vnútornú konzistentnosť a väzbu na medzinárodné porovnania
        • explicitné kritériá pre každú oblasť výskumu umožňujúce primerané hodnotenie aplikovaného výskumu, výskumu založeného na praktických potrebách (practice-based) a interdisciplinárneho výskumu
      Seminár ARRA, máj 2011
    • Komisie expertov - panely
      • v RAE 2008 prebiehalo hodnotenie v 67 oblastiach výskumu (Units of Assessment – UOA)
      • pre každú oblasť bola stanovená komisia expertov (sub-panel)
      • členovia sub-panelov (spravidla predseda + cca 15 členov) boli určovaní z vysokých škôl a širšej výskumnej komunity
      • 67 oblastí výskumu bolo rozčlenených do 15 hlavných skupín pozostávajúcich z oblastí s príbuzným prístupom k výskumu
      • pre každú hlavnú skupinu bola stanovená koordinujúca komisia (main panel, hlavný panel, označenie od A po O), ktorá dohliadala na konzistentný prístup k hodnoteniu v príslušných oblastiach
      • hlavné panely pozostávali z predsedu, predsedov príslušných sub-panelov a ďalších zahraničných a domácich expertov
      Seminár ARRA, máj 2011
    • Komisie expertov – panely (2)
      • hlavné panely boli zodpovedné za
        • revíziu a schválenie kritérií a postupov používaných sub-panelmi
        • schválenie profilov kvality pre jednotlivé podania vysokých škôl navrhnutých sub-panelmi
        • komunikáciu a spoločné práce s ostatnými hlavnými panelmi
      • sub-panely boli zodpovedné za
        •   prípravu návrhov kritérií a postupov pre príslušnú hodnotenú oblasť
        •   hodnotenie podaní vysokých škôl pre danú oblasť
        •   návrh profilov kvality pre jednotlivé podania vysokých škôl v príslušnej oblasti
      • členovia panelov boli nominovaní na základe návrhov asociácií v príslušných oblastiach a iných zainteresovaných organizácií;
      • menovali ich financujúce organizácie – predpokladom bola preukázaná odbornosť v oblasti
      • členov panelov bolo viac ako 1000
      Seminár ARRA, máj 2011
    • Hlavné panely v oblasti humanitných a spoločenských vied
      • oblasti (UOA) patriace medzi spoločenské a humanitné vedy patrili do viacerých hlavných panelov; uvedieme dva príklady, jeden z oblasti spoločenských vied a jeden z oblasti humanitných vied
      • hlavný panel J (časť spoločenských vied) pozostáva z nasledujúcich oblastí výskumu:
        •   právo
        •   politické a medzinárodné štúdiá
        •   sociálna práca a sociálna politika a riadenie
        •   sociológia
        •   antropológia
        •   vývojové štúdiá
      • hlavný panel N (časť humanitných vied) pozostáva z nasledujúcich oblastí výskumu:
        •   história staroveku, byzantské a moderné grécke štúdiá
        •   filozofia
        •   teológia a náboženské štúdiá
        •   história
      Seminár ARRA, máj 2011
    • Podania vysokých škôl v rámci RAE 2008
      • každá vysoká škola oprávnená prijímať financie zo 4 financujúcich organizácií UK mohla dať podanie v hociktorej zo 67 hodnotených oblastí
      • súčasťou podania boli nasledovné informácie
        •   podrobnosti o zamestnancoch, ktorí sa predkladajú v podaní (formuláre RA0 a RA1)
        •   výstupy výskumu (formulár RA2)
        •   doktorandi a štipendiá (formuláre RA3a a RA3b)
        •   získané financie na výskum (formulár RA4)
        •   prostredie výskumu a ocenenie výskumu (formuláre (RA5a, RA5b a RA5c)
      Seminár ARRA, máj 2011
    • Profily kvality
      • sub-panely zhodnotili informácie o výskume uvedené v podaniach vysokých škôl podľa stanovených kritérií a navrhli hlavnému panelu profil hodnotenia pre každé z podaní
      • profil hodnotenia je tvorený piatimi číslami vyjadrujúcimi podiely hodnoteného výskumu v 4 kvalitatívnych úrovniach a v úrovni „neklasifikované“
      • pri určovaní podielov v jednotlivých kvalitatívnych úrovniach sa brali do úvahy tri základné zložky každého z podaní, a to
        •   výstupy výskumu
        •   prostredie výskumu
        •   ocenenie výskumu
      Seminár ARRA, máj 2011
    • Príklad profilov kvality pre dve podania Seminár ARRA, máj 2011
    • Definícia úrovní kvality Seminár ARRA, máj 2011
    • Pravidlá hodnotenia výstupov výskumu
      • pravidlá hodnotenia výstupov výskumu sú v systéme RAE 2008 upravené na 3 úrovniach:
        • na generickej úrovni; pravidlá na tejto úrovni platia pre všetky hodnotené oblasti
        • na úrovni hlavnej skupiny hodnotených oblastí; pravidlá na tejto úrovni platia pre všetky hodnotené oblasti príslušnej skupiny
        • na úrovni hodnotenej oblasti; pravidlá na tejto úrovni platia len pre hodnotenú oblasť
      Seminár ARRA, máj 2011
    • Pravidlá hodnotenia výstupov výskumu na generickej úrovni
      • za každého výskumného pracovníka uvedeného v podaní sa predkladajú 4 výstupy výskumu; ak sa nepredložia 4, postupuje sa podľa povahy prípadu, v niektorých prípadoch sa chýbajúce výstupy pokladajú za neklasifikované (a teda sa znižuje úroveň pracoviska)
      • výstupom výskumu sa rozumie každá forma verejne dostupného a hodnotiteľného výstupu zahŕňajúceho výskum v zmysle definície RAE (cielene široko chápané výstupy)
      • forma výstupu samotná neindikuje vyššiu alebo nižšiu kvalitu; osobitne: žiadny panel nebude používať impakt faktor časopisu ako proxy pre kvalitu
      • v kritériách pre konkrétnu oblasť možno špecifikovať, že ak sub-panel neskúma daný výstup podrobnejšie, možno využiť na hodnotenie nejaký existujúci výsledok recenzie expertmi
      Seminár ARRA, máj 2011
    • Pravidlá hodnotenia výstupov výskumu na úrovni hlavného panelu v humanitných vedách
      • ako príklad na hodnotenie výstupov výskumu v oblasti spoločenských vied uvedieme pravidlá platné pre hlavný panel N (filozofia, teológia, história)
        • váha výstupov výskumu 80 %, váha prostredia 15 % a váha ocenenia 5 %
        • neočakáva sa podobná distribúcia profilov kvality v jednotlivých oblastiach panelu
        • hlavný panel však bude dávať pozor, aby rozdiely v profiloch kvality neboli výsledkom rôznych prístupov k hodnoteniu
      Seminár ARRA, máj 2011
    • Pravidlá hodnotenia výstupov výskumu na úrovni hodnotenej oblasti (filozofia)
      • pravidlá hodnotenia výstupov výskumu vo filozofii (UOA 60) zahŕňajú:
        • okrem kvality sa váha výstupu môže zvýšiť na základe jeho rozsahu a šírky záberu
        • pri hodnotení kvality výstupov sa nebude brať do úvahy médium, prostredníctvom ktorého prišlo k publikovaniu (papier, elektronicky)
        • pri hodnotení kvality sa budú brať do úvahy originalita, príspevok k posunu poznania, rozsah práce a vedecká precíznosť
        • všetky typy výstupov budú posudzované ako rovnocenné; nerecenzované výstupy nebudú pokladané z tohto dôvodu za výstupy menšej kvality
        • hodnotia sa všetky typy výstupov obsahujúcich výskumný prínos, od článkov až po vzdelávacie materiály
      • spoločné práce sa posudzujú ako individuálne, z tohto titulu sa neznižuje ich kvalita ani nedelí ich počet; predpokladá sa však významný príspevok všetkých autorov
      Seminár ARRA, máj 2011
    • Pravidlá hodnotenia výstupov výskumu vo filozofii (2)
      • pravidlá na určenie profilu kvality pre výstupy:
        • každý výskumný pracovník zahrnutý do hodnotenia poskytne 4 výstupy; vo vymedzených výnimočných prípadoch môže poskytnúť menej; ak poskytne menej bez príčiny, neposkytnuté sa rátajú ako neklasifikované
        • členovia sub-panelu prečítajú všetky poskytnuté výstupy a individuálne ich ohodnotia známkami 4*, 3*, 2*, 1*, neklasifikované
        • každý výstup dostane váhu od 1 do 4 na základe rozsahu a povahy výskumu, ktorý bolo potrebné na dosiahnutie výstupu uskutočniť; štandardne váha neprekračuje 2
        • váha sa priznáva nezávisle od kvality a ak je väčšia ako jedna, tak sa výstup započítava viackrát pri výpočte profilu
        • existujú presne vymedzené dôvody, kedy môže pracovník dať menej ako 4 výstupy – nezohľadní sa to však na kvalitatívnom zaradení
      Seminár ARRA, máj 2011
    • Pravidlá hodnotenia prostredia výskumu vo filozofii
      • pre hodnotenie prostredia výskumu sa berú do úvahy
        • počty PhD študentov vo vzťahu k počtu zamestnancov a získané štipendiá pre PhD študentov
        • počet ukončených dizertácií, tréningy výskumníkov, a podporné aktivity pre post-dokov
        • suma získaných financií na podporu výskumu
        • štruktúra výskumu – výskum vo filozofii sa dá robiť v rôznych druhoch prostredia – dôležitá je podpora individuálnych výskumníkov aj skupín výskumníkov a tréning novej generácie
        • udržateľná kultúra výskumu, disponibilné zdroje na vytvorenie dobrého výskumného prostredia, existencia strategického plánu; individuality a kolektívy; manažment výskumu; podpora interdisciplinárneho a kolaboratívneho výskumu; fyzická infraštruktúra, špeciálne zariadenia a finančné zdroje; zariadenia a aktivity k dispozícii PhD študentom
        • vzťahy s priemyslom a obchodom, múzeami, galériami a knižnicami a ďalšími používateľmi výskumu – aj zohľadnenie vládnych politických iniciatív a cieľov
        • príspevok k širšiemu výskumnému prostrediu presahujúcemu hranice univerzity
        • politika v oblasti ľudských zdrojov
        • stratégia výskumu
      Seminár ARRA, máj 2011
    • Pravidlá hodnotenia ocenenia vo filozofii
      • hodnotia sa len tie skutočnosti v oblasti ocenenia, ktoré prispievajú k rozvoju disciplíny
      • príklady hodnotených indikátorov:
        • členstvo v externých komisiách na obsadenie vedúcich pozícií
        • členstvo v rôznych odborných združeniach
        • pozvané prednášky na konferenciách
        • členstvo v edičných radách
        • vedecké ocenenia
        • členstvo vo výboroch vedeckých spoločností
        • preklady prác do iných jazykov
        • ponuka miesta hosťujúceho profesora
        • návštevy zahraničných výskumníkov a študentov zameraných na výskum
      Seminár ARRA, máj 2011
    • Aplikovaný výskum a výskum založený na potrebách praxe
      • hodnotia sa všetky formy výskumu, vrátane aplikovaného výskumu a výskumu vychádzajúceho z praktických potrieb
      • príklady: vedecké výstavy, televízne programy, muzeálne expozície
      • niektoré výstupy si môžu vyžadovať pozvanie špecialistov na ich posúdenie
      Seminár ARRA, máj 2011
    • Pracovné postupy vo filozofii
      • definície úrovní kvality pre výstupy výskumu:
        • 4*: primary point of reference: príspevok, o ktorom vie alebo by mal vedieť každý, kto seriózne pracuje v danej oblasti
        • 3*: point of reference: príspevok, o ktorom seriózni pracovníci v danej oblasti vedia alebo by mali vedieť
        • 2*: práca prinášajúca podstatný príspevok a zasluhujúca si pozornosť v odbore
        • 1*: práca prinášajúca cenný príspevok a zasluhujúca si istú pozornosť
      Seminár ARRA, máj 2011
    • Pracovné postupy vo filozofii (2)
      • definície úrovní kvality pre prostredie výskumu a ocenenie výskumu:
        • 4*: vynikajúci – vzorový pre jednotku daného rozsahu a typu
        • 3*: excelentný – významne viac ako minimum, ktoré môže byť rozumne očakávané pre jednotku daného rozsahu a typu
        • 2*: dobrý - viac ako minimum, ktoré môže byť rozumne očakávané pre jednotku daného rozsahu a typu
        • 1*: primeraný – nie menej ako minimum, ktoré môže byť rozumne očakávané pre jednotku daného rozsahu a typu
        • neklasifikovaný: neprimeraný – pod minimom, ktoré môže byť rozumne očakávané pre jednotku daného rozsahu a typu
      Seminár ARRA, máj 2011
    • Pracovné postupy vo filozofii (3)
      • výstupy výskumu:
        • detailne sa zhodnotia všetky výstupy výskumu
        • každá inštitúcia bude mať člena, sub-panelu, ktorý zhodnotí všetky jej výstupy; každý výstup prečíta aj druhý člen, ktorý je expertom v príslušnej časti filozofie
      • prostredie výskumu:
        • hodnotia sa dve dimenzie prostredia – vnútorné a širšie
        • vo vnútornej dimenzii ide o výskumný ethos, infraštruktúru, ...., stratégiu
        • vo vonkajšej dimenzii ide o príspevok pre širšie prostredie – editovanie časopisov, recenzie článkov, organizovanie konferencií ...
        • pri určovaní profilu kvality pre výskumné prostredie sa skôr oceňujú existujúce aspekty ako penalizujú neexistujúce
      Seminár ARRA, máj 2011
    • Pracovné postupy vo filozofii (4)
      • ocenenie:
        • oceňujú sa indikátory uvedené vyššie a pri stanovovaní profilu sa berie do úvahy veľkosť departmentu a profil zamestnancov
        • hodnotenie ocenenia sa obvykle urobí priradením 100% profilu jednej úrovni kvality
      • celkový profil pre podanie sa určí z profilov výstupov, prostredia a ocenenia s použitím stanovených váh
      Seminár ARRA, máj 2011
    • Výsledky hodnotenia v rámci RAE v oblasti filozofie (prvých 20 zo 42 VŠ) Seminár ARRA, máj 2011
    • Výsledky hodnotenia v rámci KA v oblasti humanitných vied (prvých 20 z 26 VŠ) Seminár ARRA, máj 2011
    • Porovnanie hodnotenia v rámci komplexnej akreditácie a v rámci RAE Seminár ARRA, máj 2011
    • Väzba na financovanie
      • financujúca organizácia určí objemy dotácií pripadajúce na jednotlivé hlavné panely (vychádza pritom z rozsahu výskumu zisteného v rámci RAE, ekonomickej náročnosti oblastí a potenciálne aj z priorít vlády)
      • rozpis na jednotlivé oblasti hlavného panelu a na vysoké školy sa uskutoční proporcionálne podľa prepočítaného výkonu vo výskume
      • prepočítaný výkon vo výskume sa určí na základe počtu zamestnancov uvedených v podaní, častí 4*, 3* a 2* z profilov a k nim priradených váh a koeficientov ekonomickej náročnosti
      Seminár ARRA, máj 2011
    • Väzba na financovanie (2)
      • Pre akademický rok 2010/2011 stanovilo HEFCE nasledovné koeficienty a váhy:
        • koeficienty ekonomickej náročnosti:
          • vysoko-nákladové laboratórne a klinické oblasti = 1,6
          • stredne nákladové oblasti = 1,3
          • ostatné = 1
        • váhy pre úrovne kvality :
          • úroveň 4* = 9
          • úroveň 3* = 3
          • úroveň 2* = 1
          • ostatné úrovne = 0
      Seminár ARRA, máj 2011
    • Výsledky hodnotenia v rámci RAE v oblasti filozofie (prvých 20 zo 42 VŠ) Seminár ARRA, máj 2011
    • Ďalšie plány v oblasti hodnotenia výskumu – REF 2014
      • v roku 2006 sa rozhodlo, že po RAE 2008 sa prejde na nový, jednoduchší a menej administratívne náročný systém hodnotenia výskumu
      • nový systém dostal meno Research Excellence Framework – REF
      • REF sa sústreďuje na tri aspekty výskumu (dva sú spoločné s RAE):
        • kvalita výstupov výskumu
        • dopad (impakt) výskumu
        • prostredie výskumu
      • hodnotenie bude prebiehať v 36 oblastiach združených do 4 hlavných panelov (RAE 67 oblastí a 15 hlavných panelov)
      • pre všetky hodnotené oblasti sa navrhuje jednotné váhovanie hodnotených aspektov, a to 65% : 20% : 15%
      Seminár ARRA, máj 2011
    • Ďalšie plány v oblasti hodnotenia výskumu – REF 2014 (2)
      • hodnotenie kvality výstupov bude, tak ako v RAE, výsledkom hodnotenia expertov
      • v niektorých oblastiach (prírodné vedy, technické vedy a medicína) sa pri hodnotení budú v podstatne väčšej miere ako doteraz využívať citácie a iné kvantitatívne ukazovatele; úplné nahradenie hodnotenia expertov indikátormi nie je však ani v týchto oblastiach v súčasnosti akceptovateľné
      • použitie citácií pri hodnotení výstupov v oblasti humanitných vied, spoločenských vied a umenia sa neočakáva
      • v REF sa zavádza explicitné hodnotenie dopadov (impakt) výskumných aktivít na spoločnosť a ekonomiku; dopady sa budú v podaniach prezentovať najmä formou prípadových štúdií
      • treťou zložkou hodnotenia bude výskumné prostredie
      Seminár ARRA, máj 2011
    • Záver
      • 25-ročné skúsenosti britského vysokého školstva s hodnotením vysokoškolského výskumu v rámci RAE a v rámci nadväzujúcich aktivít stoja za to, aby sme sa s nimi podrobne zoznámili
      Seminár ARRA, máj 2011
    • Ďakujem za pozornosť Seminár ARRA, máj 2011