Návrh obecných zásad hodnocení programů účelové podpory VVI a potřebných syst...MEYS, MŠMT in Czech
Hodnocení má poskytovat užitečné podklady pro rozhodování. Současný způsob hodnocení programů účelové podpory výzkumu, vývoje a inovací tuto úlohu neplní. Předložený dokument
na základě nejlepší mezinárodní praxe navrhuje obecné zásady, podle kterých by se hodnocení mělo provádět.
Studie proveditelnosti institucionálního zajištění navrhovaného systému hodno...MEYS, MŠMT in Czech
Ve studii jsou popsány variantně podoby útvaru, který bude realizovat hodnocení výzkumných organizací tak, aby to odpovídalo výstupům projektu IPN Metodika. Jsou zvažovány výhody i nevýhody jednotlivých možných řešení. Podrobně je analyzována finanční náročnost hodnotícího postupu NERO v přímých nákladech, tedy na straně instituce zajišťující hodnocení.
Harmonogram postupných kroků realizace návrhů nového hodnocení a financování ...MEYS, MŠMT in Czech
Tato implementační doporučení zpracoval expertní tým IPN Metodika v závěrečné fázi projektu na základě zkušeností získaných během úzké spolupráce se zpracovatelem studie „Metodika hodnocení ve výzkumu a vývoji a zásady financování“ společností Technopolis Group z Velké Británie dále také díky bohatým zkušenostem z realizace pilotního ověření navržené metodiky hodnocení týmem projektu, díky intenzivním diskusím se zainteresovanými subjekty, s odbornou veřejností a zahraničními experty po celou dobu trvání projektu. Doporučení jsou výsledkem podrobných diskusí realizačních aspektů v rámci širokého expertního týmu IPN Metodika.
Souhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financováníMEYS, MŠMT in Czech
Souhrnná zpráva shrnuje výsledky práce provedené v rámci studie vytvářející novou Metodiku hodnocení výzkumu a vývoje a zásady institucionálního financování v ČR, která probíhala v letech 2014–15. V principu stojí na třech Závěrečných zprávách (Final Report 1–3) a deseti Podkladových zprávách (Background Reports).
+ http://metodika.reformy-msmt.cz/souhrnna-zprava
Pilotní ověření návrhu nové metodiky hodnocení výzkumných organizacíMEYS, MŠMT in Czech
Dokumenty shrnují výsledky pilotního ověření metodiky NERO hodnocení výzkumné činnosti vycházející ze závěrů a doporučení Technopolisu, které bylo realizováno týmem projektu v průběhu roku 2015.
Návrh obecných zásad hodnocení programů účelové podpory VVI a potřebných syst...MEYS, MŠMT in Czech
Hodnocení má poskytovat užitečné podklady pro rozhodování. Současný způsob hodnocení programů účelové podpory výzkumu, vývoje a inovací tuto úlohu neplní. Předložený dokument
na základě nejlepší mezinárodní praxe navrhuje obecné zásady, podle kterých by se hodnocení mělo provádět.
Studie proveditelnosti institucionálního zajištění navrhovaného systému hodno...MEYS, MŠMT in Czech
Ve studii jsou popsány variantně podoby útvaru, který bude realizovat hodnocení výzkumných organizací tak, aby to odpovídalo výstupům projektu IPN Metodika. Jsou zvažovány výhody i nevýhody jednotlivých možných řešení. Podrobně je analyzována finanční náročnost hodnotícího postupu NERO v přímých nákladech, tedy na straně instituce zajišťující hodnocení.
Harmonogram postupných kroků realizace návrhů nového hodnocení a financování ...MEYS, MŠMT in Czech
Tato implementační doporučení zpracoval expertní tým IPN Metodika v závěrečné fázi projektu na základě zkušeností získaných během úzké spolupráce se zpracovatelem studie „Metodika hodnocení ve výzkumu a vývoji a zásady financování“ společností Technopolis Group z Velké Británie dále také díky bohatým zkušenostem z realizace pilotního ověření navržené metodiky hodnocení týmem projektu, díky intenzivním diskusím se zainteresovanými subjekty, s odbornou veřejností a zahraničními experty po celou dobu trvání projektu. Doporučení jsou výsledkem podrobných diskusí realizačních aspektů v rámci širokého expertního týmu IPN Metodika.
Souhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financováníMEYS, MŠMT in Czech
Souhrnná zpráva shrnuje výsledky práce provedené v rámci studie vytvářející novou Metodiku hodnocení výzkumu a vývoje a zásady institucionálního financování v ČR, která probíhala v letech 2014–15. V principu stojí na třech Závěrečných zprávách (Final Report 1–3) a deseti Podkladových zprávách (Background Reports).
+ http://metodika.reformy-msmt.cz/souhrnna-zprava
Pilotní ověření návrhu nové metodiky hodnocení výzkumných organizacíMEYS, MŠMT in Czech
Dokumenty shrnují výsledky pilotního ověření metodiky NERO hodnocení výzkumné činnosti vycházející ze závěrů a doporučení Technopolisu, které bylo realizováno týmem projektu v průběhu roku 2015.
ZÁSADY INSTITUCIONÁLNÍHO FINANCOVÁNÍ / Závěrečná zpráva 2MEYS, MŠMT in Czech
Závěrečná zpráva 2 je jednou ze tří Závěrečných zpráv studie zabývající se přípravou Metodiky hodnocení a zásad financování systému výzkumu a vývoje v České republice. Zpráva popisuje nové zásady pro institucionální financování výzkumných organizací (VO).
+ http://metodika.reformy-msmt.cz/zasady-institucionalniho-financovani
Dokument je zpracovaný na základě zkušeností z pilotního ověření navrhované metodiky hodnocení výzkumných organizací a z diskusí s odbornou veřejností během celé doby trvání projektu. Zaměřen je nejen na změny vnitřních předpisů veřejných vysokých škol, ale také na dlouhodobé záměry vysokých škol. Jsou formulována doporučení pro veřejné vysoké školy na jedné straně a MŠMT na straně druhé.
Poučení z evaluací vzdělávacích projektůInka Pibilova
Poučení z evaluací globálních vzdělávacích projektů a programů českých nevládních neziskových organizací realizovaných v ČR i zahraničí. Evaluace proběhly zejména v roce 2012.
MALÉ PILOTNÍ HODNOCENÍ A VYUŽITÍ IS VaVaI JAKO NÁSTROJE PŘI HODNOCENÍ / Záv...MEYS, MŠMT in Czech
Závěrečná zpráva 3 je jedna ze tří Závěrečných zpráv studie navrhující novou Metodiku hodnocení a zásady financování výzkumu a vývoje v České republice. Věnuje se výsledkům dvou různých analýz, tj. Malému pilotnímu hodnocení (MPH), které se zaměřilo na testování adekvátnosti procesů, jež se předpokládají při implementaci a následném používání Metodiky hodnocení a analýzy týkající se potenciálního využití Informačního systému výzkumu, experimentálního vývoje a inovací (IS VaVaI) coby nástroje pro získávání informací, zejména pro účely hodnocení.
+ http://metodika.reformy-msmt.cz/male-pilotni-hodnoceni
Video z této přednášky naleznete v repozitáři NTK: http://repozitar.techlib.cz/record/795
Chcete vědět víc? Mnoho dalších prezentací, videí z konferencí, fotografií i jiných dokumentů je k dispozici v institucionálním repozitáři NTK: http://repozitar.techlib.cz
Would you like to know more? Find presentations, reports, conference videos, photos and much more in our institutional repository at: http://repozitar.techlib.cz/?ln=en
Podklady a doporučení pro zapracování do věcného záměru zákona nahrazujícího ...MEYS, MŠMT in Czech
Dokument analyzuje, zda vůbec a popřípadě v jaké míře jsou nutné změny regulatorního rámce v oblasti výzkumu, vývoje a inovací, které by si vyžádala realizace návrhů vzešlých z výstupů Individuálního projektu národního Efektivní systém hodnocení a financování výzkumu, vývoje a inovací. Jsou zohledněny i probíhající záměry úprav legislativních předpisů.
V tradičním pojetí jsou rizika chápána negativně, tedy jako hrozby. Tím, že jsou identifikována a vyhodnocena, vytvářejí ale současně příležitosti, které lze využít pro zlepšení výsledku projektu nebo pro snadnější uvádění jeho výsledků do života. Z veřejného projednávání dokumentů IPN Metodika, diskusí na konferencích a zpětné vazby výzkumných organizací, které se účastnily dvou pilotních ověřování nové metodiky hodnocení, byly získány některé podněty, které jsou považovány za rizika pro zavádění národního hodnocení výzkumných organizací (NERO).
Závěrečná zpráva 1 je v první ze Závěrečných zpráv studie navrhující Metodiku hodnocení a zásady institucionálního financování výzkumu a vývoje (VaV) v České republice. Metodika hodnocení (MH), která je navržena v této zprávě, definuje klíčové principy budoucí Metodiky hodnocení a stanovuje její základní součásti.
+ http://metodika.reformy-msmt.cz/hodnoceni-vyzkumnych-organizaci
Úvodní díl metodik IPN KVALITA stručně představuje cíle, východiska a návaznosti projektu, vytyčuje základní rámec přístupů, metod a nástrojů pro řídicí aj. procesy, který projekt přejímal a respektoval. Úvod k metodikám také poskytl prostor pro základní definice pojmu „kvalita“, problematiku tvorby a využívání standardů, systém řízení. Zároveň obsahuje přílohu „Přehledně o projektu“, která poskytuje v koncentrované formě základní informace o IPN KVALITA.
Spolupráce na bibliometrických zprávách pro pilotní ověření / Alena CibulcováMEYS, MŠMT in Czech
Možné dopady implementace nové metodiky hodnocení
vědy a výzkumu do praxe VO na základě získaných poznatků a zapojení do přípravy bibliometrických dat
ZÁSADY INSTITUCIONÁLNÍHO FINANCOVÁNÍ / Závěrečná zpráva 2MEYS, MŠMT in Czech
Závěrečná zpráva 2 je jednou ze tří Závěrečných zpráv studie zabývající se přípravou Metodiky hodnocení a zásad financování systému výzkumu a vývoje v České republice. Zpráva popisuje nové zásady pro institucionální financování výzkumných organizací (VO).
+ http://metodika.reformy-msmt.cz/zasady-institucionalniho-financovani
Dokument je zpracovaný na základě zkušeností z pilotního ověření navrhované metodiky hodnocení výzkumných organizací a z diskusí s odbornou veřejností během celé doby trvání projektu. Zaměřen je nejen na změny vnitřních předpisů veřejných vysokých škol, ale také na dlouhodobé záměry vysokých škol. Jsou formulována doporučení pro veřejné vysoké školy na jedné straně a MŠMT na straně druhé.
Poučení z evaluací vzdělávacích projektůInka Pibilova
Poučení z evaluací globálních vzdělávacích projektů a programů českých nevládních neziskových organizací realizovaných v ČR i zahraničí. Evaluace proběhly zejména v roce 2012.
MALÉ PILOTNÍ HODNOCENÍ A VYUŽITÍ IS VaVaI JAKO NÁSTROJE PŘI HODNOCENÍ / Záv...MEYS, MŠMT in Czech
Závěrečná zpráva 3 je jedna ze tří Závěrečných zpráv studie navrhující novou Metodiku hodnocení a zásady financování výzkumu a vývoje v České republice. Věnuje se výsledkům dvou různých analýz, tj. Malému pilotnímu hodnocení (MPH), které se zaměřilo na testování adekvátnosti procesů, jež se předpokládají při implementaci a následném používání Metodiky hodnocení a analýzy týkající se potenciálního využití Informačního systému výzkumu, experimentálního vývoje a inovací (IS VaVaI) coby nástroje pro získávání informací, zejména pro účely hodnocení.
+ http://metodika.reformy-msmt.cz/male-pilotni-hodnoceni
Video z této přednášky naleznete v repozitáři NTK: http://repozitar.techlib.cz/record/795
Chcete vědět víc? Mnoho dalších prezentací, videí z konferencí, fotografií i jiných dokumentů je k dispozici v institucionálním repozitáři NTK: http://repozitar.techlib.cz
Would you like to know more? Find presentations, reports, conference videos, photos and much more in our institutional repository at: http://repozitar.techlib.cz/?ln=en
Podklady a doporučení pro zapracování do věcného záměru zákona nahrazujícího ...MEYS, MŠMT in Czech
Dokument analyzuje, zda vůbec a popřípadě v jaké míře jsou nutné změny regulatorního rámce v oblasti výzkumu, vývoje a inovací, které by si vyžádala realizace návrhů vzešlých z výstupů Individuálního projektu národního Efektivní systém hodnocení a financování výzkumu, vývoje a inovací. Jsou zohledněny i probíhající záměry úprav legislativních předpisů.
V tradičním pojetí jsou rizika chápána negativně, tedy jako hrozby. Tím, že jsou identifikována a vyhodnocena, vytvářejí ale současně příležitosti, které lze využít pro zlepšení výsledku projektu nebo pro snadnější uvádění jeho výsledků do života. Z veřejného projednávání dokumentů IPN Metodika, diskusí na konferencích a zpětné vazby výzkumných organizací, které se účastnily dvou pilotních ověřování nové metodiky hodnocení, byly získány některé podněty, které jsou považovány za rizika pro zavádění národního hodnocení výzkumných organizací (NERO).
Závěrečná zpráva 1 je v první ze Závěrečných zpráv studie navrhující Metodiku hodnocení a zásady institucionálního financování výzkumu a vývoje (VaV) v České republice. Metodika hodnocení (MH), která je navržena v této zprávě, definuje klíčové principy budoucí Metodiky hodnocení a stanovuje její základní součásti.
+ http://metodika.reformy-msmt.cz/hodnoceni-vyzkumnych-organizaci
Úvodní díl metodik IPN KVALITA stručně představuje cíle, východiska a návaznosti projektu, vytyčuje základní rámec přístupů, metod a nástrojů pro řídicí aj. procesy, který projekt přejímal a respektoval. Úvod k metodikám také poskytl prostor pro základní definice pojmu „kvalita“, problematiku tvorby a využívání standardů, systém řízení. Zároveň obsahuje přílohu „Přehledně o projektu“, která poskytuje v koncentrované formě základní informace o IPN KVALITA.
Spolupráce na bibliometrických zprávách pro pilotní ověření / Alena CibulcováMEYS, MŠMT in Czech
Možné dopady implementace nové metodiky hodnocení
vědy a výzkumu do praxe VO na základě získaných poznatků a zapojení do přípravy bibliometrických dat
+ http://metodika.reformy-msmt.cz/prednaska-moravcova-cvut-2014
Hodnocení a financování VaVaI je ve vědecko-výzkumné komunitě atraktivním tématem. Návštěvníci informačního semináře k této problematice, který se konal 17. 9. 2014, zcela zaplnili velkou zasedací místnost na Rektorátu ČVUT. Seminář na téma současného stavu a výhledu do budoucna v oblasti hodnocení a financování VaVaI vedla prof. Ing. Jitka Moravcová, CSc., hlavní odborná garantka IPN Metodika.
Pilot test of new evaluation methodology of research organisationsMEYS, MŠMT in Czech
In 2015, the pilot test of a new evaluation methodology of research, development and innovation, in which twelve research organisations
active predominantly in two fields (Chemistry and History) participated, was carried out. Three main and nine subject panels, in which thirty-five
foreign and six local experts were present, prepared evaluation reports of thirty-one registered, field-specific research units. The feedback of the panellists and the institutions evaluated, which are useful for the preparation of a nationwide evaluation of research organisations in the Czech Republic, are the key output of the pilot test.
This document discusses adjustments made to the bibliometric reports used in pilot testing a new methodology for evaluating research organizations in the Czech Republic. Key changes included adding explanatory labels, reformatting tables and graphs to include numbers and bases for percentages, and modifying some indicator calculations. Problems encountered in compiling the reports centered around unclassified scientists, inaccuracies in mapping publication records between databases, errors in processing data and indicators, and inefficient formatting of reports. Recommendations focused on standardizing the bibliometric report format, presenting key indicators in overview tables, accounting for publications with multiple institutional authors, and expanding coverage of outputs from social sciences and humanities.
This report is one of the three Final reports of the study developing an evaluation methodology and institutional funding principles for the R&D system in the Czech Republic. It describes the methodology for the National Evaluation of Research Organisations (NERO) in the Czech Republic.
This report is the one of the three Final reports of a study developing an evaluation methodology and institutional funding principles for the R&D system in the Czech Republic. It describes the new principles for the institutional funding of research organisations (RO) in the Czech Republic.
The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...MEYS, MŠMT in Czech
This document summarizes the findings from a small pilot evaluation (SPE) testing a new research evaluation methodology and use of an RD&I information system in the Czech Republic. The SPE involved a few research organizations and aimed to test the evaluation processes and methodology. Feedback indicated some inefficiencies in the SPE and ways to improve the processes and quality of submitted information. The document also describes the RD&I information system and its potential to support the evaluation methodology by providing reliable data and reducing indirect costs if utilized fully. Extensions to the system are proposed to optimize its usefulness for evaluations.
Summary Report / R&D Evaluation Methodology and Funding PrinciplesMEYS, MŠMT in Czech
This study has been undertaken under a contract to the Ministry of Education, Youth
and Sports of the Czech Republic by a team from Technopolis, the Technology Centre
ASCR, NIFU, and Infoscience Praha.
Analýza má posloužit k podrobnějšímu rozboru možností a k doporučení a zdůvodnění výběru určitého řešení. Jednoznačná identifikace je důležitá nejen pro výzkumníky, aby mohli prezentovat výsledky své vědecké činnosti, ale využívá se též pro hodnocení autorů a pracovišť, vydavatelům a poskytovatelům finančních podpor zjednodušuje administrativu a usnadňuje organizaci databází. Zavedením trvalého jedinečného identifikátoru výzkumníka se vyřeší jednoznačné přiřazení výstupů a dalších profesních aktivit danému vědeckému pracovníkovi.
Metodika hodnocení přínosů ČR v mezinárodních organizacích výzkumu a vývoje /...MEYS, MŠMT in Czech
Mezinárodní organizace výzkumu a vývoje představují de facto výzkumné infrastruktury, jejichž činnost se na rozdíl od ostatních výzkumných infrastruktur, ať již národního či mezinárodního charakteru, řídí na základě mezinárodního práva veřejného.
R&D Evaluation Methodology & Funding Principles Pilot testingMEYS, MŠMT in Czech
This document provides details about a pilot test of a new research evaluation methodology in the Czech Republic. The pilot test aimed to comprehensively test the methodology and provide feedback. It involved a limited number of research organizations evaluating their outputs from 2010-2014. The results would not be published or impact funding, but provided to organizations for comment. The document outlines the assessment criteria, timetable, list of participating evaluation units and research units, recommendations for registering research units, the selection process for panels and panellists, and the composition of the panels and countries of panellists.
R&D Evaluation Methodology & Funding Principles Pilot testing
Research Evaluation -Approaches and Methods
1. Research Evaluation -
Approaches and
Methods
Daniel Münich
MŠMT
IPN Metodika:
10. ledna 2015
National Technical Library
www.metodika.reformy-msmt.cz
http://www.techlib.cz/cs/82734-kre-14#tab_program
3. Význam hodnocení pro řízení
2
Stanovení priorit
VaV
Řízení lidských
zdrojů VaV
Efektivní pořizování
a využívání
infrastruktur VaV
Správně nastavené
motivace ve VaV
Bez kvalitního hodnocení
nebude kvalitního řízení
4. Evaluation in general should
inform the whole policy cycle
3
Issue identification
Issue framing
Policy measure
identification
Policy measure
development and
adoption
Implementation
Feedback
Issue identification
Issue framing
Policy measure
identification
Impact assessment
Policy measure
development and
adoption
Implementation
Interim evaluation
Effectiveness and
ex-post impact
assessment
Feedback
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
5. Rozdílné typy hodnocení ve VaV
4
Kultura hodnocení
(bez hodnocení
nebude kvalitní
řízení)
Hodnocení
institucí
Hodnocení
programů
účelové
podpory
Hodnocení
projektů
účelové
podpory
Hodnocení
velkých
infrastruktur
VaV
Hodnocení
účasti v
mezinárodních
sítích VaV
Hodnocení
jednotlivců a
týmů
Odstíny červené odlišují míru
toho, jak je daný aspekt
obsažen v IPN Metodika.
6. Different evaluations and purposes
• Hodnocení projektů a grantů
• Ex-ante, ex-post
• Hodnocení programů podpory VaV
• Ex-ante, interim, ex-post
• Hodnocení velkých (sdílených) infrastruktur
• Ex-ante, interim, ex-post
• Hodnocení zapojení země do mezinárodních sítí VaV
• Hodnocení v institucích VaV (v.v.i.)
• průběžné / ad-hoc
• VaV nebo i vzdělávání?
• externí / interní (internal governance)
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
7. Komponenty institucionálního hodnocení
6
Institucionální
hodnocení
Hodnocení
výstupů a
výkonnosti
oborů vůči
světu
Hodnocení
vstupů VaV
a využívání
infrastruktur
VaV
Hodnocení
řízení
instituce
Hodnocení
rozvojového
potenciálu a
záměrů
instituce
Hodnocení
mezinárodního
zapojení a
pozice instituce
Hodnocení
výsledků a
dopadů VaV
Odstíny modré odlišují míru
toho, jak o daném aspektu
informuje stávajícím systém
institucionálního hodnocení.
8. Rozdílné úrovně řízení systému VaV
7
vláda, RVVI,
EU rámec
Poskytovatelé
Výzkumné a další
organizace
Pracovníci a
infrastruktury VaV
Strategie, financování, ex-
post hodnocení záměrů,
infrastruktura
Financování, dohled,
strategické usměrňování,
infrastruktura
Řízení (včetně lidských
zdrojů), motivace
Motivace, efektivní
využívání infr.
9. Informace v řízení na vyšších úrovních
systému VaV
8
• Rozhodnutí o
podpoře
lidských zdrojů
VaV
• Rozhodování o
zapojení do
mezinárodních
sítí
• Veřejná
obhajoba role
VaV a veřejné
podpory
• Rozhodování o
financování
Výkon oborů
VaV vůči světu
Využívání a
potřeba
infrastruktur
VaV
Priority
(strategické
potřeby)
Vědecký
výkon,
produktivita a
přínosy
segmentů VaV
10. Institucionální hodnocení (rozlišujme!)
• Úroveň hodnocení
• vysoká škola, součást, katedra, tým, jednotlivci
• ústav / pracoviště, tým, oddělení, jednotlivci
• Dimenze hodnocení
• úroveň vstupů (lidé, peníze, zařízení)
• řízení / fungování (internal governance)
• vize rozvoje
• výstupy
11. The role and function of the EM
• The key function of an evaluation system is to support public
R&D governance in the attainment of its strategic objectives, i.e.
• To strengthen R&D capacity
• To foster excellence in research
• To foster its alignment with the societal needs
• To support the growth and competitiveness of the Czech Republic
• By:
• Assessing past research performance
• Supporting future performance improvement
Provide incentives for positive change in the R&D system reflecting the
strategy
Provide strategic information for policy making and R&D management
10
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
12. Evaluation (assessment) for a
PRFS is necessarily more narrow
11
‘General’ evaluation Evaluation in a PRFS
Informs policy making on the failures
in the system and recommends
possible policy interventions
Is part of a policy intervention: it acts
upon previously identified failures and
steers research behaviour to tackle these
by providing incentives
Has no effects directly linked to the
evaluation Is intended to create effects
Has no consequences of gaming or
unintended effects
Has inevitable consequences of gaming
and may lead to unintended effects
Gives information on the positioning
of the evaluated objects in the
national/international context
Sets the evaluated objects in competition
to each other
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
13. Evaluation in the context of a
funding mechanism
12
• -----------
• -----------
• -----------
• -----------
• -----------
• -----------
• -----------
• -----------
• -----------
• -----------
• -----------
• -----------
Management
& potential
Membership of
research
community
Research
excellence
Research
performance
Information Peer
review
• Star rating
• Strategic
feedback
• Star rating
• Strategic
feedback
• Star rating
• Strategic
feedback
• Star rating
• Strategic
feedback
• -----------
• -----------
• -----------
Societal
relevance
• Star rating
• Strategic
feedback
Money ‘pot’ per
institution type
% % % %
% % % %
% % % %
% % % %
% % % %
Institutiona
l research
funding per
evaluated
RU
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
14. Ratings tend to use 4-5 points
13
Score Meaning Research quality Relevance to society Viability
1 World leading/
excellent
The research unit has been
shown to be one of the few
most influential research groups
in the world in its particular field.
The research unit makes
an outstanding
contribution to society.
The research unit is
excellently
equipped for the
future.
2 Very good The research unit conducts very
good, internationally recognised
research.
The research unit makes
a very good contribution
to society.
The research unit is
very well equipped
for the future.
3 Good The research unit conducts
good research.
The research unit makes
a good contribution to
society.
The research unit
makes responsible
strategic decisions
and is therefore
well equipped for
the future.
4 Unsatisfactory The research unit does not
achieve satisfactory results in
its field.
The research unit does
not make a satisfactory
contribution to society.
The research unit is
not adequately
equipped for the
future.
Example: Netherlands
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
15. Absolutní kritéria hodnocení REF’14
4* Quality that is world-leading in term of originality, significance, and rigour
3* Quality that is internationally excellent in terms of originality, significance,
and rigour but which falls short of the highest standards of excellence
2* Quality that is recognized internationally in terms of originality,
significance, and rigour
1* Quality that is recognized nationally in terms of originality, significance,
and rigour
U/C Quality that falls bellow the standard of nationally recognized work. Or
work which does not meet the published definition of research for the
purpose of this assessment. 14
16. Some effects of PRFS
• Positive
• Improved research and management attention to productivity and quality
• Performance focus and individual and collective levels
• Restructuring towards high-quality performers
• Greater transparency about performance
• Negative
• Focus on producing indicators rather than science, encouraging ‘gaming’
• Narrowing of the career path, with growing influence of research managers
• Squeezing out the heterodox and interdisciplinarity
• Matthew Effect encourages lock-ins
• Research indicators often used in relation to teaching
15
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
17. Who does what
16
Australia
(2014)
Austria
(2014)
Belgium (FL) –
BOF (2014)
Finland
(2014)
Italy
(2014)
Netherlands
(2014)
New
Zealand
(2014)
Norway /
evaluations
(2014)
Norway /
PRFS
(2014)
Sweden
(2014)
UK –
(2014)
Purpose
Performance
assessment
X X X X X X X X X X X
Inform funding X X X X X X X X
Main function
Formative X X X X X X X
Summative X X X X
Formative function
National R&D
governance
X X X X X X
Institutional
R&D
management
X X X X X X X
Summative function
R&D quality X X X X X X X X X X X
R&D capacity
building
X X X X X X X X
Research
excellence
X X
Societal
relevance
X X X X
Notes
Performance
contracts
Performance
agreements
Performance
contracts
Performance
contracts
Separate PRFS – simple,
10% of funding
New
PRFS in
2015
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
18. National and institutional
evaluations tend to be distinct
• National evaluations typically
• Are commissioned by national research funders or their principals
• Compare performance with other countries at the field level
• Collect strategic information to support research policy interventions
• Are summative with respect to the institutional level
• Lean heavily on bibliometric methods – with selective use of peer review
• Institutional evaluations
• Are commissioned by institutions or their principals
• If they benchmark (often they don’t), compare with other institutions
• Try to explain performance at a level of detail that is formative, in order to support
institutional research management
• Tend to use informed peer review (though note that modern research
management routinely monitors performance by bibliometric means
17
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
19. It’s unusual to compare different
types of research organisations (RO)
• Types of organisation
• Universities / Higher Education Institutions
• Scientific research institutes
• Research and Technology Organisations (RTOs)
• Government laboratories
• NB that hybrid forms are increasingly appearing
• Different types of RO are rarely benchmarked against each other
• Differences in mission or function
• Different principals and accountability
• Different mix among types of research and between research and non-research
activities
• Legal form is irrelevant – evaluation is based on function
• See, for example, the Norwegian institute PRFS, which separates institutes from
universities but ignores legal form
18
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
20. Typical institutional research
evaluation approaches by RO type
• Universities
• Focus on quality, interaction with teaching
• Preference for peer review
• Scientific research institutes
• Ditto, but no emphasis on teaching unless PhD education is provided
• RTOs
• Economic performance, social impacts, customer feedback, research quality
• Predominance of social scientific methods; peers if quality is a major issue
• Government labs
• Mission performance, usefulness to policy formation processes, social impacts,
research quality
• Predominance of social scientific methods; peers if quality is a major issue
19
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
21. Why use peers?
• Legitimacy in the scientific community
• Ability to address context, for example at institutional level
• Understanding inter-field differences
• Ability to be formative
• Drawbacks include
• Those evaluated generally have to do work as part of the process
• Need to ensure independence (research funders devote significant effort to this)
• Expensive, especially if site visits are involved
• Shortage of peers
• Occasional misbehaviour at the individual level – typically constrained by the use
of panels
20
22. Unit of analysis
• Depends on the purpose of the evaluation
• Tendency to avoid the individual level – that produces erratic results
and undermines institutional autonomy
• Some systems require tactical decisions about including individual
researchers, with intra-institutional and personal consequences
• Decisions to include organisations are normally policy-based. You
can’t ‘volunteer’ (and usually you can’t avoid assessment, either)
21
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
23. Recent Czech focus on outputs is
unusual
22
UK (REF)
Italy (VQR)
Belgium/FL (IOF)
Belgium/FL (BOF)
Norway (HEI)
Sweden
Outputs
Systemic & process
indicators
Impacts
Society
Innovation
Research
Denmark
Finland
Norway (PRI)
Czech Republic
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
27. Druhý pilíř současné Metodiky
hodnocení 2013-2015
• Rozšíření počtu panelů.
• Cca 1 promile výsledků je třeba navýšit.
• Počet předkládaných výsledků za instituci by se musel vztáhnout k
počtu jejích vědeckých pracovníků v rámci oboru.
• Na VŠ hodnotit na úrovni součástí: tedy fakult a ústavů.
• Výstupy hodnotit na absolutní škále kvality světovým standardů oborů.
• V panelech zvýšit zastoupení solidní vědců ze zahraničí.
• Honoráře panelistů zvýšit.
• Logistická podpora práce panelů profesionálního charakteru.
• Hodnocení dělat jen jednou za několik let.
26
28. Why use bibliometrics?
• Comparatively low cost – and the cost is declining
• Need not involve work by those evaluated
• Can produce fine-grained ratings and rankings – though arguably this is
spurious precision
• However
• Inter-field comparisons are problematic
• Use of indicators is generally unsophisticated and sometimes problematic (for
example, Journal Impact Factors)
• Lack of context indicators and conventions for handling them
• Hence, they provide a much more partial picture than peer review
• Unhelpful for formative evaluation
• Emerging conclusion: use ‘informed’ peer review
27
Source: Technopolis, Presentation by Erik Arnold (Technopolis) , Jan 7, 2014
29. Bibliometrie informuje o
•Počtu a kvalitě publikací (v časopisech a
sbornících; WoS/Scopus)
•Rozsahu a kvalitě akademického ohlasu
(citace)
•Rozsahu a kvalitě spolupráce a mobility
•Mezioborovosti
31. Zásady bibliometrického hodnocení
• Vypovídací schopnost a věrohodnost podmiňuje
• kvalita vstupních dat (ověření a ověřitelnost)
• adekvátní zohlednění oborových specifik
• adekvátní benchmarking (srovnávat srovnatelné)
• Ukazovat spíše výkon (tj. počty výstupů)
• než produktivitu (výstupy/vstupy)
• Sledovat spíše profil (distribuci) indikátorů a ne průměry
• RCIO
32. Bibliometrie vs. peer-review výstupů
• Kvalita a význam výsledků výzkumu je zatížena neurčitostí
• stochastický (chybovost) element nelze vyloučit,
• ale lze ho redukovat počtem pozorování,
• ale pozorování jsou drahá nutný kompromis
• -> využití zákona velkých čísel a kombinace metod
• impaktní faktor čas ~ renomé & náročnost peer-review ~ odhad kvality/významu
• citovanost ~ ohlas akademické komunity ~ odhad kvality / významu
• dodatečné peer-review ~ zlepšení odhadu (snížení míry chybovosti)
42. Pozor na !
• Malá čísla
• Sebecitovanost
• samotných autorů a spřízněnců
• časopisů a jejich svazků (zvyšuje IF)
• Publikace ve spřízněných časopisech a sbornících
• Velké megakolaborace = velké autorské týmy
• Vedlejší role spoluautorů
• Malé obory
• Obory nedostatečně pokryté WoS a Scopus
• ….