1. Shrnutí systémové role
IPN Metodika
Jitka Moravcová
Daniel Münich
MŠMT
www.metodika.reformy-msmt.cz
ČKR Brno, 4.12.2014

2. Osnova presentace
1
1.Rámec
•Úrovně řízení/účely hodnocení
•Typy hodnocení
•Institucionální hodnocení pro účely řízení VaV
•Komponenty institucionálního hodnocení
2.IPN Metodika
•Komponenty
•Principy hodnocení a financování
•Harmonogram IPN a co bude poté

3. Význam hodnocení pro řízení
2
Stanovení priorit VaV
Řízení lidských zdrojů VaV
Efektivní pořizování a využívání infrastruktur VaV
Správně nastavené motivace ve VaV
Bez kvalitního hodnocení nebude kvalitního řízení

4. Rozdílné úrovně řízení systému VaV
3
vláda, RVVI,
EU rámec
Poskytovatelé
Výzkumné a další organizace
Pracovníci a infrastruktury VaV
Strategie, financování, ex- post hodnocení záměrů, infrastruktura
Financování, dohled, strategické usměrňování, infrastruktura
Řízení (včetně lidských zdrojů), motivace
Motivace, efektivní využívání infrastruktur

5. Rozdílné typy hodnocení ve VaV
4
Kultura hodnocení (bez hodnocení nebude kvalitní řízení)
Hodnocení institucí
Hodnocení programů účelové podpory
Hodnocení projektů účelové podpory
Hodnocení velkých infrastruktur VaV
Hodnocení účasti v mezinárodních sítích VaV
Hodnocení jednotlivců a týmů
Odstíny červené odlišují míru toho, jak je daný aspekt obsažen v IPN Metodika.

6. Komponenty institucionálního hodnocení
5
Institucionální hodnocení
Hodnocení výstupů a výkonnosti oborů vůči světu
Hodnocení vstupů VaV a využívání infrastruktur VaV
Hodnocení řízení
instituce
Hodnocení rozvojového potenciálu a záměrů instituce
Hodnocení mezinárodního zapojení a pozice instituce
Hodnocení výsledků a dopadů VaV
Odstíny modré odlišují míru toho, jak o daném aspektu informuje stávajícím systém institucionálního hodnocení.
Výstup (output): publikace, kniha, patent… Výsledek (outcome): nové poznání popsané v článku... Dopad (impact): dopad výsledku na svět (společnost, trh, konkurenceschopnost…)

7. 6
Hodnocení a národní strategické dokumenty
● Reforma systému VaVaI v ČR (2008, aktualizace)
● Národní politika VaVaI pro roky 2009-2015 (výhled 2020)
● Národní strategie konkurenceschopnosti 2012-2020
● Národní inovační strategie
● Dlouhodobé principy hodnocení VaV, RVVI Cíl: Zavést pravidelné, systematické a objektivní hodnocení VaVaI v ČR na všech úrovních. Mezinárodní audit systému VaVaI v ČR, 2009 - 2011

8. 7
Kde jsme dnes – Metodika 2013
●Definuje, které výstupy jsou uznatelné, jak se data sbírají a jak se převádějí na body.
●Dává jasný signál: žádný výsledek, žádná institucionální podpora.
●Je účinná proti nepotismu, korupci a lobování (?).
●Slouží pro výpočet institucionálního financování, které je krátkodobé, proto je špatným nástrojem pro dlouhodobé plánování, rozvoj nových oborů…
●Uznává jen minulé výsledky.
●Podporuje fragmentaci vědeckých výsledků.
●Nepodporuje mezioborové týmy.
●Je pouze kvantitativní (kvalitu nahrazuje kvantita).
●Nedává žádné informace pro řízení na kterémkoli stupni systému VaV.
●Nedává žádné národní/mezinárodní srovnání kvality.

9. IPN Metodika a hodnocení
8
IPN Metodika
Konsorcium Technopolis*
Návrh institucionálního hodnocení
Malé pilotní ověření
Návrh institucionálního financování
Expertní tým IPN
Velké pilotní ověření
Návrh systému hodnocení velkých infrastruktur VaV (hotovo)
Návrh principů hodnocení programů účelové podpory
Zásady hodnocení zapojení ČR do mezinárodních sítí VaV
Studie proveditelnosti hodnocení organizujícího pracoviště
Osvěta a podpora lidských zdrojů pro hodnocení VaV
*NIFU, TC AV ČR, Infoscience

10. Základní atributy navrhovaného hodnocení
9
1.Zohlednění oborových specifik
2.Zohlednění postavení a účel VO v systému VaV
3.Hodnocení institucionálních jednotek (fakulty a ústavy)
4.Hodnocení výstupů, výsledků, dopadů, řízení, mezinárodního zapojení, využívání infrastruktur
5.Forma peer-review
a.mezinárodní
b.informované
c.formou distanční vs. s návštěvou
d.využívající zkušenosti z realizace Hodnocení 2014 a AV ČR
6.Hodnocení 1x za ~6 let
7.Náklady max. 1 % národní inst. podpory za hodnocené období (srovnejme s dnešními 2,5% inst. podpory VaV dle par. 3, odst. (3), zákona 130/2002)

11. Počty VO, vědců, výstupů
10
Poskytovatel
Počet VO
AV ČR
54
MŠMT
41
MZe
20
MZ
15
MK
13
MPO
10
MV
8
MO
3
Celkem
219
Sektor
Počet FTE vědců
vvi
6 235
VVŠ
10 289
RTO
13 958
Soukromý neziskový sektor
199
Celkem
30 682
Technopolis, koncept 1. dílčí zprávy
Obor
Počet výstupů
Physical science
51 501
Engineering, Technology
59 247
Medical, Health
43 513
Biological, Agriculture
29 421
Social
43 164
Humanities
33 846
IS VaV, 2008-2012

12. Zamýšlená struktura hodnocení
11
Hodnocená jednotka (Evaluated unit, EvU)
Výzkumná jednotka (Research unit, RU)
Jednotliví vědci
Obor (Scientific field)
Podobor
(Disciplinary areas)
Výzkumný ústav
Fakulta
Výzkumná organizace (Research organization)
Řídící struktury VaV (Governance bodies, Agencies)
Národní systém VaV
Mezinárodní VaV
Technopolis, koncept 1. dílčí zprávy

13. Zamýšlená struktura hodnocení
12
Technopolis, koncept 1. dílčí zprávy
4 kategorie VO pro účely hodnocení Vědecké instituce, (AV ČR, VVŠ, univerzitní nemocnice, vvi) Výzkumné instituce (RTO) primárně zaměřené na přenos znalostí do průmyslu, Výzkumné centrum Řež, Výzkumný a zkušební letecký ústav, Výzkumný ústav stavebních hmot… Státní výzkumné organizace primárně zaměřené na služby státu a společnosti, Výzkumný ústav práce a sociálních věcí, Český metrologický institut… Infrastrukturní výzkumné organizace, Cesnet, Národní knihovna… Minimální kritéria pro vstup HJ do hodnocení 50 výstupů za hodnocenou periodu (6 let) v jednom oboru Možnost statutu mezioborové HJ, pokud min. 30 % aktivit je mezi podobory

14. Zamýšlená hodnotící kritéria
13
Assessment criteria
Indicator categories
Institutional management and development potential
Quality and adequacy of the physical research environment & attractiveness to the scientific community
Research strategy and (HR) management
Membership of the national and global research community
International research presence and collaboration
National research presence and collaboration
Research performance
Research productivity
Research capacity building
Overall research quality
Research excellence
Peak quality of the scholarly outputs
Societal relevance
Value of the research activities for the business & industry sector
Value of the research activities for other societal actors, including government

15. Hlavní indikátory
14
Institutional management and development potential (EvU/RU)
Technopolis, koncept 1. dílčí zprávy
Výzkumná kapacita
Infrastruktura výzkumu
Výzkumná strategie
Rozvoj lidských zdrojů
Membership of the national and global research community
Mezinárodní a národní spolupráce a partnerství Uznání mezinárodní a národní komunitou Společné publikace
Vědecké výstupy (typ, počet, trendy) Bibliometrie, citační analýza Výchova PhD Zdroje z účelové podpory
Research performance
Research excellence
Peer-review vybraných výstupů Bibliometrie
Zdroje z účelové podpory
Zdroje ze smluvního výzkumu
Zdroje z komercionalizace
Národní spolupráce a partnerství
Uznání odběratelskou sférou
Societal relevance

16. Zamýšlená organizační struktura hodnocení
15
Main Panels
Panels
Referees
Main Panel Chairs Main Panel Members
Panel Chairs Panel Members
Panel Secretariat
Specialist advisors -
Sciences
Specialist advisors -
Context
Referees
Evaluation management board Evaluation management team
Technopolis, koncept 1. dílčí zprávy

17. Využití výsledků hodnocení (úrovně a účely)
16
Research Units
EvU and RO
Fields Disciplinary areas
Research excellence National policy makers
National R&D governance bodies
Research performance
Societal relevance
Institutional management
& development potential
Membership of the (world)
research community
Institutional
research strategy
Institutional & HR
management
Positioning at
national level
Positioning at
international level
Models of good
practice
Positioning at
international level
National research
strategy
Alignment with RD&I
priorities
Strengths & weaknesses
Needs for policy
interventions
Needs for policy interventions
Positioning at the international level
Sectoral R&D strategy
Priority areas for performance contracts
Technopolis, koncept 1. dílčí zprávy

18. Veřejná diskuse k 1. dílčí zprávě Technopolisu
17
Ukončeno 1. kolo 7. ledna 2015 bude konference v Pardubicích Oslovili jsme všechny VO a poskytovatele
Počet respondentů
Počet oslovených
Návratnost dotazníku (%)
Poskytovatelé
4
12
33
VO
81
110
74
VVŠ
33
38
87
VVI
12
22
55
Nemocnice
3
3
100
Ostatní
33
47
70

19. Veřejná diskuse k 1. dílčí zprávě Technopolisu
18
Otázka č. 1 What type of information would you need from an evaluation to support you in the management and future development of your organisation? Will the proposed evaluation system respond to these needs?
Počet odpovědí
yes
16
somewhat yes
40
somewhat no
20
no
6
70 % respondentů shledává dokument spíše potřebným cca 80 % respondentů uvažuje o zapojení do velkého pilotního ověření

20. Co se děje právě teď
19
Vyhodnocení veřejné diskuse k 1. dílčí zprávě Realizace malého pilotního ověření Příprava 2. dílčí zprávy o institucionálním financování
1. Průběžná zpráva: návrh hodnocení
•Připomínky exp. týmu IPN (8. – 17.10. 2014)
•Proces veřejné konzultace (6. – 26.11. 2014)
•Veřejná konference (7. 1. 2015)
2. Průběžná zpráva: návrh financování
•Připomínky exp. týmu IPN (19.12. – 6.1. 2015)
•Proces veřejné konzultace (20.1. – 6.2. 2015)
•Veřejná konference (konec února 2015)
Závěrečná zpráva: + malé pilotní ověř.
•Připomínky exp. týmu IPN (19. – 30.3. 2015)
•Proces veřejné konzultace (15. – 29.4. 2015)
•Veřejná konference (květen 2015)
Závěrečná zpráva IPN (podzim 2015)

21. Návrh principů institucionálního financování
20
●Financování optimálně na 6 let v návaznosti na hodnocení
●Zavedení 2 principů
●rozpočet podle předpisu (formula funding), podle dosaženého hodnocení externími panely
●výkonností smlouva (performance based contracts), rozvoj VO do budoucnosti
●Zachování stability a kontinuity
Technopolis, principy 2. dílčí zprávy

22. Návrh principů institucionálního financování
21
●Předpoklad poměr institucionální/účelové financování je v průměru 1
Výroční zprávy VVŠ o hospodaření 2013
IP
ÚP

23. Návrh principů institucionálního financování
22
80 %
20 %
80 %
15 %
5 %
Současný stav
RIV body
Návrh nového systému
Rozpočet podle předpisu
Výkonnostní smlouva
80 % z minulého období
Technopolis, principy 2. dílčí zprávy

24. Návrh principů institucionálního financování
23
Rozpočet podle předpisu
●váhy 5 kritérií podle postavení a mise VO
●Excelence (nejvyšší relevance pro VVŠ, VVI)
●Výkonnost (nejvyšší relevance ve všech typech VO)
●Společenský dopad (vyšší relevance pro VO aplikovaného výzkumu, veřejný sektor, muzea…)
●Mezinárodní a národní uznání (mezinárodní pro vědecké VO, národní více pro ostatní VO)
●Management (zpočátku nižší relevance)
Technopolis, principy 2. dílčí zprávy

25. Děkujeme za spolupráci.
Všechny informace jsou na webových stánkách projektu.
www.metodika.reformy-msmt.cz
Není žádné nekonfliktní řešení Hledání konsensu