Evaluation R&D in Czech republic

1. Hodnocení vědy v ČR

2. Dva základní přístupy:
o hodnocení bibliometrické – měření vědeckých výsledků
a výstupů,
o hodnocení peer-review – panelové hodnocení
skupinou odborníků, kteří jsou experti v dané oblasti.
Hodnocení vědy

3. o provádí RVVI (Rada vlády pro výzkum, vývoj a inovace)
o databáze IS VaVaI (projekty, záměry, hodnocení)
o způsob hodnocení je určen Metodikou hodnocení
• probíhá složitá diskuse nad její podobou
• od roku 2004 každý rok nová metodika
• Metodika 2010 – zavádí přepočet bodů přímo na
peníze
• Metodika 2012 – fixuje 80 % dle dotace z minulých let,
jen 20 % je závislé na aktuálních výsledcích v RIVu
Hodnocení vědeckých výstupů v ČR

4. Financování vědy v ČR podle RVVI
2014 2015 2016 2017
26,6 29,7 30,6 31,8
Rada vlády pro výzkum, vývoj a inovace počítá s následující podporou
VaV (vědy a výzkumu) v příštích letech (v mld. Kč).

5. IS VaVaI
• Hodnocení je prováděno na základě výsledků VaV odevzdaných institucemi do
Registru informací o výsledcích státem podporovaného výzkumu a vývoje (RIV).
• Odevzdávání výsledků do RIVu je povinné ze zákona 130/2002 Sb pro výsledky,
které vznikly z veřejných prostředků.
• Data v RIV jsou navázana na ostatní části Informačního systému VaVaI (IS VaVaI)
• CEP = Centrální evidence projektů výzkumu a vývoje financovaných ze státního
rozpočtu (tedy granty, projekty),
• VES = Evidence veřejných soutěží ve výzkumu a vývoji,
• CEA = Aktivity ve výzkumu a vývoji - informace o příjemcích, poskytovatelích a výši
podpory.
• CEZ = Centrální evidence výzkumných záměrů.
5

6. Metodika hodnocení 2014
o Reaguje na kritizované vlastnosti předchozího hodnocení:
• nezohledňování oborových specifik,
• přímou vazbu bodů na finance,
• paušální hodnocení knih.
o Hodnocení je rozděleno do tří částí:
o hodnocení publikačních výsledků,
o výzkumná kvalita – excelence,
o hodnocení aplikovaného výzkumu.

7. Časová posloupnost – financování dle RIVu
Výsledky z let Příprava
hodnocení
Státní
rozpočet
Financování
dle RIVu
2009-2013 2014 2015 2016
o Výsledky jsou počítány v pětiletém pohyblivém okně, další rok jsou
sebrány, kontrolovány a hodnoceny, o rok později je na jejich základě
připraven rozpočet pro následující rok.
o Systém financování zareaguje na odevzdaný výsledek až za tři roky.

8. • Články v časopisech z WoSu
• článek, který je obsažen v databázi Web of Science
společnosti Thomson Reuters,
• impaktní faktor příslušného časopisu je každoročně zveřejňován v
databázi Journal Citation Reports,
• české časopisy ve WoS - informační seznam.
• Články v časopisech ze Scopusu
• článek v odborném periodiku, který je obsažen v databázi SCOPUS
společnosti Elsevier,
• východiskem pro bodové hodnocení je indikátor SJR (SCImago
Journal Rank) indikátor.
Články v časopise WoS, Scopus

9. Články v časopisech z ERIHu
• článek v odborném periodiku, který je obsažen seznamu ERIH Plus,
• ERIH - European Reference Index for the Humanities,
• je to prostá databáze časopisů, není to citační rejstřík.
Článek v českém recenzovaném časopise
• je zařazen v Seznamu neimpaktovaných recenzovaných periodik vydávaných
v České republice
• pouze české recenzované vědecké časopisy všech oborů
• poslední aktualizace proběhla v roce 2013.
Ostatní články v časopise

10. • Kniha je neperiodická odborná publikace o rozsahu alespoň 50 tištěných
stran vlastního textu bez fotografických, obrazových, mapových příloh
vydaná tiskem nebo elektronicky a recenzovaná alespoň jedním
uznávaným odborníkem,
• bodové hodnocení knihy se liší podle toho, je-li vydána ve světovém
jazyce (angličtina, čínština, francouzština, němčina, ruština a španělština)
nebo je-li vydána v jazycích ostatních,
• hodnotí se i kapitola v knize, výsledek se dělí mezi autory poměrným
počtem stran dané kapitoly,
• podmínkou pro hodnocení je dodání výtisku do Národní knihovny ČR.
Odborná kniha

11. o sborníkem je recenzovaná neperiodická publikace, vydaná u příležitosti
pořádané konference, semináře nebo sympozia a má přidělen ISBN kód
o počítají se pouze články ve sbornících, jenž byly zařazeny do Conference
Proceedings Citatition Index společnosti Thompson Reuters (Web of
Science)
• oproti vědeckým časopisům však není jistota, že se podaří sborník do
této databáze zařadit (evaluační proces někdy trvá déle než rok)
• konference, jež bývá tradičně evidovaná, se dá najít v excelovém
seznamu Thomson Reuters, který je průběžně doplňován (jedná se v
naprosté většině o zahraniční konference)
Články v konferenčním sborníku

12. Bodová tabulka hodnocení
12

13. Bodová tabulka hodnocení
13

14. 54%
28%
12%
4%
1%
1%
0%
Druhy výsledků na FF UK podle korigovaných bodů
Odborná kniha nebo kapitola v knize
Článek v neimpaktovaném časopise,
nebo databázi (Scopus, ERIH)
Článek v Seznamu recenzovaných
časopisů vydávaných v ČR
Článek v impaktovaném časopise
(Web of Science)
Certifikovaná metodika,
specializovaná mapa
Software
Článek ve sborníku
Druhy vědeckých výsledků na FF UK

15. Příprava nového způsobu
hodnocení VaV

16. • Britská společnost Technopolis Group v období 2010-2011
realizovala analýzu celého systému výzkum-vývoj-inovace v
ČR,
• všechny dokumenty jsou veřejně dostupné na webových
stránkách MŠMT,
• audit stál 50 milionů Kč,
• závěrečná zpráva z více než roční práce na objektivním
zhodnocení vědy v Česku má (bez příloh) přes 1060 stran.
Analýza společnosti Technopolis
17

17. Závěry společnosti Technopolis
Slabiny:
• Rada vlády pro výzkum a vývoj nemá vhodné analytické zázemí,
• podíl HDP na VaV je pod průměrem EU,
• nízká úspěšnost v evropských programech – věd. pracovníci nemají
kvalitní administrativní aparát,
• hodnocení je příliš mechanické – jednoduché převádění bodů na peníze,
• nedostatečná spolupráce se soukromým sektorem,
• lidské zdroje – malé týmy zvládají jen malé projekty (do milionu korun),
• malá flexibilita týmů – zahnízdění v jednom prostředí,
• nízká mobilita - doktorandi musí jet do zahraničí, málo zahraničních
pracovníků,
• nízký počet žen ve vědě.
Doporučení:
• obnovit důvěru a otevřenost komunikace, zlepšit spolupráci Akademie
věd a vysokých škol,
• zvýšit výdaje státního rozpočtu na úroveň EU průměru,
• provést analýzu počtu ústavů akademie a počtu vysokých škol.
18

18. • V roce 2012 byl spuštěn projekt Efektivní systém hodnocení a
financování VaVaI (tzv. projekt IPn Metodika), s rozpočtem 111
mil Kč.
• Tzv. velké hodnocení – hodnocení výzkumných organizací se
bude zpracovávat jednou za 5 let.
• Doporučuje složit hodnocení výzkumné organizace ze tří částí:
o Autoevaluace – tedy hodnocení, ve kterém instituce sama
vyzvedne to, co se jí nejvíce povedlo, jaké výsledky považuje
za nejkvalitnější a v čem naopak vidí své rezervy.
o Bibliometrické hodnocení – podobně jako dosud je třeba
pokračovat ve sbírání výsledků do systému IS VaVaI a z něj
pravidelně počítat bibliometrické výstupy.
o Peer review – hodnocení doplnit o tým zahraničních
odborníků, kteří budou na základě předložených podkladů
hodnotit expertním způsobem výzkumné organizace.
IPn Metodika – návrh nového hodnocení
19

19. Ukázky scientometrických
analýz

20. Výsledky UK v Praze v roce 2015
• Graf ukazuje srovnání jednotlivých fakult UK podle výše celkových účelových
prostředků, které byly fakultám přiděleny na základě vykázaných výsledků v
databázi RIV.
• Jedná se o finanční příjem fakult v roce 2015 za výsledky v období 2008 – 2012.
21

21. Publikační výsledky UK podle druhu
• Graf zobrazuje ve finančním vyjádření publikační výsledky fakult UK
(z nichž byl odvozen finanční příjem fakult v roce 2015)
• Výsledky jsou rozčleněné podle druhu.
22

22. Výsledky fakult UK podle oboru
• Graf zobrazuje výsledky fakult UK podle jejich poměrného zastoupení
v jednotlivých skupinách oborů.
• Celkový počet skupin oborů podle metodiky RVVI je jedenáct.
23