SlideShare a Scribd company logo
1 of 19
Download to read offline
Analýza rizik pro zavádění národního
hodnocení výzkumných organizací
(NERO)
Tento krátký dokument zpracoval expertní tým KA7
IPN Metodika na základě zkušeností z veřejných
projednávání dokumentů IPN Metodika, diskusí na
konferencích a zpětné vazby výzkumných organizací, které
se účastnily dvou pilotních ověřování nové metodiky
hodnocení. Některé podněty by mohly být potenciálními
riziky pro zavádění národního hodnocení výzkumných
organizací (NERO). V dokumentu expertní tým KA7
navrhuje způsob jejich eliminace, což může napomoci
k hladšímu průběhu přípravy a realizace NERO.
Expertní tým KA7 IPN Metodika
Analýza rizik
pro zavádění národního hodnocení výzkumných organizací (NERO)
Tento dokument byl zpracován v rámci Individuálního projektu národního pro oblast terciárního vzdělávání, výzkumu
a vývoje „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací, CZ.1.07/4.1.00/33.0003“ (IPN Metodika).
Projekt byl realizován Ministerstvem školství, mládeže a tělovýchovy a financován prostřednictvím Operačního programu
Vzdělávání pro konkurenceschopnost z Evropského sociálního fondu a státního rozpočtu České republiky.
Dokument neprošel jazykovou korekturou.
Předmluva
V tradičním pojetí jsou rizika chápána negativně, tedy jako hrozby. Tím, že jsou identifikována a vyhodnocena, vytvářejí
ale současně příležitosti, které lze využít pro zlepšení výsledku projektu nebo pro snadnější uvádění jeho výsledků do
života. Z veřejného projednávání dokumentů IPN Metodika, diskusí na konferencích a zpětné vazby výzkumných
organizací, které se účastnily dvou pilotních ověřování nové metodiky hodnocení, jsme získali některé podněty, které
považujeme za rizika pro zavádění národního hodnocení výzkumných organizací (NERO). V tomto dokumentu jsou tato
rizika pojmenována a je navržen způsob jejich eliminace, což může napomoci k hladšímu průběhu přípravy a realizace
NERO. A to je velká příležitost.
OBSAH
Předmluva.......................................................................................................................................................... 3
1 Úvod....................................................................................................................................................... 5
2 Principy FMEA ....................................................................................................................................... 8
3 NERO a analýza rizik pomocí FMEA...................................................................................................... 9
4 Závěr.....................................................................................................................................................17
Seznam použitých zkratek ................................................................................................................................18
5
1 Úvod
Již při návrhu řešení IPN Metodika jsme počítali s riziky, která by mohla úspěšné dokončení projektu ohrozit, a současně
jsme definovali, jak těmto rizikům předcházet a jak je eliminovat:
Riziko 1. Svébytným problémem, se kterým se musí projekt vyrovnat, je nesystémová komplexnost českého
výzkumného prostředí. Diverzita právních forem, sektorová a oborová roztříštěnost institucí VaVaI v ČR znemožňuje
přímé převzetí některého z existujících zahraničních modelů.
Eliminace rizika. Návrh Oborové metodiky hodnocení (OMH) bude reflektovat specifitu jednotlivých vědních oborů, čímž
se sníží riziko nepřijetí závěrů projektu. Hodnocení VO pak bude zohledňovat právní postavení VO, jejich účel, pro který
byly zřízeny, jejich misi i připravenost dostát závazkům v budoucnosti. Důležitou součástí projektu jsou činnosti spojené
s Klíčovou aktivitou 7 „Vytváření podmínek pro konsensuální přijetí reformních návrhů“ (KA7), řešené po celou dobu
realizace projektu. Riziko by mělo být eliminováno i soustavnou spoluprací s RVVI a KHV a dalšími aktéry.
Riziko 2. Přestože je současný systém hodnocení a financování VO předmětem kritiky, lze očekávat jistou rezistenci
odborné veřejnosti proti změnám, které projekt přinese, neboť bude kladen podstatně větší důraz na kvalitu výsledků
a výstupů na všech stupních systému VaVaI.
Eliminace rizika. Hlavním nástrojem eliminace tohoto rizika je otevřenost projektu k odborné veřejnosti i politické
representaci, objasňování zásad hodnocení a financování a jejich účelu, který by měl přispět k rozvoji VO, vyšší kvalitě
vědeckých výsledků a výstupů, a být tedy nástrojem k řízení VO a celého systému VaVaI. I zde je důležitá KA 7. Dále
tým projektu bude tvořen respektovanými osobnostmi a do řešení projektu budou jako odborní konzultanti či panelisté na
konferencích zapojeny další osobnosti. V dozorčí radě projektu budou pracovat představitelé nejdůležitějších aktérů
(ministerstva, RVVI, VVŠ, AV ČR, GA ČR), kteří se budou vyjadřovat ke všem návrhům a materiálům.
Riziko 3. Jako odborný garant i garanti jednotlivých aktivit budou pracovat odborníci s vlastní zkušeností ve vědecké
práci a řízení VO, kteří mohou mít svůj subjektivní názor poněkud odlišný od návrhů vypracovaných v rámci projektu.
Může se tedy projevit střet zájmů.
Eliminace rizika. Někteří garanti aktivit i hlavní odborný garant budou mít zkušenosti z projektu IPN Audit VaVaI1, kde
bylo rovněž nutné vyvarovat se střetu zájmů.
Riziko 4. Na vypracování OMH, návrhu financování systému VaVaI a dodávku softwaru počítáme s výběrovými
řízeními. Zejména výběrové řízení na první dvě zakázky se může opozdit díky chybám v nabídkách, a tím by bylo
ohroženo plnění harmonogramu projektu.
Eliminace rizika. Díky účasti v IPN Audit VaVaI bude mít řešitelský tým dostatečnou zkušenost s přípravou a realizací
výběrového řízení na zahraničního dodavatele. Právní náležitosti budou garantovány právníky, věcné pak výkonnou
radou projektu2. Důležitý je kontakt se zájemci při zodpovídání jejich otázek a všem bude doporučeno, aby
spolupracovali s českou právní kanceláří při vypracovávání nabídky a návrhu smlouvy, aby se předešlo formálním
nedostatkům nabídek.
1 Individuální projekt národní MŠMT „Mezinárodní audit systému VaVaI v ČR a implementace jeho závěrů do strategických
dokumentů“
2 Výkonná rada projektu byla později přejmenována na Radu projektu.
6
Riziko 5. Zpoždění těch jednotlivých klíčových aktivit a jejich výstupů, na které navazují další klíčové aktivity, jsou
dalším rizikem projektu.
Eliminace rizika. Realizace klíčových aktivit bude pod neustálou kontrolou hlavního odborného garanta a výkonné rady
projektu. Zpoždění by mohlo být vyvoláno nedodržením termínu externím dodavatelem, proto budou ve smlouvě
i sankce.
Při řešení IPN Metodika jsme se nakonec v různé míře potýkali se všemi uvedenými riziky. Ukázalo se, že Riziko 3
nevedlo ke střetu zájmů, ale překvapivě napomohlo hledání konsensu a dohody mezi všemi garanty a experty klíčových
aktivit. Naopak Riziko 5 se přesunulo až na projektovou úroveň díky faktickému zastavení řešení projektu na dobu téměř
jednoho roku ze strany MŠMT. Pro obnovení projektu byla důležitá významná podpora ze strany RVVI, AV ČR, ČKR, TA
ČR a dalších i jednotlivců. V důsledku toho bylo samozřejmě řešení jednotlivých klíčových aktivit zpožděné. K eliminaci
tohoto rizika jsme přijali řadu opatření:
 doba na plnění veřejné zakázky musela být zkrácena na 12 měsíců,
 byla podána a schválena žádost o podstatnou změnu projektu týkající se prodloužení projektu do 31. 10. 2015,
 byl vypracován podrobný týdenní harmonogram aktivit, který byl neustále aktualizován, konzultován a jeho plnění
kontrolováno jak Expertní skupinou odboru CERA tak našimi zpravodaji,
 pravidelné pracovní schůzky projektového týmu ve dvoutýdenním intervalu, zápisy z jednání byly posílány na řídicí
orgán (odbor CERA),
 pravidelné písemné měsíční zprávy o činnosti byly zasílány RVVI.
Zvýšenou aktivitou projektového týmu i zpracovatele studie „Metodika hodnocení ve VaV a zásady financování“ se
podařilo splnit všechny cíle projektu a vytvořit deklarované výstupy klíčových aktivit. Jediný problém představoval rozsah
tzv. velkého pilotního ověření, které mělo zahrnovat všechny VO a které kompletně zajišťoval projektový tým.
Podstatnou změnou projektu musel být rozsah tohoto pilotního ověření omezen. Díky této změně ale bylo možné
zohlednit zkušenosti z malého pilotního ověření, takže byly vybrány VO tak, aby bylo zahrnuto několik hlavních
hodnoticích panelů a pro každý z nich několik panelů oborových.
Jak Riziko 1, tak Riziko 2 se vztahují k riziku odmítnutí nové metodiky hodnocení VO představiteli VO, politickou
reprezentací a odbornou veřejností. Od samého počátku realizace projektu jsme si uvědomovali, že tato rizika jsou
rozhodující pro následnou implementaci závěrů a doporučení projektu do systému VaVaI v ČR. Otevřenost projektu byla
naším hlavním nástrojem k eliminaci těchto rizik. Nejen, že jsme pořádali konference, semináře a workshopy, ale
všechny dílčí zprávy Technopolisu byly předloženy k veřejnému projednání v pracovní verzi a konečná verze vznikla až
po prodiskutování stěžejních bodů na konferenci. Některé úpravy byly dokonce ještě zařazeny po malém pilotním
hodnocení. Po ukončení realizace druhého pilotního ověření návrhu metodiky hodnocení projektový tým zpracoval
Implementační doporučení, kde byly zohledněny i zpětné reakce VO, které se ověřování zúčastnily.
V průběhu vyhodnocování připomínek z veřejného projednávání a příspěvků na konferencích bylo zřetelně patrné, že
mnoho připomínek vzniklo díky tomu, že se diskutující neseznámili ani s principy nově navrhované OMH, nedívali se na
ně s dostatečným nadhledem, neměli ani zájem o nějakou změnu současných pravidel anebo nepřijímali žádné
argumenty. Bohužel se projevil zúžený pohled na význam hodnocení ve VaVaI, zejména na jeho formativní stránku,
který vidí hodnocení jenom jako způsob, jak rozpočítat institucionální podporu jednotlivým VO. Na toto nebezpečí
7
upozorňoval IPN Audit VaVaI, který naopak vyzdvihoval důležitost kvalitních informací o stavu systému VaVaI pro
strategická a koncepční rozhodnutí na národní úrovni a všech úrovních nižších.
Na základě těchto zkušeností jsme definovali ještě jiná, mnohem konkrétnější, rizika spojená s implementací závěrů
projektu do systému VaVaI a rozhodli jsme se pro zpracování další analýzy rizik pomocí metodiky FMEA, jejíž výsledky
by měly být nápomocné při přípravě realizace Národního hodnocení výzkumných organizací (NERO).
8
2 Principy FMEA
FMEA (Failure Mode and Effects Analysis, analýza možného výskytu a vlivu vad) je analytická metoda, jejímž cílem je
identifikovat místa možného vzniku vad a původně byla používána ve výrobě. Dnes slouží jak k optimalizaci procesu tak
návrhu nějakého produktu, což se projeví ve snížení počtu změn ve fázi realizace. FMEA tak představuje systémový
přístup k prevenci nejakosti.
Analýza FMEA má tři fáze:
 analýza a hodnocení současného stavu,
 návrh opatření,
 hodnocení stavu po realizaci opatření.
Principem FMEA je výpočet pravděpodobné hodnoty tzv. rizikového čísla (RIN) jako součinu hodnot (trestných bodů)
přiřazených třem kritériím: význam, výskyt a odhalitelnost vady. Takto spočtená hodnota RIN se porovnává s kritickou
hodnotou, jejíž výši obvykle určuje zákazník. Pokud RIN je vyšší než hodnota kritická, stanovují se opatření, která mají
riziko vzniku vady snížit. Způsob, jak se přiřazují trestné body, závisí na kritériu; pro kategorii „význam“ je nejvyšší počet
přiřazen nejzávažnějšímu následku, v kategorii „výskyt“ nejpravděpodobnějšímu vzniku vady z konkrétní příčiny a pro
„odhalitelnost“ těm vadám, na které nelze stávajícím způsobem kontroly přijít.
FMEA je analytická metoda relativně jednoduchá, ale pro její správné vypracování je potřeba vysoká zkušenost a
znalost zkoumaného produktu nebo procesu. O výsledek kvalitní analýzy se proto musí zasloužit celý tým lidí napříč
několika oborů, protože pro každého člena týmu je důležitá jiná část postupu výroby nebo procesu. Pokud je FMEA
konstruována pouze jedním člověkem, není zaručené, že byly vzaty v úvahu všechny možné druhy vady a jejich příčiny.
Přesně vzato je FMEA souhrnem poznatků technika nebo týmu v průběhu vývoje celého procesu.
9
3 NERO a analýza rizik pomocí FMEA
Řada rizik při zavádění nového systému NERO hodnocení VO má velmi odlišný charakter než jaký mají rizika ve výrobě
nebo v jednoduchých procesech. Míra těchto rizik, tj. přidělování trestních bodů jednotlivým kategoriím, je v případě
procesu s celonárodním dopadem obtížně odhadnutelná, protože i riziko s nízkou pravděpodobností může nakonec
rozhodnout o nepřijetí nového systému. Z tohoto důvodu jsme se zaměřili na identifikaci možných rizik z pohledu tří
kategorií definovaných FMEA a návrh vhodných opatření. I takto jednodušeji pojatá FMEA může sloužit k hladší
implementaci nového systému hodnocení VO na národní úrovni.
FUNKCE: Hodnocení je objektivní
Možné vady: Hodnocení je podjaté
Základem hodnocení VO podle NERO je tzv. informované peer-review. To je způsob hodnocení panelem odborníků ze
stejného oboru, do kterého se VO, resp. její hodnocená jednotka (HJ) přihlásí. Hodnoticí panel má k dispozici celou řadu
kvantitativních i kvalitativních indikátorů včetně sebehodnoticí zprávy, nicméně vlastní hodnocení je subjektivní, protože
se opírá o názory několika odborníků založených na vyhodnocení informací podle jejich vlastní zkušenosti. Podstatná
část připomínek směřovala k tomu, že na rozdíl od současného systému hodnocení výstupů není peer-review metodou
objektivní.
Funkce Možná vada Možný důsledek Příčina Preventivní opatření
1. Hodnocení je
objektivní
Hodnocení je podjaté Nepoužitelné
výsledky, finanční
ztráty, neefektivní
podpora výzkumu,
nespokojenost
institucí s
hodnocením,
neadekvátní
hodnocení instituce
1.1 Člen panelu
podjatý vůči
hodnocené jednotce
Podepisována
nepodjatost, výběr
členů panelů, popsaný
nominační proces,
proces kontinuálního
vyhodnocování
konfliktu zájmů
Doporučená opatření
1.1.1 Definování
procesu a vhodného
nastavení výběru
členů hlavních panelů
podle kritérií
1.1.1 Definování
procesu a vhodného
nastavení výběru
členů oborových
panelů podle kritérií
1.1.2 Definovat počet
hodnotitelů pro daný
případ (doporučení
min. 3 hodnotitelé)
1.1.3 Definovat
finanční ohodnocení,
které hodnotitele
motivuje
k nepodjatosti
1.1.4 Zavést
automatické zjišťování
anomálií včetně
zpětné reakce
1.1.5 Přesně
kvantifikovat kritéria
hodnocení indikátorů
1.1.6 Kontrolovat
dodržování postupů a
termínů v procesu
hodnocení
1.1.7 Důkladně
připravit kalibrační
schůzky
1.1.8 Vybrat vhodné a
zkušené předsedy
hlavních a hodnoticích
panelů
1.1.9 Možnost
jmenovat nezávislé
pozorovatele, pokud
bude jednání komise
s HJ
10
1.1.10 Nominaci a
schvalování panelistů
podrobit kolektivnímu
rozhodování
Funkce Možná vada Možný důsledek Příčina Preventivní opatření
1. Hodnocení je
objektivní
Hodnocení je podjaté Nepoužitelné
výsledky, finanční
ztráty, neefektivní
podpora výzkumu,
nespokojenost
institucí s
hodnocením,
neadekvátní
hodnocení instituce
1.2 Zaujatý
zpravodaj (tajemník)
panelu
Výběr zpravodajů
Doporučená opatření
1.2.1 Zavést zpětné
informování
hodnotitelů o
celkovém výsledku
hodnocené instituce
1.2.2 Vybírat
osvědčené zpravodaje
z předchozích akcí
(Rating zpravodajů)
1.2.3 Definovat
finanční ohodnocení
zpravodaje, které
motivuje
k nepodjatosti
1.2.4 Zavést
automatické zjišťování
anomálií včetně
zpětné reakce
1.2.5 Přesně
kvantifikovat kritéria
hodnocení indikátorů
1.2.6 Kontrolovat
dodržování postupů a
termínů v procesu
hodnocení
1.2.7 Provádět video
(případně audio)
záznam jednání
panelu mezi
zpravodajem a
hodnotiteli
1.2.8 Připravit jasné
pokyny pro práci
zpravodaje, definování
povinností a
pravomocí
Funkce Možná vada Možný důsledek Příčina Preventivní opatření
1. Hodnocení je
objektivní
Hodnocení je podjaté Nepoužitelné
výsledky, finanční
ztráty, neefektivní
podpora výzkumu,
nespokojenost
institucí
s hodnocením,
neadekvátní
hodnocení instituce
1.3 Chyba v
hodnoticím procesu
Pravidelná a stálá
kontrola ze strany
předsedů panelů,
spolupráce s řídicím
orgánem
Doporučená opatření
1.3.1 Vybrat vhodné a
zkušené předsedy
hlavních a hodnoticích
panelů
1.3.2 Vypracovat
opatření pro
identifikaci úmyslných
i neúmyslných chyb
1.3.3 Vypracovat
pravidla pro Řídicí
orgán, způsob
komunikace
s předsedy panelů
1.3.4 Důkladně
připravit kalibrační
schůzky
1.3.5 Pravidla pro
podávání odvolání
k procesním chybám
11
1.3.6 Zajistit verifikaci
výsledků a výstupů
VO pro hodnocení
Funkce Možná vada Možný důsledek Příčina Preventivní opatření
1. Hodnocení je
objektivní
Hodnocení je podjaté Nepoužitelné
výsledky, finanční
ztráty, neefektivní
podpora výzkumu,
nespokojenost
institucí
s hodnocením,
neadekvátní
hodnocení instituce
1.4 Neobjektivní
kritéria pro
hodnocení v panelu
Dopředu známá a
jasná kritéria, detailní
pokyny k podávaným
informacím, jasná
struktura
Doporučená opatření
1.4.1 Diskuse
navržených kritérií
s VO a poskytovateli
1.4.2 Všechna kritéria
stejná pro všechny VO
1.4.3 Důkladné
seznámení HJ
s hodnoticími kritérii
(semináře)
1.4.4 Stanovení vah
jednotlivých kritérií
podle typu VO
1.4.5 Důkladně
připravit kalibrační
schůzky
FUNKCE: Hodnocení je dobře připravené
Možné vady: Hodnocení není dobře připravené
S hodnocením VO v takovém rozsahu a provedeného takovým způsobem, jako navrhuje NERO, není v ČR zatím velká
zkušenost. Pouze ústavy AV ČR a hodnocení výzkumných infrastruktur financovaných z operačních programů
procházejí pravidelným peer-review procesem. Zkušenost ze zahraničí ukazuje, že příprava celého hodnoticího procesu
je náročná a nesmí být podceňována. Nedostatečná příprava by znamenala nejen to, že z hodnocení nebudou
použitelné výsledky, ale hlavně by znemožnila jakoukoli realizaci NERO v budoucnosti.
Funkce Možná vada Možný důsledek Příčina Preventivní opatření
2. Hodnocení je
procesně dobře
připravené
Hodnocení je
nepřipravené
Nepoužitelné
výsledky, finanční
ztráty, nespokojenost
institucí, nesprávné
výsledky hodnocení
2.1. Nedostatečná
logistika hodnocení
Včasná příprava
hodnocení
Doporučená opatření
2.1.1 Příprava
hodnocení musí začít
2 roky před jeho
realizací
2.1.2 Ujasněná
institucionální
zodpovědnost za
přípravu hodnocení
2.1.3 Zajištění
dostatečného počtu
kvalitních lidských
zdrojů
2.1.4 Přednost
zajištění vlastními
pracovníky před
veřejnými zakázkami
2.1.5 Funkčnost
pravidel a logistika
hodnocení bude
předem ověřena
12
Funkce Možná vada Možný důsledek Příčina Preventivní opatření
2. Hodnocení je
procesně dobře
připravené
Hodnocení je
nepřipravené
Nepoužitelné
výsledky, finanční
ztráty, nespokojenost
institucí, nesprávné
výsledky hodnocení
2.2 Nečinnost
politických a
státních orgánů
Odpovídající
rozhodnutí
zodpovědných
orgánů, příprava
legislativních změn
Doporučená opatření
2.2.1 Hodnocení
nebude svázáno
s politickým cyklem
2.2.2 Včas přijaté
politické rozhodnutí o
realizaci hodnocení,
legislativní příprava
2.2.3 Budou
alokovány finanční
prostředky na
zajištění hodnocení
2.2.4 Nastavení
schvalovacích
procesů ve státních
orgánech tak, aby
fungovaly operativně
2.2.5 Dostatečné
finanční a materiálové
zdroje
2.2.6 Dostatečná
kapacita lidských
zdrojů
FUNKCE: Hodnocené instituce jsou na hodnocení připraveny
Možné vady: Hodnocené instituce se nebudou chtít nechat hodnotit
Hodnocené instituce nebudou schopny součinnosti
Díky principům současně platné metodiky hodnocení je v odborné veřejnosti hluboce zakořeněné podvědomí, že
hodnocení se rovná financování. Od roku 2004, kdy byla poprvé metodika hodnocení použita ještě bez dopadu na
financování, se postupně měnila, až se prakticky proměnila jen na způsob přepočtu získaných bodů na výši
institucionální podpory. Tento přístup byl pro VO pohodlný, protože umožnil odhadnout, kolik peněz se za ten který
výstup získá. Metodika 2013 už zahrnuje peer-review posouzení knih a excelentních výsledků, nicméně její základní
strategií je stále počítání bodů za výstupy.
Současný způsob hodnocení vyžaduje od VO zadání dat do informačního systému (IS VaVaI), na které mají VO
vytvořené hardwarové prostředky a obslužný software, a jsou zvyklé s nimi pracovat. Tato data obsahují zejména údaje
o publikacích, knihách, patentech a dalších výstupech. Kromě nich ještě dodávají další údaje o finančních zdrojích
získaných z účelové podpory nebo smluvního výzkumu. Nemusejí vypracovávat sebehodnoticí zprávu, která je velmi
důležitým podkladem pro NERO, a proto musí být zpracována velmi dobře.
Z těchto důvodů lze očekávat, a výsledky veřejných projednávání dokumentů IPN Metodika to již potvrdily, značný odpor
VO zejména VVŠ ke změně principů hodnocení charakterizované posunem od hodnocení výstupů k hodnocení VO.
13
Funkce Možná vada Možný důsledek Příčina Preventivní opatření
3. Hodnocené
instituce jsou na
hodnocení
připraveny
Výzkumné organizace
se nebudou chtít nebo
nebudou schopny se
hodnocení účastnit
Nepoužitelné
výsledky, finanční
ztráty, nespokojenost
institucí, nesprávné
výsledky hodnocení
3.1 Nedojde ke
shodě na zásadách
napříč hlavními
segmenty VO
Diskuse, vysvětlování
a hledání konsensu
při přípravě
hodnocení
Doporučená opatření
3.1.1 Využívat každou
příležitost k osvětě
prostřednictvím médií
3.1.2 Věnovat zvláštní
pozornost „velkým
hráčům“ (AV ČR,
ČKR, RVŠ, AVO)
3.1.3 Pořádat
semináře, workshopy
pro VO, poskytovatele
a politickou
reprezentaci
3.1.4 Jednat
s poskytovateli,
vysvětlovat důležitost
hodnocení pro jejich
práci
3.1.5 Využít
zkušenosti
z hodnocení AV ČR,
předchozích Metodik
hodnocení a
z hodnocení
infrastruktur
3.1.6 Důsledně šířit
osvětu mezi VO i
prostřednictvím
poskytovatelů,
webových stránek
Funkce Možná vada Možný důsledek Příčina Preventivní opatření
3. Hodnocené
instituce jsou na
hodnocení
připraveny
Výzkumné organizace
se nebudou chtít nebo
nebudou schopny se
hodnocení účastnit
Nepoužitelné
výsledky, finanční
ztráty, nespokojenost
institucí, nesprávné
výsledky hodnocení
3.2 Nedostatečná
připravenost VO
Přesvědčit VO o
důležitosti hodnocení
jako zdroje informací
pro manažerské
řízení
Doporučená opatření
3.2.1 Připravit
hodnocení po
organizační stránce
tak, aby co nejméně
zatěžovalo VO
3.2.2 Vysvětlovat
důležitost formativní
stránky hodnocení
3.2.3 Využít
zkušeností českých
odborníků, kteří se
účastnili hodnocení
v zahraničí
3.2.4 Otevřená
diskuse během
přípravy NERO o
kritériích a
indikátorech
3.2.5 Zdůrazňování
významu zpětné
vazby pro kvalitní
řízení VO, pozitivní
příklady
3.2.6 Postupné
zavádění NERO
v různých
segmentech VO
3.2.7 Podpořit
přípravu lidských
zdrojů pro hodnocení
na VO a
poskytovatelích
3.2.8 Definovat, které
indikátory by mohly
být součástí výročních
zpráv VO
3.2.9 Optimalizovat
informační systém
VaVaI
3.2.10 Poskytovat
kvalifikovanou
podporu VO během
přípravy a následné
realizace NERO
14
FUNKCE: Po hodnocení bude společenská poptávka
Možné vady: Hodnocení bude veřejnost odmítat
Podle litery strategických dokumentů na národní úrovni (Reforma systému VaVaI v ČR (2008, aktualizace), Národní
politika VaVaI pro roky 2009-2015 (výhled 2020), Národní strategie konkurenceschopnosti 2012-2020, Národní inovační
strategie a Dlouhodobé principy hodnocení VaV, RVVI) by měl být realizován přechod na nové hodnocení VO s využitím
ověřené mezinárodní praxe, tedy informovaného peer-review, ve smyslu, který navrhuje IPN Metodika. RVVI svým
usnesením ze dne 30. října 2015 deklarovala odklon od hodnocení výstupů k hodnocení VO:
a. pro efektivní fungování systému vědy, výzkumu a inovací je nezbytné přejít na nový systém hodnocení
odpovídající nastalým potřebám a mezinárodní dobré praxi s využitím všech dosud získaných zkušeností;
b. Metodika 2017+ bude hodnotit organizace jako takové s cílem vytvořit prostředí korektně oceňující, podporující
a stimulující kvalitní vědu, výzkum a inovace,
c. Metodika 2017+ bude vycházet z výsledků projektu IPN Metodika, včetně pilotního ověření, s tím, že pro její
jednotlivé složky bude využito zkušeností a dobré praxe ze systému hodnocení výsledků výzkumných
organizací do roku 2012, Metodiky 2013–2016 a současně probíhajícího hodnocení ústavů AV ČR.
Zdá se tedy, že politická reprezentace a rezorty si uvědomují, že současný stav hodnocení výstupů neodpovídá
zavedeným mezinárodním zvyklostem a že změna tohoto stavu směrem k ocenění kvality je žádoucí pro další rozvoj
VaVaI a zvyšování konkurenceschopnosti ČR na mezinárodním poli. Nicméně jisté riziko tu stále je, jak již upozorňoval
Mezinárodní audit, protože u nás je VaVaI včetně hodnocení těsně svázán s politickým cyklem.
Funkce Možná vada Možný důsledek Příčina Preventivní opatření
4. Po hodnocení
bude společenská
poptávka
Hodnocení bude
veřejnost odmítat
Hodnocení vůbec
neproběhne, finanční
ztráta, nespokojenost
institucí, úroveň
VaVaI se nezvýší,
veřejné prostředky
nebudou vynakládány
hospodárně
4.1 Pasivita politické
reprezentace a
rezortů
odpovědných za
vládní politiku a
nakládání
s veřejnými
prostředky
Politické rozhodnutí
napříč spektra,
podpora poslanců,
senátorů a rozhodnutí
RVVI
Doporučená opatření
4.1.1 Vytvořit na
ministerstvech
podmínky pro přijetí
zásad NERO
4.1.2 Vyvíjet neustálý
tlak na odpovědné
aktéry
4.1.3 Pořádat
semináře, workshopy
a šířit osvětu
4.1.4 Držet se
principů národních
strategických
dokumentů
4.1.5 Působit na členy
RVVI, poslance a
senátory
15
Funkce Možná vada Možný důsledek Příčina Preventivní opatření
4. Po hodnocení
bude společenská
poptávka
Hodnocení bude
veřejnost odmítat
Hodnocení vůbec
neproběhne, finanční
ztráta, nespokojenost
institucí, úroveň
VaVaI se nezvýší,
veřejné prostředky
nebudou vynakládány
hospodárně
4.2. Vliv zájmových
skupin
Prosazovat
společenské zájmy
nad zájmy
soukromými
4.2.1 Zdůrazňovat
národní zájmy, hledat
konsensus,
vysvětlovat
4.2.2 Zdůrazňovat
zájem veřejnosti
(daňových poplatníků)
na výsledcích VaVaI
získaných za veřejné
prostředky
4.2.3 Soustředit se na
autonomní veřejné
výzkumné instituce a
jejich reprezentanty
v poradních orgánech
státu
4.2.4 Změnit
prosazovaný názor o
oddělitelnosti
základního a
aplikovaného
výzkumu
4.2.5 Vysvětlovat
principy a účel
investování veřejných
prostředků do VaVaI
FUNKCE: Hodnocení umožní efektivní využívání veřejných prostředků
Možné vady: Hodnocení bude příliš drahé
Primárním cílem NERO je poskytnout kvalitní informace všem stupňům řízení VaVaI od VO až po nejvyšší státní orgány.
Bude tak možné kvalifikovaně zasahovat do systému VaVaI s ohledem na stanovené priority, zvyšování
konkurenceschopnosti a podporování kvality. Tím, že budou výsledky NERO mít částečný dopad na výši
institucionálního financování, může stát ovlivňovat chování VO a vést jejich management požadovaným směrem. Totéž
se pak bude odehrávat i na úrovni řízení VO.
Zavedení NERO je spojeno s přechodem na víceleté institucionální financování VO, které přinese do systému stabilitu
a současně umožní managementu VO investovat do perspektivních vědeckých oblastí s vysokou přidanou hodnotou.
Funkce Možná vada Možný důsledek Příčina Preventivní opatření
5. Hodnocení
umožní efektivní
využití veřejných
prostředků
Hodnocení bude příliš
drahé
Promarnění
rozvojových
příležitostí, velký
skrytý rozsah
neefektivního
nakládání s veřejnými
prostředky
5.1 Postoj
reprezentace VO
Hodnocení poskytne
kvalitní informace pro
management VaVaI
na všech úrovních
16
Doporučená opatření
5.1.1 Zveřejnit Studii
proveditelnosti, která
vznikla v IPN
Metodika
5.1.2 Při realizaci
NERO využít všechny
dostupné elektronické
prostředky, aby se
snížily jeho náklady
5.1.3 Upozorňovat
odbornou veřejnost
na neefektivní
nakládání s veřejnými
prostředky
5.1.4 Změnit názor
části VO, že stát musí
poskytnout
institucionální
podporu a dále se
nestarat, jak je s ní
naloženo
5.1.5 Zapojit
reprezentaci VO do
přípravy NERO od
samého počátku
17
4 Závěr
Předpokládáme ve shodě se závěry Technopolisu, že nutná doba od zahájení přípravy NERO až po jeho realizaci bude
asi 3 roky a výrazné zapojení hodnocených VO začne zhruba v polovině této doby3. Tím bude vytvořen prostor jednak
pro zodpovědnou přípravu prvního kola celonárodního hodnocení a jednak pro změnu povědomí VO, poskytovatelů
a státních orgánů o užitečnosti výsledků pro potřeby řízení a efektivního financování systému VaVaI. Tato analýza rizik
by měla být v tomto ohledu užitečným nástrojem.
3 Harmonogram postupných kroků realizace návrhů nového hodnocení a financování institucí z veřejných prostředků (Implementační
doporučení)
SEZNAM POUŽITÝCH ZKRATEK
AV ČR Akademie věd České republiky
ČKR Česká konference rektorů
FMEA Failure Mode and Effects Analysis (Analýza možného výskytu a vlivu vad)
GA ČR Grantová agentura České republiky
IPN Individuální projekt národní
KA7
Klíčová aktivita 7 IPN Metodika “Koordinace reformních návrhů a vytváření konsensuálních podmínek
pro jejich přijetí”
KHV Komise pro hodnocení výsledků výzkumných organizací a ukončených programů
MŠMT Ministerstvo školství, mládeže a tělovýchovy
NERO National Evaluation Research Organisations (Národní hodnocení výzkumných organizací)
OMH Oborová metodika hodnocení
RIN Rizikové číslo
RVVI Rada pro výzkum, vývoj a inovace
VaV Výzkum a vývoj
VaVaI Výzkum, vývoj a inovace
VO Výzkumná organizace
VVŠ Veřejné vysoké školy
Harmonogram postupných kroků realizace návrhů nového hodnocení
a financování institucí z veřejných prostředků VaVaI
Implementační doporučení
Vydává Ministerstvo školství, mládeže a tělovýchovy, Karmelitská 7, Praha 1
Individuální projekt národní pro oblast terciárního vzdělávání, výzkumu a vývoje:
Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (IPN Metodika)
www.metodika.reformy-msmt.cz
Praha 2015
Analýza rizik pro zavádění národního hodnocení
výzkumných organizací (NERO)
Vydává Ministerstvo školství, mládeže a tělovýchovy, Karmelitská 7, Praha 1
Individuální projekt národní pro oblast terciárního vzdělávání, výzkumu a vývoje:
Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (IPN Metodika)
www.metodika.reformy-msmt.cz
Praha 2015

More Related Content

What's hot

ZÁSADY INSTITUCIONÁLNÍHO FINANCOVÁNÍ / Závěrečná zpráva 2
ZÁSADY INSTITUCIONÁLNÍHO FINANCOVÁNÍ / Závěrečná zpráva 2ZÁSADY INSTITUCIONÁLNÍHO FINANCOVÁNÍ / Závěrečná zpráva 2
ZÁSADY INSTITUCIONÁLNÍHO FINANCOVÁNÍ / Závěrečná zpráva 2MEYS, MŠMT in Czech
 
Prezentace IPN Metodika na zasedání České konference rektorů 4. 12. 2014 v Brně
Prezentace IPN Metodika na zasedání České konference rektorů 4. 12. 2014 v BrněPrezentace IPN Metodika na zasedání České konference rektorů 4. 12. 2014 v Brně
Prezentace IPN Metodika na zasedání České konference rektorů 4. 12. 2014 v BrněMEYS, MŠMT in Czech
 
Souhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financování
Souhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financováníSouhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financování
Souhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financováníMEYS, MŠMT in Czech
 
Hodnocení výzkumných o rganizací / Závěrečná zpráva 1
Hodnocení výzkumných o rganizací / Závěrečná zpráva 1Hodnocení výzkumných o rganizací / Závěrečná zpráva 1
Hodnocení výzkumných o rganizací / Závěrečná zpráva 1MEYS, MŠMT in Czech
 
IPN Metodika - Bratislava 2. 4. 2014
IPN Metodika - Bratislava 2. 4. 2014IPN Metodika - Bratislava 2. 4. 2014
IPN Metodika - Bratislava 2. 4. 2014MEYS, MŠMT in Czech
 
Hodnocení VaVaI a role IPN Metodika
Hodnocení VaVaI a role IPN MetodikaHodnocení VaVaI a role IPN Metodika
Hodnocení VaVaI a role IPN MetodikaMEYS, MŠMT in Czech
 
Hodnocení výzkumných organizací v oblasti lékařských věd dle návrhu nového sy...
Hodnocení výzkumných organizací v oblasti lékařských věd dle návrhu nového sy...Hodnocení výzkumných organizací v oblasti lékařských věd dle návrhu nového sy...
Hodnocení výzkumných organizací v oblasti lékařských věd dle návrhu nového sy...MEYS, MŠMT in Czech
 
Spolupráce na bibliometrických zprávách pro pilotní ověření / Alena Cibulcová
Spolupráce na bibliometrických zprávách pro pilotní ověření / Alena CibulcováSpolupráce na bibliometrických zprávách pro pilotní ověření / Alena Cibulcová
Spolupráce na bibliometrických zprávách pro pilotní ověření / Alena CibulcováMEYS, MŠMT in Czech
 
Srovnání způsobu hodnocení programů zaměřených na podporu dlouhodobé spoluprá...
Srovnání způsobu hodnocení programů zaměřených na podporu dlouhodobé spoluprá...Srovnání způsobu hodnocení programů zaměřených na podporu dlouhodobé spoluprá...
Srovnání způsobu hodnocení programů zaměřených na podporu dlouhodobé spoluprá...MEYS, MŠMT in Czech
 
Význam indikátorů v institucionálním hodnocení a financování (Jitka Moravcová...
Význam indikátorů v institucionálním hodnocení a financování (Jitka Moravcová...Význam indikátorů v institucionálním hodnocení a financování (Jitka Moravcová...
Význam indikátorů v institucionálním hodnocení a financování (Jitka Moravcová...Národní technická knihovna (NTK)
 
Identifikace vědeckých pracovníků
Identifikace vědeckých pracovníkůIdentifikace vědeckých pracovníků
Identifikace vědeckých pracovníkůMEYS, MŠMT in Czech
 
Hodnocení a financování VaV v ČR: kde jsme a kam jdeme
Hodnocení a financování VaV v ČR: kde jsme a kam jdemeHodnocení a financování VaV v ČR: kde jsme a kam jdeme
Hodnocení a financování VaV v ČR: kde jsme a kam jdemeMEYS, MŠMT in Czech
 
Doplňkový úkol č. XIII - Zajišťování a hodnocení kvality na VŠ
Doplňkový úkol č. XIII - Zajišťování a hodnocení kvality na VŠDoplňkový úkol č. XIII - Zajišťování a hodnocení kvality na VŠ
Doplňkový úkol č. XIII - Zajišťování a hodnocení kvality na VŠMŠMT IPN KREDO
 
Soubor podkladů pro strategické rozhodování – Řízení VŠ
Soubor podkladů pro strategické rozhodování – Řízení VŠSoubor podkladů pro strategické rozhodování – Řízení VŠ
Soubor podkladů pro strategické rozhodování – Řízení VŠMŠMT IPN KREDO
 
Soubor podkladů pro strategické rozhodování – Kvalitní vzdělávání
Soubor podkladů pro strategické rozhodování – Kvalitní vzděláváníSoubor podkladů pro strategické rozhodování – Kvalitní vzdělávání
Soubor podkladů pro strategické rozhodování – Kvalitní vzděláváníMŠMT IPN KREDO
 
Analýza vykazování nepřímých nákladů v projektech VaVaI
Analýza vykazování nepřímých nákladů v projektech VaVaIAnalýza vykazování nepřímých nákladů v projektech VaVaI
Analýza vykazování nepřímých nákladů v projektech VaVaIMŠMT IPN KREDO
 
Základní přehled přístupů k hodnocení programů účelové podpory VaVaI ve vybra...
Základní přehled přístupů k hodnocení programů účelové podpory VaVaI ve vybra...Základní přehled přístupů k hodnocení programů účelové podpory VaVaI ve vybra...
Základní přehled přístupů k hodnocení programů účelové podpory VaVaI ve vybra...MEYS, MŠMT in Czech
 
Hodnocení výzkumných organizací / 1DZ
Hodnocení výzkumných organizací / 1DZHodnocení výzkumných organizací / 1DZ
Hodnocení výzkumných organizací / 1DZMEYS, MŠMT in Czech
 
Analýza vykazování nepřímých nákladů v projektech VaVaI
Analýza vykazování nepřímých nákladů v projektech VaVaIAnalýza vykazování nepřímých nákladů v projektech VaVaI
Analýza vykazování nepřímých nákladů v projektech VaVaIMŠMT IPN KREDO
 

What's hot (20)

ZÁSADY INSTITUCIONÁLNÍHO FINANCOVÁNÍ / Závěrečná zpráva 2
ZÁSADY INSTITUCIONÁLNÍHO FINANCOVÁNÍ / Závěrečná zpráva 2ZÁSADY INSTITUCIONÁLNÍHO FINANCOVÁNÍ / Závěrečná zpráva 2
ZÁSADY INSTITUCIONÁLNÍHO FINANCOVÁNÍ / Závěrečná zpráva 2
 
Prezentace IPN Metodika na zasedání České konference rektorů 4. 12. 2014 v Brně
Prezentace IPN Metodika na zasedání České konference rektorů 4. 12. 2014 v BrněPrezentace IPN Metodika na zasedání České konference rektorů 4. 12. 2014 v Brně
Prezentace IPN Metodika na zasedání České konference rektorů 4. 12. 2014 v Brně
 
Souhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financování
Souhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financováníSouhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financování
Souhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financování
 
Hodnocení výzkumných o rganizací / Závěrečná zpráva 1
Hodnocení výzkumných o rganizací / Závěrečná zpráva 1Hodnocení výzkumných o rganizací / Závěrečná zpráva 1
Hodnocení výzkumných o rganizací / Závěrečná zpráva 1
 
IPN Metodika - Bratislava 2. 4. 2014
IPN Metodika - Bratislava 2. 4. 2014IPN Metodika - Bratislava 2. 4. 2014
IPN Metodika - Bratislava 2. 4. 2014
 
Hodnocení VaVaI a role IPN Metodika
Hodnocení VaVaI a role IPN MetodikaHodnocení VaVaI a role IPN Metodika
Hodnocení VaVaI a role IPN Metodika
 
Hodnocení výzkumných organizací v oblasti lékařských věd dle návrhu nového sy...
Hodnocení výzkumných organizací v oblasti lékařských věd dle návrhu nového sy...Hodnocení výzkumných organizací v oblasti lékařských věd dle návrhu nového sy...
Hodnocení výzkumných organizací v oblasti lékařských věd dle návrhu nového sy...
 
Spolupráce na bibliometrických zprávách pro pilotní ověření / Alena Cibulcová
Spolupráce na bibliometrických zprávách pro pilotní ověření / Alena CibulcováSpolupráce na bibliometrických zprávách pro pilotní ověření / Alena Cibulcová
Spolupráce na bibliometrických zprávách pro pilotní ověření / Alena Cibulcová
 
Srovnání způsobu hodnocení programů zaměřených na podporu dlouhodobé spoluprá...
Srovnání způsobu hodnocení programů zaměřených na podporu dlouhodobé spoluprá...Srovnání způsobu hodnocení programů zaměřených na podporu dlouhodobé spoluprá...
Srovnání způsobu hodnocení programů zaměřených na podporu dlouhodobé spoluprá...
 
Význam indikátorů v institucionálním hodnocení a financování (Jitka Moravcová...
Význam indikátorů v institucionálním hodnocení a financování (Jitka Moravcová...Význam indikátorů v institucionálním hodnocení a financování (Jitka Moravcová...
Význam indikátorů v institucionálním hodnocení a financování (Jitka Moravcová...
 
Implementační doporučení
Implementační doporučeníImplementační doporučení
Implementační doporučení
 
Identifikace vědeckých pracovníků
Identifikace vědeckých pracovníkůIdentifikace vědeckých pracovníků
Identifikace vědeckých pracovníků
 
Hodnocení a financování VaV v ČR: kde jsme a kam jdeme
Hodnocení a financování VaV v ČR: kde jsme a kam jdemeHodnocení a financování VaV v ČR: kde jsme a kam jdeme
Hodnocení a financování VaV v ČR: kde jsme a kam jdeme
 
Doplňkový úkol č. XIII - Zajišťování a hodnocení kvality na VŠ
Doplňkový úkol č. XIII - Zajišťování a hodnocení kvality na VŠDoplňkový úkol č. XIII - Zajišťování a hodnocení kvality na VŠ
Doplňkový úkol č. XIII - Zajišťování a hodnocení kvality na VŠ
 
Soubor podkladů pro strategické rozhodování – Řízení VŠ
Soubor podkladů pro strategické rozhodování – Řízení VŠSoubor podkladů pro strategické rozhodování – Řízení VŠ
Soubor podkladů pro strategické rozhodování – Řízení VŠ
 
Soubor podkladů pro strategické rozhodování – Kvalitní vzdělávání
Soubor podkladů pro strategické rozhodování – Kvalitní vzděláváníSoubor podkladů pro strategické rozhodování – Kvalitní vzdělávání
Soubor podkladů pro strategické rozhodování – Kvalitní vzdělávání
 
Analýza vykazování nepřímých nákladů v projektech VaVaI
Analýza vykazování nepřímých nákladů v projektech VaVaIAnalýza vykazování nepřímých nákladů v projektech VaVaI
Analýza vykazování nepřímých nákladů v projektech VaVaI
 
Základní přehled přístupů k hodnocení programů účelové podpory VaVaI ve vybra...
Základní přehled přístupů k hodnocení programů účelové podpory VaVaI ve vybra...Základní přehled přístupů k hodnocení programů účelové podpory VaVaI ve vybra...
Základní přehled přístupů k hodnocení programů účelové podpory VaVaI ve vybra...
 
Hodnocení výzkumných organizací / 1DZ
Hodnocení výzkumných organizací / 1DZHodnocení výzkumných organizací / 1DZ
Hodnocení výzkumných organizací / 1DZ
 
Analýza vykazování nepřímých nákladů v projektech VaVaI
Analýza vykazování nepřímých nákladů v projektech VaVaIAnalýza vykazování nepřímých nákladů v projektech VaVaI
Analýza vykazování nepřímých nákladů v projektech VaVaI
 

Similar to Analýza rizik pro zavedení NERO

Prezentace k 1. veřejné soutěži programu ZÉTA
Prezentace k 1. veřejné soutěži programu ZÉTAPrezentace k 1. veřejné soutěži programu ZÉTA
Prezentace k 1. veřejné soutěži programu ZÉTATechnologická agentura ČR
 
Výbor pro zdraví, bezpečnost a životní prostředí
Výbor pro zdraví, bezpečnost a životní prostředíVýbor pro zdraví, bezpečnost a životní prostředí
Výbor pro zdraví, bezpečnost a životní prostředípavelborek
 
13 prez2(management)
13 prez2(management)13 prez2(management)
13 prez2(management)olc_user
 
Program ZÉTA - seminář před vyhlášením veřejné soutěže
Program ZÉTA -  seminář před vyhlášením veřejné soutěžeProgram ZÉTA -  seminář před vyhlášením veřejné soutěže
Program ZÉTA - seminář před vyhlášením veřejné soutěžeTechnologická agentura ČR
 
Participativní plánování, monitoring a evaluace
Participativní plánování, monitoring a evaluaceParticipativní plánování, monitoring a evaluace
Participativní plánování, monitoring a evaluaceInka Pibilova
 
8 110 Lovosice 27. 2. 2020
8 110 Lovosice 27. 2. 20208 110 Lovosice 27. 2. 2020
8 110 Lovosice 27. 2. 2020pavelborek
 
Martin Škarka: SME Instrument – nový nástroj na podporu inovací v malých a st...
Martin Škarka: SME Instrument – nový nástroj na podporu inovací v malých a st...Martin Škarka: SME Instrument – nový nástroj na podporu inovací v malých a st...
Martin Škarka: SME Instrument – nový nástroj na podporu inovací v malých a st...JIC
 
Analýza potřebnosti Národního informačního systému vysokých škol
Analýza potřebnosti Národního informačního systému vysokých školAnalýza potřebnosti Národního informačního systému vysokých škol
Analýza potřebnosti Národního informačního systému vysokých školMŠMT IPN KREDO
 
Aktuální možnosti podpory výzkumu a vývoje
Aktuální možnosti podpory výzkumu a vývojeAktuální možnosti podpory výzkumu a vývoje
Aktuální možnosti podpory výzkumu a vývojeeNovation s.r.o.
 
Metodika MV ČR PRINCeGON
Metodika MV ČR PRINCeGONMetodika MV ČR PRINCeGON
Metodika MV ČR PRINCeGONEquica
 
Monitoring zamereny na vysledky a evaluace
Monitoring zamereny na vysledky a evaluace Monitoring zamereny na vysledky a evaluace
Monitoring zamereny na vysledky a evaluace Inka Pibilova
 
7 LŠ 110 Logistika
7 LŠ 110 Logistika7 LŠ 110 Logistika
7 LŠ 110 Logistikapavelborek
 
Strategické plánování firmy
Strategické plánování firmyStrategické plánování firmy
Strategické plánování firmyHIS WORK s.r.o.
 

Similar to Analýza rizik pro zavedení NERO (20)

První zpravodaj projektu WoLLNET
První zpravodaj projektu WoLLNETPrvní zpravodaj projektu WoLLNET
První zpravodaj projektu WoLLNET
 
AVO - MV
AVO - MVAVO - MV
AVO - MV
 
Projektové řízení
Projektové řízeníProjektové řízení
Projektové řízení
 
Prezentace k 1. veřejné soutěži programu ZÉTA
Prezentace k 1. veřejné soutěži programu ZÉTAPrezentace k 1. veřejné soutěži programu ZÉTA
Prezentace k 1. veřejné soutěži programu ZÉTA
 
Výbor pro zdraví, bezpečnost a životní prostředí
Výbor pro zdraví, bezpečnost a životní prostředíVýbor pro zdraví, bezpečnost a životní prostředí
Výbor pro zdraví, bezpečnost a životní prostředí
 
13 prez2(management)
13 prez2(management)13 prez2(management)
13 prez2(management)
 
Projektové řízení
Projektové řízeníProjektové řízení
Projektové řízení
 
Program ZÉTA - seminář před vyhlášením veřejné soutěže
Program ZÉTA -  seminář před vyhlášením veřejné soutěžeProgram ZÉTA -  seminář před vyhlášením veřejné soutěže
Program ZÉTA - seminář před vyhlášením veřejné soutěže
 
Participativní plánování, monitoring a evaluace
Participativní plánování, monitoring a evaluaceParticipativní plánování, monitoring a evaluace
Participativní plánování, monitoring a evaluace
 
8 110 Lovosice 27. 2. 2020
8 110 Lovosice 27. 2. 20208 110 Lovosice 27. 2. 2020
8 110 Lovosice 27. 2. 2020
 
Martin Škarka: SME Instrument – nový nástroj na podporu inovací v malých a st...
Martin Škarka: SME Instrument – nový nástroj na podporu inovací v malých a st...Martin Škarka: SME Instrument – nový nástroj na podporu inovací v malých a st...
Martin Škarka: SME Instrument – nový nástroj na podporu inovací v malých a st...
 
Prihlaska Best Project Management 2010
Prihlaska Best Project Management 2010Prihlaska Best Project Management 2010
Prihlaska Best Project Management 2010
 
Prezentace projektu EF -TRANS
Prezentace projektu  EF -TRANSPrezentace projektu  EF -TRANS
Prezentace projektu EF -TRANS
 
Analýza potřebnosti Národního informačního systému vysokých škol
Analýza potřebnosti Národního informačního systému vysokých školAnalýza potřebnosti Národního informačního systému vysokých škol
Analýza potřebnosti Národního informačního systému vysokých škol
 
Aktuální možnosti podpory výzkumu a vývoje
Aktuální možnosti podpory výzkumu a vývojeAktuální možnosti podpory výzkumu a vývoje
Aktuální možnosti podpory výzkumu a vývoje
 
TA ČR v Horizontu 2020
TA ČR v Horizontu 2020TA ČR v Horizontu 2020
TA ČR v Horizontu 2020
 
Metodika MV ČR PRINCeGON
Metodika MV ČR PRINCeGONMetodika MV ČR PRINCeGON
Metodika MV ČR PRINCeGON
 
Monitoring zamereny na vysledky a evaluace
Monitoring zamereny na vysledky a evaluace Monitoring zamereny na vysledky a evaluace
Monitoring zamereny na vysledky a evaluace
 
7 LŠ 110 Logistika
7 LŠ 110 Logistika7 LŠ 110 Logistika
7 LŠ 110 Logistika
 
Strategické plánování firmy
Strategické plánování firmyStrategické plánování firmy
Strategické plánování firmy
 

More from MEYS, MŠMT in Czech

Pilot test of new evaluation methodology of research organisations
Pilot test of new evaluation methodology of research organisationsPilot test of new evaluation methodology of research organisations
Pilot test of new evaluation methodology of research organisationsMEYS, MŠMT in Czech
 
Průvodce pro hodnocené výzkumné organizace
Průvodce pro hodnocené výzkumné organizacePrůvodce pro hodnocené výzkumné organizace
Průvodce pro hodnocené výzkumné organizaceMEYS, MŠMT in Czech
 
Souhrnné tabulky s údaji o počtu pracovníků a výstupů EvU a jejich RU
Souhrnné tabulky s údaji o počtu pracovníků a výstupů EvU a jejich RUSouhrnné tabulky s údaji o počtu pracovníků a výstupů EvU a jejich RU
Souhrnné tabulky s údaji o počtu pracovníků a výstupů EvU a jejich RUMEYS, MŠMT in Czech
 
Komentáře členů hlavních a oborových panelů k metodice hodnocení a pilotnímu...
Komentáře členů hlavních a oborových panelů k metodice hodnocení a pilotnímu...Komentáře členů hlavních a oborových panelů k metodice hodnocení a pilotnímu...
Komentáře členů hlavních a oborových panelů k metodice hodnocení a pilotnímu...MEYS, MŠMT in Czech
 
Komentáře hodnocených a výzkumných jednotek k metodice hodnocení a pilotní...
Komentáře hodnocených a výzkumných jednotek k metodice hodnocení a pilotní...Komentáře hodnocených a výzkumných jednotek k metodice hodnocení a pilotní...
Komentáře hodnocených a výzkumných jednotek k metodice hodnocení a pilotní...MEYS, MŠMT in Czech
 
Final report 1 / The R&D Evaluation Methodology
Final report 1 / The R&D Evaluation MethodologyFinal report 1 / The R&D Evaluation Methodology
Final report 1 / The R&D Evaluation MethodologyMEYS, MŠMT in Czech
 
Final report 2: The Institutional Funding Principles
Final report 2: The Institutional Funding PrinciplesFinal report 2: The Institutional Funding Principles
Final report 2: The Institutional Funding PrinciplesMEYS, MŠMT in Czech
 
The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...
The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...
The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...MEYS, MŠMT in Czech
 
Summary Report / R&D Evaluation Methodology and Funding Principles
Summary Report / R&D Evaluation Methodology and Funding PrinciplesSummary Report / R&D Evaluation Methodology and Funding Principles
Summary Report / R&D Evaluation Methodology and Funding PrinciplesMEYS, MŠMT in Czech
 
Metodika hodnocení přínosů ČR v mezinárodních organizacích výzkumu a vývoje /...
Metodika hodnocení přínosů ČR v mezinárodních organizacích výzkumu a vývoje /...Metodika hodnocení přínosů ČR v mezinárodních organizacích výzkumu a vývoje /...
Metodika hodnocení přínosů ČR v mezinárodních organizacích výzkumu a vývoje /...MEYS, MŠMT in Czech
 
R&D Evaluation Methodology & Funding Principles Pilot testing
R&D  Evaluation Methodology & Funding Principles Pilot testingR&D  Evaluation Methodology & Funding Principles Pilot testing
R&D Evaluation Methodology & Funding Principles Pilot testingMEYS, MŠMT in Czech
 
R&D Evaluation Methodology Pilot testing
R&D Evaluation Methodology Pilot testingR&D Evaluation Methodology Pilot testing
R&D Evaluation Methodology Pilot testingMEYS, MŠMT in Czech
 

More from MEYS, MŠMT in Czech (20)

Pilot test of new evaluation methodology of research organisations
Pilot test of new evaluation methodology of research organisationsPilot test of new evaluation methodology of research organisations
Pilot test of new evaluation methodology of research organisations
 
Tabulky nákladového modelu
Tabulky nákladového modeluTabulky nákladového modelu
Tabulky nákladového modelu
 
Organizační schémata
Organizační schémataOrganizační schémata
Organizační schémata
 
Průvodce pro hodnocené výzkumné organizace
Průvodce pro hodnocené výzkumné organizacePrůvodce pro hodnocené výzkumné organizace
Průvodce pro hodnocené výzkumné organizace
 
Šablona sebeevaluační zprávy
Šablona sebeevaluační zprávyŠablona sebeevaluační zprávy
Šablona sebeevaluační zprávy
 
Zápisy z kalibračních schůzek
Zápisy z kalibračních schůzekZápisy z kalibračních schůzek
Zápisy z kalibračních schůzek
 
Úpravy bibliometrické zprávy
Úpravy bibliometrické zprávyÚpravy bibliometrické zprávy
Úpravy bibliometrické zprávy
 
Příklad bibliometrické zprávy
Příklad bibliometrické zprávyPříklad bibliometrické zprávy
Příklad bibliometrické zprávy
 
Průvodce pro členy panelů
Průvodce pro členy panelůPrůvodce pro členy panelů
Průvodce pro členy panelů
 
Souhrnné tabulky s údaji o počtu pracovníků a výstupů EvU a jejich RU
Souhrnné tabulky s údaji o počtu pracovníků a výstupů EvU a jejich RUSouhrnné tabulky s údaji o počtu pracovníků a výstupů EvU a jejich RU
Souhrnné tabulky s údaji o počtu pracovníků a výstupů EvU a jejich RU
 
Komentáře členů hlavních a oborových panelů k metodice hodnocení a pilotnímu...
Komentáře členů hlavních a oborových panelů k metodice hodnocení a pilotnímu...Komentáře členů hlavních a oborových panelů k metodice hodnocení a pilotnímu...
Komentáře členů hlavních a oborových panelů k metodice hodnocení a pilotnímu...
 
Komentáře hodnocených a výzkumných jednotek k metodice hodnocení a pilotní...
Komentáře hodnocených a výzkumných jednotek k metodice hodnocení a pilotní...Komentáře hodnocených a výzkumných jednotek k metodice hodnocení a pilotní...
Komentáře hodnocených a výzkumných jednotek k metodice hodnocení a pilotní...
 
Final report 1 / The R&D Evaluation Methodology
Final report 1 / The R&D Evaluation MethodologyFinal report 1 / The R&D Evaluation Methodology
Final report 1 / The R&D Evaluation Methodology
 
Final report 2: The Institutional Funding Principles
Final report 2: The Institutional Funding PrinciplesFinal report 2: The Institutional Funding Principles
Final report 2: The Institutional Funding Principles
 
The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...
The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...
The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...
 
Summary Report / R&D Evaluation Methodology and Funding Principles
Summary Report / R&D Evaluation Methodology and Funding PrinciplesSummary Report / R&D Evaluation Methodology and Funding Principles
Summary Report / R&D Evaluation Methodology and Funding Principles
 
Metodika hodnocení přínosů ČR v mezinárodních organizacích výzkumu a vývoje /...
Metodika hodnocení přínosů ČR v mezinárodních organizacích výzkumu a vývoje /...Metodika hodnocení přínosů ČR v mezinárodních organizacích výzkumu a vývoje /...
Metodika hodnocení přínosů ČR v mezinárodních organizacích výzkumu a vývoje /...
 
IPN Metodika / O projektu
IPN Metodika / O projektuIPN Metodika / O projektu
IPN Metodika / O projektu
 
R&D Evaluation Methodology & Funding Principles Pilot testing
R&D  Evaluation Methodology & Funding Principles Pilot testingR&D  Evaluation Methodology & Funding Principles Pilot testing
R&D Evaluation Methodology & Funding Principles Pilot testing
 
R&D Evaluation Methodology Pilot testing
R&D Evaluation Methodology Pilot testingR&D Evaluation Methodology Pilot testing
R&D Evaluation Methodology Pilot testing
 

Analýza rizik pro zavedení NERO

  • 1. Analýza rizik pro zavádění národního hodnocení výzkumných organizací (NERO) Tento krátký dokument zpracoval expertní tým KA7 IPN Metodika na základě zkušeností z veřejných projednávání dokumentů IPN Metodika, diskusí na konferencích a zpětné vazby výzkumných organizací, které se účastnily dvou pilotních ověřování nové metodiky hodnocení. Některé podněty by mohly být potenciálními riziky pro zavádění národního hodnocení výzkumných organizací (NERO). V dokumentu expertní tým KA7 navrhuje způsob jejich eliminace, což může napomoci k hladšímu průběhu přípravy a realizace NERO. Expertní tým KA7 IPN Metodika
  • 2. Analýza rizik pro zavádění národního hodnocení výzkumných organizací (NERO) Tento dokument byl zpracován v rámci Individuálního projektu národního pro oblast terciárního vzdělávání, výzkumu a vývoje „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací, CZ.1.07/4.1.00/33.0003“ (IPN Metodika). Projekt byl realizován Ministerstvem školství, mládeže a tělovýchovy a financován prostřednictvím Operačního programu Vzdělávání pro konkurenceschopnost z Evropského sociálního fondu a státního rozpočtu České republiky. Dokument neprošel jazykovou korekturou.
  • 3. Předmluva V tradičním pojetí jsou rizika chápána negativně, tedy jako hrozby. Tím, že jsou identifikována a vyhodnocena, vytvářejí ale současně příležitosti, které lze využít pro zlepšení výsledku projektu nebo pro snadnější uvádění jeho výsledků do života. Z veřejného projednávání dokumentů IPN Metodika, diskusí na konferencích a zpětné vazby výzkumných organizací, které se účastnily dvou pilotních ověřování nové metodiky hodnocení, jsme získali některé podněty, které považujeme za rizika pro zavádění národního hodnocení výzkumných organizací (NERO). V tomto dokumentu jsou tato rizika pojmenována a je navržen způsob jejich eliminace, což může napomoci k hladšímu průběhu přípravy a realizace NERO. A to je velká příležitost.
  • 4. OBSAH Předmluva.......................................................................................................................................................... 3 1 Úvod....................................................................................................................................................... 5 2 Principy FMEA ....................................................................................................................................... 8 3 NERO a analýza rizik pomocí FMEA...................................................................................................... 9 4 Závěr.....................................................................................................................................................17 Seznam použitých zkratek ................................................................................................................................18
  • 5. 5 1 Úvod Již při návrhu řešení IPN Metodika jsme počítali s riziky, která by mohla úspěšné dokončení projektu ohrozit, a současně jsme definovali, jak těmto rizikům předcházet a jak je eliminovat: Riziko 1. Svébytným problémem, se kterým se musí projekt vyrovnat, je nesystémová komplexnost českého výzkumného prostředí. Diverzita právních forem, sektorová a oborová roztříštěnost institucí VaVaI v ČR znemožňuje přímé převzetí některého z existujících zahraničních modelů. Eliminace rizika. Návrh Oborové metodiky hodnocení (OMH) bude reflektovat specifitu jednotlivých vědních oborů, čímž se sníží riziko nepřijetí závěrů projektu. Hodnocení VO pak bude zohledňovat právní postavení VO, jejich účel, pro který byly zřízeny, jejich misi i připravenost dostát závazkům v budoucnosti. Důležitou součástí projektu jsou činnosti spojené s Klíčovou aktivitou 7 „Vytváření podmínek pro konsensuální přijetí reformních návrhů“ (KA7), řešené po celou dobu realizace projektu. Riziko by mělo být eliminováno i soustavnou spoluprací s RVVI a KHV a dalšími aktéry. Riziko 2. Přestože je současný systém hodnocení a financování VO předmětem kritiky, lze očekávat jistou rezistenci odborné veřejnosti proti změnám, které projekt přinese, neboť bude kladen podstatně větší důraz na kvalitu výsledků a výstupů na všech stupních systému VaVaI. Eliminace rizika. Hlavním nástrojem eliminace tohoto rizika je otevřenost projektu k odborné veřejnosti i politické representaci, objasňování zásad hodnocení a financování a jejich účelu, který by měl přispět k rozvoji VO, vyšší kvalitě vědeckých výsledků a výstupů, a být tedy nástrojem k řízení VO a celého systému VaVaI. I zde je důležitá KA 7. Dále tým projektu bude tvořen respektovanými osobnostmi a do řešení projektu budou jako odborní konzultanti či panelisté na konferencích zapojeny další osobnosti. V dozorčí radě projektu budou pracovat představitelé nejdůležitějších aktérů (ministerstva, RVVI, VVŠ, AV ČR, GA ČR), kteří se budou vyjadřovat ke všem návrhům a materiálům. Riziko 3. Jako odborný garant i garanti jednotlivých aktivit budou pracovat odborníci s vlastní zkušeností ve vědecké práci a řízení VO, kteří mohou mít svůj subjektivní názor poněkud odlišný od návrhů vypracovaných v rámci projektu. Může se tedy projevit střet zájmů. Eliminace rizika. Někteří garanti aktivit i hlavní odborný garant budou mít zkušenosti z projektu IPN Audit VaVaI1, kde bylo rovněž nutné vyvarovat se střetu zájmů. Riziko 4. Na vypracování OMH, návrhu financování systému VaVaI a dodávku softwaru počítáme s výběrovými řízeními. Zejména výběrové řízení na první dvě zakázky se může opozdit díky chybám v nabídkách, a tím by bylo ohroženo plnění harmonogramu projektu. Eliminace rizika. Díky účasti v IPN Audit VaVaI bude mít řešitelský tým dostatečnou zkušenost s přípravou a realizací výběrového řízení na zahraničního dodavatele. Právní náležitosti budou garantovány právníky, věcné pak výkonnou radou projektu2. Důležitý je kontakt se zájemci při zodpovídání jejich otázek a všem bude doporučeno, aby spolupracovali s českou právní kanceláří při vypracovávání nabídky a návrhu smlouvy, aby se předešlo formálním nedostatkům nabídek. 1 Individuální projekt národní MŠMT „Mezinárodní audit systému VaVaI v ČR a implementace jeho závěrů do strategických dokumentů“ 2 Výkonná rada projektu byla později přejmenována na Radu projektu.
  • 6. 6 Riziko 5. Zpoždění těch jednotlivých klíčových aktivit a jejich výstupů, na které navazují další klíčové aktivity, jsou dalším rizikem projektu. Eliminace rizika. Realizace klíčových aktivit bude pod neustálou kontrolou hlavního odborného garanta a výkonné rady projektu. Zpoždění by mohlo být vyvoláno nedodržením termínu externím dodavatelem, proto budou ve smlouvě i sankce. Při řešení IPN Metodika jsme se nakonec v různé míře potýkali se všemi uvedenými riziky. Ukázalo se, že Riziko 3 nevedlo ke střetu zájmů, ale překvapivě napomohlo hledání konsensu a dohody mezi všemi garanty a experty klíčových aktivit. Naopak Riziko 5 se přesunulo až na projektovou úroveň díky faktickému zastavení řešení projektu na dobu téměř jednoho roku ze strany MŠMT. Pro obnovení projektu byla důležitá významná podpora ze strany RVVI, AV ČR, ČKR, TA ČR a dalších i jednotlivců. V důsledku toho bylo samozřejmě řešení jednotlivých klíčových aktivit zpožděné. K eliminaci tohoto rizika jsme přijali řadu opatření:  doba na plnění veřejné zakázky musela být zkrácena na 12 měsíců,  byla podána a schválena žádost o podstatnou změnu projektu týkající se prodloužení projektu do 31. 10. 2015,  byl vypracován podrobný týdenní harmonogram aktivit, který byl neustále aktualizován, konzultován a jeho plnění kontrolováno jak Expertní skupinou odboru CERA tak našimi zpravodaji,  pravidelné pracovní schůzky projektového týmu ve dvoutýdenním intervalu, zápisy z jednání byly posílány na řídicí orgán (odbor CERA),  pravidelné písemné měsíční zprávy o činnosti byly zasílány RVVI. Zvýšenou aktivitou projektového týmu i zpracovatele studie „Metodika hodnocení ve VaV a zásady financování“ se podařilo splnit všechny cíle projektu a vytvořit deklarované výstupy klíčových aktivit. Jediný problém představoval rozsah tzv. velkého pilotního ověření, které mělo zahrnovat všechny VO a které kompletně zajišťoval projektový tým. Podstatnou změnou projektu musel být rozsah tohoto pilotního ověření omezen. Díky této změně ale bylo možné zohlednit zkušenosti z malého pilotního ověření, takže byly vybrány VO tak, aby bylo zahrnuto několik hlavních hodnoticích panelů a pro každý z nich několik panelů oborových. Jak Riziko 1, tak Riziko 2 se vztahují k riziku odmítnutí nové metodiky hodnocení VO představiteli VO, politickou reprezentací a odbornou veřejností. Od samého počátku realizace projektu jsme si uvědomovali, že tato rizika jsou rozhodující pro následnou implementaci závěrů a doporučení projektu do systému VaVaI v ČR. Otevřenost projektu byla naším hlavním nástrojem k eliminaci těchto rizik. Nejen, že jsme pořádali konference, semináře a workshopy, ale všechny dílčí zprávy Technopolisu byly předloženy k veřejnému projednání v pracovní verzi a konečná verze vznikla až po prodiskutování stěžejních bodů na konferenci. Některé úpravy byly dokonce ještě zařazeny po malém pilotním hodnocení. Po ukončení realizace druhého pilotního ověření návrhu metodiky hodnocení projektový tým zpracoval Implementační doporučení, kde byly zohledněny i zpětné reakce VO, které se ověřování zúčastnily. V průběhu vyhodnocování připomínek z veřejného projednávání a příspěvků na konferencích bylo zřetelně patrné, že mnoho připomínek vzniklo díky tomu, že se diskutující neseznámili ani s principy nově navrhované OMH, nedívali se na ně s dostatečným nadhledem, neměli ani zájem o nějakou změnu současných pravidel anebo nepřijímali žádné argumenty. Bohužel se projevil zúžený pohled na význam hodnocení ve VaVaI, zejména na jeho formativní stránku, který vidí hodnocení jenom jako způsob, jak rozpočítat institucionální podporu jednotlivým VO. Na toto nebezpečí
  • 7. 7 upozorňoval IPN Audit VaVaI, který naopak vyzdvihoval důležitost kvalitních informací o stavu systému VaVaI pro strategická a koncepční rozhodnutí na národní úrovni a všech úrovních nižších. Na základě těchto zkušeností jsme definovali ještě jiná, mnohem konkrétnější, rizika spojená s implementací závěrů projektu do systému VaVaI a rozhodli jsme se pro zpracování další analýzy rizik pomocí metodiky FMEA, jejíž výsledky by měly být nápomocné při přípravě realizace Národního hodnocení výzkumných organizací (NERO).
  • 8. 8 2 Principy FMEA FMEA (Failure Mode and Effects Analysis, analýza možného výskytu a vlivu vad) je analytická metoda, jejímž cílem je identifikovat místa možného vzniku vad a původně byla používána ve výrobě. Dnes slouží jak k optimalizaci procesu tak návrhu nějakého produktu, což se projeví ve snížení počtu změn ve fázi realizace. FMEA tak představuje systémový přístup k prevenci nejakosti. Analýza FMEA má tři fáze:  analýza a hodnocení současného stavu,  návrh opatření,  hodnocení stavu po realizaci opatření. Principem FMEA je výpočet pravděpodobné hodnoty tzv. rizikového čísla (RIN) jako součinu hodnot (trestných bodů) přiřazených třem kritériím: význam, výskyt a odhalitelnost vady. Takto spočtená hodnota RIN se porovnává s kritickou hodnotou, jejíž výši obvykle určuje zákazník. Pokud RIN je vyšší než hodnota kritická, stanovují se opatření, která mají riziko vzniku vady snížit. Způsob, jak se přiřazují trestné body, závisí na kritériu; pro kategorii „význam“ je nejvyšší počet přiřazen nejzávažnějšímu následku, v kategorii „výskyt“ nejpravděpodobnějšímu vzniku vady z konkrétní příčiny a pro „odhalitelnost“ těm vadám, na které nelze stávajícím způsobem kontroly přijít. FMEA je analytická metoda relativně jednoduchá, ale pro její správné vypracování je potřeba vysoká zkušenost a znalost zkoumaného produktu nebo procesu. O výsledek kvalitní analýzy se proto musí zasloužit celý tým lidí napříč několika oborů, protože pro každého člena týmu je důležitá jiná část postupu výroby nebo procesu. Pokud je FMEA konstruována pouze jedním člověkem, není zaručené, že byly vzaty v úvahu všechny možné druhy vady a jejich příčiny. Přesně vzato je FMEA souhrnem poznatků technika nebo týmu v průběhu vývoje celého procesu.
  • 9. 9 3 NERO a analýza rizik pomocí FMEA Řada rizik při zavádění nového systému NERO hodnocení VO má velmi odlišný charakter než jaký mají rizika ve výrobě nebo v jednoduchých procesech. Míra těchto rizik, tj. přidělování trestních bodů jednotlivým kategoriím, je v případě procesu s celonárodním dopadem obtížně odhadnutelná, protože i riziko s nízkou pravděpodobností může nakonec rozhodnout o nepřijetí nového systému. Z tohoto důvodu jsme se zaměřili na identifikaci možných rizik z pohledu tří kategorií definovaných FMEA a návrh vhodných opatření. I takto jednodušeji pojatá FMEA může sloužit k hladší implementaci nového systému hodnocení VO na národní úrovni. FUNKCE: Hodnocení je objektivní Možné vady: Hodnocení je podjaté Základem hodnocení VO podle NERO je tzv. informované peer-review. To je způsob hodnocení panelem odborníků ze stejného oboru, do kterého se VO, resp. její hodnocená jednotka (HJ) přihlásí. Hodnoticí panel má k dispozici celou řadu kvantitativních i kvalitativních indikátorů včetně sebehodnoticí zprávy, nicméně vlastní hodnocení je subjektivní, protože se opírá o názory několika odborníků založených na vyhodnocení informací podle jejich vlastní zkušenosti. Podstatná část připomínek směřovala k tomu, že na rozdíl od současného systému hodnocení výstupů není peer-review metodou objektivní. Funkce Možná vada Možný důsledek Příčina Preventivní opatření 1. Hodnocení je objektivní Hodnocení je podjaté Nepoužitelné výsledky, finanční ztráty, neefektivní podpora výzkumu, nespokojenost institucí s hodnocením, neadekvátní hodnocení instituce 1.1 Člen panelu podjatý vůči hodnocené jednotce Podepisována nepodjatost, výběr členů panelů, popsaný nominační proces, proces kontinuálního vyhodnocování konfliktu zájmů Doporučená opatření 1.1.1 Definování procesu a vhodného nastavení výběru členů hlavních panelů podle kritérií 1.1.1 Definování procesu a vhodného nastavení výběru členů oborových panelů podle kritérií 1.1.2 Definovat počet hodnotitelů pro daný případ (doporučení min. 3 hodnotitelé) 1.1.3 Definovat finanční ohodnocení, které hodnotitele motivuje k nepodjatosti 1.1.4 Zavést automatické zjišťování anomálií včetně zpětné reakce 1.1.5 Přesně kvantifikovat kritéria hodnocení indikátorů 1.1.6 Kontrolovat dodržování postupů a termínů v procesu hodnocení 1.1.7 Důkladně připravit kalibrační schůzky 1.1.8 Vybrat vhodné a zkušené předsedy hlavních a hodnoticích panelů 1.1.9 Možnost jmenovat nezávislé pozorovatele, pokud bude jednání komise s HJ
  • 10. 10 1.1.10 Nominaci a schvalování panelistů podrobit kolektivnímu rozhodování Funkce Možná vada Možný důsledek Příčina Preventivní opatření 1. Hodnocení je objektivní Hodnocení je podjaté Nepoužitelné výsledky, finanční ztráty, neefektivní podpora výzkumu, nespokojenost institucí s hodnocením, neadekvátní hodnocení instituce 1.2 Zaujatý zpravodaj (tajemník) panelu Výběr zpravodajů Doporučená opatření 1.2.1 Zavést zpětné informování hodnotitelů o celkovém výsledku hodnocené instituce 1.2.2 Vybírat osvědčené zpravodaje z předchozích akcí (Rating zpravodajů) 1.2.3 Definovat finanční ohodnocení zpravodaje, které motivuje k nepodjatosti 1.2.4 Zavést automatické zjišťování anomálií včetně zpětné reakce 1.2.5 Přesně kvantifikovat kritéria hodnocení indikátorů 1.2.6 Kontrolovat dodržování postupů a termínů v procesu hodnocení 1.2.7 Provádět video (případně audio) záznam jednání panelu mezi zpravodajem a hodnotiteli 1.2.8 Připravit jasné pokyny pro práci zpravodaje, definování povinností a pravomocí Funkce Možná vada Možný důsledek Příčina Preventivní opatření 1. Hodnocení je objektivní Hodnocení je podjaté Nepoužitelné výsledky, finanční ztráty, neefektivní podpora výzkumu, nespokojenost institucí s hodnocením, neadekvátní hodnocení instituce 1.3 Chyba v hodnoticím procesu Pravidelná a stálá kontrola ze strany předsedů panelů, spolupráce s řídicím orgánem Doporučená opatření 1.3.1 Vybrat vhodné a zkušené předsedy hlavních a hodnoticích panelů 1.3.2 Vypracovat opatření pro identifikaci úmyslných i neúmyslných chyb 1.3.3 Vypracovat pravidla pro Řídicí orgán, způsob komunikace s předsedy panelů 1.3.4 Důkladně připravit kalibrační schůzky 1.3.5 Pravidla pro podávání odvolání k procesním chybám
  • 11. 11 1.3.6 Zajistit verifikaci výsledků a výstupů VO pro hodnocení Funkce Možná vada Možný důsledek Příčina Preventivní opatření 1. Hodnocení je objektivní Hodnocení je podjaté Nepoužitelné výsledky, finanční ztráty, neefektivní podpora výzkumu, nespokojenost institucí s hodnocením, neadekvátní hodnocení instituce 1.4 Neobjektivní kritéria pro hodnocení v panelu Dopředu známá a jasná kritéria, detailní pokyny k podávaným informacím, jasná struktura Doporučená opatření 1.4.1 Diskuse navržených kritérií s VO a poskytovateli 1.4.2 Všechna kritéria stejná pro všechny VO 1.4.3 Důkladné seznámení HJ s hodnoticími kritérii (semináře) 1.4.4 Stanovení vah jednotlivých kritérií podle typu VO 1.4.5 Důkladně připravit kalibrační schůzky FUNKCE: Hodnocení je dobře připravené Možné vady: Hodnocení není dobře připravené S hodnocením VO v takovém rozsahu a provedeného takovým způsobem, jako navrhuje NERO, není v ČR zatím velká zkušenost. Pouze ústavy AV ČR a hodnocení výzkumných infrastruktur financovaných z operačních programů procházejí pravidelným peer-review procesem. Zkušenost ze zahraničí ukazuje, že příprava celého hodnoticího procesu je náročná a nesmí být podceňována. Nedostatečná příprava by znamenala nejen to, že z hodnocení nebudou použitelné výsledky, ale hlavně by znemožnila jakoukoli realizaci NERO v budoucnosti. Funkce Možná vada Možný důsledek Příčina Preventivní opatření 2. Hodnocení je procesně dobře připravené Hodnocení je nepřipravené Nepoužitelné výsledky, finanční ztráty, nespokojenost institucí, nesprávné výsledky hodnocení 2.1. Nedostatečná logistika hodnocení Včasná příprava hodnocení Doporučená opatření 2.1.1 Příprava hodnocení musí začít 2 roky před jeho realizací 2.1.2 Ujasněná institucionální zodpovědnost za přípravu hodnocení 2.1.3 Zajištění dostatečného počtu kvalitních lidských zdrojů 2.1.4 Přednost zajištění vlastními pracovníky před veřejnými zakázkami 2.1.5 Funkčnost pravidel a logistika hodnocení bude předem ověřena
  • 12. 12 Funkce Možná vada Možný důsledek Příčina Preventivní opatření 2. Hodnocení je procesně dobře připravené Hodnocení je nepřipravené Nepoužitelné výsledky, finanční ztráty, nespokojenost institucí, nesprávné výsledky hodnocení 2.2 Nečinnost politických a státních orgánů Odpovídající rozhodnutí zodpovědných orgánů, příprava legislativních změn Doporučená opatření 2.2.1 Hodnocení nebude svázáno s politickým cyklem 2.2.2 Včas přijaté politické rozhodnutí o realizaci hodnocení, legislativní příprava 2.2.3 Budou alokovány finanční prostředky na zajištění hodnocení 2.2.4 Nastavení schvalovacích procesů ve státních orgánech tak, aby fungovaly operativně 2.2.5 Dostatečné finanční a materiálové zdroje 2.2.6 Dostatečná kapacita lidských zdrojů FUNKCE: Hodnocené instituce jsou na hodnocení připraveny Možné vady: Hodnocené instituce se nebudou chtít nechat hodnotit Hodnocené instituce nebudou schopny součinnosti Díky principům současně platné metodiky hodnocení je v odborné veřejnosti hluboce zakořeněné podvědomí, že hodnocení se rovná financování. Od roku 2004, kdy byla poprvé metodika hodnocení použita ještě bez dopadu na financování, se postupně měnila, až se prakticky proměnila jen na způsob přepočtu získaných bodů na výši institucionální podpory. Tento přístup byl pro VO pohodlný, protože umožnil odhadnout, kolik peněz se za ten který výstup získá. Metodika 2013 už zahrnuje peer-review posouzení knih a excelentních výsledků, nicméně její základní strategií je stále počítání bodů za výstupy. Současný způsob hodnocení vyžaduje od VO zadání dat do informačního systému (IS VaVaI), na které mají VO vytvořené hardwarové prostředky a obslužný software, a jsou zvyklé s nimi pracovat. Tato data obsahují zejména údaje o publikacích, knihách, patentech a dalších výstupech. Kromě nich ještě dodávají další údaje o finančních zdrojích získaných z účelové podpory nebo smluvního výzkumu. Nemusejí vypracovávat sebehodnoticí zprávu, která je velmi důležitým podkladem pro NERO, a proto musí být zpracována velmi dobře. Z těchto důvodů lze očekávat, a výsledky veřejných projednávání dokumentů IPN Metodika to již potvrdily, značný odpor VO zejména VVŠ ke změně principů hodnocení charakterizované posunem od hodnocení výstupů k hodnocení VO.
  • 13. 13 Funkce Možná vada Možný důsledek Příčina Preventivní opatření 3. Hodnocené instituce jsou na hodnocení připraveny Výzkumné organizace se nebudou chtít nebo nebudou schopny se hodnocení účastnit Nepoužitelné výsledky, finanční ztráty, nespokojenost institucí, nesprávné výsledky hodnocení 3.1 Nedojde ke shodě na zásadách napříč hlavními segmenty VO Diskuse, vysvětlování a hledání konsensu při přípravě hodnocení Doporučená opatření 3.1.1 Využívat každou příležitost k osvětě prostřednictvím médií 3.1.2 Věnovat zvláštní pozornost „velkým hráčům“ (AV ČR, ČKR, RVŠ, AVO) 3.1.3 Pořádat semináře, workshopy pro VO, poskytovatele a politickou reprezentaci 3.1.4 Jednat s poskytovateli, vysvětlovat důležitost hodnocení pro jejich práci 3.1.5 Využít zkušenosti z hodnocení AV ČR, předchozích Metodik hodnocení a z hodnocení infrastruktur 3.1.6 Důsledně šířit osvětu mezi VO i prostřednictvím poskytovatelů, webových stránek Funkce Možná vada Možný důsledek Příčina Preventivní opatření 3. Hodnocené instituce jsou na hodnocení připraveny Výzkumné organizace se nebudou chtít nebo nebudou schopny se hodnocení účastnit Nepoužitelné výsledky, finanční ztráty, nespokojenost institucí, nesprávné výsledky hodnocení 3.2 Nedostatečná připravenost VO Přesvědčit VO o důležitosti hodnocení jako zdroje informací pro manažerské řízení Doporučená opatření 3.2.1 Připravit hodnocení po organizační stránce tak, aby co nejméně zatěžovalo VO 3.2.2 Vysvětlovat důležitost formativní stránky hodnocení 3.2.3 Využít zkušeností českých odborníků, kteří se účastnili hodnocení v zahraničí 3.2.4 Otevřená diskuse během přípravy NERO o kritériích a indikátorech 3.2.5 Zdůrazňování významu zpětné vazby pro kvalitní řízení VO, pozitivní příklady 3.2.6 Postupné zavádění NERO v různých segmentech VO 3.2.7 Podpořit přípravu lidských zdrojů pro hodnocení na VO a poskytovatelích 3.2.8 Definovat, které indikátory by mohly být součástí výročních zpráv VO 3.2.9 Optimalizovat informační systém VaVaI 3.2.10 Poskytovat kvalifikovanou podporu VO během přípravy a následné realizace NERO
  • 14. 14 FUNKCE: Po hodnocení bude společenská poptávka Možné vady: Hodnocení bude veřejnost odmítat Podle litery strategických dokumentů na národní úrovni (Reforma systému VaVaI v ČR (2008, aktualizace), Národní politika VaVaI pro roky 2009-2015 (výhled 2020), Národní strategie konkurenceschopnosti 2012-2020, Národní inovační strategie a Dlouhodobé principy hodnocení VaV, RVVI) by měl být realizován přechod na nové hodnocení VO s využitím ověřené mezinárodní praxe, tedy informovaného peer-review, ve smyslu, který navrhuje IPN Metodika. RVVI svým usnesením ze dne 30. října 2015 deklarovala odklon od hodnocení výstupů k hodnocení VO: a. pro efektivní fungování systému vědy, výzkumu a inovací je nezbytné přejít na nový systém hodnocení odpovídající nastalým potřebám a mezinárodní dobré praxi s využitím všech dosud získaných zkušeností; b. Metodika 2017+ bude hodnotit organizace jako takové s cílem vytvořit prostředí korektně oceňující, podporující a stimulující kvalitní vědu, výzkum a inovace, c. Metodika 2017+ bude vycházet z výsledků projektu IPN Metodika, včetně pilotního ověření, s tím, že pro její jednotlivé složky bude využito zkušeností a dobré praxe ze systému hodnocení výsledků výzkumných organizací do roku 2012, Metodiky 2013–2016 a současně probíhajícího hodnocení ústavů AV ČR. Zdá se tedy, že politická reprezentace a rezorty si uvědomují, že současný stav hodnocení výstupů neodpovídá zavedeným mezinárodním zvyklostem a že změna tohoto stavu směrem k ocenění kvality je žádoucí pro další rozvoj VaVaI a zvyšování konkurenceschopnosti ČR na mezinárodním poli. Nicméně jisté riziko tu stále je, jak již upozorňoval Mezinárodní audit, protože u nás je VaVaI včetně hodnocení těsně svázán s politickým cyklem. Funkce Možná vada Možný důsledek Příčina Preventivní opatření 4. Po hodnocení bude společenská poptávka Hodnocení bude veřejnost odmítat Hodnocení vůbec neproběhne, finanční ztráta, nespokojenost institucí, úroveň VaVaI se nezvýší, veřejné prostředky nebudou vynakládány hospodárně 4.1 Pasivita politické reprezentace a rezortů odpovědných za vládní politiku a nakládání s veřejnými prostředky Politické rozhodnutí napříč spektra, podpora poslanců, senátorů a rozhodnutí RVVI Doporučená opatření 4.1.1 Vytvořit na ministerstvech podmínky pro přijetí zásad NERO 4.1.2 Vyvíjet neustálý tlak na odpovědné aktéry 4.1.3 Pořádat semináře, workshopy a šířit osvětu 4.1.4 Držet se principů národních strategických dokumentů 4.1.5 Působit na členy RVVI, poslance a senátory
  • 15. 15 Funkce Možná vada Možný důsledek Příčina Preventivní opatření 4. Po hodnocení bude společenská poptávka Hodnocení bude veřejnost odmítat Hodnocení vůbec neproběhne, finanční ztráta, nespokojenost institucí, úroveň VaVaI se nezvýší, veřejné prostředky nebudou vynakládány hospodárně 4.2. Vliv zájmových skupin Prosazovat společenské zájmy nad zájmy soukromými 4.2.1 Zdůrazňovat národní zájmy, hledat konsensus, vysvětlovat 4.2.2 Zdůrazňovat zájem veřejnosti (daňových poplatníků) na výsledcích VaVaI získaných za veřejné prostředky 4.2.3 Soustředit se na autonomní veřejné výzkumné instituce a jejich reprezentanty v poradních orgánech státu 4.2.4 Změnit prosazovaný názor o oddělitelnosti základního a aplikovaného výzkumu 4.2.5 Vysvětlovat principy a účel investování veřejných prostředků do VaVaI FUNKCE: Hodnocení umožní efektivní využívání veřejných prostředků Možné vady: Hodnocení bude příliš drahé Primárním cílem NERO je poskytnout kvalitní informace všem stupňům řízení VaVaI od VO až po nejvyšší státní orgány. Bude tak možné kvalifikovaně zasahovat do systému VaVaI s ohledem na stanovené priority, zvyšování konkurenceschopnosti a podporování kvality. Tím, že budou výsledky NERO mít částečný dopad na výši institucionálního financování, může stát ovlivňovat chování VO a vést jejich management požadovaným směrem. Totéž se pak bude odehrávat i na úrovni řízení VO. Zavedení NERO je spojeno s přechodem na víceleté institucionální financování VO, které přinese do systému stabilitu a současně umožní managementu VO investovat do perspektivních vědeckých oblastí s vysokou přidanou hodnotou. Funkce Možná vada Možný důsledek Příčina Preventivní opatření 5. Hodnocení umožní efektivní využití veřejných prostředků Hodnocení bude příliš drahé Promarnění rozvojových příležitostí, velký skrytý rozsah neefektivního nakládání s veřejnými prostředky 5.1 Postoj reprezentace VO Hodnocení poskytne kvalitní informace pro management VaVaI na všech úrovních
  • 16. 16 Doporučená opatření 5.1.1 Zveřejnit Studii proveditelnosti, která vznikla v IPN Metodika 5.1.2 Při realizaci NERO využít všechny dostupné elektronické prostředky, aby se snížily jeho náklady 5.1.3 Upozorňovat odbornou veřejnost na neefektivní nakládání s veřejnými prostředky 5.1.4 Změnit názor části VO, že stát musí poskytnout institucionální podporu a dále se nestarat, jak je s ní naloženo 5.1.5 Zapojit reprezentaci VO do přípravy NERO od samého počátku
  • 17. 17 4 Závěr Předpokládáme ve shodě se závěry Technopolisu, že nutná doba od zahájení přípravy NERO až po jeho realizaci bude asi 3 roky a výrazné zapojení hodnocených VO začne zhruba v polovině této doby3. Tím bude vytvořen prostor jednak pro zodpovědnou přípravu prvního kola celonárodního hodnocení a jednak pro změnu povědomí VO, poskytovatelů a státních orgánů o užitečnosti výsledků pro potřeby řízení a efektivního financování systému VaVaI. Tato analýza rizik by měla být v tomto ohledu užitečným nástrojem. 3 Harmonogram postupných kroků realizace návrhů nového hodnocení a financování institucí z veřejných prostředků (Implementační doporučení)
  • 18. SEZNAM POUŽITÝCH ZKRATEK AV ČR Akademie věd České republiky ČKR Česká konference rektorů FMEA Failure Mode and Effects Analysis (Analýza možného výskytu a vlivu vad) GA ČR Grantová agentura České republiky IPN Individuální projekt národní KA7 Klíčová aktivita 7 IPN Metodika “Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí” KHV Komise pro hodnocení výsledků výzkumných organizací a ukončených programů MŠMT Ministerstvo školství, mládeže a tělovýchovy NERO National Evaluation Research Organisations (Národní hodnocení výzkumných organizací) OMH Oborová metodika hodnocení RIN Rizikové číslo RVVI Rada pro výzkum, vývoj a inovace VaV Výzkum a vývoj VaVaI Výzkum, vývoj a inovace VO Výzkumná organizace VVŠ Veřejné vysoké školy
  • 19. Harmonogram postupných kroků realizace návrhů nového hodnocení a financování institucí z veřejných prostředků VaVaI Implementační doporučení Vydává Ministerstvo školství, mládeže a tělovýchovy, Karmelitská 7, Praha 1 Individuální projekt národní pro oblast terciárního vzdělávání, výzkumu a vývoje: Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (IPN Metodika) www.metodika.reformy-msmt.cz Praha 2015 Analýza rizik pro zavádění národního hodnocení výzkumných organizací (NERO) Vydává Ministerstvo školství, mládeže a tělovýchovy, Karmelitská 7, Praha 1 Individuální projekt národní pro oblast terciárního vzdělávání, výzkumu a vývoje: Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (IPN Metodika) www.metodika.reformy-msmt.cz Praha 2015