Video z této přednášky naleznete v repozitáři NTK: http://repozitar.techlib.cz/record/795
Chcete vědět víc? Mnoho dalších prezentací, videí z konferencí, fotografií i jiných dokumentů je k dispozici v institucionálním repozitáři NTK: http://repozitar.techlib.cz
Would you like to know more? Find presentations, reports, conference videos, photos and much more in our institutional repository at: http://repozitar.techlib.cz/?ln=en
Poučení z evaluací vzdělávacích projektůInka Pibilova
Poučení z evaluací globálních vzdělávacích projektů a programů českých nevládních neziskových organizací realizovaných v ČR i zahraničí. Evaluace proběhly zejména v roce 2012.
Video z této přednášky naleznete v repozitáři NTK: http://repozitar.techlib.cz/record/795
Chcete vědět víc? Mnoho dalších prezentací, videí z konferencí, fotografií i jiných dokumentů je k dispozici v institucionálním repozitáři NTK: http://repozitar.techlib.cz
Would you like to know more? Find presentations, reports, conference videos, photos and much more in our institutional repository at: http://repozitar.techlib.cz/?ln=en
Poučení z evaluací vzdělávacích projektůInka Pibilova
Poučení z evaluací globálních vzdělávacích projektů a programů českých nevládních neziskových organizací realizovaných v ČR i zahraničí. Evaluace proběhly zejména v roce 2012.
MALÉ PILOTNÍ HODNOCENÍ A VYUŽITÍ IS VaVaI JAKO NÁSTROJE PŘI HODNOCENÍ / Záv...MEYS, MŠMT in Czech
Závěrečná zpráva 3 je jedna ze tří Závěrečných zpráv studie navrhující novou Metodiku hodnocení a zásady financování výzkumu a vývoje v České republice. Věnuje se výsledkům dvou různých analýz, tj. Malému pilotnímu hodnocení (MPH), které se zaměřilo na testování adekvátnosti procesů, jež se předpokládají při implementaci a následném používání Metodiky hodnocení a analýzy týkající se potenciálního využití Informačního systému výzkumu, experimentálního vývoje a inovací (IS VaVaI) coby nástroje pro získávání informací, zejména pro účely hodnocení.
+ http://metodika.reformy-msmt.cz/male-pilotni-hodnoceni
V tradičním pojetí jsou rizika chápána negativně, tedy jako hrozby. Tím, že jsou identifikována a vyhodnocena, vytvářejí ale současně příležitosti, které lze využít pro zlepšení výsledku projektu nebo pro snadnější uvádění jeho výsledků do života. Z veřejného projednávání dokumentů IPN Metodika, diskusí na konferencích a zpětné vazby výzkumných organizací, které se účastnily dvou pilotních ověřování nové metodiky hodnocení, byly získány některé podněty, které jsou považovány za rizika pro zavádění národního hodnocení výzkumných organizací (NERO).
+ http://metodika.reformy-msmt.cz/prednaska-moravcova-cvut-2014
Hodnocení a financování VaVaI je ve vědecko-výzkumné komunitě atraktivním tématem. Návštěvníci informačního semináře k této problematice, který se konal 17. 9. 2014, zcela zaplnili velkou zasedací místnost na Rektorátu ČVUT. Seminář na téma současného stavu a výhledu do budoucna v oblasti hodnocení a financování VaVaI vedla prof. Ing. Jitka Moravcová, CSc., hlavní odborná garantka IPN Metodika.
Návrh obecných zásad hodnocení programů účelové podpory VVI a potřebných syst...MEYS, MŠMT in Czech
Hodnocení má poskytovat užitečné podklady pro rozhodování. Současný způsob hodnocení programů účelové podpory výzkumu, vývoje a inovací tuto úlohu neplní. Předložený dokument
na základě nejlepší mezinárodní praxe navrhuje obecné zásady, podle kterých by se hodnocení mělo provádět.
This is my presentation to the AFCEA Course in Fairfax, VA. This course is put on by AFCEA to give insight into where the GCCS system is going in regard to transitioning to Joint Command and Control Capabilities (JC2C).
MALÉ PILOTNÍ HODNOCENÍ A VYUŽITÍ IS VaVaI JAKO NÁSTROJE PŘI HODNOCENÍ / Záv...MEYS, MŠMT in Czech
Závěrečná zpráva 3 je jedna ze tří Závěrečných zpráv studie navrhující novou Metodiku hodnocení a zásady financování výzkumu a vývoje v České republice. Věnuje se výsledkům dvou různých analýz, tj. Malému pilotnímu hodnocení (MPH), které se zaměřilo na testování adekvátnosti procesů, jež se předpokládají při implementaci a následném používání Metodiky hodnocení a analýzy týkající se potenciálního využití Informačního systému výzkumu, experimentálního vývoje a inovací (IS VaVaI) coby nástroje pro získávání informací, zejména pro účely hodnocení.
+ http://metodika.reformy-msmt.cz/male-pilotni-hodnoceni
V tradičním pojetí jsou rizika chápána negativně, tedy jako hrozby. Tím, že jsou identifikována a vyhodnocena, vytvářejí ale současně příležitosti, které lze využít pro zlepšení výsledku projektu nebo pro snadnější uvádění jeho výsledků do života. Z veřejného projednávání dokumentů IPN Metodika, diskusí na konferencích a zpětné vazby výzkumných organizací, které se účastnily dvou pilotních ověřování nové metodiky hodnocení, byly získány některé podněty, které jsou považovány za rizika pro zavádění národního hodnocení výzkumných organizací (NERO).
+ http://metodika.reformy-msmt.cz/prednaska-moravcova-cvut-2014
Hodnocení a financování VaVaI je ve vědecko-výzkumné komunitě atraktivním tématem. Návštěvníci informačního semináře k této problematice, který se konal 17. 9. 2014, zcela zaplnili velkou zasedací místnost na Rektorátu ČVUT. Seminář na téma současného stavu a výhledu do budoucna v oblasti hodnocení a financování VaVaI vedla prof. Ing. Jitka Moravcová, CSc., hlavní odborná garantka IPN Metodika.
Návrh obecných zásad hodnocení programů účelové podpory VVI a potřebných syst...MEYS, MŠMT in Czech
Hodnocení má poskytovat užitečné podklady pro rozhodování. Současný způsob hodnocení programů účelové podpory výzkumu, vývoje a inovací tuto úlohu neplní. Předložený dokument
na základě nejlepší mezinárodní praxe navrhuje obecné zásady, podle kterých by se hodnocení mělo provádět.
This is my presentation to the AFCEA Course in Fairfax, VA. This course is put on by AFCEA to give insight into where the GCCS system is going in regard to transitioning to Joint Command and Control Capabilities (JC2C).
Souhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financováníMEYS, MŠMT in Czech
Souhrnná zpráva shrnuje výsledky práce provedené v rámci studie vytvářející novou Metodiku hodnocení výzkumu a vývoje a zásady institucionálního financování v ČR, která probíhala v letech 2014–15. V principu stojí na třech Závěrečných zprávách (Final Report 1–3) a deseti Podkladových zprávách (Background Reports).
+ http://metodika.reformy-msmt.cz/souhrnna-zprava
Závěrečná zpráva 1 je v první ze Závěrečných zpráv studie navrhující Metodiku hodnocení a zásady institucionálního financování výzkumu a vývoje (VaV) v České republice. Metodika hodnocení (MH), která je navržena v této zprávě, definuje klíčové principy budoucí Metodiky hodnocení a stanovuje její základní součásti.
+ http://metodika.reformy-msmt.cz/hodnoceni-vyzkumnych-organizaci
Úvodní díl metodik IPN KVALITA stručně představuje cíle, východiska a návaznosti projektu, vytyčuje základní rámec přístupů, metod a nástrojů pro řídicí aj. procesy, který projekt přejímal a respektoval. Úvod k metodikám také poskytl prostor pro základní definice pojmu „kvalita“, problematiku tvorby a využívání standardů, systém řízení. Zároveň obsahuje přílohu „Přehledně o projektu“, která poskytuje v koncentrované formě základní informace o IPN KVALITA.
Vzdělávací program je připraven tak, aby jeho absolventi byli vybaveni metodami pro úspěšné vedení konzultací přinášejících možná řešení problémů a nastavování nápravných opatření. Ty pramení ze zjištění hodnotících týmů využívajících pro hodnocení organizace model CAF (Common Asessment Framework) či Interní audit uložených v systému OLINA. Konzultanti tak zajišťují, aby samotné hodnocení nezůstalo „napůl cesty“ a organizace mohly vykročit dále směrem k utěšenému rozvoji svých činností.
Systém managementu kvality ITV/VŠ (Metodika pro stanovení ukazatelů výkonnost...MŠMT IPN KVALITA
Materiál vychází z předpokladu, že i instituce terciárního vzdělávání (stejně jako jiné podnikatelské instituce/organizace) by měly své činnosti a procesy řídit za účelem monitorování a zlepšování pomocí tzv. ukazatelů výkonnosti procesů.
Harmonogram postupných kroků realizace návrhů nového hodnocení a financování ...MEYS, MŠMT in Czech
Tato implementační doporučení zpracoval expertní tým IPN Metodika v závěrečné fázi projektu na základě zkušeností získaných během úzké spolupráce se zpracovatelem studie „Metodika hodnocení ve výzkumu a vývoji a zásady financování“ společností Technopolis Group z Velké Británie dále také díky bohatým zkušenostem z realizace pilotního ověření navržené metodiky hodnocení týmem projektu, díky intenzivním diskusím se zainteresovanými subjekty, s odbornou veřejností a zahraničními experty po celou dobu trvání projektu. Doporučení jsou výsledkem podrobných diskusí realizačních aspektů v rámci širokého expertního týmu IPN Metodika.
Jedná se o devátý a poslední úkol, který byl v rámci projektu KREDO zadán vysokým školám. Postupné plnění úkolů metodicky vedlo zapojené VŠ k vytvoření strategického plánu rozvoje do roku 2030 a jeho implementaci. Zpracování odevzdané ze strany jednotlivých VŠ bylo vyhodnoceno a zobecněno, vzniklo tak shrnutí založené na vyjádření 44 vysokých škol. Kromě zobecněného vyhodnocení úkolu vznikla také na základě shrnutí best practices doporučená šablona, kterou mohou VŠ v budoucnu při tvorbě akčního plánu využít.
Akční plán představuje krátkodobý roční dokument a rozpracovává strategický plán rozvoje na první rok jeho platnosti, tj. na rok 2016. Vybrané cíle uvedené v SPR jsou v rámci akčního plánu rozepsány do konkrétních kroků a opatření, tzn., co bude nutno pro dosažení cílů provést v průběhu roku 2016.
Akční plány navazují na strategické plány rozvoje, které byly školami zpracovány v předcházejícím období v rámci úkolu č. 7, a dále na strategické plány rozvoje 2. řádu připravené v rámci úkolu č. 8.
Pilot test of new evaluation methodology of research organisationsMEYS, MŠMT in Czech
In 2015, the pilot test of a new evaluation methodology of research, development and innovation, in which twelve research organisations
active predominantly in two fields (Chemistry and History) participated, was carried out. Three main and nine subject panels, in which thirty-five
foreign and six local experts were present, prepared evaluation reports of thirty-one registered, field-specific research units. The feedback of the panellists and the institutions evaluated, which are useful for the preparation of a nationwide evaluation of research organisations in the Czech Republic, are the key output of the pilot test.
This report is one of the three Final reports of the study developing an evaluation methodology and institutional funding principles for the R&D system in the Czech Republic. It describes the methodology for the National Evaluation of Research Organisations (NERO) in the Czech Republic.
This report is the one of the three Final reports of a study developing an evaluation methodology and institutional funding principles for the R&D system in the Czech Republic. It describes the new principles for the institutional funding of research organisations (RO) in the Czech Republic.
The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...MEYS, MŠMT in Czech
This report is one of the three Final reports for the study designing a new R&D evaluation methodology and funding principles for the Czech republic. It reports on the outcomes of two distinct strands of analyses, i.e. the Small Pilot Evaluation and the (potential) use of the RD&I Information System (IS) as a tool for information, in particular for evaluation purposes.
Summary Report / R&D Evaluation Methodology and Funding PrinciplesMEYS, MŠMT in Czech
This study has been undertaken under a contract to the Ministry of Education, Youth
and Sports of the Czech Republic by a team from Technopolis, the Technology Centre
ASCR, NIFU, and Infoscience Praha.
Analýza má posloužit k podrobnějšímu rozboru možností a k doporučení a zdůvodnění výběru určitého řešení. Jednoznačná identifikace je důležitá nejen pro výzkumníky, aby mohli prezentovat výsledky své vědecké činnosti, ale využívá se též pro hodnocení autorů a pracovišť, vydavatelům a poskytovatelům finančních podpor zjednodušuje administrativu a usnadňuje organizaci databází. Zavedením trvalého jedinečného identifikátoru výzkumníka se vyřeší jednoznačné přiřazení výstupů a dalších profesních aktivit danému vědeckému pracovníkovi.
Dokument je zpracovaný na základě zkušeností z pilotního ověření navrhované metodiky hodnocení výzkumných organizací a z diskusí s odbornou veřejností během celé doby trvání projektu. Zaměřen je nejen na změny vnitřních předpisů veřejných vysokých škol, ale také na dlouhodobé záměry vysokých škol. Jsou formulována doporučení pro veřejné vysoké školy na jedné straně a MŠMT na straně druhé.
Podklady a doporučení pro zapracování do věcného záměru zákona nahrazujícího ...MEYS, MŠMT in Czech
Dokument analyzuje, zda vůbec a popřípadě v jaké míře jsou nutné změny regulatorního rámce v oblasti výzkumu, vývoje a inovací, které by si vyžádala realizace návrhů vzešlých z výstupů Individuálního projektu národního Efektivní systém hodnocení a financování výzkumu, vývoje a inovací. Jsou zohledněny i probíhající záměry úprav legislativních předpisů.
Pilotní ověření návrhu nové metodiky hodnocení výzkumných organizacíMEYS, MŠMT in Czech
Dokumenty shrnují výsledky pilotního ověření metodiky NERO hodnocení výzkumné činnosti vycházející ze závěrů a doporučení Technopolisu, které bylo realizováno týmem projektu v průběhu roku 2015.
Pilotní ověření návrhu nové metodiky hodnocení výzkumných organizací
Hodnocení programů účelové podpory
1. Martin Srholec
15. 10. 2015
Závěrečná konference
IPN Metodika
www.metodika.reformy-msmt.cz
Hodnocení
programů účelové
podpory
2. Účelové výdaje státního rozpočtu
na VVI v roce 2014
• Nezahrnuje dotace na VVI z OP EU
• Nezahrnuje nepřímou podporu (daňové odpočty) pro VaV ve firmách
1
3. Mezinárodní audit systému VVI v
ČR (Technopolis, 2011)
• Na rozdíl od vyspělých zemí EU není v ČR hodnocení programů VaVaI považováno za
důležitou součást procesu přípravy a realizace politik v oblasti VaVaI.
• Systém hodnocení programů VVI je spíše jen ex-post monitorováním dosažených
výsledků a nákladů potřebných k jejich dosažení.
• Velice negativně byla zhodnocena kvalita hodnocení, resp. zpráv z hodnocení
ukončených programů.
• Zprávy z hodnocení jednotlivých ukončených programů VVI nelze považovat za
„standardní“ evaluační zprávy, protože obsahují jen popis ukončených programů
VaVaI a jejich výsledků.
• Za velice diskutabilní je spolehlivost uváděných analýz, přičemž používaná data
většinou pocházejí pouze z IS VaVaI.
• Ačkoliv zprávy o hodnocení uvádějí jasné závěry, většina z nich není dostatečně a
spolehlivě doložena.
• Doporučení pro tvorbu navazujících či jiných programů VVI zpravidla nejsou ve
zprávách obsažena.
2
4. Metodika hodnocení od roku 2011
Rok 2013:
• Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků
ukončených programů (platná pro léta 2013 až 2015) – tzv. Metodika 2013 - opuštěn
tzv. „Index SR“, ale pouze dvě stránky o (souhrnném) hodnocení programů.
Rok 2014:
• Pracovní skupina při RVVI k systémovému opatření č. 18 Aktualizace Národní politiky
výzkumu, vývoje a inovací České republiky na léta 2009 až 2015 s výhledem do roku
2020
Rok 2015:
• Dokument „Základní principy přípravy a hodnocení programů a skupin grantových
projektů výzkumu, vývoje a inovací“ schválen předsednictvem RVVI
• Usnesení vlády č. 351 ze dne 13. května 2015, které ukládá vypracovat podle těchto
principů a vládě do 31. prosince 2016 předložit obecně závazný dokument upravující
přípravu a hodnocení programů a skupin grantových projektů
• Probíhá revize Metodiky 2013 pro rok 2016 (pouze menší změny)
Jak se budou hodnotit programy v období 2017+?
3
5. Příspěvek IPN Metodika
• Hlavním cílem projektu je vytvořit návrh nového systému hodnocení a financování
výzkumných organizací, tj. otázka institucionálního financování (spolupráce s firmou
Technopolis, atd.)
• Na podzim 2014 bylo rozhodnuto, že bude přidána i aktivita s cílem „navrhnout obecné
principy metodiky hodnocení programů účelové podpory v souladu s nejlepší
mezinárodní praxí v podmínkách ČR ... i návrh systémových změn potřebných pro
zavedení mezinárodních standardů hodnocení.“
• V první polovině roku 2015 byl zpracován dokument „Návrh obecných zásad
hodnocení programů účelové podpory výzkumu, vývoje a inovací a potřebných
systémových změn“
• Připomínky k první pracovní verzi od vybraných odborníků a první revize v dubnu a
květnu 2015
• Pracovní verze pro konzultace se zainteresovanými subjekty uvolněna během léta
2015
• Revize v září a finální verze v říjnu 2015
4
7. Cílem tohoto dokumentu je vymezit zásady, jak by
se mělo provádět hodnocení programů účelové
podpory výzkumu, vývoje a inovací v českých
podmínkách v návaznosti na nejlepší mezinárodní
praxi. Zásady jsou navrženy v obecné rovině tak,
aby mohly být zavedeny jako strategický nástroj pro
řízení na úrovni systému a následně rozpracovány
na konkrétní podmínky jednotlivých programů.
6
8. Obecné zásady hodnocení
pro různé typy hodnocení, včetně ex-ante hodnocení
návrhu programu, průběžného hodnocení chodu
programu, hodnocení ex-post a hodnocení dopadů
a
pro různé druhy programů od skupin grantových projektů
pro akademický výzkum, přes programy pro podporu
spolupráce ve výzkumu až po dotace zaměřené na
inovace.
7
10. Hodnocení programů
• Účelem hodnocení (anebo evaluace) je poskytovat poznatky pro
posuzování vhodnosti veřejných výdajových programů.
• Hodnocení pomáhá zlepšovat programy samotné a poskytuje svědectví
o jejich účincích.
• Hodnocení není monitorování, účetnictví, audit, statistika a ani
empirický výzkum.
• Hodnocen může být v podstatě kdokoliv, a na něm potažmo cokoliv,
avšak ne jakkoliv.
• K tomu, aby hodnocení plnilo své funkce, je nutné, aby se drželo
určitých obecných zásad.
9
11. Nejlepší mezinárodní praxe
• Severské země Dánsko, Finsko, Norsko a Švédsko, sousední Německo
s Rakouskem a tradičně Nizozemí, Velká Británie a Spojené státy
americké.
• Doporučení mezinárodních institucí a asociací jako Evropská komise,
OECD a European Network of Innovation Agencies (TAFTIE).
• Zejména byly využity průřezově laděné texty, tj. obecné příručky,
směrnice a manuály pro hodnocení.
• Nejedná se o nic světoborně nového, nýbrž o v zahraničí ověřené
postupy.
10
12. Desatero zásad hodnocení
1. Změna jako cíl. Smyslem programu je dosažení změny, ke které by za jinak stejných podmínek
nedošlo.
2. Dopady nade vše. Zajímají nás dopady, výsledky a výstupy v tomto pořadí důležitosti. Bez širších
dopadů program postrádá opodstatnění. Výstupy jsou pouze prostředkem k výsledkům a
potažmo dopadům.
3. Střih na míru. Každý program má vlastní metodiku hodnocení. Není přínosné se pokoušet vymezit
jeden vzorec použitelný pro všechny programy.
4. Kvalita důležitější kvantity. Nemá smysl hodnotit za každou cenu. Jedno kvalitně provedené
hodnocení má větší váhu než deset mizerných.
5. Hodnocení není popis. Hodnocení analyzuje přínosy podpory, podává normativní závěry,
nekonstatuje pouze fakta.
6. Důkazy, nikoliv názory. Závěry hodnocení jsou založeny na prokázaných skutečnostech. Pro
nepodložené spekulace není v hodnocení místo.
7. Jaká data, takové hodnocení. Hodnocení stojí a padá s kvalitou dat. Na datovou základnu pro
hodnocení je nutné myslet již na prvopočátku programu.
8. Sebehodnocení pro učení. Poskytovatel hodnotí vlastní program, pokud je hlavní funkce
hodnocení učící, pokud motivace pro jeho provedení vychází zevnitř.
9. Externí hodnocení pro kontrolu. Pokud je motivace pro hodnocení externí, pokud je ve hře
rozdělování peněz z národního rozpočtu, hodnocení provádí externí subjekt.
10. Naučit se učit se. Bez zpětné vazby na rozhodování tvůrců politik a poskytovatelů je hodnocení
zbytečné.
11
13. Návrh systémových změn
• Nastavení systému a role jednotlivých aktérů
• Lidské zdroje, jejich rozvoj a učení se hodnotit
• Datová základna, přístup k mikrodatům a propojování
• Finanční zdroje a problém zadávání zakázek
12
14. Stupňující se tlak ze strany Evropské komise na
zkvalitnění hodnocení programů (Evalution in the
field of State aid: Methodological Guidance Paper,
apod.)
13