The Small Pilot Evaluation - Feedback and Results
/
This report constitutes a background report to the Final report 3 – The Small Pilot Evaluation and the Use of the RD&I Information System for Evaluation. It focuses on the outcomes of the Small Pilot Evaluation (SPE) that was implemented in the context of this study from the month of September 2014 (launch of the preparatory activities) to the end of January 2015 (final panel reports).
The institutional funding system in the Czech Republic
/
This report constitutes a background report to the Final report 2 – The Institutional Funding Principles. It contains the findings of the analysis and evaluation of the current R&D institutional funding system in the Czech Republic, identifying its strengths, weaknesses, opportunities and threads at all levels of governance.
The Small Pilot Evaluation - Feedback and Results
/
This report constitutes a background report to the Final report 3 – The Small Pilot Evaluation and the Use of the RD&I Information System for Evaluation. It focuses on the outcomes of the Small Pilot Evaluation (SPE) that was implemented in the context of this study from the month of September 2014 (launch of the preparatory activities) to the end of January 2015 (final panel reports).
The institutional funding system in the Czech Republic
/
This report constitutes a background report to the Final report 2 – The Institutional Funding Principles. It contains the findings of the analysis and evaluation of the current R&D institutional funding system in the Czech Republic, identifying its strengths, weaknesses, opportunities and threads at all levels of governance.
BR 02 / Typology of Research Organisations and Effects of the EM Thresholds /...MEYS, MŠMT in Czech
Závěrečná zpráva 2 je jednou ze tří Závěrečných zpráv studie zabývající se přípravou Metodiky hodnocení a zásad financování systému výzkumu a vývoje v České republice. Zpráva popisuje nové zásady pro institucionální financování výzkumných organizací (VO).
Návrh obecných zásad hodnocení programů účelové podpory VVI a potřebných syst...MEYS, MŠMT in Czech
Hodnocení má poskytovat užitečné podklady pro rozhodování. Současný způsob hodnocení programů účelové podpory výzkumu, vývoje a inovací tuto úlohu neplní. Předložený dokument
na základě nejlepší mezinárodní praxe navrhuje obecné zásady, podle kterých by se hodnocení mělo provádět.
V tradičním pojetí jsou rizika chápána negativně, tedy jako hrozby. Tím, že jsou identifikována a vyhodnocena, vytvářejí ale současně příležitosti, které lze využít pro zlepšení výsledku projektu nebo pro snadnější uvádění jeho výsledků do života. Z veřejného projednávání dokumentů IPN Metodika, diskusí na konferencích a zpětné vazby výzkumných organizací, které se účastnily dvou pilotních ověřování nové metodiky hodnocení, byly získány některé podněty, které jsou považovány za rizika pro zavádění národního hodnocení výzkumných organizací (NERO).
Studie proveditelnosti institucionálního zajištění navrhovaného systému hodno...MEYS, MŠMT in Czech
Ve studii jsou popsány variantně podoby útvaru, který bude realizovat hodnocení výzkumných organizací tak, aby to odpovídalo výstupům projektu IPN Metodika. Jsou zvažovány výhody i nevýhody jednotlivých možných řešení. Podrobně je analyzována finanční náročnost hodnotícího postupu NERO v přímých nákladech, tedy na straně instituce zajišťující hodnocení.
The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...MEYS, MŠMT in Czech
This report is one of the three Final reports for the study designing a new R&D evaluation methodology and funding principles for the Czech republic. It reports on the outcomes of two distinct strands of analyses, i.e. the Small Pilot Evaluation and the (potential) use of the RD&I Information System (IS) as a tool for information, in particular for evaluation purposes.
Souhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financováníMEYS, MŠMT in Czech
Souhrnná zpráva shrnuje výsledky práce provedené v rámci studie vytvářející novou Metodiku hodnocení výzkumu a vývoje a zásady institucionálního financování v ČR, která probíhala v letech 2014–15. V principu stojí na třech Závěrečných zprávách (Final Report 1–3) a deseti Podkladových zprávách (Background Reports).
+ http://metodika.reformy-msmt.cz/souhrnna-zprava
Selon le fondateur de Grovo, start-up spécialisée dans le microlearning, quelques minutes d'attention valaient mieux qu'un long discours en matière de formation.
«Comment et quand vous apprenez est en fait plus important que ce que vous apprenez».
Intervention de Silvère MERCIER, Chargé de la médiation et des innovations numériques à la Bibliothèque Publique d’Information (Centre Pompidou, Paris)
Video z této přednášky naleznete v repozitáři NTK: http://repozitar.techlib.cz/record/793
Chcete vědět víc? Mnoho dalších prezentací, videí z konferencí, fotografií i jiných dokumentů je k dispozici v institucionálním repozitáři NTK: http://repozitar.techlib.cz
Would you like to know more? Find presentations, reports, conference videos, photos and much more in our institutional repository at: http://repozitar.techlib.cz/?ln=en
BR 02 / Typology of Research Organisations and Effects of the EM Thresholds /...MEYS, MŠMT in Czech
Závěrečná zpráva 2 je jednou ze tří Závěrečných zpráv studie zabývající se přípravou Metodiky hodnocení a zásad financování systému výzkumu a vývoje v České republice. Zpráva popisuje nové zásady pro institucionální financování výzkumných organizací (VO).
Návrh obecných zásad hodnocení programů účelové podpory VVI a potřebných syst...MEYS, MŠMT in Czech
Hodnocení má poskytovat užitečné podklady pro rozhodování. Současný způsob hodnocení programů účelové podpory výzkumu, vývoje a inovací tuto úlohu neplní. Předložený dokument
na základě nejlepší mezinárodní praxe navrhuje obecné zásady, podle kterých by se hodnocení mělo provádět.
V tradičním pojetí jsou rizika chápána negativně, tedy jako hrozby. Tím, že jsou identifikována a vyhodnocena, vytvářejí ale současně příležitosti, které lze využít pro zlepšení výsledku projektu nebo pro snadnější uvádění jeho výsledků do života. Z veřejného projednávání dokumentů IPN Metodika, diskusí na konferencích a zpětné vazby výzkumných organizací, které se účastnily dvou pilotních ověřování nové metodiky hodnocení, byly získány některé podněty, které jsou považovány za rizika pro zavádění národního hodnocení výzkumných organizací (NERO).
Studie proveditelnosti institucionálního zajištění navrhovaného systému hodno...MEYS, MŠMT in Czech
Ve studii jsou popsány variantně podoby útvaru, který bude realizovat hodnocení výzkumných organizací tak, aby to odpovídalo výstupům projektu IPN Metodika. Jsou zvažovány výhody i nevýhody jednotlivých možných řešení. Podrobně je analyzována finanční náročnost hodnotícího postupu NERO v přímých nákladech, tedy na straně instituce zajišťující hodnocení.
The Small Pilot Evaluation and the Use of the RD&I Information System for Eva...MEYS, MŠMT in Czech
This report is one of the three Final reports for the study designing a new R&D evaluation methodology and funding principles for the Czech republic. It reports on the outcomes of two distinct strands of analyses, i.e. the Small Pilot Evaluation and the (potential) use of the RD&I Information System (IS) as a tool for information, in particular for evaluation purposes.
Souhrnná zpráva / Metodika hodnocení ve Výzkumu a vývoji a zásady financováníMEYS, MŠMT in Czech
Souhrnná zpráva shrnuje výsledky práce provedené v rámci studie vytvářející novou Metodiku hodnocení výzkumu a vývoje a zásady institucionálního financování v ČR, která probíhala v letech 2014–15. V principu stojí na třech Závěrečných zprávách (Final Report 1–3) a deseti Podkladových zprávách (Background Reports).
+ http://metodika.reformy-msmt.cz/souhrnna-zprava
Selon le fondateur de Grovo, start-up spécialisée dans le microlearning, quelques minutes d'attention valaient mieux qu'un long discours en matière de formation.
«Comment et quand vous apprenez est en fait plus important que ce que vous apprenez».
Intervention de Silvère MERCIER, Chargé de la médiation et des innovations numériques à la Bibliothèque Publique d’Information (Centre Pompidou, Paris)
Video z této přednášky naleznete v repozitáři NTK: http://repozitar.techlib.cz/record/793
Chcete vědět víc? Mnoho dalších prezentací, videí z konferencí, fotografií i jiných dokumentů je k dispozici v institucionálním repozitáři NTK: http://repozitar.techlib.cz
Would you like to know more? Find presentations, reports, conference videos, photos and much more in our institutional repository at: http://repozitar.techlib.cz/?ln=en
Chcete vědět víc? Mnoho dalších prezentací, videí z konferencí, fotografií i jiných dokumentů je k dispozici v institucionálním repozitáři NTK: http://repozitar.techlib.cz
Would you like to know more? Find presentations, reports, conference videos, photos and much more in our institutional repository at: http://repozitar.techlib.cz/?ln=en
Antiplagiátorské nástroje pro naše repozitářeJan Mach
Prezentace rozsáhlého testu antiplagiátorských nástrojů Turnitin, Ephorus, Theses.cz a vlastního řešení na bázi Google, zpracovaného v rámci doktorského studia na ÚISK FF UK.
Podklady pro přednášku, workshop, cvičení pro střední školy na téma vyhledávání a hodnocení informací; psaní odborného textu a citování. Obsahuje příklady i tipy.
Představení databáze SCOPUS a jejích nástrojů pro citační analýzu.
Chcete vědět víc? Mnoho dalších prezentací, videí z konferencí, fotografií i jiných dokumentů je k dispozici v institucionálním repozitáři NTK: http://repozitar.techlib.cz
Would you like to know more? Find presentations, reports, conference videos, photos and much more in our institutional repository at: http://repozitar.techlib.cz/?ln=en
V prezentaci najdete informace o elektronických informačních zdrojích na MU, něco málo teorie na téma "jak vyhledávat v odborných zdrojích" a na závěr i velmi stručný úvod do citování elektronických článků. Vše doplněné řadou užitečných odkazů.
Podpůrná prezentace k lekci informačního vzdělávání. Obsahuje především odkazy na zdroje informací a stručné základní informace o EIZ na MU a databázích ScienceDirect a JSTOR.
Najdete v ní i tipy pro vyhledávání v databázích.
Pilot test of new evaluation methodology of research organisationsMEYS, MŠMT in Czech
In 2015, the pilot test of a new evaluation methodology of research, development and innovation, in which twelve research organisations
active predominantly in two fields (Chemistry and History) participated, was carried out. Three main and nine subject panels, in which thirty-five
foreign and six local experts were present, prepared evaluation reports of thirty-one registered, field-specific research units. The feedback of the panellists and the institutions evaluated, which are useful for the preparation of a nationwide evaluation of research organisations in the Czech Republic, are the key output of the pilot test.
This report is one of the three Final reports of the study developing an evaluation methodology and institutional funding principles for the R&D system in the Czech Republic. It describes the methodology for the National Evaluation of Research Organisations (NERO) in the Czech Republic.
This report is the one of the three Final reports of a study developing an evaluation methodology and institutional funding principles for the R&D system in the Czech Republic. It describes the new principles for the institutional funding of research organisations (RO) in the Czech Republic.
Summary Report / R&D Evaluation Methodology and Funding PrinciplesMEYS, MŠMT in Czech
This study has been undertaken under a contract to the Ministry of Education, Youth
and Sports of the Czech Republic by a team from Technopolis, the Technology Centre
ASCR, NIFU, and Infoscience Praha.
Analýza má posloužit k podrobnějšímu rozboru možností a k doporučení a zdůvodnění výběru určitého řešení. Jednoznačná identifikace je důležitá nejen pro výzkumníky, aby mohli prezentovat výsledky své vědecké činnosti, ale využívá se též pro hodnocení autorů a pracovišť, vydavatelům a poskytovatelům finančních podpor zjednodušuje administrativu a usnadňuje organizaci databází. Zavedením trvalého jedinečného identifikátoru výzkumníka se vyřeší jednoznačné přiřazení výstupů a dalších profesních aktivit danému vědeckému pracovníkovi.
Dokument je zpracovaný na základě zkušeností z pilotního ověření navrhované metodiky hodnocení výzkumných organizací a z diskusí s odbornou veřejností během celé doby trvání projektu. Zaměřen je nejen na změny vnitřních předpisů veřejných vysokých škol, ale také na dlouhodobé záměry vysokých škol. Jsou formulována doporučení pro veřejné vysoké školy na jedné straně a MŠMT na straně druhé.
Podklady a doporučení pro zapracování do věcného záměru zákona nahrazujícího ...MEYS, MŠMT in Czech
Dokument analyzuje, zda vůbec a popřípadě v jaké míře jsou nutné změny regulatorního rámce v oblasti výzkumu, vývoje a inovací, které by si vyžádala realizace návrhů vzešlých z výstupů Individuálního projektu národního Efektivní systém hodnocení a financování výzkumu, vývoje a inovací. Jsou zohledněny i probíhající záměry úprav legislativních předpisů.
Harmonogram postupných kroků realizace návrhů nového hodnocení a financování ...MEYS, MŠMT in Czech
Tato implementační doporučení zpracoval expertní tým IPN Metodika v závěrečné fázi projektu na základě zkušeností získaných během úzké spolupráce se zpracovatelem studie „Metodika hodnocení ve výzkumu a vývoji a zásady financování“ společností Technopolis Group z Velké Británie dále také díky bohatým zkušenostem z realizace pilotního ověření navržené metodiky hodnocení týmem projektu, díky intenzivním diskusím se zainteresovanými subjekty, s odbornou veřejností a zahraničními experty po celou dobu trvání projektu. Doporučení jsou výsledkem podrobných diskusí realizačních aspektů v rámci širokého expertního týmu IPN Metodika.
Pilotní ověření návrhu nové metodiky hodnocení výzkumných organizacíMEYS, MŠMT in Czech
Dokumenty shrnují výsledky pilotního ověření metodiky NERO hodnocení výzkumné činnosti vycházející ze závěrů a doporučení Technopolisu, které bylo realizováno týmem projektu v průběhu roku 2015.
Metodika hodnocení přínosů ČR v mezinárodních organizacích výzkumu a vývoje /...MEYS, MŠMT in Czech
Mezinárodní organizace výzkumu a vývoje představují de facto výzkumné infrastruktury, jejichž činnost se na rozdíl od ostatních výzkumných infrastruktur, ať již národního či mezinárodního charakteru, řídí na základě mezinárodního práva veřejného.
Metodika hodnocení přínosů ČR v mezinárodních organizacích výzkumu a vývoje /...
Využití bibliografických dat a jejich vizualizace pomocí bibliometrickýchmetod
1. Využití bibliografických dat a jejich vizualizace
pomocí bibliometrických metod
Jakub Szarzec
Národní technická knihovna
jakub.szarzec@techlib.cz
2. Úvodem
Metody biblometrie a scientometrie v kontextu.
Práce s bibliografickými daty.
Vizualizace v bibliometrii.
Další příklady vizualizace.
Teorie + cvičení.
2
3. Bibliometrie a scientometrie v kontextu
Vědecko-výzkumné metody. Nejsou to pouze tabulky a grafy v
Excelu.
Bibliometrické metody.
Citační analýza je jednou z metod.
Bibliografické a citační informace.
Analýza vazeb mezi jednotlivými dokumenty.
Analýza klíčových slov nebo libovolného textu (abstrakt článku).
Interaktivní = Atraktivní. Přehlednost.
3
4. Bibliometrické metody
Zakladem je citační analýza. Eugene Garfield, 1953. Citační indexace.
Bibliografické spojování (biblographic coupling. M. M. Kessler, 1963.
Ko-citační analýza (co-citation analysis). Henry Small a Irina
Marshakova, 1973. B. C. Griffith, 1981.
Dvě různé metodologie zkoumající citační vazby mezi dokumenty.
Reference – použitá literatura ve vědecké publikaci.
Matematicko-statistické metody.
Analýza spoluautorství. Analýza klíčových slov.
Jaký je mezi nimi rozdíl?
Zkoumají citované (BC) a citující (C-CA) dokumenty.
4
5. Bibliografické spojování vs. Ko-citační analýza
5
Zdroj: GARFIELD, E. Announcing the SCI compact disc edition: CD-ROM gigabyte storage technology, novel software, and
bibliographic coupling make desktop research and discovery reality. In: Essays of an Information Scientist: Science
Literacy, Policy, Evaluation, and other Essays. Vol. 11. 1990.
6. Práce s bibliografickými daty
OpenRefine - práce s vybraným datasetem.
Práce s vybraným datasetem.
6
7. Práce s daty - cvičení
Dataset = soubor publikací.
Data z RIV
VŠCHT FCHI (IČO: 60461373, orjk: 22310)
Data ze Scopus
AF-ID("Vysoka skola chemicko-technologicka v Praze" 60021588) +
omezení na r. 2014.
Jaký je hlavní rozdíl mezi datasety?
OpenRefine.
7
8. OpenRefine
2010. Freebase Gridworks / Google Refine.
Open source nástroj sloužící k slouží k získávání, čištění a úpravě dat.
Bohatější než Excel.
Dataset ze Scopus a RIV.
Využívá Google Refine Expression Language (GREL).
Použití editace.
Vyhledávání v záznamech a funkce faset.
Základní příkazy jazyka GREL.
Export.
http://openrefine.org
8
9. Využití OpenRefine – cvičení
Čištění a úprava dat.
Shluková analýza. Statistika.
Výběr a získání potřebných informací.
Příprava dat pro další zpracovaní (import do RIV).
Shluková analýza. Statistika.
9
11. Úvod do teorie grafů
Vizualizace podle teorie sítí. Vizualizace BC C-CA
Leonard Euler . Pál Erdős a Alfred Renyi.
BARABÁSI, Albert-László: V pavučině sítí. Paseka. 2009.
Využití: matematika, biologie (genetika), lingvistika, informatika,
média, informační věda, informatika, atd.
Množina s vrcholy/uzly a hranami.
Grafy mohou být řízené nebo neřízené.
http://teorie-grafu.cz/
11
13. Matice sítě (grafu)
13
A B C D E F
A 1 0 0 0 0
B 0 1 1 0 0
C 0 0 0 0 0
D 0 0 0 1 0
E 0 0 0 0 1
F 1 0 1 0 0
Uzly (body)
množiny
Hrany (vztahy) v množině
14. Vizualizace - cvičení
Bibliografické spojování a Ko-citační analýza.
Teorie grafů a sítí.
Praktický příklad na staženém datasetu z databáze Scopus
(WoS).
VOSviewer, ScienceScape a Gephi.
14
15. VOSviewer
Program pro vytváření vizualizací bibliometrických sítí a map z
bibliografických dat.
Shluková analýza.
Kocitační mapy, spolupráce a klíčová slova.
CWTS Leiden University. 2009.
Scopus a Web of Science (PubMed).
Stažený dataset z databáze Scopus.
Export dat.
Bez instalace. Pouze stažení.
http://www.vosviewer.com/Home
15
18. ScienceScape
Soubor online nástrojů pro vytváření vizualizací bibliometrických sítí
a map. Umožňuje zpracování a vizualizaci dat do grafů.
Média Lab SciencesPo.
OpenSource.
Reference, klíčová slova, časopisy.
Scopus a Web of Science.
Export vizualizace sítě do Gephi.
Stažený dataset z databáze Scopus.
http://tools.medialab.sciences-po.fr/sciencescape/index.php
18
32. Návody a tutoriály k nástrojům
Gephi
http://gephi.github.io/users/
Google Charts
https://developers.google.com/chart/
OpenRefine
https://github.com/OpenRefine/OpenRefine/wiki/Screencasts
https://github.com/OpenRefine/OpenRefine/wiki/External-Resources
ScienceScape
https://vimeo.com/78916756
VOSviewer
http://www.vosviewer.com/Getting-Started
32
33. Závěrem
Práce se základními hrubými daty. Podáváme tím přesné a relevantní
informace?
Jak je dataset čistý?
Jsou zobrazené informace relevantní?
V jakém jsou kontextu?
Velikost datasetu značně ovlivňuje přehlednost sítě/grafu.
Statistická spolehlivost.
Proces ověření. Pravidlo „Garbage in, Garbage out“ – kontrola dat.
Interpretace. Zpětná replikovatelnost výsledků.
Využití programovacího jazyka R nebo Python.
Pohodlnější cesta přes nabízené komerční systémy analytických
nástrojů.
33
35. Použité zdroje
1. BARABÁSI, Albert-László. V pavučině sítí. Vyd. 1. V Praze: Paseka, 2005, 274 s. ISBN 80-7185-751-3
2. ECK, Nees Jan van a Ludo WALTMAN. Software survey: VOSviewer, a computer program for bibliometric
mapping. Scientometrics [online]. 2009, vol. 84, is. 2, s. 523-538 [cit. 2015-02-27]. DOI: 10.1007/s11192-009-
0146-3. ISSN: 1468-4527. Dostupné z: http://link.springer.com/article/10.1007%2Fs11192-009-0146-3
3. GARFIELD, E. Announcing the SCI compact disc edition: CD-ROM gigabyte storage technology, novel software,
and bibliographic coupling make desktop research and discovery reality. In: Essays of an Information Scientist:
Science Literacy, Policy, Evaluation, and other Essays. Vol. 11. Philadelphia, Pa: ISI Press, 1990. ISBN
9780894950841. Dostupné z: http://www.garfield.library.upenn.edu/essays/v11p160y1988.pdf
4. KESSLER, M. M. Bibliographic coupling between scientific papers. American Documentation. 1963, vol. 14, is. 1,
s. 10-25. DOI: 10.1002/asi.5090140103. ISSN: 0096-946X. Dostupné z:
http://onlinelibrary.wiley.com/doi/10.1002/asi.5090140103/abstract
5. SMALL, Henry. Co-citation in the scientific literature: a new measure of the relationship between two
documents. Journal of the American Society for Information Science. 1973, vol. 24, is. 4, s. 265-269. DOI:
10.1002/asi.4630240406. ISSN: 0002-8231. Dostupné z:
http://onlinelibrary.wiley.com/doi/10.1002/asi.4630240406/abstract
35