Informační seminář k hodnocení vědy

1. O bibliometrii obecně
Michal Petr
Masarykova univerzita, Brno
Informační seminář AV ČR, Praha, 24. 10. 2019
@Michal_Petr_MU

2. Evaluace výzkumu, financování.
Scientometrie.
Přednášky, semináře (bibliometrie, hodnocení, etika…)
Výzkum.
Publikační vzorce v SSH.
Bibliotheca Academica 2019
http://scientometrics.muni.cz
Centre for Scientometrics Support

3. Informační seminář AV ČR 2019, Praha
Téma
Proč se bibliometrií zabývat
Zdroje pro bibliometrii (databáze, software)
Indikátory a analýzy

4. Hodnocení výzkumu
Source: Michael Ochsner, Emanuel Kulczycki, Aldis Gedutis & Agnė Girkontaitė. The Diversity of Research Evaluation Systems. ENRESSH
Informační seminář AV ČR 2019, Praha

5. Bibliotheca Academica 2019
Hodnocení výzkumu v České republice
Sice máme Metodiku 2017+ (5 modulů),…
…ale v nastavení mysli stále obecně vítězí
důraz na kvantitativní metody v hodnocení.
Publikační výkon (performance) se nahlíží skrze články v prestižních časopisech.
JIF (AIS) vládne všem.
Přesné měření kvality vědecké práce?
Kvantitativně: publikace, citace, peníze.
Kvalitativně: hodnota, společenský dopad, kvalita.

6. Informační seminář AV ČR 2019, Praha
Proč se zabývat bibliometrií?
Evaluace výzkumu
Podpůrný nástroj.
Zodpovědné používání metrik.
Informace
Data potřebujeme…
Definování strategií a priorit
…namísto přejímání národního modelu dovnitř VO.
Výzkum
Publikační vzorce a dynamika oborů.

7. 1. Bibliometrie – pojmy a koncepty
Informační seminář AV ČR 2019, Praha

8. Informační seminář AV ČR 2019, Praha
Bilbiometrie x Scientometrie x Informetrie
INFOMETRIE - Vědní obor, který používá matematicko-statistických metod k popisu a analýze informačních jevů za účelem hledání jejich zákonitostí. Jako
součást informační vědy se zabývá především kvantifikací informace, kvantitativní analýzou informačních toků a dokumentů apod.; její výsledky slouží např.
pro analýzu kvantitativního růstu literatury, účinnosti informačních systémů, role informací ve vědecké komunikaci apod.
SCIENTOMETRIE -Vědní obor zabývající se metodami matematické a statistické analýzy vědeckého výzkumu, především v přírodních vědách.
BIBLIOMETRIE -Vědní obor zabývající se kvantitativní analýzou dokumentů vznikajících v rámci vědecké komunikace, který vychází z předpokladu, že
zkoumané dokumenty jsou odrazem stavu vědeckého poznání. Bibliometrické výzkumy směřují k formulaci kvantitativních zákonitostí souvisejících s formální
a sémantickou strukturou dokumentů (např. Bradfordův zákon, Lotkův zákon, Zipfův zákon atd.). Bibliometrie se chápe jako součást informetrie anebo
scientometrie, prakticky se však s těmito disciplínami výrazně překrývá.
Hodnota, dopad, excelence, reputace, viditelnost…
Soubor metod, kterými se kvantitativně analyzuje vědecká
literatura
Sleduje vztahy mezi různými autory, články, institucemi.

9. Informační seminář AV ČR 2019, Praha
Dilema bibliometrie x peer-review
Finančně nákladné a subjektivní peer-review vs. levná a objektivní
bibliometrie?
Ovlivnění peer-review metrikami?
„citation-based indicators are sufficiently aligned with peer review
results at the institutional level to be used to lessen the overall
burden of peer review on national evaluation exercises“
Pride, D., & Knoth, P. (2018). Peer review and citation data in predicting university rankings, a large-scale
analysis. arXiv preprint arXiv:1805.08529.
Harzing A-W (2017) Running the REF on a rainy Sunday afternoon: do metrics match peer review?
https://harzing.com/publications/white-papers/running-the-ref-on-a-rainy-sunday-afternoon-do-metrics-match-peer-
review

10. sfdora.org
@DORAssessment
Declaration On Research Assessment
Improving how research is assessed
Signed by >500 organizations and >12,500 individuals
Supporting organizations

11. Meaningful Assessment Improves Research
•Promotes value of all scholarly outputs
•Focuses on the merits of the work
‒ Journal articles
‒ Preprints
‒ Datasets
‒ Software
‒ Protocols
‒ Research materials
‒ Well-trained researchers
‒ Societal outcomes and policy
changes
‒ Reduces JIF-chasing
‒ Facilitates Open Science
practices
‒ Improves rigor and
reproducibility
‒ Enhances collaboration

12. Informační seminář AV ČR 2019, Praha
Využití bibliometrie
Peer review
Bibliometrie
Makro
Meso
Mikro
Global developments
National R&D systems
Research and grant programs
Academic fields
Universities, institutes
University departments
Research groups
Individuals

13. Informační seminář AV ČR 2019, Praha
Leiden Manifesto for Research Metrics
Kvantitativní hodnocení jen jako podpora kvalitativního, odborného posouzení.
Výkonnost ve vztahu k cílům.
Je třeba chránit vynikající výzkum regionálního významu.
Kvalita, transparentnost a srozumitelnost vstupních dat.
Ti, kteří jsou hodnoceni, by měli mít možnost ověřit data a analýzy.
Adekvátní zohlednění oborových specifik a kontextu.
Hodnocení jednotlivých výzkumníků by mělo být založeno na kvalitativním posouzení jejich portfolií.
Vyhněte se nemístné konkrétnosti a falešné přesnosti.
Věnujte pozornost vlivu hodnocení a indikátorů na systém.
Indikátory by měly být pravidelně přezkoumávány a aktualizovány.
Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. The Leiden Manifesto for research metrics. Nature. 2015 Apr
23;520(7548):429-31.
https://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351

14. Informační seminář AV ČR 2019, Praha
'We are transforming our university
into a place where talent once again
feels valued and nurtured’
Ghent University is deliberately choosing to step out of the
rat race between individuals, departments and universities.
We no longer wish to participate in the ranking of people.
http://bit.ly/ugent-statement

15. Bibliotheca Academica 2019
Metriky nejsou dobré nebo špatné.
Pro kvalitní informace potřebujeme kvalitní data.
Ale někdy mají nežádoucí vliv na systém.
Např. impakt faktor v dostatečně robustním datasetu odráží úroveň
výzkumu, ale jeho nezodpovědné použití v hodnocení vede k
nežádoucím motivacím v publikování.

16. Informační seminář AV ČR 2019, Praha
Rizika indikátorového hodnocení
Přizpůsobení se systému je nevyhnutelné.
Campbellovo a Goodhartovo pravidlo.
Když se opatření stane cílem, přestane být dobrým opatřením.
Čím více se používají kvantitativní ukazatele, tím více naruší procesy, které sleduje.
Australian researchers presumably changed their publication behaviour in the early 1990s
in response to a new national funding model, partly based on productivity measures
undifferentiated by any measure of ‘quality’. … publication output increased considerably,
with the highest relative increases in lower-impact journals. For a consecutive number of
years, this behaviour seemingly led to a general drop in overall citation impact. …The
experience from Australia has been perceived as a warning of what would likely happen if
funding were linked to publication activity.
Zdroj: Jesper W. Schneider, Kaare Aagaard, Carter W. Bloch; What happens when national research funding is linked to differentiated publication
counts? A comparison of the Australian and Norwegian publication-based funding models, Research Evaluation, 2016, 25(3), 244–256,
https://doi.org/10.1093/reseval/rvv036.
John Godfrey Saxe (1872): The Blind Men and the Elephant

17. Informační seminář AV ČR 2019, Praha
Výzkum
Výzkum: CWTS (Leiden, Nizozemsko)
Časopisy: Scientometrics, Research Evaluation, Quantitative
Science Studies
Konference: ISSI (International Society for Scientometrics and
Informetrics), RESSH (Research Evaluation in SSH), STI
Sítě: ENRESSH (EU)

18. Informační seminář AV ČR 2019, Praha
Bibliometrie ve světě – aktuálně
I4OC
Helsinki Initiative on Multilingualism in Scholarly Communication
Research on Research Institute

19. 2. Zdroje pro bibliometrii
Informační seminář AV ČR 2019, Praha

20. Národní databáze
̶ IS VaVai, ČR; VABB–SHW, Belgie (Flandry); VIRTA, Finsko; Norwegian Science Index (NSI); The
Polish Scholarly Bibliography (PBN); CREPČ, Slovensko; COBISS, Slovinsko; BFI, Dánsko
Oborové databáze
̶ RePEc/IDEAS (ekonomie), MathSciNet (matematika), SciFinder – CAS (chemie, biochemie),
PubMed, Astrophysics Data System, PsycInfo (Psychology), arXiv (Informatics)
Multidisciplinární databáze
Databáze výzkumných organizací
Otázka využití Google Scholar
Informační seminář AV ČR 2019, Praha
Databáze a zdroje pro bibliometrii

21. Informační seminář AV ČR 2019, Praha
Obory – klasifikace
Kognitivní x organizační x časopis
„At a higher aggregation level, we find that 73% of publications from the
humanities are published in humanities publication channels, while this is only
the case for 59% of publications from the social sciences.“
Guns, R., Sīle, L., Eykens, J. et al. Scientometrics (2018) 116: 1093. https://doi.org/10.1007/s11192-018-
2775-x

22. Informační seminář AV ČR 2019, Praha
Zdroj: CWTS

23. Informační seminář AV ČR 2019, Praha
Institute for Scientific Information – od 1960

24. Informační seminář AV ČR 2019, Praha
www.webofscience.com

25. Informační seminář AV ČR 2019, Praha

26. www.scopus.com
Informační seminář AV ČR 2019, Praha

27. Informační seminář AV ČR 2019, Praha

28. Informační seminář AV ČR 2019, Praha
Publish or Perish (analýza Google Scholar)

29. 3. Indikátory a analýzy
Informační seminář AV ČR 2019, Praha

30. Bibliotheca Academica 2019
Jak pracovat v bibliometrii?
Ptát se na účel!
Základní kontextualizace.
Skupina srozumitelných indikátorů.
Interpretace (vysvětlení, popis).
Vizualizace.
Komunikace.
Ptát se, co měříme (= jakými indikátory)?
Diverzita indikátorů. „One size doesn't fit all.“
Pokrývají různé aspekty publikační činnosti.
Propojení bibliometrie s jinými metodami hodnocení.

31. Metriky – co sledujeme a proč?
Informační seminář AV ČR 2019, Praha
Velikostně závislé x velikostně nezávislé indikátory
celkový počet publikací, citací vs. počet citací na publikace
Pozor na míchání těchto typů indikátorů
častý jev u univerzitních žebříčků
Sledovaná vlastnost Indikátor
Vědecký výstup Publikace
Vědecký dopad Citace
Vědecká spolupráce Společné publikace s nár./mezinárodní
Interdisciplinarita Zařazení publikací do oborů
Společenský dopad Společné publikace s aplikační sférou, účast na klinických
studiích/pokynech, patenty, ohlasy na sociálních sítích, …
Produktivita Publikace na výzkumníka

32. Informační seminář AV ČR 2019, Praha
Streetlight effect
Začít od zadání, záměru.
Co sledujeme a proč.
… ne u dat/metrik,
které máme zrovna k dispozici.

33. Informační seminář AV ČR 2019, Praha
Metriky časopisů – vlivnost, viditelnost
Impact factor (IF) – WoS
Article Influence Score (AIS) – větší váha významných časopisů
Scimago Journal Rank (SJR) – Scopus
Odvozené indikátory založené na percentilech – kvartily, decily, …

34. Informační seminář AV ČR 2019, Praha
článek A
̶ 1 článek z roku 2012 v časopise s IF 12
̶
̶
̶
článek B
̶ 1 článek z roku 2012 v časopise s IF 4
̶
̶
̶
̶
Lepší
Horší

35. Informační seminář AV ČR 2019, Praha
článek A
̶ 1 článek z roku 2012 v časopise s IF 12
̶ Multioborový časopis
̶ Počet citací: 9
̶ 18 autorů
článek B
̶ 1 článek z roku 2012 v časopise s IF 4
̶ Specializovaný oborový časopis
̶ Počet citací: 30
̶ Bilaterální spolupráce se zahraniční univerzitou (domácí know-how)
̶ Článek je v odborné komunitě sdílen prostřednictvím příspěvků na Twitteru

36. Informační seminář AV ČR 2019, Praha
Journal Impact Factor (Web of Science)
Měří průměrnou citovanost článků v časopise (ne kvalita).
Vlivnost (popularita) časopisu.
Impakt faktor v roce X"="citace všech článků v daném časopise získané v letech X−1 a X−2
počet „citovatelných“ článků publikovaných v letech X−1 a X−2
Omezení:
Vlastnosti IF jsou specifické pro obory.
Na výši IF má zásluhu menšina vysoce citovaných článků (Paret 80/20).
Manipulovatelný redakční politikou (frekvence čísel; vyšší podíl přehledových
článků; citační mafie).

37. Informační seminář AV ČR 2019, Praha
AIS – Article Influence Score
Průměrný vliv článků v časopise
AIS =
0,01 . 𝐸𝑖𝑔𝑒𝑛𝑓𝑎𝑐𝑡𝑜𝑟 𝑆𝑐𝑜𝑟𝑒
5−𝑦𝑒𝑎𝑟 𝐽𝑜𝑢𝑟𝑛𝑎𝑙 𝐴𝑟𝑡𝑖𝑐𝑙𝑒 𝐶𝑜𝑢𝑛𝑡
5−𝑦𝑒𝑎𝑟 𝐴𝑟𝑡𝑖𝑐𝑙𝑒 𝐶𝑜𝑢𝑛𝑡 𝑓𝑟𝑜𝑚 𝐴𝑙𝑙 𝐽𝑜𝑢𝑟𝑛𝑎𝑙𝑠
The Eigenfactor Score = number of times articles from the journal published in the past five
years have been cited in the JCR year, but it also considers which journals have contributed
these citations so that highly cited journals will influence the network more than lesser cited
journals. References from one article in a journal to another article from the same journal are
removed, so that Eigenfactor Scores are not influenced by journal self-citation.

38. Informační seminář AV ČR 2019, Praha
JIF – diskuse
IF (i AIS) obecně odráží pouze jednu z mnoha poloh a funkcí vědeckého
žurnálu.
The IF plays a pervasive role in today’s science system, and this may have all kinds of
undesirable consequences.
From a statistical point of view, it is not necessarily wrong to use the IF for assessing individual
articles. The debate on the IF should not be based on misplaced statistical arguments.
Whether article-level citation statistics should be preferred over the IF depends on how
accurately citations can be considered to represent the value of an article.
L Waltman, VA Traag (2017). Use of the journal impact factor for assessing individual articles need not be wrong.
https://arxiv.org/abs/1703.02334

39. Pokrytí
Role autora
Seznam časopisů (relevantní pro obor vs. top-tier)
Kvartily
Bibliotheca Academica 2019
Produktivita a viditelnost
1 1 1
3
1
6
3
4 4
3
6
9
7
8
7
9
7 7
12 12
1
1
1 1
1
1
1
3
1
1
2
1
0
2
4
6
8
10
12
14
16
Scholarly outputs (Web of Science)
Article Review Proceedings Paper Book Chapter Other
Q1
38%
Q2
42%
Q3
9%
Q4
7%
Other
4%
% Publications in Quartiles
1
2 2
1 1
4
5
2 2 2 2
4
3
8
6 6
2
3
3
1
3
4
1
2
3
4 4
3
6
4
4
5
5
1
2
1
1
2
1 1
1
1
3
1
1
1 1
1
2
1
1
1
1
1
1
1
3
0
2
4
6
8
10
12
14
16
Publications in Quartiles
Q1 Q2 Q3 Q4 Other

40. Informační seminář AV ČR 2019, Praha
H-index (J. E. Hirsch, 2005)
h udává počet článků, které mají h a více citací.
Plošně využívaný zejména na individuální úrovni.
Omezení
Liší se napříč různými databázemi.
Nelze srovnávat jeho hodnoty mezi odlišnými obory.
Obvykle roste s věkem.

41. Informační seminář AV ČR 2019, Praha
H-index = 7 (cca)

42. Informační seminář AV ČR 2019, Praha
Metriky článků – ohlas, dopad (vědecký)
Počet publikací, počet citací.
Citační dopad (Citation Impact) – průměrný počet citací na
publikaci.
Normalizovaný citační dopad – poměr aktuálních citací vůči
očekávaným v oboru a roce.
Pozor na malá čísla a průměry (tzv. Bill Gates efekt).
Category Normalized Citation Impact (Clarivate Analytics).
Field Weighted Citation Impact (Elsevier).
Percentily a pp(top x%).

43. Souhrnné metriky
Oborově normalizované metriky (na mikro úrovni s rezervou)
Nejcitovanější publikace
Citující dokumenty
Citační dopad
WoS
Docs*
CNCI
Times
Cited*
PP (top
1%)
PP (top
10%)
Average
Percentile
% Docs
Cited
% Intl.
Collab.
128 1,29 2427 1,56% 16,41% 39,54 92,2% 65,6%
<1%
2% 1%-10%
10%
10%-25%
18%
25%-50%
30%
>50%
35%
uncited
5%
Percentile distribution
Bibliotheca Academica 2019
0
2
4
6
8
10
12
Uncited > 0 <
0,125
> 0,125
< 0,25
> 0,25 <
0,5
> 0,5 <
1,0
> 1 < 2 > 2 < 4 > 4 < 8 > 8
CNCI distribution
Web of
Science
WoS –
reprint
or first
Scopus
Scopus –
reprint
or first
# publications 134 66 131 65
Sum of Times
Cited
2507 1141 2551 1138
Without self-
citations
1568 886 1650
Not
available
% self-
citations
37,5% 22,3% 35,3%
Not
available
Q1
39%
Q2
32%
Q3
15%
Q4
8%
n/a
6%
% Citing articles in Quartiles*

44. Lokální / mezinárodní
spolupráce
Sebecitovanost
Bibliotheca Academica 2019
Spolupráce

45. Informační seminář AV ČR 2019, Praha
Další metriky
Nature Index.
Produkce ve vybraných vlivných časopisech.
Article Count a Fractional Count.
Lens metrics.
Patenty, citace v patentech.
Žebříčky.

46. Informační seminář AV ČR 2019, Praha
Alternativní metriky
Indikátory vhodné pro SSH (např. Libcitations).
Altmetrics, Mendeley, CiteULike.
Vědecké sociální sítě.

47. Informační seminář AV ČR 2019, Praha
50
Altmetric it!
www.altmetric.com

48. Bibliotheca Academica 2019
Závěrečné myšlenky
Bibliometrie by neměla nahradit expertní posouzení.
Snažme se neustále sledovat vliv indikátorů na systém.
Berme v úvahu koho a proč evaluujeme!
Uvažujme kontext!
Zdravý rozum!

49. Informační seminář AV ČR 2019, Praha
Děkuji za pozornost!
Michal Petr
petr@rect.muni.cz
http://scientometrics.muni.cz
@scientometrics.muni.cz

50. Informační seminář AV ČR 2019, Praha
Kolega A
̶ H-index 7
̶ 50 publikací ve WoS
̶ 200 citací
̶
̶
Kolega B
̶ H- index 4
̶ 9 publikací na WoS
̶ 67 citací
̶

51. Informační seminář AV ČR 2019, Praha
Kolega A
̶ H-index 7
̶ 50 publikací ve WoS (80% proceedings v in-house sborníku, 20% výzkumné
články)
̶ 200 citací (1/3 autocitací, zbytek většinou citace z vlastní instituce)
̶ Vědec A cituje z 80% kolegy z vlastní organizace nebo lokální zdroje
̶ Lokální vědecké problémy
Kolega B
̶ H- index 4
̶ 9 publikací na WoS (vše výzkumné články v předních časopisech v oboru)
̶ 67 citací (4% autocitací, zbytek ze světových časopisů s vysokým renomé)
̶ Je zřejmé, že jeho výsledky zajímají vědecký svět