V posledních letech vzniklo několik projektů, které se snaží využít metrik stávajících či najít metriky nové pro měření impaktu vědeckých informací publikovaných v režimu Open Access, tedy volně dostupných na Internetu. Vzhledem k charakteru Open Access publikování vědeckých informací se plný text práce nenachází v jednom časopise, není dostupný jen na jednom webu, ale stejný dokument může být dostupný na mnoha webových sídlech najednou a je na uživateli, jak a kde bude informace získávat. Příspěvek shrnuje nejdůležitější projekty zabývající se měřením impaktu publikování na Internetu a prezentuje projekty, které mají za cíl sběr, agregaci jednotlivých dílčích statistických dat a zpracování souhrnných indikátorů. V případě rozsáhlých Open Access repozitářů s významnými výsledky vědy a výzkumu nebo v případě publikace novinových článků na aktuální a nová témata se jako zajímavou alternativou klasických citačních metrik jeví altmetriky. Podmínkou využití altmetrik je atraktivnost dokumentu a jeho časté sdílení v sociálních sítích komunitou čtenářů. Vhodnost altmetrik autor ověřoval na příkladu repozitáře University of Pittsburgh a statistik PlumX. V závěru příspěvku je představen projekt IRUS-UK, který zajišťuje sběr základních dat ze spolupracujících repozitářů, která zpracovává do statistik odpovídajících standardu Counter. Poskytuje tak srovnatelné, autorizované a standardizované údaje o využití napříč repozitáři ve Velké Británii. Autor navrhuje obdobu projektu pro Českou republiku.
Open Access Week 2010 v Národní technické knihovně
Statistiky využití článků v online repozitářích
1. Statistiky využití článků
v online repozitářích
Ing. Jan Mach
Vysoká škola ekonomická v Praze, CIKS
Univerzita Karlova v Praze, ÚISK
2. Proč potřebujeme metriky
Které práce v repozitáři jsou významné?
Čte někdo můj článek? Jaký dopad měla
propagace článku na přednášce?
Jak je článek využíván v porovnání s ostatními?
Mohou pomoci alternativní metriky?
3.
4. Metriky na bázi počtu citací
Impakt faktor
• průměrný počet citací průměrné publikace
v daném vědeckém či odborném časopise
• hodnocení časopisu, očekávaný počet citací
článku
Citační analýza
• citační index (ohlas), Hirschův index aj.
5. Korelace mezi množstvím
citací a IF časopisu klesá
LOZANO, George A. a Vincent LARIVIÈRE, Yves GINGRAS. The weakening
relationship between the Impact Factor and papers' citations in the digital age.
Journal of the American Society for Information Science and Technology. 8. 10.
2012. DOI: 10.1002/asi.22731. Dostupné také z: http://arxiv.org/abs/1205.4328
6. WWW a Open Access
Webometrické indikátory
• počty odkazů, viditelnost odkazů a jejich
význam, měření velikosti webových sídel,
počet akademických prací v repozitáři aj.
Indikátory na bázi počtu stažení
• Google Analytics neřeší vše!
Sociální metriky, alternativní metriky
7.
8. IMPACTSTORY. Carl Boettiger: Is your phylogeny informative? Measuring the power
of comparative methods. Impactstory [online]. 2015 [cit. 18. 2. 2015]. Dostupné z:
https://impactstory.org/CarlBoettiger/product/t2q1a39jt3kythditpt30uhu/metrics
9. Association of mutations in FLNA with craniosynostosis. European journal of human
genetics : EJHG [online]. 2015, roč. 6, č. 4, s. 131-147 [cit. 2. 5. 2015]. ISSN 1018-
4813. Dostupné také z: https://plu.mx/a/-1vGYm87cA76Kas7PjbcpsYiv-v-hg4Mb-
Ywz8M_6-A
10. Alternativní metriky v číslech
• repozitář Pittsburské univerzity
http://d-scholarship.pitt.edu/view/year/2014.html
• alternativní metriky z PlumX
http://plu.mx/pitt
• 1087 open access článků z roku 2014
analýza pro VŠKP provedena v rámci disertační práce
Kolik záznamů o využití článků najdeme?
Jaké sociální sítě jsou často využívané?
Vypovídají altmetriky o relevanci článku?
11.
12.
13.
14.
15.
16. Pitts Downl. Tweets FB Shares FB Likes Bitly Clicks FB Comments Google+ Delicious
Zmínky 60734 1309 376 1222 694 336 111 2
Nálezů 991 151 109 57 40 39 28 2
Zmínky / celkem 55,9 1,2 0,3 1,1 0,6 0,3 0,1 0,0
Nálezů / celkem 91,2% 13,9% 10,0% 5,2% 3,7% 3,6% 2,6% 0,2%
Zmínky / nálezů 61,3 8,7 3,4 21,4 17,4 8,6 4,0 1,0
Zmínka
- užití článku v konkrétní službě
- např. stažení plného textu nebo
jedno sdílení URL článku na Facebooku
Nález
- článek, který má alespoň jednu zmínku ve
sledované službě
1087 článků analyzováno, z toho pouze
58 článků (5,3 %) má více jak jedno sdílení na FB.
19. Co potřebujeme řešit?
Identifikace dokumentů
• DOI, Purl, Handle, urn:nbn aj.
Sběr, agregace a zpracování dat o užití
• OpenURL Context Object
• OAI-PMH, SUSHI, Tracker protokol
Standardizované zpracování, reportování
• návštěvy, dvojkliky, filtrování robotů
20. Projekty agregace
a zpracování statistických dat
COUNTER
• COUNTER Code of Practice for e-Resources
• COUNTER Code of Practice for Articles
PIRUS, PIRUS2
• OpenURL + Tracker/OAI-PMH protokol
OA Statistics, KE Usage Statistics Group,
SURFsure, IRUS-UK
21. Institutional Repository
Usage Statistics – UK
Sběr nezpracovaných dat z IR Velké Británie
• Tracker Protocol (DSpace, Eprints)
• počet stažení plných textů, ne zobrazení
Zpracování dat do konzistentních,
standardizovaných statistik
• deduplikace robotů a dvojkliků
• založeno na reportech COUNTER
Publikování přehledů pro zapojené repozitáře
• SUSHI, SUSHI Lite (RESTful API)
http://www.irus.mimas.ac.uk/
22. Přehledy v IRUS-UK
• přehled počtu stažení ze zapojených IR
• rozpis podle oblasti, sw platformy
• počet stažení podle typu dokumentu (25)
• počet stažení a procentuální vyjádření
dokumentů s DOI
• analýza procesu zasílaných dat
(vyloučení robotů, dvojkliků, počet stažení apod.)
• Item Report 1 a 2, ETD Report 1, Repository
Report 1
• nově Book Report 1 a 2, Journal Report 1
23. Ross MacIntyre “IRUS-UK: Improving understanding of the value and impact of
institutional repositories”
24. Ross MacIntyre “IRUS-UK: Improving understanding of the value and impact of
institutional repositories”
25. Jaké metriky použít pro
články v OA repozitářích?
1) Metriky na bázi počtu citací
• pouze pro určité typy publikací
• delší doba na zpracování
2) Alternativní metriky
• neposkytují jedno číslo
• metriky s nízkými hodnotami diskutabilní
3) Webometriky
• nutná agregace a standardizace dat
• vhodný projekt pro více institucí
26. Začaly vás zajímat metriky
článků v repozitářích více?
Jan Mach
Vysoká škola ekonomická v Praze, CIKS
Univerzita Karlova, ÚISK
machj@vse.cz
http://www.slideshare.net/machj
Editor's Notes
Které práci věnovat pozornost? Čte někdo moji práci? O které práci se hodně diskutuje?
Impakt za poslední rok, kontroverzní práce, aktuální témata, diskutované
Porovnání – např. NUŠL vs. institucionální repozitář, OA vs. closed access, podle typu dokumentu
Obhájení a propagování vlastního IR
Ideálně krátce po publikování, pomoc s tříděním
Porovnání s VŠKP zahraniční
DOPAD, IMPAKT ČASOPISU, ČLÁNKU (AUTORA, …)
5154 autorů v Physical Review Letters, urychlovač LHC, 2 detektory,hmotnost Higgsův boson
Impakt faktor se vypočítá na základě citovanosti všech prací v daném časopisu v průběhu dvou let. Například citační faktor časopisu pro rok 2005 se dá zjistit následovně:
A = kolikrát byly články z daného časopisu publikované v letech 2003-2004 citovány jinými sledovanými časopisy v roce 2005
B = kolik v něm vyšlo v období 2003-2004 článků celkem
2005 impakt faktor daného časopisu = A/B
Do jmenovatele tohoto zlomku se však nezapočítávají "speciální" články jako novinky, komentáře nebo opravy (errata).[2]
1990 nástup digitálního věku a open access repozitářů
podíl 10 % nejcitovanějších prací publikovaných v 10 % nejcitovanějších časopisů klesá od roku 1990
podíl 10 % nejcitovanějších prací nezveřejněných v 10 % časopisů s nejvyšším impact faktorem od roku 1990 roste
5 %
citace se začínají více rozprostírat mezi jednotlivé časopisy, studie predikuje, že digitální věk a metody šíření a zpřístupňování vědeckých zdrojů mohou potlačit důležitost IF pro hodnocení
Mění se způsob vědecké komunikace
web větší čtenost, Gold OA
odkaz = obdoba citace
návštěvy – čas, BIX obrázek
HTML, Fulltext, sémantická reprezentace XML
události v soc. sítích
kvalita vs. pokrytí, latence vs. rychlost – citace, linky a altmetriky, stažení
Spuštěn 2006 komentování, poznámky
hodnocení, zpětné odkazy aj.
vysoce citováno, stahováno, doporučováno, zobrazováno
metriky pro publikace, týmy, vědce, instituce
widgety, api
Data z 2. 5. 2015
Abstract: EBSCO
PDF View: EBSCO, PLOS
Download: Eprint, SSRN, RePeC, Bepress (SSRN - Social Science Research Network, bepress - Open Access Scholarly Publishing Services)
nejméně Delicious (nalezeny 2 články), sociální síť Google+ (111 zmínek o 28 článcích) a zkracování URL adres Bitly (694 kliknutí na zkrácenou URL 40 článků).
Ze sociálních sítí nejvyužívanější Facebook
Aby bylo možné hodnotit i takovýto způsob publikování, je potřeba jasně identifikovat dokument pomocí perzistentních identifikátorů, např. DOI (viz např. projekt COUNTER dále), urn:nbn, PURL, HANDLE aj. tak, aby bylo možné jednotlivé statistiky agregovat (problematika perzistentních identifikátorů přesahuje rámec této práce), zajistit sběr, agregaci a zpracování jednotlivých dílčích statistických dat o využití jednotlivých dokumentů, standardizovaný výpočet souhrnných indikátorů ze získaných dat.
2012, 2014
PIRUS – AR1, clearing house pro agregaci, 3 scénáře lokálně, OAI-PMH, push
COUNTER Code of Practice for e-Resources
- Release 4, SUSHI (NISO standard)
The COUNTER Code of Practice for Articles
- Release 1 z března 2014
- Požadavky na plný text podle měsíce, 2 roky zpět min.
PIRUS „Publisher and Institution Repository Usage Statistics project“
Ověření možnosti sběru a zpracování. Ověření možnosti, později vytvoření globálního standardu pro sběr, zpracování a reportování statistických dat o užití individuálních článků v institucionálních repozitářích a u vydavatelů.
Výstupy:
COUNTER Code of Practice for Articles
IRUS-UK
Vyloučení robotů – podle pravidel COUNTER + vlastní blacklist + vlastní heuristika (denní počet stažení), dvojkliky vyloučeny na úroveň článku
Item Report 1: stažení podle identifikátoru repozitáře rozepsané podle měsíce
Item Report 2: stažení podle typu práce rozepsané podle měsíce
Electronic Thesis or Dissertation Report 1: obdoba Item Report 1 pro VŠKP
Repository Report 1: počet všech stažení pro všechny repozitáře podle měsíce, filtrování podle typu práce, oblasti UK
BR1 – podle titulu, BR2 podle sekce knihy,
Webový portál
SUSHI služba
SUSHI Lite API (RESTful - HTTP GET, JSON), možnost stahování indiv. částí statistik pro začlenění do repozitářů aj. webů
citace - větší časový horizont
aktuální a nová témata
atraktivní dokumenty
časté stažení
POZOR na stažení
PROJEKT