Statistiky využití článků
v online repozitářích
Ing. Jan Mach
Vysoká škola ekonomická v Praze, CIKS
Univerzita Karlova v Praze, ÚISK
Proč potřebujeme metriky
Které práce v repozitáři jsou významné?
Čte někdo můj článek? Jaký dopad měla
propagace článku na přednášce?
Jak je článek využíván v porovnání s ostatními?
Mohou pomoci alternativní metriky?
Metriky na bázi počtu citací
Impakt faktor
• průměrný počet citací průměrné publikace
v daném vědeckém či odborném časopise
• hodnocení časopisu, očekávaný počet citací
článku
Citační analýza
• citační index (ohlas), Hirschův index aj.
Korelace mezi množstvím
citací a IF časopisu klesá
LOZANO, George A. a Vincent LARIVIÈRE, Yves GINGRAS. The weakening
relationship between the Impact Factor and papers' citations in the digital age.
Journal of the American Society for Information Science and Technology. 8. 10.
2012. DOI: 10.1002/asi.22731. Dostupné také z: http://arxiv.org/abs/1205.4328
WWW a Open Access
Webometrické indikátory
• počty odkazů, viditelnost odkazů a jejich
význam, měření velikosti webových sídel,
počet akademických prací v repozitáři aj.
Indikátory na bázi počtu stažení
• Google Analytics neřeší vše!
Sociální metriky, alternativní metriky
IMPACTSTORY. Carl Boettiger: Is your phylogeny informative? Measuring the power
of comparative methods. Impactstory [online]. 2015 [cit. 18. 2. 2015]. Dostupné z:
https://impactstory.org/CarlBoettiger/product/t2q1a39jt3kythditpt30uhu/metrics
Association of mutations in FLNA with craniosynostosis. European journal of human
genetics : EJHG [online]. 2015, roč. 6, č. 4, s. 131-147 [cit. 2. 5. 2015]. ISSN 1018-
4813. Dostupné také z: https://plu.mx/a/-1vGYm87cA76Kas7PjbcpsYiv-v-hg4Mb-
Ywz8M_6-A
Alternativní metriky v číslech
• repozitář Pittsburské univerzity
http://d-scholarship.pitt.edu/view/year/2014.html
• alternativní metriky z PlumX
http://plu.mx/pitt
• 1087 open access článků z roku 2014
analýza pro VŠKP provedena v rámci disertační práce
Kolik záznamů o využití článků najdeme?
Jaké sociální sítě jsou často využívané?
Vypovídají altmetriky o relevanci článku?
Pitts Downl. Tweets FB Shares FB Likes Bitly Clicks FB Comments Google+ Delicious
Zmínky 60734 1309 376 1222 694 336 111 2
Nálezů 991 151 109 57 40 39 28 2
Zmínky / celkem 55,9 1,2 0,3 1,1 0,6 0,3 0,1 0,0
Nálezů / celkem 91,2% 13,9% 10,0% 5,2% 3,7% 3,6% 2,6% 0,2%
Zmínky / nálezů 61,3 8,7 3,4 21,4 17,4 8,6 4,0 1,0
Zmínka
- užití článku v konkrétní službě
- např. stažení plného textu nebo
jedno sdílení URL článku na Facebooku
Nález
- článek, který má alespoň jednu zmínku ve
sledované službě
1087 článků analyzováno, z toho pouze
58 článků (5,3 %) má více jak jedno sdílení na FB.
Pitts Downl. Tweets FB Shares FB Likes Bitly Clicks FB Comments Google+ Delicious
Zmínky 60734 1309 376 1222 694 336 111 2
Nálezů 991 151 109 57 40 39 28 2
Zmínky / celkem 55,9 1,2 0,3 1,1 0,6 0,3 0,1 0,0
Nálezů / celkem 91,2% 13,9% 10,0% 5,2% 3,7% 3,6% 2,6% 0,2%
Zmínky / nálezů 61,3 8,7 3,4 21,4 17,4 8,6 4,0 1,0
Agregace a zpracování
statistických dat
Theses.cz
OpenAIRE
NUŠL
DART
Europe
VŠKP
@VŠE
Co potřebujeme řešit?
Identifikace dokumentů
• DOI, Purl, Handle, urn:nbn aj.
Sběr, agregace a zpracování dat o užití
• OpenURL Context Object
• OAI-PMH, SUSHI, Tracker protokol
Standardizované zpracování, reportování
• návštěvy, dvojkliky, filtrování robotů
Projekty agregace
a zpracování statistických dat
COUNTER
• COUNTER Code of Practice for e-Resources
• COUNTER Code of Practice for Articles
PIRUS, PIRUS2
• OpenURL + Tracker/OAI-PMH protokol
OA Statistics, KE Usage Statistics Group,
SURFsure, IRUS-UK
Institutional Repository
Usage Statistics – UK
Sběr nezpracovaných dat z IR Velké Británie
• Tracker Protocol (DSpace, Eprints)
• počet stažení plných textů, ne zobrazení
Zpracování dat do konzistentních,
standardizovaných statistik
• deduplikace robotů a dvojkliků
• založeno na reportech COUNTER
Publikování přehledů pro zapojené repozitáře
• SUSHI, SUSHI Lite (RESTful API)
http://www.irus.mimas.ac.uk/
Přehledy v IRUS-UK
• přehled počtu stažení ze zapojených IR
• rozpis podle oblasti, sw platformy
• počet stažení podle typu dokumentu (25)
• počet stažení a procentuální vyjádření
dokumentů s DOI
• analýza procesu zasílaných dat
(vyloučení robotů, dvojkliků, počet stažení apod.)
• Item Report 1 a 2, ETD Report 1, Repository
Report 1
• nově Book Report 1 a 2, Journal Report 1
Ross MacIntyre “IRUS-UK: Improving understanding of the value and impact of
institutional repositories”
Ross MacIntyre “IRUS-UK: Improving understanding of the value and impact of
institutional repositories”
Jaké metriky použít pro
články v OA repozitářích?
1) Metriky na bázi počtu citací
• pouze pro určité typy publikací
• delší doba na zpracování
2) Alternativní metriky
• neposkytují jedno číslo
• metriky s nízkými hodnotami diskutabilní
3) Webometriky
• nutná agregace a standardizace dat
• vhodný projekt pro více institucí
Začaly vás zajímat metriky
článků v repozitářích více?
Jan Mach
Vysoká škola ekonomická v Praze, CIKS
Univerzita Karlova, ÚISK
machj@vse.cz
http://www.slideshare.net/machj

Statistiky využití článků v online repozitářích

  • 1.
    Statistiky využití článků vonline repozitářích Ing. Jan Mach Vysoká škola ekonomická v Praze, CIKS Univerzita Karlova v Praze, ÚISK
  • 2.
    Proč potřebujeme metriky Kterépráce v repozitáři jsou významné? Čte někdo můj článek? Jaký dopad měla propagace článku na přednášce? Jak je článek využíván v porovnání s ostatními? Mohou pomoci alternativní metriky?
  • 4.
    Metriky na bázipočtu citací Impakt faktor • průměrný počet citací průměrné publikace v daném vědeckém či odborném časopise • hodnocení časopisu, očekávaný počet citací článku Citační analýza • citační index (ohlas), Hirschův index aj.
  • 5.
    Korelace mezi množstvím citacía IF časopisu klesá LOZANO, George A. a Vincent LARIVIÈRE, Yves GINGRAS. The weakening relationship between the Impact Factor and papers' citations in the digital age. Journal of the American Society for Information Science and Technology. 8. 10. 2012. DOI: 10.1002/asi.22731. Dostupné také z: http://arxiv.org/abs/1205.4328
  • 6.
    WWW a OpenAccess Webometrické indikátory • počty odkazů, viditelnost odkazů a jejich význam, měření velikosti webových sídel, počet akademických prací v repozitáři aj. Indikátory na bázi počtu stažení • Google Analytics neřeší vše! Sociální metriky, alternativní metriky
  • 8.
    IMPACTSTORY. Carl Boettiger:Is your phylogeny informative? Measuring the power of comparative methods. Impactstory [online]. 2015 [cit. 18. 2. 2015]. Dostupné z: https://impactstory.org/CarlBoettiger/product/t2q1a39jt3kythditpt30uhu/metrics
  • 9.
    Association of mutationsin FLNA with craniosynostosis. European journal of human genetics : EJHG [online]. 2015, roč. 6, č. 4, s. 131-147 [cit. 2. 5. 2015]. ISSN 1018- 4813. Dostupné také z: https://plu.mx/a/-1vGYm87cA76Kas7PjbcpsYiv-v-hg4Mb- Ywz8M_6-A
  • 10.
    Alternativní metriky včíslech • repozitář Pittsburské univerzity http://d-scholarship.pitt.edu/view/year/2014.html • alternativní metriky z PlumX http://plu.mx/pitt • 1087 open access článků z roku 2014 analýza pro VŠKP provedena v rámci disertační práce Kolik záznamů o využití článků najdeme? Jaké sociální sítě jsou často využívané? Vypovídají altmetriky o relevanci článku?
  • 16.
    Pitts Downl. TweetsFB Shares FB Likes Bitly Clicks FB Comments Google+ Delicious Zmínky 60734 1309 376 1222 694 336 111 2 Nálezů 991 151 109 57 40 39 28 2 Zmínky / celkem 55,9 1,2 0,3 1,1 0,6 0,3 0,1 0,0 Nálezů / celkem 91,2% 13,9% 10,0% 5,2% 3,7% 3,6% 2,6% 0,2% Zmínky / nálezů 61,3 8,7 3,4 21,4 17,4 8,6 4,0 1,0 Zmínka - užití článku v konkrétní službě - např. stažení plného textu nebo jedno sdílení URL článku na Facebooku Nález - článek, který má alespoň jednu zmínku ve sledované službě 1087 článků analyzováno, z toho pouze 58 článků (5,3 %) má více jak jedno sdílení na FB.
  • 17.
    Pitts Downl. TweetsFB Shares FB Likes Bitly Clicks FB Comments Google+ Delicious Zmínky 60734 1309 376 1222 694 336 111 2 Nálezů 991 151 109 57 40 39 28 2 Zmínky / celkem 55,9 1,2 0,3 1,1 0,6 0,3 0,1 0,0 Nálezů / celkem 91,2% 13,9% 10,0% 5,2% 3,7% 3,6% 2,6% 0,2% Zmínky / nálezů 61,3 8,7 3,4 21,4 17,4 8,6 4,0 1,0
  • 18.
    Agregace a zpracování statistickýchdat Theses.cz OpenAIRE NUŠL DART Europe VŠKP @VŠE
  • 19.
    Co potřebujeme řešit? Identifikacedokumentů • DOI, Purl, Handle, urn:nbn aj. Sběr, agregace a zpracování dat o užití • OpenURL Context Object • OAI-PMH, SUSHI, Tracker protokol Standardizované zpracování, reportování • návštěvy, dvojkliky, filtrování robotů
  • 20.
    Projekty agregace a zpracovánístatistických dat COUNTER • COUNTER Code of Practice for e-Resources • COUNTER Code of Practice for Articles PIRUS, PIRUS2 • OpenURL + Tracker/OAI-PMH protokol OA Statistics, KE Usage Statistics Group, SURFsure, IRUS-UK
  • 21.
    Institutional Repository Usage Statistics– UK Sběr nezpracovaných dat z IR Velké Británie • Tracker Protocol (DSpace, Eprints) • počet stažení plných textů, ne zobrazení Zpracování dat do konzistentních, standardizovaných statistik • deduplikace robotů a dvojkliků • založeno na reportech COUNTER Publikování přehledů pro zapojené repozitáře • SUSHI, SUSHI Lite (RESTful API) http://www.irus.mimas.ac.uk/
  • 22.
    Přehledy v IRUS-UK •přehled počtu stažení ze zapojených IR • rozpis podle oblasti, sw platformy • počet stažení podle typu dokumentu (25) • počet stažení a procentuální vyjádření dokumentů s DOI • analýza procesu zasílaných dat (vyloučení robotů, dvojkliků, počet stažení apod.) • Item Report 1 a 2, ETD Report 1, Repository Report 1 • nově Book Report 1 a 2, Journal Report 1
  • 23.
    Ross MacIntyre “IRUS-UK:Improving understanding of the value and impact of institutional repositories”
  • 24.
    Ross MacIntyre “IRUS-UK:Improving understanding of the value and impact of institutional repositories”
  • 25.
    Jaké metriky použítpro články v OA repozitářích? 1) Metriky na bázi počtu citací • pouze pro určité typy publikací • delší doba na zpracování 2) Alternativní metriky • neposkytují jedno číslo • metriky s nízkými hodnotami diskutabilní 3) Webometriky • nutná agregace a standardizace dat • vhodný projekt pro více institucí
  • 26.
    Začaly vás zajímatmetriky článků v repozitářích více? Jan Mach Vysoká škola ekonomická v Praze, CIKS Univerzita Karlova, ÚISK machj@vse.cz http://www.slideshare.net/machj

Editor's Notes

  • #3 Které práci věnovat pozornost? Čte někdo moji práci? O které práci se hodně diskutuje? Impakt za poslední rok, kontroverzní práce, aktuální témata, diskutované Porovnání – např. NUŠL vs. institucionální repozitář, OA vs. closed access, podle typu dokumentu Obhájení a propagování vlastního IR Ideálně krátce po publikování, pomoc s tříděním
  • #4 Porovnání s VŠKP zahraniční
  • #5 DOPAD, IMPAKT ČASOPISU, ČLÁNKU (AUTORA, …) 5154 autorů v Physical Review Letters, urychlovač LHC, 2 detektory,hmotnost Higgsův boson Impakt faktor se vypočítá na základě citovanosti všech prací v daném časopisu v průběhu dvou let. Například citační faktor časopisu pro rok 2005 se dá zjistit následovně: A = kolikrát byly články z daného časopisu publikované v letech 2003-2004 citovány jinými sledovanými časopisy v roce 2005 B = kolik v něm vyšlo v období 2003-2004 článků celkem 2005 impakt faktor daného časopisu = A/B Do jmenovatele tohoto zlomku se však nezapočítávají "speciální" články jako novinky, komentáře nebo opravy (errata).[2]
  • #6 1990 nástup digitálního věku a open access repozitářů podíl 10 % nejcitovanějších prací publikovaných v 10 % nejcitovanějších časopisů klesá od roku 1990 podíl 10 % nejcitovanějších prací nezveřejněných v 10 % časopisů s nejvyšším impact faktorem od roku 1990 roste 5 % citace se začínají více rozprostírat mezi jednotlivé časopisy, studie predikuje, že digitální věk a metody šíření a zpřístupňování vědeckých zdrojů mohou potlačit důležitost IF pro hodnocení
  • #7 Mění se způsob vědecké komunikace web větší čtenost, Gold OA odkaz = obdoba citace návštěvy – čas, BIX obrázek HTML, Fulltext, sémantická reprezentace XML události v soc. sítích kvalita vs. pokrytí, latence vs. rychlost – citace, linky a altmetriky, stažení
  • #8 Spuštěn 2006 komentování, poznámky hodnocení, zpětné odkazy aj.
  • #9 vysoce citováno, stahováno, doporučováno, zobrazováno
  • #10 metriky pro publikace, týmy, vědce, instituce widgety, api
  • #11 Data z 2. 5. 2015
  • #12 Abstract: EBSCO PDF View: EBSCO, PLOS Download: Eprint, SSRN, RePeC, Bepress (SSRN - Social Science Research Network, bepress - Open Access Scholarly Publishing Services)
  • #17 nejméně Delicious (nalezeny 2 články), sociální síť Google+ (111 zmínek o 28 článcích) a zkracování URL adres Bitly (694 kliknutí na zkrácenou URL 40 článků). Ze sociálních sítí nejvyužívanější Facebook
  • #20 Aby bylo možné hodnotit i takovýto způsob publikování, je potřeba jasně identifikovat dokument pomocí perzistentních identifikátorů, např. DOI (viz např. projekt COUNTER dále), urn:nbn, PURL, HANDLE aj. tak, aby bylo možné jednotlivé statistiky agregovat (problematika perzistentních identifikátorů přesahuje rámec této práce), zajistit sběr, agregaci a zpracování jednotlivých dílčích statistických dat o využití jednotlivých dokumentů, standardizovaný výpočet souhrnných indikátorů ze získaných dat.
  • #21 2012, 2014 PIRUS – AR1, clearing house pro agregaci, 3 scénáře lokálně, OAI-PMH, push COUNTER Code of Practice for e-Resources - Release 4, SUSHI (NISO standard) The COUNTER Code of Practice for Articles - Release 1 z března 2014 - Požadavky na plný text podle měsíce, 2 roky zpět min. PIRUS „Publisher and Institution Repository Usage Statistics project“ Ověření možnosti sběru a zpracování. Ověření možnosti, později vytvoření globálního standardu pro sběr, zpracování a reportování statistických dat o užití individuálních článků v institucionálních repozitářích a u vydavatelů. Výstupy: COUNTER Code of Practice for Articles IRUS-UK
  • #22 Vyloučení robotů – podle pravidel COUNTER + vlastní blacklist + vlastní heuristika (denní počet stažení), dvojkliky vyloučeny na úroveň článku
  • #23 Item Report 1: stažení podle identifikátoru repozitáře rozepsané podle měsíce Item Report 2: stažení podle typu práce rozepsané podle měsíce Electronic Thesis or Dissertation Report 1: obdoba Item Report 1 pro VŠKP Repository Report 1: počet všech stažení pro všechny repozitáře podle měsíce, filtrování podle typu práce, oblasti UK BR1 – podle titulu, BR2 podle sekce knihy, Webový portál SUSHI služba SUSHI Lite API (RESTful - HTTP GET, JSON), možnost stahování indiv. částí statistik pro začlenění do repozitářů aj. webů
  • #26 citace - větší časový horizont aktuální a nová témata atraktivní dokumenty časté stažení POZOR na stažení PROJEKT