Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Impact - the game

767 views

Published on

Workshop van Bianca Kramer en Ellen Fest bij de VOGIN-IP-lezing, Amsterdam, 9 maart 2015

Published in: Internet
  • Be the first to comment

  • Be the first to like this

Impact - the game

  1. 1. (except logo’s) Impact – the game Traditionele en alternatieve mogelijkheden Ellen Fest & Bianca Kramer Workshop VoginIP lezing, Amsterdam, 20170309 3.1 Macro-InvertebrateDeclineinSurfaceWater PollutedwithImidacloprid PloSOne8.5(2013):e62374. 24citationsin2015 @MsPhelps @EllenFest
  2. 2. programma • vraag aan deelnemers • inleiding bibliometrics • spel ronde 1 • inleiding altmetrics • spel ronde 2 • zelf aan de slag • vraag opnieuw • afsluiting
  3. 3. Hoe zouden we we wetenschappelijk onderzoek moeten beoordeelden?
  4. 4. INLEIDING BIBLIOMETRICS
  5. 5. Eugene Garfield – 1925- 2017 By Chemical Heritage Foundation, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=39819056
  6. 6. Bekende bibliometrische indicatoren 1. Journal Impact Factor 2. h-index 3. aantal citaties / citaties per publicatie
  7. 7. Hoe vergelijken we citatie-aantallen? • Onderzoekster Willemijn Wiskunde heeft een publicatie uit 2007 met 22 citaties • Onderzoekster Beatrix Biologie heeft eem publicatie uit 2011 met 24 citaties → Welke onderzoekster heeft met haar publicatie de meeste impact?
  8. 8. 0 10 20 30 40 50 60 70 80 0 2 4 6 8 10 12 cummulatiefaantalcitaties aantal jaar na publicatie baseline TOP10% TOP1% Baseline vakgebied wiskunde
  9. 9. Baseline vakgebied moleculaire biologie 0 50 100 150 200 250 300 350 400 450 500 0 2 4 6 8 10 12 cummulatiefaantalcitaties aantal jaar na publicatie baseline TOP10% TOP1%
  10. 10. Journal Impact factor: DEFINITIE Journal Impact factor in jaar t is gedefinieerd als de ratio tussen: • het aantal citaties in jaar t naar publicaties in het tijdschrift in de twee voorgaande jaren, en; • het aantal publicaties in het tijdschrift in de twee voorgaande jaren. Voorbeeld: • een tijdschrift heeft in 2013 en 2014 in totaal 100 publicaties • in 2015 hebben deze publicaties samen 200 citaties gekregen • de impact factor is 200 / 100 = 2 11
  11. 11. 12 Impact factor: Weaknesses • geen normalisatie naar vakgebied → gebruik de kwartielen • citaties naar ‘niet-citeerbare documenten’ (bijv. book reviews, editorials, news articles) in de teller maar niet in de noemer → voordeel voor de tijdschriften met veel editorial material • gevoelig voor "uitbijters" • review journals zijn sterk in het voordeel
  12. 12. h-index balans tussen productiviteit en geciteerdheid om het effect van een of twee extreem geciteerde publicaties uit te sluiten niet alleen toepasbaar op auteurs effect van vakgebied en leeftijd niet gecorrigeerd serieuze twijfel over robuustheid *Waltman, L. & N. J. van Eck (2011). The inconsistency of the h- index. Journal of the American Society for Information Science and Technology 63(2):406-415 http://dx.doi.org/10.1002/asi.21678
  13. 13. maar de h-index is overal
  14. 14. waar worden deze "metrics" gebruikt? • beoordeling financieringsaanvragen (NWO, ERC) • sollicitatieprocedures (intern beleid, sterk verschillend) • tenure track procedures (intern beleid, sterk verschillend) • beoordeling onderzoeksgroepen / faculteiten (SEP) → veel vrijheid voor eigen invulling • university rankings (m.n. citatie-aantallen) Meer lezen over NWO en gebruik van de Impact Factor? https://im2punt0.wordpress.com/2017/01/09/nwo-the-impact-factor-paradox/
  15. 15. waar het toe leidt: Nature newsblog http://blogs.nature.com/news/2013/06/new-record-66-journals-banned-for-boosting-impact-factor-with-self-citations.html
  16. 16. waar het toe leidt: Retraction Watch d.d. 17-02-2017 http://retractionwatch.com/2017/02/17/editor-resigns-two-journals-considerable-citation-boosting-attempts/
  17. 17. waar het toe leidt: De Volkskrant, 6-3-2017 http://www.volkskrant.nl/wetenschap/prominente-hoogleraar-voedingspsychologie-beschuldigd-van-zelfplagiaat~a4470769
  18. 18. Let’s play!
  19. 19. Let’s play!
  20. 20. Scheefheid citaties: citaties in 2015 van papers uit 2013-2014 bron: Larivière et al. 2016
  21. 21. Scheefheid citaties: citaties in 2015 van papers uit 2013-2014 bron: Larivière et al. 2016
  22. 22. INLEIDING ALTMETRICS
  23. 23. 2 trends in beoordeling van wetenschappelijk onderzoek Bewustzijn van onjuist gebruik van de IF voor de beoordeling van individuele onderzoekers • San Francisco Declaration on Research Assessment (DORA) • Leiden Manifesto (Hicks et al., 2015) • Metric Tide report (Wilsdon et al., 2015) Meer aandacht voor maatschappelijke impact van wetenschappelijk onderzoek en verschuiving naar meer "Open Science" • Standaard Evaluatie Protocol 2015 - 2021(SEP) van de VSNU → "Grotere en systematischere aandacht voor maatschappelijke relevantie" • NWO en EU beleid verschuift langzaam richting "Open Science" • Nationaal Plan Open Science gepresenteerd op 9 februari jl.
  24. 24. Altmetrics Manifesto • geen algemene definitie • ‘metrics and qualitative data that are complementary to traditional, citation-based metrics’ (altmetric.com) • verzameling van metrics • gebaseerd op online gebruik / platforms • alternatief voor bibliometrics J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26 October 2010. http://altmetrics.org/manifesto
  25. 25. welke bronnen? type referentie managers, bookmarking Mendeley, CiteULike, Delicious video, foto en presentatie platforms YouTube, Pinterest, Podcasts, Vimeo, SlideShare, Flickr, DailyMotion social netwerken Facebook, Google+ blogs Nature blogs, Scientific American blogs, PLOS blogs, Research Blogging, Google blogs, Wordpress microblogging Twitter, Sina Weibo, peer review systemen Publons, PubPeer recommendations / reviews F1000, Reddit, Goodreads, Amazon reviews online encyclopedie Wikipedia repositories. PMC, Figshare, RePEc, SSRN Source code Repositories GitHub, SourgeForge, Bitbucket others beleidsdocumenten, nieuwsberichten (Erdt et al., 2016; doi:10.1007/s11192-016-2077-0)
  26. 26. altmetrics aggregators a) Altmetric.com b) Impactstory c) Plum Analytics d) PLOS ALM e) Kudos f) Mendeley g) …
  27. 27. Altmetric.com
  28. 28. Impactstory
  29. 29. Plum Analytics
  30. 30. PLOS ALM
  31. 31. KUDOS www.growkudos.com
  32. 32. Mendeley
  33. 33. beleidsdocumenten
  34. 34. ook overheid.nl
  35. 35. verder lezen? • Kramer, B. 2015. Altmetrics. Handboek Informatiewetenschap 710. doi:10.5281/zenodo.31899 • Konkiel et al. 2016. Altmetrics for Librarians: 100+ tips, tricks, and examples. doi:10.6084/m9.figshare.3749838 • Glauch & Blümel. 2016. OPENing UP new methods, indicators and tools for peer review, impact measurement and dissemination of research results. http://openup- h2020.eu/2017/03/03/establishment-altmetrics- term/
  36. 36. LET'S PLAY – DE 2E HELFT
  37. 37. Altmetric voorbeeld
  38. 38. Altmetric voorbeeld
  39. 39. Relaties tussen citaties, Altmetric score en Mendeley readers
  40. 40. Who is using (alt)metrics tools ?
  41. 41. Altmetrics – tools / applications - Niet alle onderzoeksoutput kan getraceerd worden - Niet alle gebruik kan getraceerd worden - Hoe robuust zijn de data ? - Niet het getal, maar het verhaal is belangrijk
  42. 42. Altmetrics – tools / applications - Niet alle onderzoeksoutput kan getraceerd worden - Niet alle gebruik kan getraceerd worden - Hoe robuust zijn de data ? - Niet het getal, maar het verhaal is belangrijk
  43. 43. Altmetrics – tools / applications http://tinyurl.com/VoginIP2017-altmetrics
  44. 44. Wat is de context waarin onderzoekers kunnen kiezen voor open & reproduceerbare workflows? political support at (inter)national level • pressure from funders • public stance on Open Science by institution • user-friendly and powerful tools • interoperability • role models • attention for positive effects • • assessment criteria • institutional policies/culture • PI demands • learning curves • agreements with collaborators • uncertainty over effects & legitimacy
  45. 45. San Francisco Declaration on Research Assessment
  46. 46. adaptedfrom: MarinaNoordegraaf–OpenScience:opzoeknaardeschattenVogincursus2016 Open Science articles posters presentations blog posts social media conversations study registrations protocolsfunding proposals data management plans lab notebooks research data peer review
  47. 47. Open Science in de gehele onderzoekscyclus preparation analysis writingpublication outreach assessment discovery Rounds of grant writing and application Iterations of search and reading Drafting, receiving comments,rewriting Submit, peer review, rejection, resubmitting Rounds of experiments and measurements
  48. 48. Nationaal Plan Open Science
  49. 49. Hoe zouden we we wetenschappelijk onderzoek moeten beoordeelden? Met de kennis van nu:

×