« T'as pensé à retweeter mon article ? »
Enjeux, limites et critique de la bibliométrie alternative via les Altmetrics
Guillaume Cabanac, MCF, Université Toulouse 3, Institut de Recherche en Informatique de Toulouse
L'impact d'un résultat scientifique est traditionnellement estimé par le nombre de citations que la publication associée suscite. Cependant, cet indicateur ne permet pas d'estimer la réception d'une recherche en dehors de la sphère académique, à court terme, que ce soit dans la presse ou sur les médias sociaux (Twitter, Facebook, etc.).
C'est dans ce contexte que des indicateurs complémentaires appelés « altmetrics » sont développés depuis 2012 pour refléter l'engouement exprimé à l'égard des résultats scientifiques. Les altmetrics sont désormais intégrés aux plateformes des éditeurs scientifiques (tels qu'Elsevier, PLOS, Springer et Wiley) et aux CV en ligne des chercheurs (sur impactstory.org par exemple).
Mesurer l'intérêt du grand public pour la science : les altmetrics atteignent-ils cet objectif louable ? De récentes études suggèrent que le gros de l'activité captée par les altmetrics provient des chercheurs eux-mêmes... Les scientifiques adeptes des réseaux sociaux auraient-ils détourné -- inconsciemment ou délibérément -- cet indicateur pour accroître leur e-reputation ?
"When a measure becomes a target, it ceases to be a good measure" -- Goodhart's law
https://en.wikipedia.org/wiki/Goodhart%27s_law
Quelques références récentes :
-Colquhoun, D., & Plested, A. (2014). Scientists don't count: Why you should ignore Altmetrics and other bibliometric nightmares. DC's Improbable Science [Blog post]. Available from: http://wp.me/p2ZpqR-1EJ
-González-Valiente, C. L., Pacheco-Mendoza, J. and Arencibia-Jorge, R. (2016), A review of altmetrics as an emerging discipline for research evaluation. Learned Publishing. doi:10.1002/leap.1043
-Ke, Q., Ahn, Y.-Y., & Sugimoto, C. R. (2016). A Systematic Identification and Analysis of Scientists on Twitter. ArXiV preprint available from http://arxiv.org/abs/1608.06229
https://openeval2016.sciencesconf.org
https://openeval2016.sciencesconf.org/data/program/Resume_Guillaume_Cabanac.pdf
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bibliométrie alternative via les Altmetrics
1. « T'as pensé à retweeter mon article ? »
Enjeux, limites et critique de la
bibliométrie alternative via les altmetrics
« Open Access et évaluation de la recherche »
14 octobre 2016, Toulouse
Guillaume Cabanac, Gilles Hubert
@gcabanac @gilleshub
http://bit.ly/openeval2016altmetrics
4. 4
1. Contexte Une visibilité limitée aux citations
2. Prémisses Les lecteurs dans la boucle d’évaluation
3. Frémissements L’infiltration auprès du grand public
4. Bouillonnements La déferlante altmetrics
5. Cas concret Une recherche à Toulouse
6. Distanciation et critique des altmetrics
Enjeux, limites et critique de la bibliométrie alternative via les altmetrics
5. 1. Contexte : Une visibilité liée aux citations
5
D = 3650 j !
6. 1. Contexte : Une visibilité liée aux citations
6
Latence ?
7. 1. Contexte : Une visibilité liée aux citations
7
Audience ?
8. 1. Contexte : Une visibilité liée aux citations
8
Pertinence ?
9. Les « revues cœur » du Web of Science
9
Seules 20 % des revues existantes ont un Impact Factor
https://twitter.com/Villavelius/status/644484110505918464
1. Contexte : Une visibilité liée aux citations
11. 11
1. Contexte Une visibilité limitée aux citations
2. Prémisses Les lecteurs dans la boucle d’évaluation
3. Frémissements L’infiltration auprès du grand public
4. Bouillonnements La déferlante altmetrics
5. Cas concret Une recherche à Toulouse
6. Distanciation et critique des altmetrics
Enjeux, limites et critique de la bibliométrie alternative via les altmetrics
12. 2. Prémisses : Les lecteurs dans la boucle d’évaluation
12
13. 2. Prémisses : Les lecteurs dans la boucle d’évaluation
13
14. 14
Plan
1. Contexte Une visibilité limitée aux citations
2. Prémisses Les lecteurs dans la boucle d’évaluation
3. Frémissements L’infiltration auprès du grand public
4. Bouillonnements La déferlante Altmetrics
5. Cas concret Une recherche à Toulouse
Enjeux, limites et critique de la bibliométrie alternative via les altmetrics
16. 16
1. Contexte Une visibilité limitée aux citations
2. Prémisses Les lecteurs dans la boucle d’évaluation
3. Frémissements L’infiltration auprès du grand public
4. Bouillonnements La déferlante altmetrics
5. Cas concret Une recherche à Toulouse
6. Distanciation et critique des altmetrics
Enjeux, limites et critique de la bibliométrie alternative via les altmetrics
20. 3. Bouillonnements : La déferlante Altmetrics
20
Consultation d’altmetrics avec altmetric.com
Démo FF
21. 3. Bouillonnements : La déferlante Altmetrics
21
Calcul de score chez altmetric.com
http://www.altmetric.com/blog/scoreanddonut/
22. 3. Bouillonnements : La déferlante Altmetrics
22
Incorporation dans les plateformes des éditeurs
23. 23
1. Contexte Une visibilité limitée aux citations
2. Prémisses Les lecteurs dans la boucle d’évaluation
3. Frémissements L’infiltration auprès du grand public
4. Bouillonnements La déferlante altmetrics
5. Cas concret Une recherche à Toulouse
6. Distanciation et critique des altmetrics
Enjeux, limites et critique de la bibliométrie alternative via les altmetrics
24. 4. Cas concret : Une recherche à Toulouse
24
Boure, R. & Lefebvre, M., 2013. « Circulation, altération et appropriation d’une information scientifique. Quand les silures attaquent
les pigeons », Questions de Communication, n°24, p. 169-198.
Lefebvre, M. & Renard, J. (2016) The Circulation of Scientific Articles in the Sphere of Web-Based Media: Citation Practices,
Communities of Interests and Local Ties. PLoS ONE, 11, 7, e0158393. doi:10.1371/journal.pone.0158393
25. 4. Cas concret : Une recherche à Toulouse
25
juin 2013
(8 citations en octobre 2015)
34. 34
1. Contexte Une visibilité limitée aux citations
2. Prémisses Les lecteurs dans la boucle d’évaluation
3. Frémissements L’infiltration auprès du grand public
4. Bouillonnements La déferlante altmetrics
5. Cas concret Une recherche à Toulouse
6. Distanciation et critique des altmetrics
Enjeux, limites et critique de la bibliométrie alternative via les altmetrics
38. Et au final… ces Altmetrics ?
Qu’es aquò ?
Estimation de la visibilité/réception/infiltration d’une recherche
auprès du grand public via les médias sociaux et la presse
Contraste par rapport aux indicateurs basés citations
Réactivité
Sources publiques
Divers types de production
Essor conjoncturel lié aux médias sociaux
Processus NISO en cours : www.niso.org/topics/tl/altmetrics_initiative/
38
Précautions : Les limites demeurent…
Pertinence du quantitatif : polarité ? sémantique ?
Sensibilité à la pollution (« spamming »)
Triche (peut-être plus compliquée : échelle,
variété des sources)
Visibilité ≠ portée scientifique
Utilité ?
Chercheurs, documentalistes, services valorisation…