4. Lectures indispensables
+ rapport de l’Académie des Sciences
+ bibliographie et webographie BUPMC
Disponible à la
Bibliothèque BCPR
(Biologie Chimie
Physique Recherche)
cote 507.2 GIN
5. « Do metrics matter ? »
Alison Abbott , David Cyranoski , Nicola Jones , Brendan Maher , Quirin Schiermeier & Richard
Van Noorden. Metrics : do metrics matter?, Nature, n° 465, p. 860-862 (2010).
De quoi parle-t-on?
6. Qu’est-ce que la bibliométrie ?
Elle se définit comme l’exploitation
statistique des publications
Elle « procède du calcul de divers indicateurs
à partir des bases de données
bibliographiques couvrant la quasi-totalité de
la littérature scientifique et de leurs citations
dans la plupart des disciplines. »
Du bon, usage de la bibliométrie pour l’évaluation individuelle des
chercheurs : Rapport de l’Académie des Sciences, 17 janvier 2011
De quoi parle-t-on?
7. A quoi la bibliométrie sert-elle?
De quoi parle-t-on?
Analyse des citations = outil multi-usage
• recherche documentaire et gestion de
collections de revues
• histoire et sociologie des sciences
• caractérisation
• évaluation
• classement
8. Plusieurs objets et plusieurs
niveaux
Sources, revues
Pays
Laboratoires, institutions
Chercheurs
De quoi parle-t-on?
9. Les palmarès : un apercçu
De quoi parle-t-on?
Caractériser
• U-Multirank
• Approche
pluridimensionnelle
• Comparer ce qui est
comparable
Classer
• Classement de
Shangaï
• Monodimensionnel :
critères de prestige
scientifique
• N’est plus significatif
au-delà de la 10e
place
any number beats no number
10. Pour les institutions et les chercheurs :
• Thomson Reuters : Web of Science Core
Collection (+ de 8 600 titres) et Essential
Science Indicators
• Elsevier : Scopus (+ de 20 000 titres)
Pour les sources / revues :
• le Journal Citation Reports : données du
Web of Science Core Collection
• Journal Metrics : données de Scopus
De quoi parle-t-on?
Bases de données de référence
11. Pourquoi le Web of Science est-il (si) sélectif?
Loi de Bradford
Effet Mathieu
évangile selon St Matthieu 25-
29 : « Car on donnera à celui
qui a et il sera dans
l’abondance, mais à celui qui
n’a pas, même ce qu’il a lui
sera retiré »
Voir : A. Blanchard, Distributions et lois Bibliométriques - 31/01/2005
0
20
40
60
80
100
120
0 1000 2000 3000 4000 5000 6000
# of journals
%ofdatabase
Articles Citations
Distributions bibliométriques : 20/80
Source : Thomson-Reuters - présentation UPMC 2011
12. Notion clé = la citation
Une citation au sens du Web of Science est la
référence à :
• une review,
• un article de recherche,
• un éditorial,
• etc. : article de toute nature
Mise en relation nombre de citations/nombre
d’articles au fondement des 2 indicateurs les +
utilisés
• facteur d’impact
• h-index
De quoi parle-t-on?
15. Mode de calcul
Exemple :
Facteur d’impact de The Astrophysical Journal en 2012 =
nb de citations reçues en 2012 par des articles publiés en
2011 et 2010 (33485)
------------------------------------------------------------------------
nb d'articles citables publiés en 2011 et en 2010 (4973)
Soit 33485 / 4973 = 6,733
Le facteur d’impact 2012 de cette revue est de 6,733
Le facteur d’impact
Impact factor
année 2012 =
Nombre de citations reçues en 2012
par des articles publiés en 2011 et 2010
Nombre d’articles « citables » publiés en
2011 et 2010
17. Où trouver l’information : Journal Citation Reports
Le facteur d’impact
Le JCR fait partie de l’abonnement de l’UPMC au Web of Science.
3 modes d’accès :
• Jubil > Ressources en ligne : les essentiels > Bases de données
18. Où trouver l’information : Journal Citation Reports
Le facteur d’impact
Accès contextuel depuis la liste A-Z et le menu du résolveur de
liens SFX
Ce service n’apparaît que si la
revue a un facteur d’impact
19. Le facteur d’impact
Accès depuis le Web of Science
Accès contextuel
depuis un résultat de
recherche
Accès depuis le menu en
haut de chaque page
Où trouver l’information : Journal Citation Reports
20. Le JCR :
Données
générales sur
une revue
Facteur d’impact
Eigenfactor
indice bibliométrique
pondérant le nbre de
citations par le prestige
des revues dont elles
proviennent (cf. infra)
Rank et Box Plot
analyse du
positionnement d’une
revue dans la (ou les)
catégorie(s) dont elle fait
partie
Le facteur d’impact
21. Le JCR : Rank
Le facteur d’impact
• Situer une revue par rapport aux autres revues de la
même discipline
• Voir l’évolution de son positionnement dans le temps
22. Le JCR : Box Plot
Le facteur d’impact
Facteur
d’impact de
la revue
23. Le facteur d’impact
Le JCR : Données d’une catégorie de revues
NB Par défaut les 2 index
Science citation index
expanded et Social
sciences citation index
sont sélectionnés
24. Le JCR : autres indicateurs
Liens de citations
• Revue citée - Cited Journal Data
identifie les publications qui citent le plus souvent une revue
donnée
mettre en évidence un réseau de revues
• Revue citante - Citing Journal Data
identifie les publications le plus souvent citée par une revue
donnée
mettre en évidence un réseau de revues
• Revues connexes - Journal Relationships
analyse des liens de citation entre les revues
déterminer des proximités sémantiques
identifier les liens entre les revues
Le facteur d’impact
25. Le facteur d’impact
Cited Journal Graph : comment la revue est-elle citée?
Demi-vie
de citation
Citations utilisées
pour calculer le
facteur d’impact
Le JCR : Cited Journal
26. Le facteur d’impact
Cited Journal Data : comment la revue est-elle citée?
En 2013, PloS One est la
revue qui a le plus cité la
revue Bioinformatics
Le JCR : Cited Journal
27. Le facteur d’impact
Visualisation des relations de citation avec les 20
principales revues du réseau de citations de la revue
Le JCR : Journal Relationships
Survol de l’arc =
facteur d’impact
de la revue
Survol des
cordes = nombre
de citation à la
revue parente
28. Comparer le positionnement (Quartile) ou l’évolution
(Trends) de revues appartenant à une même catégorie
Le JCR : Compare Journals
Le facteur d’impact
Sélectionner
les revues et
la catégorie
29. Les limites du facteur d’impact
Les limites du facteur
d’impact
« Like nuclear energy,
the impact factor is a
mixed blessing. »
Eugène Garfield, The agony
and the ecstasy - The
history and meaning of the
journal impact factor
31. D’importantes différences entre disciplines
% of cites older than 10 years
35%
29%
70%
43%43%
45%
39%39%42%
46%
42%
0.00%
10.00%
20.00%
30.00%
40.00%
50.00%
60.00%
70.00%
80.00%
BehaviouralScience
Biom
edical&
Life
Sciences
Business
&
Econom
ics
C
hem
istry
&
M
aterials
Science
C
om
puterScience
Earth
&
Environm
entalScienceEngineering
H
um
anities,Soc.Sci.&
Law
M
ath
&
Statistics
M
edicine
Physics
&
Astronom
y
Antériorité des citations : % d’articles de plus de 10 ans
Les limites du facteur
d’impact
Source : Springer
32. Densité et temporalité des citations
« En biologie moléculaire, il n’est pas rare qu’un article recueille 10 à 30 citations
en 2 ans, alors qu’une revue de premier rang en mathématiques n’en recevra
que deux ». Manuel Durand-Barthez, L’évaluation des publications scientifiques :
nouvelles approches, nouveaux enjeux, 2009
D’importantes différences entre disciplines
Les limites du facteur
d’impact
Source : http://www.eigenfactor.org/whyeigenfactor.php
33. Limites du mode de calcul
délai de 2 ans du facteur d’impact critiquable, celui
de 5 ans également
NB : l’impact sur 2 ans reste l’indicateur de référence
Importance des critères éditoriaux
• Nombre de fascicules dans l’année
• Nombre de pages et d’articles par n°
• Type d’article : reviews sont citées 2 fois plus en
moyenne
Les limites du facteur
d’impact
34. Le facteur d'impact se rapporte à une revue et non à
un article.
Les articles d'une revue à fort facteur d'impact ne
sont pas tous cités de manière identique
« Les revues les plus prestigieuses, à facteur d’impact
très élevé, contiennent un pourcentage significatif
d’articles de qualité moyenne »
Rapport de l’Académie des Sciences, op. cit., p.2
Ex de Nature : en 2004, 25% des articles ont constitué 89% du FI
Depuis 2008 + de 50% de ses articles ont reçu zéro ou 1 citation.
Les limites du facteur
d’impact
Danger de l’extrapolation
36. « fonde le statut d’une page web sur une
combinaison des liens qui pointent vers
une page et sur le statut des pages dont
sont issus ces liens. En prenant en
compte à la fois des facteurs de
popularité et de prestige, Google a pu
éviter d’attribuer des rangs élevés à des
pages web populaires mais par ailleurs
non pertinentes. »
Rodriguez M.A., Bollen J., Van de Sompel
H., « Journal Status », Scientometrics, vol.
69, n° 3, 2006, p. 669
revues populaires vs. revues
prestigieuses
Les modèles alternatifs
au facteur d’impact
L’algorithme du PageRank : influence weight
Narin - 1976
37. • Conçu par Carl T. Bergström, Université de
Washington, 2007
• S’appuie sur le corpus du JCR
• Prise en compte d’un « poids » des
citations, lié à l’influence relative des
revues dans la communauté scientifique
• Les auto-citations sont exclues du calcul
• Fondé sur les 5 années les plus récentes
Eigenfactor
Les modèles alternatifs
au facteur d’impact
38. • Eigenfactor Score
= mesure de l’influence d’un journal pour la communauté
scientifique - influence globale d’une revue
Somme des Eingenfactor scores de toutes les revues du JCR = 100
• Article Influence Score
= mesure de l’influence moyenne de chaque article sur les 5
dernières années - influence moyenne par article
Article Influence Score moyen du JCR = 1
• Cost effectiveness Score
= prix/Eigenfactor score
Cost effectiveness score moyen = 1
Les modèles alternatifs
au facteur d’impact
Les indicateurs de l’Eigenfactor
40. http://well-formed.eigenfactor.org
Données de 1997 à 2005
Citation patterns : liens de citation entre revues et entre domaines disciplinaires
Change over time : évolution du Eigenfactor score
Clustering : classement par Article Influence et liens de citation entre revues
Map : réseau de citations
Clustering
41. Indicateurs Scopus
• Source Normalized Impact per
Paper (SNIP)
en savoir + : Fiche CoopIST (Cirad)
• Impact per Publication (IPP)
en savoir + : Fiche CoopIST (Cirad)
• SCImago Journal Rank (SJR)
en savoir + : Fiche CoopIST (Cirad)
Les modèles alternatifs
au facteur d’impact
42. Fenêtre d’analyse des citations = 3 ans
Différents modes d’accès (gratuits)
• Journal Metrics (Elsevier) : SNIP, IPP,
SJR
• Journal Indicators (Université de
Leiden): SNIP et IPP
• Scimago Journal & Country Rank
(Scimago Lab): SJR et IPP
Les modèles alternatifs
au facteur d’impact
Indicateurs Scopus
43. SNIP
• Objectif : permettre des comparaisons
directes entre revues de champs
disciplinaires différents
• Normalisation a priori : pondération des
citations en fonction des disciplines
• NB pas de définition a priori de
catégories disciplinaires
• Ratio nombre de citations/potentiel de
citations de la discipline
Les modèles alternatifs
au facteur d’impact
44. IPP
• Indice équivalent au facteur d’impact : ratio
nombre de citations/nombre d’articles
• Mais fenêtre d’analyse des citations de 3 ans,
couverture Scopus ≠ Web of Science Core
Collection,
• Mais « articles » a le même sens dans le
numérateur et le dénominateur = articles
peer-reviewed
• = RIP sur Journal Indicators
• = Cites/doc (3 years) sur Scimago Journal &
Country Rank
Les modèles alternatifs
au facteur d’impact
45. SJR
• SJR = indice fondé sur le principe de
l’Eigenfactor
• Objectif = mesurer le prestige des revues,
compte les “citations pondérées”,
“weighted citations”
• Description détaillée :
http://www.scimagojr.com/SCImagoJourn
alRank.pdf
Les modèles alternatifs
au facteur d’impact
51. Jorge E. Hirsch - 2005
An index to quantify an individual’s scientific research output. Proceedings of the National Academy
of Sciences, 102(46), 16569-16572. [en ligne sur : dx.doi.org/10.1073/pnas.0507655102 et sur arXiv :
http://arxiv.org/abs/physics/0508025]
« I propose the index h, defined as the number of
papers with citation number ≥h, as a useful index to
characterize the scientific output of a researcher. »
Un chercheur ayant publié 2 articles cité au
moins 2 fois a un indice H de 2.
Un chercheur ayant publié 150 articles parmi lesquels 82 ont été
cité au moins 82 fois a un indice H de 82.
Un chercheur ayant publié 35 articles ne peut pas avoir un indice
H supérieur à 35.
Définition
Le h-index
52. Le h-index
Auteur : Chessor (Own work) [CC BY-SA 3.0
(http://creativecommons.org/licenses/by-sa/3.0)], via Wikimedia Commons
Mode de calcul
53. Le h-index dans le Web of Science Core Collection
Le h-index
A partir d’une liste de résultats (< 10 000
résultats)
54. Le h-index
La limite qui permet de déterminer l’indice H
apparaît dans la liste des résultats
Le h-index dans le Web of Science Core Collection
55. Les limites du h-index
Source : Flickr
- auteur :
fragmented
56. Le h-index suppose :
•une ancienneté de carrière
la comparaison de l’indice H n’a de sens qu’en
tenant compte de la « séniorité » des
chercheurs concernés, car il augmente avec
l’âge
•un grand nombre de publications, générant un
grand nombre de citations
lien avec l’âge mais aussi la discipline du
chercheur
Les limites
du h-index
Les limites du h-index
57. • Les différences de pratiques entre disciplines
sont peu prises en compte :
la comparaison n’a de sens que dans un même
domaine
• Les contributions exactes des auteurs ne sont
pas prises en compte : différences majeures
entre disciplines (ordre alphabétique ou
hiérarchie des contributions)
pondérer le h-index par un facteur reflétant le
nombre moyen de co-auteurs et le rôle de chacun ?
Les limites
du h-index
Les limites du h-index
58. Biologie / Sciences du vivant : entre 5 et 10 signataires,
parfois plus
• Étudiant ou post-doc qui a fait la manip : 1er signataire
• Personne qui lui est la plus proche : 2e signataire
• En remontant : directeur du groupe, directeur du labo etc.
validité des indicateurs pour les signataires « du milieu » ?
confusion entre « auteur » et « collaborateur » ?
Géosciences : en général moins de 10 auteurs et encore
assez souvent moins de 5. Ordre en général lié à l’importance
décroissante des contributions. De plus en plus fréquemment
mention des ingénieurs de recherche comme co-auteurs
Mathématiques : plus de la moitié des articles n’ont qu’un
seul auteur
Exemples
Les limites
du h-index
59. Le h-index ne permet pas de faire la différence entre articles
très au-dessus ou très au-dessous de l’indice moyen : il
ne valorise pas les travaux à très gros impact et/ou à
impact durable, « gelés » par l’indice H
Création par Léo Egghe de l’indice G, en 2006, afin de
« distinguer l’excellence dans la productivité »
(Rapport de l’Académie des Sciences)
Un chercheur aura un facteur G de 83 si ses 83 articles
les plus cités totalisent au moins 6889 citations, c’est-à-
dire G au carré
Indice encore peu connu et encore peu utilisé.
L’indice G
Les limites
du h-index
61. Part réelle de chaque co-auteur difficile à
évaluer
Mauvaises pratiques de citations : références
biblio choisies par opportunisme
• citations d’articles de la revue dans laquelle on publie,
• cartels de citations,
• autocitations, etc.
Articles non-cités parce qu’ils sont des quasi-
classiques ou parce qu’ils sont très originaux
qualité/impact
information/évaluation
Perspectives
Limites de l’analyse des citations
62. Les limites de la
citation
Le top 100 des
articles les + cités
depuis 50 ans
Image en grande dimension
Source : Van Noorden R., Maher B., Nuzzo R. « The top 100
papers ». Nature. 29 octobre 2014. Vol. 514, n°7524, p. 550-553.
Disponible sur : < http://dx.doi.org/10.1038/514550a >
Still, there is one powerful lesson for
researchers, notes Peter Moore, a
chemist at Yale University in New
Haven, Connecticut. “If citations are
what you want,” he says, “devising
a method that makes it possible for
people to do the experiments they
want at all, or more easily, will get
you a lot further than, say,
discovering the secret of the
Universe”.
= méthodes + logiciels
63. Altmetrics
Les limites de la
citation
Mesures alternatives (ou
alternatives aux
mesures) :
• usage
• recommendantion
• partage
• réutilisation
généralistes, grand public
(Twitter)
vs.
spécialisés, recherche
(Mendeley, ResearchGate,
blogs scientifiques, etc.)
Altmetrics manifesto
64. Commentaire du top 100
2013 altmetric.com
• 58/100 = dans revues sur
abonnement
• 2è et 4è : sur l’obésité et le
sommeil
• Parus dans NEJM et Science
Différents fournisseurs
• Altmetric.com : utilisé par
Elsevier et Nature
notamment
• PLOS : utilisé par
Copernicus
• Impactstory : utilisable par
les chercheurs
• Plum Analytics (appartient
à Ebsco)
Altmetrics
Après le h-index, le k-index?
Hall, N. The Kardashian index: a measure of discrepant social media profile for
scientists. Genome Biology 15, 424 (2014). DOI : 10.1186/s13059-014-0424-0
Perspectives
Aide en ligne : http://admin-apps.isiknowledge.com/JCR/help/h_boxplot.htm#jrnlboxplot Horizontal lines above and below the box represent maximum and minimum values that are no more than 1.5 times the span of the interquartile range, which is the range of values between the 25th and the 75th percentiles. These lines are commonly referred to as &quot;whiskers.&quot;
The abbreviated title of the cited journal. Click the title to go to the full record of the journal. Cited journals are sorted in descending order, from most cited to least cited. The numbers in the All Journals row are sums of the numbers in their respective columns. ALL OTHERS refers to 1) citing journals not listed by name in the table and 2) journals cited only once by the cited journal. If the number of cited journals is less than 25, all cited titles are listed. If there are more than 25 cited titles, all titles cited two or more times are listed individually. Titles cited only once are listed in alphabetical order until the total number of cited titles is at least 25; all other titles cited only once are collected in the ALL OTHERS category.
The abbreviated title of the cited journal. Click the title to go to the full record of the journal. Cited journals are sorted in descending order, from most cited to least cited. The numbers in the All Journals row are sums of the numbers in their respective columns. ALL OTHERS refers to 1) citing journals not listed by name in the table and 2) journals cited only once by the cited journal. If the number of cited journals is less than 25, all cited titles are listed. If there are more than 25 cited titles, all titles cited two or more times are listed individually. Titles cited only once are listed in alphabetical order until the total number of cited titles is at least 25; all other titles cited only once are collected in the ALL OTHERS category.
The SCImago Journal & Country Rank is a portal that includes the journals and country scientific indicators developed from the information contained in the Scopus® database (Elsevier B.V.). These indicators could be used to assess and analyze scientific domains. This platform takes its name from the SCImago Journal Rank (SJR) indicator , developed by SCImago from the widely known algorithm Google PageRank™. This indicator shows the visibility of the journals contained in the Scopus® database from 1996.
Prenons l’exemple de Faculty of 1000 Biology. Le domaine est subdivisé en 16 « facultés », i.e. Sujets, dont la supervision est confiée à 2, 3 ou 4 experts qualifiés Heads of Faculty. Chacune des Facultés se décline en Sections, dont le nombre oscille entre 3 et 12, dont la responsabilité est assumée par 2 ou 3 experts qui, à leur tour, contrôlent des équipes variant de 10 à 50 membres. On observe donc une hiérarchie assez pointue entre Facultés et Sections. L’effectif des Facultés est proportionnel au nombre d’articles publiés en moyenne dans la discipline correspondante. Indexation fine et transversale suivant le principe de l’arborescence pour éviter recoupements entre sections. Chaque membre, à la base, est invité à commenter les 2, 3 ou 4 articles qu’ils ont jugés les plus intéressants sur une période d’un mois. Chaque commentaire est assorti de liens vers les séminaires ou conférences qui peuvent graviter autour de la rédaction de cet article, de même que vers d’autres articles plus ou moins directement liés à celui-ci. Le cas échéant, le lien vers le texte intégral est bien sûr proposé. Puis, et c’est là que l’on touche la spécificité de ce système, chaque membre attribue le F1000 Factor en se conformant à une grille limitée à trois indices : 3 points = « Recommended » / 6 = « Must read » / 9 = « Exceptional »[1]. On fait ensuite la moyenne des deux indices les plus élevés attribués à cet article, à laquelle on ajoute un trentième de la somme de tous les indices attribués. Cela implique évidemment que l’article ait fait l’objet d’un minimum de trois commentaires, mais s’il est censé avoir un impact significatif, on peut naturellement supposer qu’il a été « détecté » et lu par un nombre appréciable d’examinateurs. Un commentaire est mis en ligne par le panel, qui qualifie l’article (découverte, avancée, hypothèse, confirmation, controverse) et le catégorise dans l’une des Sections.
eigenfactor.org ranks the influence of journals much as Google’s PageRank algorithm ranks the influence of web pages. By this approach, journals are considered to be influential if they are cited often by other influential journals
Journal Indicators : permet d'obtenir des données concernant les citations d'un journal sur 8 ans. En gros cela répond à la question : où publier un article scientifique pour qu'il soit reconnu. Country indicators : permet de croiser différentes données pour savoir quels pays publient sur quels sujets Coutry search : propose une mappemonde cliquable en guise d'interface qui permet de focaliser sur la production scientifique d'un pays. Saviez-vous qu'en France les domaines où l'on a publié le plus en 2006 sont : la médecine, la physique et l'astronomie puis la biochimie, la génétique et la biologie moléculaire? Moi non. Compare : est un outil qui permet ... de comparer la production scientifique de plusieurs pays (jusqu'à 4) ou Map Generator : replace les données d'un pays sur un diagramme et permet de choisir les indicateurs à croiser
Journal Indicators : permet d'obtenir des données concernant les citations d'un journal sur 8 ans. En gros cela répond à la question : où publier un article scientifique pour qu'il soit reconnu. Country indicators : permet de croiser différentes données pour savoir quels pays publient sur quels sujets Coutry search : propose une mappemonde cliquable en guise d'interface qui permet de focaliser sur la production scientifique d'un pays. Saviez-vous qu'en France les domaines où l'on a publié le plus en 2006 sont : la médecine, la physique et l'astronomie puis la biochimie, la génétique et la biologie moléculaire? Moi non. Compare : est un outil qui permet ... de comparer la production scientifique de plusieurs pays (jusqu'à 4) ou Map Generator : replace les données d'un pays sur un diagramme et permet de choisir les indicateurs à croiser