Doctorat sciences - Bibliométrie : le JCR et les modèles alternatives

Atelier 2 Formation IST Doctorants Partie 1 : La bibliométrie, outil d’évaluation de la rechercheDernière mise à jour : 24/10/2012

Plan De quoi parle-t-on? Le facteur d’impact Les modèles alternatifs au facteur d’impact Le h-index Du bon usage de la bibliométrie

1. De quoi parle-t-on?

« Do metrics matter ? »Alison Abbott , David Cyranoski , Nicola Jones , Brendan Maher , Quirin Schiermeier & RichardVan Noorden. Metrics : do metrics matter?, Nature, n° 465, p. 860-862 (2010). De quoi parle-t-on?

« Nier (l’) intérêt de la bibliométrie est à lafois injustifié et de toute façon inutile carelle continuera à être utilisée. Il paraît plusopportun d’en cerner les limites et d’enpréciser le bon usage. »Académie des Sciences. Du bon usage de la bibliométrie pourl’évaluation individuelle des chercheurs : rapport remis le 17janvier 2011 à Madame la Ministre de l’Enseignement Supérieuret de la Recherche. Paris, 2011 De quoi parle-t-on?

A quoi la bibliométrie sert-elle?Ex : à l’Inserm :https://www.eva2.inserm.fr/EVA/jsp/Bibliometrie/Doc/Indicateurs/Indicateurs_bibliometriques_Inserm.pdf ethttps://www.eva2.inserm.fr/EVA/jsp/Bibliometrie/Doc/Indicateurs/Lettre_Neurosciences_30_Dossier_Bibliometrie.pdf De quoi parle-t-on? Voir aussi : Présentation d’Yves Langevin

Trois niveaux d’évaluation•Evaluation des sources / des journaux•Évaluation des institutions•Evaluation des chercheurs De quoi parle-t-on?

Deux types d’évaluation•Qualitative•Quantitative•La bibliométrie est fondamentalement un outil d’évaluation quantitativeDe quoi parle-t-on?

Qu’est-ce que la bibliométrie ?• Elle se définit comme l’exploitation statistique des publications• Elle « procède du calcul de divers indicateurs à partir des bases de données bibliographiques couvrant la quasi-totalité de la littérature scientifique et de leurs citations dans la plupart des disciplines. »Du bon, usage de la bibliométrie pour l’évaluation individuelle deschercheurs : Rapport de l’Académie des Sciences, 17 janvier 2011 De quoi parle-t-on?

Principales bases de données sur lesquelles se fonde la bibliométrie Pour les institutions et les chercheurs : • le Web of Science : Thomson Reuters / 8300 titres • Scopus : Elsevier / 18500 titres Pour les sources / journaux : • le Journal Citation Reports, fondé sur le WoS • Scimago, utilisant les données de Scopus De quoi parle-t-on?

Exemples d’indicateurs permettant une évaluation quantitative• Nombre total d’articles publiés• Nombre de brevets• Nombres de contrats internationaux• Nombre de conférences invitées• Logiciels, pour les informaticiens… De quoi parle-t-on?

Mais la notion clé demeure la CITATION Une citation au sens du Web of Science est laréférence à : • une review • un research article • un article original • un éditorial • une lettre à la rédaction • une « News » • un résumé de congrès De quoi parle-t-on?

Une nécessaire mise en perspectiveCalculer le «nombre total de citations » :• Mesure certes l’impact des articles,contrairement au simple « nombre totald’articles » (décompte de productivité)• Mais l’effet cumulatif des années ne suffitpas à lui donner de sens en soi Nécessité de mettre en rapport nombrede citations et nombre d’articles :  facteur d’impact  indice HDe quoi parle-t-on? Exemple à partir du Essential Science Indicators

2. Le facteur d’impact

Le facteurfacteur d’impact Le d’impact

MODE DE CALCUL Nombre de citations reçues en 2010Impact factor par des articles publiés en 2009 et 2008année 2010 = Nombre d’articles « citables » publiés en 2009 et 2008 Exemple : Facteur d’impact de The Astrophysical Journal en 2010 = nb de citations reçues en 2010 par des articles publiés en 2009 et 2008 (29852) ------------------------------------------------------------------------ nb darticles citables publiés en 2009 et en 2008 (4924) Soit 29852 / 4924 = 6,063 Le facteur d’impact 2010 de cette revue est de 6,063 Le facteur d’impact

Impact FactorAnnéesprécédentes 2008 2009 2010 Temps Publications de 2010 Publications citées en 2010, publiées en 2008 et 2009 Schéma d’après Le facteur d’impact

OU TROUVER L’INFORMATION : Le Journal Citation ReportsLe JCR fait partie de l’abonnement de l’UPMC au Web ofKnowledge.3 modes d’accès :• Jubil > Ressources en ligne : les essentiels > Bases de données Le facteur d’impact

OU TROUVER L’INFORMATION : Le Journal Citation Reports• Accès contextuel depuis la liste A-Z et le menu du résolveur de liens SFX Ce service n’apparaît que si la revue a un facteur d’impact Le facteur d’impact

OU TROUVER L’INFORMATION : Le Journal Citation Reports• Accès depuis le Web of Science Accès contextuel depuis un résultat de recherche Le facteur d’impact

Le JCR : Données générales sur une revue Facteur d’impact Eigenfactor indice bibliométrique pondérant le nbre de citations par leJournal rank in categories prestige des revues dont ellesanalyse du classement d’une revue dans la (ou proviennent (cf. infra)les) catégorie(s) dont elle fait partie Le facteur d’impact

Le JCR : Rank in Category - Journal RankingPermet de situer une revue dans le contexte des catégories auxquelles elleappartient complété par le Box Plot Le facteur d’impact

Le JCR : Rank in Category - Box Plot Whiskers : valeurs max et min qui ne sont pas > 1.5 aux valeurs des 25% et 75%Le facteur d’impact

Le JCR : Données d’une catégorie de revues Le facteur d’impact

Le JCR : autres indicateursLiens de citations• Revue citéeidentifie les publications qui citent le plus souvent une revue donnée mettre en évidence un réseau de revues• Revue citanteidentifie les publications le plus souvent citée par une revue donnée mettre en évidence un réseau de revues• Revues connexesRelatedness (R) : analyse des liens de citation entre les revues pour déterminer des proximités sémantiques identifier les liens entre les revues Le facteur d’impact

Le JCR : autres indicateursCited Journal Data Les articles publiés en 2006 dans Astronomy & astrophysics ont été cités 534 fois en 2006 dans Astrophys J. Le facteur d’impact

Le JCR : autres indicateurs Citing Journal DataTitres cités 1 foisseulement Le facteur d’impact

Le JCR : autres indicateursRelated Journals Le facteur d’impact

Le JCR : autres indicateursCited Journal Graph : comment la revue est-elle citée? Demi-vie de citation Citations utilisées pour calculer le facteur d’impact Le facteur d’impact

Le JCR : autres indicateursCiting Journal Graph : comment la revue cite-t-elle? Demi-vie de citation Le facteur d’impact

Les limites du facteur d’impact« Like nuclear energy,the impact factor is amixed blessing. » Eugène Garfield, The agony and the ecstasy - The history and meaning of the journal impact factor Les limites du facteur d’impact

Avis de chercheursLes limites du facteur d’impact

D’importantes différences entre disciplines Antériorité des citations older than 10 years de plus de 10 ans % of cites : % d’articles 80.00% 70% 70.00% 60.00% 46% 45% 50.00% 42% 42% 39% 39% 43% 43% 40.00% 35% 29% 30.00% 20.00% 10.00% 0.00% ce e w y e ce s ics e g es m nc nc ic La in in en en no nc om ist er ic ie cie ci & ed ci at Sc ie ne tro lS on lS i. rS Sc St M Sc gi As ls Ec ta ra En te & ia fe en ou c. & pu er h & Li So nm at ics vi at s om & M es ha M ys ro s, al C sin Be itie vi & Ph ic En ed Bu ry an ist om & um m rth Bi he H Ea C Source : Springer Les limites du facteur d’impact

D’importantes différences entre disciplines Densité et temporalité des citations« En biologie moléculaire, il n’est pas rare qu’un article recueille 10 à 30 citationsen 2 ans, alors qu’une revue de premier rang en mathématiques n’en recevraque deux ». Manuel Durand-Barthez, L’évaluation des publications scientifiques :nouvelles approches, nouveaux enjeux, 2009 Source : http://www.eigenfactor.org/whyeigenfactor.php Les limites du facteur d’impact Voir aussi Essential Science Indicators

 Limites du mode de calcul délai de 2 ans du facteur d’impact critiquable, celui de 5 ans également NB : l’impact sur 2 ans reste l’indicateur de référence Importance des critères éditoriaux • Nombre de fascicules dans l’année • Nombre de pages et d’articles par n° • Type d’article : reviews sont citées 2 fois plus en moyenne Les limites du facteur d’impact

Danger de l’extrapolationLe facteur dimpact se rapporte à une revue et non àun article. Les articles dune revue à fort facteur dimpact nesont pas tous cités de manière identique« Les revues les plus prestigieuses, à facteur d’impacttrès élevé, contiennent un pourcentage significatifd’articles de qualité moyenne »Rapport de l’Académie des Sciences, op. cit., p.2Ex de Nature : en 2004, 25% des articles ont constitué 89% du FIDepuis 2008 + de 50% de ses articles ont reçu zéro ou 1 citation. Les limites du facteur d’impact

3. Les modèles alternatifs au facteur d’impact

Popularité versus prestige :émergence de la notion de pondération « (…) si une majorité de revues citantes est médiocre, c’est-à-dire ne bénéficie pas elle-même d’un taux de connectivité (citation)important de la part de revues dont la qualité est reconnue par unemajorité de chercheurs dans la circonscription d’un axe derecherche bien défini (…), ces revues médiocres entrent quand-même en ligne de compte pour le calcul du facteur d’impact. » Manuel Durand-Barthez, op. cit.Corrigé par de nouveaux indices, fondés notamment sur le Weighted PageRank utilisé par Google Les modèles alternatifs au facteur d’impact

L’algorithme du PageRank « fonde le statut d’une page web sur une combinaisondes liens qui pointent vers une page et sur le statut despages dont sont issus ces liens. En prenant en compte à lafois des facteurs de popularité et de prestige, Google a puéviter d’attribuer des rangs élevés à des pages webpopulaires mais par ailleurs non pertinentes. »Rodriguez M.A., Bollen J., Van de Sompel H., « Journal Status »,Scientometrics, vol. 69, n°3, 2006, p. 669, cité par M. Durand-Barthez, p.12 = Définition sur ce modèle d’un « Journal status » revues populaires // revues prestigieuses (Rodriguez et al., 2006) Les modèles alternatifs au facteur d’impact

Eigenfactor ou « facteur propre » Conçu par Carl T. Bergström, Université de Washington, 2007 S’appuie sur le corpus du JCR (Thomson Reuter) Prise en compte d’un « poids » des citations, lié à l’influence relative des revues dans la communauté scientifique Les auto-citations sont exclues du calcul Fondé sur les 5 années les plus récentes Les modèles alternatifs au facteur d’impact

Les indicateurs de l’Eigenfactor Eigenfactor Score= mesure de l’influence d’un journal pour la communautéscientifique - influence globale d’une revueSomme des Eingenfactor scores de toutes les revues du JCR = 100 Article Influence Score= mesure de l’influence moyenne de chaque article sur les 5dernières années - influence moyenne par articleArticle Influence Score moyen du JCR = 1 Cost effectiveness Score= prix/Eigenfactor scoreCost effectiveness score moyen = 1 Les modèles alternatifs au facteur d’impact

Eigenfactorhttp://www.eigenfactor.org Les modèles alternatifs au facteur d’impact

EigenfactorListe de résultats Les modèles alternatifs au facteur d’impact

EigenfactorDétail d’un résultat Les modèles alternatifs au facteur d’impact

Cartographie EigenfactorLes modèles alternatifs au facteur d’impact

Le SCImago Journal Rank S’appuie sur le corpus de Scopus (Elsevier) Couverture environ 3 fois supérieure au JCR : + de 18000 titres Calculs sur 2, 3 ou 4 ans Indicateurs et classement des revues mais aussi des pays Indice d’évaluation des revues fondé sur le principe de l’EigenfactorEn détail : http://www.scimagojr.com/SCImagoJournalRank.pdf Les modèles alternatifs au facteur d’impact

Scimago - Journal Indicators Paramètres de classementLes modèles alternatifs au facteur d’impact

Scimago - Journal Indicators : détail d’un titreLes modèles alternatifs au facteur d’impact

Scimago - Country Indicators Paramètres de classementLes modèles alternatifs au facteur d’impact

Scimago - Country Indicators : détail d’un pays Les modèles alternatifs au facteur d’impact

Scimago - Compare : revues Aide à la saisieLes modèles alternatifs au facteur d’impact

Scimago - Compare : revues Onglets : critères de comparaison Titres comparésLes modèles alternatifs au facteur d’impact

Scimago - Compare : pays Pays comparés Choix du domaine disciplinaireOnglets :critères decomparaison Les modèles alternatifs au facteur d’impact

4. Le h-index

DEFINITIONJorge E. Hirsch - 2005An index to quantify an individual’s scientific research output. Proceedings of the National Academyof Sciences, 102(46), 16569-16572.[en ligne sur : http://www.pnas.org] Le facteur de Hirsh ou « h-index » permet de calculer une moyenne faisant coïncider nombre de publications et nombre de citations Un chercheur ayant publié 2 articles cité au moins 2 fois a un indice H de 2. Un chercheur ayant publié 150 articles parmi lesquels 82 ont été cité au moins 82 fois a un indice H de 82. Un chercheur ayant publié 35 articles ne peut pas avoir un indice H supérieur à 35. Le h-index

Source : MARNETT, Alan, « H-Index: What It Is and How to Find Yours », BenchFly, 2010, [Enligne : http://www.benchfly.com/blog/h-index-what-it-is-and-how-to-find-yours/]. Consultéle 29 février 2012.Le h-index fait partie des Critères d’identification des chercheurs et enseignants-chercheurs « publiants » de l’AERES (agence d’évaluation, 2008) Le h-index

Lecture de l’indice H dans le WOSA partir d’une liste de résultats (< 10 000 résultats) Le h-index

Lecture de l’indice H dans le WOS La limite qui permet de déterminer l’indiceLe h-index H apparaît dans la liste des résultats

Les limites du h-indexSource : Flickr- auteur :fragmented

L’intérêt principal de l’indice H est de mesurer l’impact d’un chercheur et non d’un article ou une revueCependant, il suppose : • une ancienneté de carrière la comparaison de l’indice H n’a de sens qu’en tenant compte de la « séniorité » des chercheurs concernés, car il augmente avec l’âge. « De jeunes chercheurs au talent exceptionnel devront attendre un cumul que des aînés peut-être moins brillants auront acquis au fil du temps ». M. Durand-Barthez, op.cit., p. 9 • un grand nombre de publications, générant un grand nombre de citations  lien avec l’âge mais aussi la discipline du chercheur Les limites du h-index

 Les différences de pratiques entre disciplines sont peu prises en compte :la comparaison d’indices H n’a de sens que dans un même domaine Les contributions exactes des auteurs ne sont pas prises en compte : différences majeures entre disciplines (ordre alphabétique ou hiérarchie des contributions)pondérer l’indice H par un facteur reflétant le nombre moyen de co-auteurs et le rôle de chacun ? Les limites du h-index

ILLUSTRATIONS Biologie / Sciences du vivant : entre 5 et 10 signataires,parfois plus • Étudiant ou post-doc qui a fait la manip : 1er signataire • Personne qui lui est la plus proche : 2e signataire • Directeur de thèse : dernier signataire • En remontant : directeur du groupe, directeur du labo etc.  validité des indicateurs pour les signataires « du milieu » ?  confusion entre « auteur » et « collaborateur » ? Géosciences : en général moins de 10 auteurs et encoreassez souvent moins de 5. Ordre en général lié à l’importancedécroissante des contributions. De plus en plus fréquemmentmention des ingénieurs de recherche comme co-auteurs Mathématiques : plus de la moitié des articles n’ont qu’unseul auteur Les limites du h-index

L’indice GL’indice H ne permet pas de faire la différence entre articles très au-dessus ou très au-dessous de l’indice moyen : il ne valorise pas les travaux à très gros impact et/ou à impact durable, « gelés » par l’indice H Création par Léo Egghe de l’indice G, en 2006, afin de « distinguer l’excellence dans la productivité » (Rapport de l’Académie des Sciences) Un chercheur aura un facteur G de 83 si ses 83 articles les plus cités totalisent au moins 6889 citations, c’est-à- dire G au carréIndice encore peu connu et encore peu utilisé. Les limites du h-index

5. Du bon usage de la bibliométrie

Limites de la notion de citation Part réelle de chaque co-auteur difficile à évaluer Tous les articles d’un auteur ne sont pas significatifsEtudier les 5, 10, 20 meilleurs publicationssélectionnées par le chercheur lui-même ? Références parfois choisies par opportunisme= on privilégie articles parus dans revues de notoriétéimportante pour « bonifier » son propre article= citations de la revue dans à laquelle on publie Du bon usage de la bibliométrie

Limites de la notion de citation Biais créés par les auto-citations, citations de collègues en vue ou avec lesquels une collaboration est en cours, non-citation de collègues concurrents Articles non-cités parce qu’ils sont des quasi- classiques ou parce qu’ils sont très originaux. « En tout état de cause, la bibliométrie ne mesure pas la qualité d’un chercheur mais seulement ses citations, sans préjuger des raisons qui l’ont amené à être cité. »Du bon, usage de la bibliométrie pour l’évaluation individuelle des chercheurs : Rapportde l’Académie des Sciences, 17 janvier 2011 Du bon usage de la bibliométrie

Quels indicateurs pour quels usages? Veiller à ce que les indicateurs utilisés soient modulés en fonction des situations… :recrutement, promotion, distinction… et accompagné d’un examen des données bibliographiques,et surtout des articles eux-mêmes Nécessité de promouvoir des alternatives de type qualitatif • Favoriser une évaluation qualitative coopérative du type ArXiv ou F1000 • Promouvoir et utiliser d’autres critères : innovation, applications industrielles, création d’école de pensée, etc. Du bon usage de la bibliométrie

Exemple de Faculty of 1000F1000 Article factor - http://f1000.com/  Domaines : biologie et médecine  Facultés : 44 facultés supervisées par Heads of Faculty  Sections : par spécialités  Experts nommés par leurs pairs  Sélection et évaluation de 1500 articles par mois environ (soit environ 2% de la production)  Signalement régulier de Hidden Jewels = articles issus de revues très spécialisées Du bon usage de la bibliométrie

Exemple de Faculty of 1000Calcul du F1000 Article factor FFa = note la + haute, si autres commentaires augmentation du FFa par incrémentation Du bon usage de la bibliométrie

Exemple de Faculty of 1000Evaluations FFa aperçu de l’évaluation type d’articleDu bon usage de la bibliométrie

Exemple de Faculty of 1000Reports Journaux gratuits dans lesquels sont publiés des rapports rédigés par les experts de F1000, sur des thèmes émergents Du bon usage de la bibliométrie

Altmetrics http://impactstory.org : agrégateur d’altmetrics http://www.peerevaluation.org : établir unecommunauté des pairs et développer desindicateurs qualitatifs et non quantitatifs PlosOne Du bon usage de la bibliométrie

L’évaluation bibliométrique : pour aller plus loin http://www.jubil.upmc.fr/fr/bibliometrie.html Du bon usage de la bibliométrie

http://www.netvibes.com	224
http://51y6lc.widget.uwa.netvibes.com	3
http://www.slideshare.net	2
http://51y6jl.widget.uwa.netvibes.com	2
http://51y6qi.widget.uwa.netvibes.com	1
http://51y6ty.widget.uwa.netvibes.com	1
http://51y6vo.widget.uwa.netvibes.com	1
http://51y6xe.widget.uwa.netvibes.com	1

Doctorat sciences - Bibliométrie : le JCR et les modèles alternatives

by Frédérique Flamerie

Accessibility

Categories

Upload Details

Usage Rights

8 Embeds 235

Statistics

Doctorat sciences - Bibliométrie : le JCR et les modèles alternatives Presentation Transcript