Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

1,213 views

Published on

Aspects techniques et institutionnels de l'évaluation bibliométrique des organismes de recherche.

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,213
On SlideShare
0
From Embeds
0
Number of Embeds
11
Actions
Shares
0
Downloads
6
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

  1. 1. Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation L’évaluation des établissements et des politiques documentaires à l’heure de la bibliométrie MEDIADIX - URFIST Saint-Cloud 13 avril 2010 Manuel Durand-Barthez - URFIST Paris
  2. 2. Principes fondamentaux Contexte législatif français : la LOLF Sous-ensemble Enseignement supérieur & Recherche : le programme P 150 Référentiels internationaux : classements de Shanghai, de Leyde, du Times QS/THE, le PRSP de Taïwan…
  3. 3. La cible des indicateurs Capacités de financement Infrastructure Potentiel humain:  Enseignants () chercheurs  Etudiants, dont doctorants  BIATOS Employabilité des étudiants sortants Quotité enseignement / recherche ; etc…
  4. 4. L’enjeu des publications Item visible Article scientifique : indicateur privilégié (format, périodicité) Evaluation rapide via la citation
  5. 5. L’OST: un acteur, des référentiels G.I.P. à couverture interministérielle dans le domaine de la Recherche Fournit des informations notamment dans trois domaines liés au P150 de la LOLF:  Publications scientifiques  Brevets  Programmes PCRD
  6. 6. Des domaines privilégiés Sciences de la matière Sciences de la nature et de la vie « La base de données source est le Web of Science® de Thomson Reuters qui fait référence pour la bibliométrie dans les domaines des sciences de la matière et de la vie. » Méthodologie IPERU, Chap.II.1
  7. 7. Le W.O.S. : 3 bases 6650 titres6650 titres en Sciences Technologie Médecine Base Science Citation Index 1950 titres1950 titres en Sciences sociales Base Social Science Citation Index 1150 titres1150 titres en Sciences humaines Base Arts & Humanities Citation Index
  8. 8. EVALUATION DES SOURCES (Titres des revues) JOURNAL CITATION REPORTJOURNAL CITATION REPORT (J.C.R.)(J.C.R.) Tableau statistique annuel paraît au Printemps de l’année « n+1 » 2008: > 6500 titres analysés en STM ≈ 2000 en Sci. sociales
  9. 9. Journal: EMBO J Impact Factor: 8.295 Cites in 2008 to articles published in: 2007 = 3309 2006 = 4494 07+06 = 8303 Number of articles published in: 2007 = 454 2006 = 547 07+06 = 1001 Calculation: Cites to recent articles 8303 ------------------------------ = ---------- = 8.295 Number of recent articles 1001
  10. 10. Bilan critique Modèle anglo-saxon privilégiant la recherche appliquée Citations quantifiées  sans nuances, sur une « première couronne »  sans tenir compte des différences de pratique dans chaque discipline Absence flagrante des Sciences humaines
  11. 11. Problématique des SHS Sciences sociales relativement bien couvertes dans le SSCI:  Economie (209 titres)  Sc. Educ. (113 titres)  Droit (104 titres)  Sociologie (100 titres)
  12. 12. Problématique des SHS La base AHCI (Arts & Humanities) du WOS est dépourvue de modules d’évaluation statistique Listes de l’AERES issues de l’ERIH European Reference Index for the Humanities. Présentent des carences (dénombrement + classement)
  13. 13. Les alternatives Aux BD de référence Au facteur d’impact des revues Au facteur H associé aux chercheurs A l’évaluation par les pairs
  14. 14. Les BD de référence Scopus Scholar Google DBLP (informatique) Journalbase (SHS = WOS + Scopus + ERIH + AERES) env. 10.000 titres sur 21.000 entrées (initiative CNRS/TGE Adonis - Michèle Dassa & Christine Kosmopoulos)
  15. 15. Facteurs d’impact Traçabilité des citations : par qui la publication citante est-elle citée ; par qui la publication citant la citée est-elle elle-même citée etc… Exécution itérative du PageRank de Google (méthode de la « marche aléatoire ») Définition de collèges invisibles Eigenfactor lié au J.C.R. (ISI) Scimago Journal Rank lié à Scopus (Elsevier)
  16. 16. Réseaux de co-citations Autre approche des collèges invisibles Citebase (S. Harnad et T. Brody, Univ. Southampton) lié au miroir britannique d’ArXiv CiteseerX (Pennsylvania State Univ.) domaines de l’informatique et des mathématiques appliquées
  17. 17. Facteur H
  18. 18. Variantes du Facteur « H » Facteur « G » de Leo Egghe (Univ. Anvers) Nombre « g » d'articles dont la somme desNombre « g » d'articles dont la somme des nombres de citations est au moins « g2 »nombres de citations est au moins « g2 »  un « g-index » de 10 indique que l'auteur a écrit 10un « g-index » de 10 indique que l'auteur a écrit 10 papiers dont la somme des citations est au moinspapiers dont la somme des citations est au moins de 100de 100 Il est censé remédier au « gel » desIl est censé remédier au « gel » des publications captées au-dessus de l’indice Hpublications captées au-dessus de l’indice H en tenant compte du nombreen tenant compte du nombre exceptionnellement élevé de citationsexceptionnellement élevé de citations générées par quelques-unes d’entre ellesgénérées par quelques-unes d’entre elles
  19. 19. Variantes du Facteur « H » Multiples facteurs dérivés sous l’application Publish or Perish de Will Harzing, liée à Scholar Google, tenant compte de:  L’ancienneté de l’article  Le nombre d’auteurs  6 combinaisons résultent de l’intersection de ces deux paramètres
  20. 20. Evaluations alternatives qualitatives A l’origine sur les preprints d’ArXiv Sur l’article, dans la revue même, type Open Access : European Geological Union Sur des articles publiés dans diverses revues, par des collèges thématiques: Faculty of 1000 liée à l’éditeur BioMed Central
  21. 21. Rapporter l’évaluation GRAAL (Universités) SIGAPS (C.H.U. et organismes assimilés de Santé) CRAC (Compte rendu annuel d’activité des chercheurs du CNR) restructuré en BD RIBAC (Recueil d’informations pour un observatoire des activités des chercheurs)
  22. 22. Rapporter l’évaluation CNRS : rapport d’activité à 2 et à 4 ans Fiches UR3 (fiches individuelles d’activité enseignant-chercheur ou chercheur concernant les 4 dernières années) Fiches AERES Contrats quadriennaux Contrats d’objectifs
  23. 23. Acteurs de l’évaluation: fonction (1) Type de tâche effectuée  Repérage  Adressage  Patronymes  Comptage  Indices & facteurs  Impact des revues où publié  Facteur H
  24. 24. Acteurs de l’évaluation: fonction (2) Restitution  Avalisée directement (instance centrale)  Débattue en conseil Taux d’occupation  Unique  supplémentaire
  25. 25. Acteurs de l’évaluation: statut Corps des Bibliothèques Ingénieur Administratif Enseignant-chercheur Chercheur « Autre »…?
  26. 26. Acteurs de l’évaluation Formation à la tâche Empirique (« tas »…) Stage court Spécialisée
  27. 27. Acteurs de l’évaluation: évolution des méthodes Opportunité de travaux coopératifs Mutualisation des expériences (groupes de travail associant les catégories professionnelles et les domaines disciplinaires) Appels de l’OST à enrichir et faire évoluer ses bases et modèles Exemple de la coopérative EREFIN (une vingtaine d’organismes coparticipants, dont l’OST)
  28. 28. Conclusion 1 Soutenir et faire évoluer les professionnels de l’information- documentation Le cas échant, impliquer les SCD pour mieux les intégrer à l’environnement universitaire, lorsque la situation s’y prête
  29. 29. Conclusion 2 Moduler, nuancer, faire évoluer les indicateurs dans le sens d’une caractérisation optimale des entités Compter, certes oui, mais pourquoi, à quelle fin ?
  30. 30. Conclusion 3 Vers un document « unique » (…?!) pour l’évaluation ?

×