• Save
Eval oct2012-mini
Upcoming SlideShare
Loading in...5
×
 

Eval oct2012-mini

on

  • 665 views

 

Statistics

Views

Total Views
665
Views on SlideShare
665
Embed Views
0

Actions

Likes
0
Downloads
0
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment
  • Le facteur d’impact est calculé en effectuant la division du nombre de citations durant l’année de JCR (dans ce cas l’année 2004) d’articles publiés au cours des deux années precedentes, (2002 et 2003) par le nombre total d’articles publiés au cours de ces deux années precedentes. (*) Dans le cas de la revue Pediatrics, en 2004, les articles publiés en 2002 ont été cités 846 fois et ceux publiés en 2003 furent cités 784 fois, ce qui nous donne un total de 1630 citations. (*) La revue Pediatrics publia 255 articles en 2002 et 268 en 2003 ce qui nous donne un total de 523 articles. (*) Pour calculer le facteur d’impact nous divisons le nombre de citations par le nombre d’articles. Ici 1630 divisé par 523 nous donne un impact factor de 3.117. Ceci veut par consequent dire qu’en moyenne, un article publié en 2002 ou 2003 dans la revue Pediatrics a été cité 3.117 fois en 2004.
  • Que reproche-t-on au Peer-reviewing ?  les experts sont anonymes ce qui favorise leur désengagement : ils s'y mettent au dernier moment, ils ne respectent pas forcément la "checklist" d'évaluation (quand elle existe)  les femmes acceptent trois fois plus de manuscrits que les hommes et/mais les femmes sont nettement minoritaires dans les comités d'évaluation  les pairs en question sont souvent moins "experts" sur le sujet que l'auteur de l'article  des logiques de carrière, institutionnelles et personnelles sont souvent présentes, les auteurs "seniors" ayant ainsi parfois tendance à sous-évaluer le travail de jeunes équipes ou auteurs au profit d'autres seniors (et je ne vous parle même pas des mesquineries et autres animosités personnelles qui - comme dans tout groupe humain - se font évidemment jour, tant il est vrai que "l'anonymat" des articles évalués n'empêche souvent en rien d'identifier leur auteur.)  le processus d'évaluation est looooooong, très long (entre 6 mois et 2 ans, parfois plus)  il est également coûteux (frais d'édition, de secrétariat, etc ...)  il ne joue pas son rôle de filtre (la plupart des articles refusés finissent par être publiés par d'autres revues, et pas nécessairement moins "prestigieuses")  il est inefficace qualitativement (on a ainsi montré que les "experts" étaient le plus souvent incapables de repérer les erreurs volontairement introduites dans des articles bidonnés pour les besoins du test)

Eval oct2012-mini Eval oct2012-mini Presentation Transcript

  • Contexte de la productionet de l’évaluation scientifique Gabriel Gallezot 2012
  • Plan• Usage de l’IST par les chercheurs• La communication Scientifique• L’évaluation scientifique• … appropriation « du numérique » et indicateurs émergents
  • Bases Bibliographiques Usage de l’information Banques de données Rechercher: IR/épistémè Revues, ouvrages Colloques Archives Ouvertes Editeurs, agrégateurs Site web, page perso, blog Liste de discussion Bibliothèques …Les ressources Types de Formats de Modalités d’accès documents documents aux documents
  • Communication Scientifique (schéma dia suivante)• un processus au cœur de la recherche• le chemin "traditionnel" quemprunte lIST• Montre les types de doc et les statuts des docSchéma bouleversé par • l’accès réseaux • prod. numérique • les entrepôts numériques--> en terme rapidité et spectre documentaire
  • Communication scientifique modèle 70’Source : Julie M. HurdJASIST 51(14), 2000 Lien vers 2020
  • Ex. « Code documentaire » pour l’évaluationACL : Articles dans des revues internationales ou nationales avec comité delecture répertoriés dans les bases de données internationalesACLN : Articles dans des revues avec comité de lecture non répertoriés dans desbases de données internationales.ASCL : Articles dans des revues sans comité de lecture,INV : Conférences invité.ACT : Communications avec actes dans un congrès international ou nationalCOM : Communications sans actes dans un congrès international ou nationalAFF : Communications par affiche dans un congrès international ou nationalOS : Ouvrages scientifiques (ou chapitres de ces ouvrages)OV : Ouvrages de vulgarisation (ou chapitres de ces ouvrages)DO : Directions d’ouvragesAP : Autres publicationsTH : Thèses soutenuesValorisation et brevets : contrats de recherche, les partenariats industriels,..
  • Cycle de lédition Rapport GFII sur le libre accès, janvier 2009
  • Contexte de la recherche Cycle de l’information Communication scientifique (usage de l’information et (diffusion des résultats) production de résultats)Cycle de lédition(publication des résultats) Acteurs : Pairs La question de Editeurs l’évaluation institutions
  • La question de lévaluation
  • Evaluation pour la publication… Evaluation qualitative : a priori, le peer reviewing, …•Auto-évaluation•Collègues de labo (évaluation)•Direction de N° (guest éditor) ou d’ouvrage(sélection/évaluation)•Comité de rédaction (sélection)•Comité scientifique (évaluation)•Editeur (évaluation/correction)•Lecteur (évaluation)
  • … Publication pour l’évaluation Evaluation quantitative : a posteriori, la bibliométrie• À l’origine : Garfield et le Science Citation Index (SCI, 1961) de l’Institute for Scientific Information (ISI), puis JCR (1975)• Des référentiels : Wos OST, ERIH, JQL, liste AeRES, Scopus, …des bases (JournalBase), des listes…• Des mesures : Impact Factor, Classement de Shanghai, H index, Y index, G index, indicateurs OST, Leiden Facteurs• Des évaluations : AeRES, CNU, Université, …Et … d’autres formes d’évaluation et de mesures : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…voir les diapos suivantes
  • … Publication pour l’évaluation Evaluation quantitative : a posteriori, la bibliométrie• À l’origine : Garfield et le Science Citation Index (SCI, 1961) de l’Institute for Scientific Information (ISI), puis JCR (1975)• Des référentiels : Wos OST, ERIH, JQL, liste AeRES, Scopus, …des bases (JournalBase), des listes…• Des mesures : Impact Factor, Classement de Shanghai, H index, Y index, G index, indicateurs OST, Leiden Facteurs• Des évaluations : AeRES, CNU, Université, …Et … d’autres formes d’évaluation et de mesures : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…voir les diapos suivantes
  • Source : Ph. Laredo, LATTS.doc N°0 2003
  • Evaluer l’activité “recherche” ? Pourquoi ? : > le pilotage (DGES, Univ, …) : orientation de la prod sc., répartition bugétaire, recrutement, financement, prime, modulation de service... Comment ? : quels référentiels ? quels indicateurs ? Qui ? Quoi ? : les chercheurs, les établissements , les revues, les programmes, ... Par Qui ? : Ost, Aeres, Cnu, Univ... Un modèle prégnant : publication (article de revue) et valeur de cette publi. par la mesure des citations “reçues” par d’autres publications (bibliométrie) Un modèle dominant (STM) et quasi monopole de l’analyse et du référentiel (Thomson-reuter)
  • Quel(s) réfentiel(s) ?-> Examen des sources disponibles comme référentiel(s) possible(s) pour l’évaluation ... WoS (Thomson-reuter), Scopus (Elsevier), Google Scholar, ... et après ???http://wiki-urfist.unice.fr/wiki_urfist/index.php/Contexte_de_la_production_et_de_l%27%C3%A9valuation_Scientifique• Bases payantes : Wos (SCI, SSCI,AHCI), Scopus• Bases « invisibles » : interne institution, programme, ...• Bases « ouvertes » : Pubmed, Common Chemistry, ...• Moteurs de recherche : Scholar, Scirus, Scitopia, ...• AO & co : ArXiv, CiteSeer, institionnelle, revues.org, Cairn, Persée, HAL, Driver, Isidore, ...• Listes et références : Aeres, ERIH, JQL, ...F1000 JournalBase• Outils d’interfaçage / Mashup : Eigenfactor, Scimago, SCEAS, Authoratory, Scival, Bibapp...• Web : site labo, perso, programme, ...• Web2.0 : Connotea, CiteUllike,Zotero, mendeley ... Postegenomic, hypothèse, ...
  • Quelle(s) Mesure(s) ?...“... pour lessentiel, la quantification est utilisée commeindicateur de qualité »« La meilleure façon de pousser les classements vers le haut,cest de tuer les sciences humaines. »“ Il est largement accepté quune grande lacune desclassements, comme des différentes bases bibliométriques –tient à leur incapacité à traduire avec exactitude et demanière adaptée la manière dont les différentes disciplinesproduisent et diffusent les connaissances, et de plus enplus pour rendre compte des retombées au-delà du périmètreacadémique. » ExtraitsExemples de mesures : Rapport Unesco 2009,http://www.universityrankings.ch/fr/ Ellen Hazelkorn, RAPPORT OCCASIONNEL No. 15
  • … quelle(s) influences ?“... malgré leur durée de vie relativement courte, est qu’il existe déjà des fortes preuves que les classements ont déjà un effet profond sur la prise de décisions et les comportements dans le monde de la recherche Extrait ce qui entraînera des conséquences pour la structure des systèmes et Rapport Unesco 2009, l’organisation des institutions. » Ellen Hazelko rn, RAPPOR T OCCASIONNEL No. 15“ l’application forcée à l’enseignement supérieur de modalités de gouvernance, de gestion et de contrôle se revendiquant de l’industrie et du modèle R&D – où d’ailleurs elles sont loin d’avoir fait leurs preuves – s’avère totalement inadéquate pour favoriser la qualité du travail d’enseignement- recherche et assurer la prise en charge du rôle de l’université vis-à-vis de la société. »“ la mise en concurrence des équipes de recherche et le scorage de leur activité n’apportent aucune ressource pour la qualité des savoirs produits et Extrait met gravement en difficulté des collectifs dont le travail est Motion 71e section CNU Pour Les Aesr indispensable au développement des disciplines et au fonctionnement des universités. »“ Il convient de changer radicalement la proportion de temps et d’énergie consacrée à produire et transmettre des savoirs par rapport à celle vouée à justifier et évaluer pour permettre aux enseignants-chercheurs et aux équipes de se recentrer sur leurs missions fondamentales »
  • Les mesures
  • Rapport Unesco 2009,Exemples dindicateurs mondiaux (Etablissements) Ellen Hazelkorn, RAPPORTUne comparaison de ce que les différents classements mesurent OCCASIONNEL No. 15 PondérationSystème de classement IndicateursClassement Académique • Qualité de l’enseignement 10%des Universités Mondiales • Qualité des membres du corps professoral– SJT Nombre de Prix Nobel / Médailles Fields 20%« SHANGAI » Nombre de chercheurs les plus cités (« HiCi ») 20%(Cf dia suivante) • Production de la Recherche Nombre d’Articles dans « Nature/Science » 20% Nombre d’Articles dans le « Citation Index » 20% • Taille de l’Institution 10%Classement Mondial des • Évaluation par les Pairs 40%Universités de Times QS • Employabilité des Diplômés 10% • Qualité de l’enseignement / rapport élèves-enseignants 20%« THE- QS » • Étudiants Internationaux 5% • Personnel enseignant international 5% • Qualité de la Recherche / Citations par Faculté 20%Classement des • Productivité de la RecherchePerformances des Articles Nombre dArticles dans les 11 dernières années 10%Scientifiques pour Nombre dArticles dans l’année en cours. 10%Universités de Recherche • Impact de la Recherche Nombre de Citations dans les 11 dernières années 10%« Taiwan » Nombre de Citations dans les 2 dernières années 10% Nombre moyen de Citations dans les 11 dernières années 10% • Excellence de la Recherche Classement HiCi des 2 dernières années 20% Nombre d’articles HiCi dans les 10 dernières années 10% Nombre d’Articles dans des Revues à fort facteur d’impact 10% Nombre de disciplines dans lesquelles l’Université fait preuve d’Excellence 10%
  • « Shangai » - critères• La qualité de lenseignement (10% de lévaluation)Le critère « Alumni » : ce critère prend en compte le nombre de prix Nobel (hors littérature et paix) et de médailles Fields reçues par les anciens élèves ayant validé un bachelor, un master ou un doctorat (les distinctions les plus récentes valant plus de points).• La qualité de létablissement (40% de lévaluation)Le critère « Award » : ce critère est lié au nombre de prix Nobel (toujours hors littérature et paix) et de médailles Fields obtenus cette fois-ci par les chercheurs (une fois de plus le poids des chercheurs du début du siècle est moins important que les chercheurs en poste).Le critère « HiCi » : le deuxième élément utilisé pour mesurer la qualité de létablissement est le nombre de chercheurs les plus cités dans leurs disciplines.• Le volume de publications scientifiques (40% de lévaluation)Le critère « N&S » : ce critère classant prend en compte les articles publiés dans les revues scientifiques « Nature » et « Science »Le critère « PUB » : il comptabilise les articles indexés dans le « Science Citation Index », et le « Arts & Humanities Citation Index ».• La taille de létablissement (10% de lévaluation) Source :
  • Retour sur « Shanghai » sensibiliser le monde universitaire à son positionnement international (dynamique)200X : http://www.arwu.org/• Calculé sur les données du WoS qui présentent déjà de nombreux biais (notamment la langue, type de doc, qualité de la base, ...)• Pb multiples liés à l’affiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …)• Pb de nos univ dans la mondialisation: éparpillement , petites tailles, pluridisciplinaires, …
  • Classement Leiden http://www.leidenranking.com/Ce classement propose 2 types d indicateurs : Impact et collaborationImpact :Le score moyen de citation (MCS) . Le nombre moyen de citations des publications de luniversité.Le score moyen citation normalisée (MNCS) . Le nombre moyen de citations des publications dune université, compte tenu des différences sur le terrain, année de publication, et le type de document. Une valeur MNCS de 2, par exemple, signifie que les publications dune université ont été cités 2 fois supérieur à la moyenne mondiale.Proportion des « top » publications 10% (PP top 10% ) . La proportion des publications dune université qui, par rapport à dautres publications similaires, appartiennent à la tranche supérieure de 10% les plus fréquemment cités. (indicateur le plus stable)
  • Classement Leiden (suite) http://www.leidenranking.com/CollaborationProportion des publications de collaboration (PP collab ) . La proportion des publications dune université qui ont été co-écrit avec un ou plusieurs autres organisations.Proportion publications internationales de collaboration (PP int collab ) . La proportion des publications dune université qui ont été co-écrit par deux ou plusieurs pays.La distance moyenne collaboration géographique (MGCD) . La collaboration à distance géographique moyenne des publications dune universitéProportion des publications à longue distance de collaboration (PP > 1000 km ) . La proportion des publications dune université qui ont une distance géographique de la collaboration de plus de 1000 km.
  • OST (Observatoir des Sciences et techniques) [...] Incateurs pour la franceG. Filiatreau
  • Etablissement• Part de publications scientifiques s• Indice de spécialisation scientifique• Part de citations Les 8 indicateurs• Indice d’impact relatif• Indice d’impact espéré de l’OST• Ratio de citations relatif• Indice d’activité par classe de citations• Part d’articles en co-publicationEx. IPERU : Programme 150 de la LOLF « formations supérieurs et recherches universitaireIndicateurs « part mondiale de publications » et « indices d’impact à 2 ans »par discipline, pour les sciences de la matière et sciences de la nature et de la vie Chiffre de 2008 Source :
  • Types dindicateurs Nationaux pour l’évaluation de la recherche Indicateurs utilisés pour évaluer la recherche Système de classement (pays) Total des financements (somme d’argent) Slovaquie Financements par université (somme d’argent) Autriche, Allemagne, Italie Financements par université (nombre absolu) Italie Projets de recherche financés par l’Union Européen Italie (UE) Nombre de publications Suède Publications par chercheur Allemagne, Slovaquie, Suisse Citations par université Royaume-Uni Extrait Rapport Unesco 2009, Ellen Hazelkorn, RAPPORT Citations par publication Allemagne, Slovaquie, Suisse OCCASIONNEL No. 15
  • Revues Facteur d’impact • ISI calcule le facteur d’impact d’une revue de la façon suivante: Le nombre total de citations faites en 2004 d’articles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total d’articles publiés au cours des deux années précédentesCitations en 2004 d’éléments publiés en 2002 et 2003 1630 = 3.117 Nombre total d’articles publiés en 2002 et 2003 523Source : ISI thomson
  • • H index : Jorge E. Hirsch (2005) www.pnas.org/cgi/doi/10.1073/pnas.0507655102. Relation entre un nombre total de h index publications et leurs citations > coïncidence approximative entre et un nombre équivalent de publications et de citations. variantesEx : h index = 10 => environ 10 publications citées au moins 10 fois• G index : Egghe, Leo (2006) http://dx.doi.org/10.1007%2Fs11192-006-0144-7 : un g- index de 10 => 10 papiers dont la somme des citations est au moins de 100• A- index, H-b index , scHolar index, …• Démo avec POP ou ScholarIndex ou Tenurometer ou google citation http://insitu.lri.fr/~roussel/projects/scholarindex/ CHERCHEUR http://scholarometer.indiana.edu/
  • ISIHighlyCited.com« …an expert gateway to the most highly influential scientists and scholars worldwide » http://isihighlycited.com/ « ISIHighlyCited.com highlights the top 250 preeminent individual researchers in each of 21 subject categories who have demonstrated great influence in their field as measured by citations to their work » CHERCHEUR
  • Exemple de H-index pour un auteur Pouyssegur J* ( ISIHighlyCited pour lUNS ) Scholarometer – Google scolar Scopus WOK
  • facteur y• tient compte de la distinction entre les deux notions de « popularité » et de « prestige ». C’est le produit de « ISI IF and Weighted PageRank »
  • Retraction indexNouvel indicateur le « retraction index » : Fang, Ferric C., et Arturo Casadevall. 2011. « Retracted Science and the Retraction Index ». Infection and Immunity 79(10): 3855-3859. Correlation entre LIF et le retractation index Voir le blog http://retractionwatch.wordpress.com/ sur les articles « retirés »
  • La fraude « annoncée » de plus en plus importe : Fang, Ferric C., R. Grant Steen, et Arturo Casadevall. 2012. « Misconduct accounts for the majority of retracted scientific publications ». Proceedings of the National Academy of Sciences. Et Pierre Barthélémy, « passeurdesciences » http://passeurdesciences.blog.lemonde.fr/2012/10/03/la-fraude-scientifique-est-plus-repandue-recherche/Voir : loutil http://dejavu.vbi.vt.edu/dejavu/ pour les articles similaires. " laugmentation des rétractions et des manquements à léthique peut résulter, au moins en partie, du système de la science au résultat, basé sur la logique économique de la prime au vainqueur, qui confère au premier des récompenses disproportionnées, sous la forme de subventions, de postes et de prix, à une période où le financement de la recherche se restreint ".
  • Les instances dévaluation
  • Êtes-vous « publiant » ? selon l’AERES (doc 2007) http://wiki-urfist.unice.fr/wiki_urfist/images/7/7d/Criteres_Identification_Publiants.pdfL’activité d’une unité de recherche fait l’objet d’une appréciation qualitative, fondée principalement sur l’évaluation par les pairs, complétée par un certain nombre d’indicateurs aussi objectifs que possible. A l’estimation globale de la qualité de la production scientifique et du rayonnement d’un laboratoire, s’ajoute la prise en considération de l’organisation et de la répartition des travaux entre ses membres. L’un des indicateurs est une estimation de la proportion des chercheurs et enseignants-chercheurs "publiants". Production Scientifique de rang A pour 4 ans Scu Liste revues AeRES : http://www.aeres-evaluation.fr/Publications/Methodologie-de-l-evaluation/Listes-de-revues-SHS-sciences-humaines-et-sociales Peut-être de nouveaux critères ?, selon les recommandations de l’Academie des Sciences au MESR
  • Est considéré comme une production scientifique de rang A pour l’AeRES :• une publication dans une revue internationale avec comité de lecture (ou une revue considérée comme de très bon niveau par la communauté dans certaines disciplines),• un chapitre douvrage ou un ouvrage de recherche reconnu internationalement (ou de portée nationale en SHS),• pour le secteur STIC ou SHS, un article long dans un congrès international à comité de sélection considéré comme sélectif par la communauté,• pour le secteur SHS, la constitution de bases de données accessibles ou de corpus de référence, les éditions critiques• un brevet déposé à linternational.Il est clair que la participation à des colloques est un indice de lactivité scientifique mais la très grande variabilité qualitative de lévaluation des actes des colloques ne permet pas de les retenir comme élément pertinent dappréciation.
  • Evaluation Labo par l’AERES (4 volets de la notation)• Qualité scientifique et production (qualité et quantité des publis)• Rayonnement et attractivité, intégration dans lenvironnement (relations internationales, contrats nationaux, prix, ...)• Stratégie, gouvernance et vie du laboratoire (implication dans l’univ, politique de recrutement, ...• Appréciation du projet (analyse du « quadriennal »)
  • CNUVoir site CP- CNU : http://www.cpcnu.fr/qualification et… recommandation de chaque section : http://www.cpcnu.fr/sectionsCnu.htm
  • Les études et rapports sur dévaluation
  • Principales Recommandations pourL’évaluation individuelle des chercheurs et des enseignants-chercheurs en sciences exactes et expérimentales (Rapport Academie des Sciences du 8 juillet 2009 au MESR)Pour une déontologie incontestable1 -Assurer la qualité des évaluateurs à partir de pré-requis définis par lAERES2 -Imposer une déclaration obligatoire des conflits dintérêt directs et indirects, signée par les évaluateurs, et remplacement au sein du comité si nécessaire3 -Limiter la durée des mandats à trois ans avec rotation annuelle par tiers pour dissocier les lobbiesÉvaluation de l’activité de recherche4 -Réaffirmer la valeur primordiale de lévaluation directe des travaux scientifiques à partir des publications originales et éventuellement d’auditions
  • ...suite5 -Encadrer la bibliométrie en sassurant qu’elle soit utilisée de façon rigoureuse, en évitant tous les biais trop souvent négligés, en adaptant les indicateurs selon les disciplines, et en l’intégrant à l’évaluation qualitative. Encourager le développement d’une recherche critique de nouveaux indicateurs6 -Donner la place quelle mérite à la recherche appliquée pour ceux qui sy consacrent7 -Prendre en considération les critères objectifs de notoriété scientifique nationale et internationaleÉvaluation de l’activité d’enseignement8 -Etablir une grille dévaluation de lenseignement en donnant une large place à l’appréciation des étudiants9 -Intégrer des critères objectifs tels que le contenu et l’originalité de l’enseignement ou la production d’ouvrages pédagogiquesÉvaluation des charges d’intérêt collectif10 -Prendre en compte les charges d’intérêt collectif, plus particulièrement celles impliquant des responsabilités importantes
  • ...suiteAutres mesures importantes11 -Réduire le nombre des évaluations au strict nécessaire, en distinguant les évaluations approfondies (recrutements et autres étapes-clés de la carrière), des évaluations de suivi12 -Procéder aux recrutements en deux étapes : admissibilité sur dossier, admission après audition et examen approfondis13 -Toute évaluation ne doit être entreprise que si elle peut conduire à des conséquences significatives pour l’intéressé. Créer des structures de ressources humaines en vue d’une aide à une évolution de la carrière des personnels en difficulté14 -Bien mettre en perspective le rôle de l’évaluation nationale (essentielle pour l’activité de recherche) et de l’évaluation locale (la mieux placée pour l’évaluation de l’enseignement et celle des charges d’intérêt collectif) en veillant néanmoins à ce que les structures locales d’évaluation incluent un pourcentage suffisant d’experts extérieurs.
  • Rapport Académie des Sciences 17 janvier 2011DU BON USAGE DE LA BIBLIOMETRIE POUR LÉVALUATION INDIVIDUELLE DES CHERCHEURS « L’évaluation individuelle des chercheurs reste très subjective et soumise à de nombreux biais potentiels. L’Académie a souhaité se pencher sur les pratiques bibliométriques quantitatives censées être plus objectives, et émettre un certain nombre de recommandations sur l’usage de la bibliométrie qui pourrait, moyennant le respect de règles rigoureuses, aider à l’évaluation qualitative. Ces règles devraient être reconnues à un niveau au moins européen. Le problème est d’autant moins simple que l’évaluation bibliométrique fait débat, avec des avis souvent tranchés pour ou contre son utilisation, dépendant en grande partie, mais pas seulement, des disciplines. » Voir aperçu du rapoort en PDF -> les quelques points surlignés
  • Rapport de L’Inria 2007Les indicateurs sont des instruments de mesure importants mais qui doivent être utilisés de manière éclairée en respectant des règles de base :• Les indicateurs actuels sont essentiellement des facteurs dimpact ce qui nest pas synonyme de qualité.• Il faut simplement sattacher aux ordres de grandeur des indicateurs car même lutilisation de sources diverses ne permet pas dobtenir une grande précision.• Il est nécessaire de corriger les indicateurs par lavis dexperts.• Il est nécessaire dutiliser plusieurs indicateurs.• Il est nécessaire de recouper des sources diverses pour obtenir une information pertinente.
  • JournalBase http://journalbase.cnrs.fr/ Une étude et un futur référentiel ? http://www.cybergeo.eu/index22864.html• 5 bases sont étudiées. Les bases SSCI (2012 revues) et AHCI (1166 revues) du WOS (Thomson-reuter) comportent (en 2009) quelques 3178 revues, quand Scopus, base d’Elsevier en recense 6200, l’ERIH liste 5200 titres, et l’AERES en dénombre 6000.• journalbase, résultats de la concordance et de la curation des 5 bases, recense 9551 revues différentes en SHS• ... La suite sur : http://urfistinfo.hypotheses.org/1414
  • (re)penser lévaluation
  • Appropriation du « numérique »(re)penserle cycle de l’infola communication scientifiquel’évaluation de la recherche
  • Source : JimGray, 4thParadigm, 2009 Escience• Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès)• Data deluge – Big data – Open data – data curation• Gain de productivité ? (bouclage rapide du cycle)• Gain de créativité ? (tertiarisation documentaire)
  • Production scientifique et compartimentation des savoirs ...vers l’interdisplinarité • Spécialisation de la R • Évaluation de la R => accroissement de la Pub. Sc. (données, textes, revues, etc) Il faut :  Mieux connecter  Mieux partager  Ouvrir le spectre documentaire  La KDDD’après Swanson (1986)
  • Communication scientifique modèle 2020 Source : Julie M. Hurd JASIST 51(14), 2000
  • Une histoire de la communication scientifique [ dispositif de publication renouvelé ] r eu at in rd -o ro ic mA partir de  : GUÉDON, J. (2001). In Oldenburgs Long Shadow : Librarians, Research Scientists, Publishers, and the Control ofScientific Publishing. In Creating the Digital Future : Association of Research Libraries,138th Annual Meeting, Toronto, Ontario(Canada), May 23-25, 2001.
  • Indicateurs émergents ? IF, Shanghai, h index et quoi d’autre ?> Des spécificités pour les domaines Sc.Par ex. SHS :  Importance Revues/Ouvrages ?  Internationnalisation des disciplines ?> Des pistes (les dia. suivantes) :• Système d’information (SI) local• Interfaçage / Mashup• visibilité internationale des références “hors marché de l’information” : le “scholar web” (AO, outils spécialisés,…)
  • SI local ?• Système d’Information (SI) local (global ?)  imposé par la LOLF (indicateurs d’activités)• Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL)• Ex. sur l’INRA : ProdInra• Connexions des entrepôts d’informations nationaux et locaux (AO institutionelles notamment) Pour l’univ : ses propres indicateurs au regard de ceux proposés par Ost - IPERU Toutes les refs peuvent êtres prises en considération (autre référentiel)Interopérabilité des SI : constitution de BdD disciplinaires en France, connectivité avec d’autres BdD (HAL, …) (Cf ds les dia suivantes- IRRA/RAE en Uk)
  • Interfaçage / Mashup>> des outils de croissement de référentiels, pour mesures ou visualisation différentes.• SCEAS System http://sceas.csd.auth.gr/ (DBLP)• *SCImago : http://www.scimagojr.com (Scopus - Elsevier)• *Eigenfactor : http://www.eigenfactor.org/index.php (JCR)• Authoratory : http://www.authoratory.com/ (Pubmed)• Scival : http://www.scival.com/ (Elsevier) (voir .flv)• ...
  • Le « scholar web » “ISI” factor vs. “web” factor• Référencement établi vs. visibilité• usage/accès aux BdD commerciales vs. usage/accès généralisé/libre• Evaluation maîtrisée par une méthode et une entreprise vs. une multitude d’évaluations, méthodes, projets, ...• Publier autrement , relation Open access - evaluation (voir enquête DOAJ->JCR (SNIP scimago http://wowter.net/2011/01/06/the-impact-factor-of-open-access-journals/ => env. 10% des revues) Déjà à l’œuvre : CiteBase, Citeseer, Scholar google, webometric, clickstream, F1000, enquête… (dia suivante) De l’Open Peer Review au Peer commentary : de la levée de l’anonymat des pairs évaluateurs aux commentaires de la communautés (avant, après, à la place)
  • Autres indicateurs• Citebase, 1999, rapport téléchargements/citations http://www.citebase.org/• Citeseer, Associations des refs, commentaires et votes http://citeseer.ist.psu.edu• F1000, 2002, « groupes qualités » http://www.f1000biology.com/home/• IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories : http://irra.eprints.org/white/• Google citation, http://scholar.google.com/• FiveStars pour une revue http://www.dlib.org/dlib/january12/shotton/01shotton.html• Ranking web (2006 - CSIC) http://www.webometrics.info/• principe du Clickstream (cf. dia suivante)
  • Clickstream
  • Altmetrics « In growing numbers, scholars are moving their everyday work to the web. Online reference managers Zotero and Mendeley each claim to store over 40 millionhttp://altmetrics.org/manifesto/ articles (making them substantially larger than PubMed); as many as a third of scholars are on Twitter, and a growing number tend scholarly blogs » Une mesure de limpact de la production scientique : - pas seulement le texte complet mais aussi des « bouts » de texte - accompagne les autres métriques - ex : http://readermeter.org , plos-one, utopia (dia suivantes)
  • Utopia – document augmenté Altmetrics
  • Bookmarklet AltmetricSur http://www.altmetric.com/
  • Nouveaux modes d’évaluation En guise de la recherche ? de conclusionUn nouveau modèle de la publication Scientifique entraînera de nouveaux modesd’évaluation de la recherche (y compris selon le principe de citation),...(d’autre lieuxde publication, d’autres lieux de citations, etc... cf. Altmetrics par exemplehttp://altmetrics.org/manifesto/ )
  • Quelques éléments bibliographiquesBiblio selective du cirad : http://coop-ist.cirad.fr/aide-a-la-publication/evaluer-la-recherche/indicateurs-de-publication-bibliographie/introductionGroupe Diigo du Réseau des Urfist : http://groups.diigo.com/group/scientometricsCours "bibliométrie" Manuel Durand-Barthez : http://wiki-urfist.unice.fr/wiki_urfist/index.php/BIBLIOMETRIEet la page dédiée aux notions de IF et Citations : http://www.scd.ups-tlse.fr/barthez/liens_citat.htm
  • Vos questions ?