Evaluerl'info seance4

853 views
776 views

Published on

Voici le support de cours n° 4 : "Savoir évaluer l'information : mesures de qualité et évaluation dans le monde de l'info-doc"

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
853
On SlideShare
0
From Embeds
0
Number of Embeds
8
Actions
Shares
0
Downloads
9
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Evaluerl'info seance4

  1. 1. Séance 4 : Savoir évaluer l’information et mesures de qualité et évaluation dans le monde de l’info-doc<br />DUT Gestion de l’Information et du Document (IUT Ponsan,Toulouse 3)<br />Formationcontinue 2010-2011<br />Françoise Gouzi Quiroz frgouzi@gmail.com<br />
  2. 2. Plan du cours<br />I/Contexte : tout quantifier, tout mesurer<br />II/Terminologie :qualité/information/évaluation<br />III/Quelques outils pratiques pour évaluer l’info<br />IV/Evaluer l’activité des bibliothèques<br />V/Evaluer la production universitaire (du classement de Shangaï à l’ISI Web of Science-WOS)<br />VI/Relativité de l’information (de l’Impact Factor à Wikipedia!)<br />
  3. 3. I/Contexte : tout quantifier, tout mesurer<br />« Evoluer d’une culture de moyens à une culture d’objectifs et de responsabilités »<br />LOLF (loi organique relative aux lois de finances) du 1e août 2001<br />loi sur la LRU (loi relative aux libertés et responsabilités des universités) du 10 août 2007 et…<br />L’AERES (l’Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur), instance administrative, partie prenante d’une démarche qualité.<br />
  4. 4. I/Contexte: tout quantifier, tout mesurer<br />L’information : une notion centrale dans toute société enjeu de pouvoir .<br />Exemple: censure de Google en Chine, les sites dits « sensibles » sont inaccessibles « printemps de 1989 », sites sur les droits de l’homme…<br />Rapidité accrue de la circulation de l’information liée aux nvlles techno Internet (I-Phone, Twitter…) rend plus difficile son analyse et évaluation par les médiateurs de l’information (journalistes, documentalistes…)<br />Disparition progressive du rôle de l’éditeur et place prépondérante de l’utilisateur, du citoyen<br />
  5. 5. II/Terminologie :information/qualité/évaluation<br />Des flous autour de ces termes<br />L’information est construite : par un humain, relative à un sujet<br />L’information est relative : sa signification va dépendre des conditions de sa réception<br />L’information est organisée matériellement : le contenu et le contenant sont indissociables de la réception de l’information<br />
  6. 6. II/Terminologie :information/qualité/évaluation<br />Evaluer : mais selon quelle méthode (quels critères, transparence, que veut dire « classement des meilleures revues en SHS »?)<br />La qualité: caractéristiques d’une BONNE information<br />Que trouve-t-on derrière la notion de Qualité<br /><ul><li>Identifiée
  7. 7. Fiable (citation des sources)
  8. 8. Précise, exacte, complète
  9. 9. Accessible
  10. 10. Actualisée
  11. 11. Structurée, rédigée, présentée</li></li></ul><li>Différence entre QUALITE et PERTINENCE<br />Pertinence-système capacité du système d’information à indexer un document et à le retrouver.<br />Pertinence-utilisateur capacité à choisir les bons mots clefs, la bonne équation de recherche pour un résultat conforme aux besoins exprimés au départ.<br />Pertinence-thème concerne le contenu (ce qui est visé dans les méthodes d’évaluation). <br />
  12. 12. Différence entre VALIDATION et ÉVALUATION<br />Validation : vérification de la conformité à certaines exigences.<br />Evaluation : estimation de la qualité relativement à différents critères.<br />Qualité VS pertinence <br />L’information de qualité doit être :<br /><ul><li>Identifiable
  13. 13. Fiable
  14. 14. Actuelle, précise, accessible, mise à jour, ergonomique</li></ul>Mais est-elle pertinente pour autant ?<br />
  15. 15. III/Quelques outils pratiques pour évaluer l’info<br />Les grilles pour analyser les sites web<br />Licence Méthodologie documentaire et traitement de l’information-Univ. Paris 8: Modèle de grille d’analyse http://etudoc.files.wordpress.com/2008/11/grille-analyse_ap_2008.pdf .Cours en ligne sur le blog http://etudoc.wordpress.com/<br />SAPRISTI Evaluation de l’information presente sur Internet, 2007.http://docinsa.insa-lyon.fr/sapristi/index.php?rub=1004<br />EDUCNET Rechercher sur internet : méthodologie et outils 2010<br />http://www.educnet.education.fr/dossier/rechercher/default.htm<br />CERISE, guide méthodologique de l’URFIST Paris – Evaluer des sites Internet, 2007 http://urfist.enc.sorbonne.fr/anciensite/cerise/p361.htm<br />Chercher pour trouver École de bibliothéconomie et des sciences de l'information (EBSI), Université de Montréal. http://www.ebsi.umontreal.ca/jetrouve/internet/evalsite.htm<br />
  16. 16. Des exemples de grilles thématiques<br />Netscoring (critères de qualité de l'info. de santé sur l'Internet) 2005 http://www.chu-rouen.fr/netscoring/<br />Université de Montréal : conseils et stratégies de recherche par disciplines http://guides.bib.umontreal.ca/disciplines<br />
  17. 17. IV/Evaluer l’activité des bibliothèques<br />Mesurer les performances et les activités en Bib Univ.<br />ERE (Enquête sur les Ressources Electroniques) =recensement des actions des établissements en matière d’acquisition des RE payantes spécialisées.<br />ESGBU (Enquête Statistique Générale sur les Bibliothèques Universitaires) depuis 1976. 300 champs à renseigner sur 1 année, depuis 1999 par voie électronique ! 154 établissements qui répondent chaque année à cette enquête. Ce qui est mesuré : <br /><ul><li>L’activité et les services
  18. 18. Les collections et les acquisitions
  19. 19. Les moyens, locaux et personnels</li></li></ul><li>IV/Evaluer l’activité des bibliothèques<br />Mesures à la Culture pour une meilleure observation des pratiques de lecture publique en région<br />Le MCC depuis 1969 collecte et analyse l’activité des bibliothèques territoriales.<br />Soumises à l’enquête : les BDP et Bibliothèques Municipales.<br />Depuis la création de L’Observatoire de la lecture publique (01/2008), refonte de l’enquête pour se rapprocher de la norme ISO2789 « Statistiques des bibliothèques » en vue d’une interopérabilité avec les stat. internationales.<br />Les nvx services en ligne et l’action culturelle sont mis en exergue ds l’enquête (liées aux évolutions des pratiques dans les Bib) <br />
  20. 20. Répertoire des adresses des Bibliothèques publiques/Ministère de la culture et de la communication. http://www.culture.gouv.fr/documentation/bibrep/pres.htm<br />
  21. 21. V/Evaluer la production scientifique(du classement de Shanghaï à l’ISI Web of Science-WOS)<br />1/Le classement de Shanghaï<br />Le 1er classement académique international des universités (2003). Très médiatisé. Il est utilisé par les décideurs politiques pour lancer des projets de réforme. Il est mis en avant par les universités pour justifier leurs performances. Chaque univ. est évaluée sur 6 critères :<br /><ul><li>1 ALU= nb d’anciens élèves ayant reçu un prix Nobel (sauf Paix et Littérature) ou 1 médaille Fields
  22. 22. 2 STA= nb de professeurs de l’institution ayant reçu 1 prix Nobel ou 1 médaille Fields
  23. 23. 3 HiCi= nb de chercheurs les plus cités tel que calculé par Thomson Scientific
  24. 24. 4 N&S= nb d’articles publiés dans les revues Nature et Science
  25. 25. 5 PUB= nb d’articles indexés par Thomson Scientific
  26. 26. 6 PROD= score total des 5 premiers indicateurs divisé par la taille du corps professoral (tps plein) </li></ul>Pour chaque institution on calcule 1somme pondérée de ces 6 scores normalisés. Les poids attribués axu critères st = à 20% sauf pr ALU et PROD (poids de 10%).<br />
  27. 27. L’Observatoire des Sciences et des techniques (fournit les définitions des normes sur les impacts de citation et autres indicateurs)<br />
  28. 28. V/Evaluer la production scientifique(du classement de Shanghaï à l’ISI Web of Science-WOS)<br />2/ISI Web of Knowledge(abonnement UPS depuis 1975)<br />1 bdd payante d’évaluation scientifique statistique des publications. <br />-WOK (Web of Knowledge) toutes disciplines, toutes citations<br />-WOS (concurrent de SCOPUS/Elsevier médecine) regroupe les bdd publications + bdd citations<br /><ul><li>Sciences et Techniques, médecine
  29. 29. S Sociales
  30. 30. SHS</li></ul>Dépend du bon adressage ou non publications (normes du PRES de Toulouse,normes CNRS ou de l’OST, écriture monoligne ?) débat!!<br />Pb d’homonymie !!<br />
  31. 31. H-indexou facteur H= coïncidence entre le nb de publications et le nb de citations . Facteur d’impact crée par Jorge E. Hirsch,<br /><ul><li>ne favorise pas les jeunes chercheurs
  32. 32. Pb des autocitations (d’excellence, de complaisance)</li></ul>Facteur G d’Egghe(D-Space)<br />Eigenfactor de Bergstrom (notion de rang/cartographie, mesure de l’influence d’1 revue)<br />L’impact factor (IF) = nb de citation / nb d’articles publiés<br />Le ranking des revues (rang)<br />JCR (Journal Citation reports) = évaluation des sources/revues tous les 2 ans (comme l’OST). Il y a 6000 revues pluridisciplinaires analysées. L’AERES tente d’imposer les mêmes critères d’évaluation aux SHS (débat, monographies échappent à l’analyse or en SHS ce type de publi prévaut sur la revue!!!)<br />Hal-Life = Année à partir de laquelle le nb de citations vers la revue commence à décliner. Plus le HL est basrevues brûlantes<br />Plus le HL est haut revues bonne assise internationale<br />
  33. 33. VI/Relativité de l’information : de l’Impact Factor à Wikipedia!<br />Photo : Joseph R. Smyth http://ruby.colorado.eduLa pancarte additionne l’année, l’altitude et le nombre d’habitants.Le lien avec le classement de Shanghaï n’aura échappé à personne.<br />Source « Arabesques », Ed. ABES, n°57, 2010.<br />
  34. 34. Les limites du classement de Shanghaï<br />En 2009 sur les 20 meilleures universités mondiales : 17 univ. US, 2 britanniques et 1 japonaise.<br />Pertinence. Un classement pourquoi et pour qui ? (question qui n’a jamais été posée !) que cherche-t-on à évaluer ?<br />Question de la définition d’1 université (différence entre grande école, institut de recherche, université..) cas du Collège de France (aucun diplôme et aucun étudiant !)<br />Question du public : est-il adressé aux étudiants, aux pdts d’université, aux recruteurs de haut niveau, aux politiques ?<br />Critères discutables : choisis sur la base de la seule disponibilité des info. sur Internet (paramètres arbitraires, pas de transparence sur les données initiales) ex. Prix Nobel !<br />Méthode de calcul: poids adoptés dans 1 somme pondérée sont liés à la normalisation des échelles. Si celle-ci change on doit changer les poids, sinon résultats absurdes.<br />Cherpa-Network  Réaliser 1 classement européen des universités ( 1 Appel d’Offres de la CE)<br />Source: J.-C. Billaut, D. Bouyssou, Ph. Vincke « Arabesques » n° 57, 2010, pp. 14-15<br />
  35. 35.
  36. 36. 3/Le tout collaboratif <br />1 Internet participatif où l’internaute devient producteur de contenus (wikis, Twitter, Blogs, réseaux sociaux…)Partager des contenus, collaborer en ligne<br />Un web modifiable, dynamique et fluctuant<br />WIKIPEDIA = l’ancêtre du Web 2.0 (le 1 er wiki).Le contenu de Wikipedia est mis en ligne sans garantie. Loi du 1% (1% rédigent, 19 % commentent, 80 % lisent !)<br />Risque d’utilisation frauduleuse des données personnelles (réseaux sociaux)<br />Absence de vérification des adresses IP, des identités…<br />Spam, spyware, faux site…<br />Hal = entière responsabilité des auteurs <br />
  37. 37. Biblio-webographie<br />Arabesques, « Mesures et évaluation », n° 57 janvier - février mars 2010 (en ligne http://www.abes.fr/abes/DocumentsWebAbes/abes/arabesques/Arabesques57.pdf )<br />Liens utilessur les notions de facteursd‘impact et citations: http://www.scd.ups-tlse.fr/barthez/liens_citat.htm<br />Observatoire des Sciences et des Techniques : http://www.obs-ost.fr/<br />Mars 2011. Charte de signature des publications scientifiques de l'université Paris Diderot. Lien<br />Qualité en bibliothèques : L'application statistique interactive des Bibliothèques universitaires (Ministère de l’Enseignement Supérieur et de la recherche) https://www.sup.adc.education.fr/asibu/<br />« Faut-il classer les revues en sciences humaines et sociales ? Dix années de controverses françaises (1999-2009) », Gabriel Galvez-Behar, http://halshs.archives-ouvertes.fr/halshs-00548183/fr/<br />Evaluer la productionscientifique en SHS-Outilsbibliométriques (CNRS-INSHS INstitut des SciencesHumaines et Socialeshttp://www.cnrs.fr/inshs/recherche/evaluation-production-scientifique/outils-bibliometriques.htm<br />Michèle Dassa, Christine Kosmopoulos et Denise Pumain,. « JournalBase. Comparer les bases de données scientifiques internationales en sciences humaines et sociales (SHS) » , 2010, http://cybergeo.revues.org/22864<br />

×