Evaluerl'info seance4
Upcoming SlideShare
Loading in...5
×
 

Evaluerl'info seance4

on

  • 771 views

Voici le support de cours n° 4 : "Savoir évaluer l'information : mesures de qualité et évaluation dans le monde de l'info-doc"

Voici le support de cours n° 4 : "Savoir évaluer l'information : mesures de qualité et évaluation dans le monde de l'info-doc"

Statistics

Views

Total Views
771
Views on SlideShare
771
Embed Views
0

Actions

Likes
0
Downloads
6
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Evaluerl'info seance4 Evaluerl'info seance4 Presentation Transcript

    • Séance 4 : Savoir évaluer l’information et mesures de qualité et évaluation dans le monde de l’info-doc
      DUT Gestion de l’Information et du Document (IUT Ponsan,Toulouse 3)
      Formationcontinue 2010-2011
      Françoise Gouzi Quiroz frgouzi@gmail.com
    • Plan du cours
      I/Contexte : tout quantifier, tout mesurer
      II/Terminologie :qualité/information/évaluation
      III/Quelques outils pratiques pour évaluer l’info
      IV/Evaluer l’activité des bibliothèques
      V/Evaluer la production universitaire (du classement de Shangaï à l’ISI Web of Science-WOS)
      VI/Relativité de l’information (de l’Impact Factor à Wikipedia!)
    • I/Contexte : tout quantifier, tout mesurer
      « Evoluer d’une culture de moyens à une culture d’objectifs et de responsabilités »
      LOLF (loi organique relative aux lois de finances) du 1e août 2001
      loi sur la LRU (loi relative aux libertés et responsabilités des universités) du 10 août 2007 et…
      L’AERES (l’Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur), instance administrative, partie prenante d’une démarche qualité.
    • I/Contexte: tout quantifier, tout mesurer
      L’information : une notion centrale dans toute société enjeu de pouvoir .
      Exemple: censure de Google en Chine, les sites dits « sensibles » sont inaccessibles « printemps de 1989 », sites sur les droits de l’homme…
      Rapidité accrue de la circulation de l’information liée aux nvlles techno Internet (I-Phone, Twitter…) rend plus difficile son analyse et évaluation par les médiateurs de l’information (journalistes, documentalistes…)
      Disparition progressive du rôle de l’éditeur et place prépondérante de l’utilisateur, du citoyen
    • II/Terminologie :information/qualité/évaluation
      Des flous autour de ces termes
      L’information est construite : par un humain, relative à un sujet
      L’information est relative : sa signification va dépendre des conditions de sa réception
      L’information est organisée matériellement : le contenu et le contenant sont indissociables de la réception de l’information
    • II/Terminologie :information/qualité/évaluation
      Evaluer : mais selon quelle méthode (quels critères, transparence, que veut dire « classement des meilleures revues en SHS »?)
      La qualité: caractéristiques d’une BONNE information
      Que trouve-t-on derrière la notion de Qualité
      • Identifiée
      • Fiable (citation des sources)
      • Précise, exacte, complète
      • Accessible
      • Actualisée
      • Structurée, rédigée, présentée
    • Différence entre QUALITE et PERTINENCE
      Pertinence-système capacité du système d’information à indexer un document et à le retrouver.
      Pertinence-utilisateur capacité à choisir les bons mots clefs, la bonne équation de recherche pour un résultat conforme aux besoins exprimés au départ.
      Pertinence-thème concerne le contenu (ce qui est visé dans les méthodes d’évaluation).
    • Différence entre VALIDATION et ÉVALUATION
      Validation : vérification de la conformité à certaines exigences.
      Evaluation : estimation de la qualité relativement à différents critères.
      Qualité VS pertinence
      L’information de qualité doit être :
      • Identifiable
      • Fiable
      • Actuelle, précise, accessible, mise à jour, ergonomique
      Mais est-elle pertinente pour autant ?
    • III/Quelques outils pratiques pour évaluer l’info
      Les grilles pour analyser les sites web
      Licence Méthodologie documentaire et traitement de l’information-Univ. Paris 8: Modèle de grille d’analyse http://etudoc.files.wordpress.com/2008/11/grille-analyse_ap_2008.pdf .Cours en ligne sur le blog http://etudoc.wordpress.com/
      SAPRISTI Evaluation de l’information presente sur Internet, 2007.http://docinsa.insa-lyon.fr/sapristi/index.php?rub=1004
      EDUCNET Rechercher sur internet : méthodologie et outils 2010
      http://www.educnet.education.fr/dossier/rechercher/default.htm
      CERISE, guide méthodologique de l’URFIST Paris – Evaluer des sites Internet, 2007 http://urfist.enc.sorbonne.fr/anciensite/cerise/p361.htm
      Chercher pour trouver École de bibliothéconomie et des sciences de l'information (EBSI), Université de Montréal. http://www.ebsi.umontreal.ca/jetrouve/internet/evalsite.htm
    • Des exemples de grilles thématiques
      Netscoring (critères de qualité de l'info. de santé sur l'Internet) 2005 http://www.chu-rouen.fr/netscoring/
      Université de Montréal : conseils et stratégies de recherche par disciplines http://guides.bib.umontreal.ca/disciplines
    • IV/Evaluer l’activité des bibliothèques
      Mesurer les performances et les activités en Bib Univ.
      ERE (Enquête sur les Ressources Electroniques) =recensement des actions des établissements en matière d’acquisition des RE payantes spécialisées.
      ESGBU (Enquête Statistique Générale sur les Bibliothèques Universitaires) depuis 1976. 300 champs à renseigner sur 1 année, depuis 1999 par voie électronique ! 154 établissements qui répondent chaque année à cette enquête. Ce qui est mesuré :
      • L’activité et les services
      • Les collections et les acquisitions
      • Les moyens, locaux et personnels
    • IV/Evaluer l’activité des bibliothèques
      Mesures à la Culture pour une meilleure observation des pratiques de lecture publique en région
      Le MCC depuis 1969 collecte et analyse l’activité des bibliothèques territoriales.
      Soumises à l’enquête : les BDP et Bibliothèques Municipales.
      Depuis la création de L’Observatoire de la lecture publique (01/2008), refonte de l’enquête pour se rapprocher de la norme ISO2789 « Statistiques des bibliothèques » en vue d’une interopérabilité avec les stat. internationales.
      Les nvx services en ligne et l’action culturelle sont mis en exergue ds l’enquête (liées aux évolutions des pratiques dans les Bib)
    • Répertoire des adresses des Bibliothèques publiques/Ministère de la culture et de la communication. http://www.culture.gouv.fr/documentation/bibrep/pres.htm
    • V/Evaluer la production scientifique(du classement de Shanghaï à l’ISI Web of Science-WOS)
      1/Le classement de Shanghaï
      Le 1er classement académique international des universités (2003). Très médiatisé. Il est utilisé par les décideurs politiques pour lancer des projets de réforme. Il est mis en avant par les universités pour justifier leurs performances. Chaque univ. est évaluée sur 6 critères :
      • 1 ALU= nb d’anciens élèves ayant reçu un prix Nobel (sauf Paix et Littérature) ou 1 médaille Fields
      • 2 STA= nb de professeurs de l’institution ayant reçu 1 prix Nobel ou 1 médaille Fields
      • 3 HiCi= nb de chercheurs les plus cités tel que calculé par Thomson Scientific
      • 4 N&S= nb d’articles publiés dans les revues Nature et Science
      • 5 PUB= nb d’articles indexés par Thomson Scientific
      • 6 PROD= score total des 5 premiers indicateurs divisé par la taille du corps professoral (tps plein)
      Pour chaque institution on calcule 1somme pondérée de ces 6 scores normalisés. Les poids attribués axu critères st = à 20% sauf pr ALU et PROD (poids de 10%).
    • L’Observatoire des Sciences et des techniques (fournit les définitions des normes sur les impacts de citation et autres indicateurs)
    • V/Evaluer la production scientifique(du classement de Shanghaï à l’ISI Web of Science-WOS)
      2/ISI Web of Knowledge(abonnement UPS depuis 1975)
      1 bdd payante d’évaluation scientifique statistique des publications.
      -WOK (Web of Knowledge) toutes disciplines, toutes citations
      -WOS (concurrent de SCOPUS/Elsevier médecine) regroupe les bdd publications + bdd citations
      • Sciences et Techniques, médecine
      • S Sociales
      • SHS
      Dépend du bon adressage ou non publications (normes du PRES de Toulouse,normes CNRS ou de l’OST, écriture monoligne ?) débat!!
      Pb d’homonymie !!
    • H-indexou facteur H= coïncidence entre le nb de publications et le nb de citations . Facteur d’impact crée par Jorge E. Hirsch,
      • ne favorise pas les jeunes chercheurs
      • Pb des autocitations (d’excellence, de complaisance)
      Facteur G d’Egghe(D-Space)
      Eigenfactor de Bergstrom (notion de rang/cartographie, mesure de l’influence d’1 revue)
      L’impact factor (IF) = nb de citation / nb d’articles publiés
      Le ranking des revues (rang)
      JCR (Journal Citation reports) = évaluation des sources/revues tous les 2 ans (comme l’OST). Il y a 6000 revues pluridisciplinaires analysées. L’AERES tente d’imposer les mêmes critères d’évaluation aux SHS (débat, monographies échappent à l’analyse or en SHS ce type de publi prévaut sur la revue!!!)
      Hal-Life = Année à partir de laquelle le nb de citations vers la revue commence à décliner. Plus le HL est basrevues brûlantes
      Plus le HL est haut revues bonne assise internationale
    • VI/Relativité de l’information : de l’Impact Factor à Wikipedia!
      Photo : Joseph R. Smyth http://ruby.colorado.eduLa pancarte additionne l’année, l’altitude et le nombre d’habitants.Le lien avec le classement de Shanghaï n’aura échappé à personne.
      Source « Arabesques », Ed. ABES, n°57, 2010.
    • Les limites du classement de Shanghaï
      En 2009 sur les 20 meilleures universités mondiales : 17 univ. US, 2 britanniques et 1 japonaise.
      Pertinence. Un classement pourquoi et pour qui ? (question qui n’a jamais été posée !) que cherche-t-on à évaluer ?
      Question de la définition d’1 université (différence entre grande école, institut de recherche, université..) cas du Collège de France (aucun diplôme et aucun étudiant !)
      Question du public : est-il adressé aux étudiants, aux pdts d’université, aux recruteurs de haut niveau, aux politiques ?
      Critères discutables : choisis sur la base de la seule disponibilité des info. sur Internet (paramètres arbitraires, pas de transparence sur les données initiales) ex. Prix Nobel !
      Méthode de calcul: poids adoptés dans 1 somme pondérée sont liés à la normalisation des échelles. Si celle-ci change on doit changer les poids, sinon résultats absurdes.
      Cherpa-Network  Réaliser 1 classement européen des universités ( 1 Appel d’Offres de la CE)
      Source: J.-C. Billaut, D. Bouyssou, Ph. Vincke « Arabesques » n° 57, 2010, pp. 14-15
    • 3/Le tout collaboratif
      1 Internet participatif où l’internaute devient producteur de contenus (wikis, Twitter, Blogs, réseaux sociaux…)Partager des contenus, collaborer en ligne
      Un web modifiable, dynamique et fluctuant
      WIKIPEDIA = l’ancêtre du Web 2.0 (le 1 er wiki).Le contenu de Wikipedia est mis en ligne sans garantie. Loi du 1% (1% rédigent, 19 % commentent, 80 % lisent !)
      Risque d’utilisation frauduleuse des données personnelles (réseaux sociaux)
      Absence de vérification des adresses IP, des identités…
      Spam, spyware, faux site…
      Hal = entière responsabilité des auteurs
    • Biblio-webographie
      Arabesques, « Mesures et évaluation », n° 57 janvier - février mars 2010 (en ligne http://www.abes.fr/abes/DocumentsWebAbes/abes/arabesques/Arabesques57.pdf )
      Liens utilessur les notions de facteursd‘impact et citations: http://www.scd.ups-tlse.fr/barthez/liens_citat.htm
      Observatoire des Sciences et des Techniques : http://www.obs-ost.fr/
      Mars 2011. Charte de signature des publications scientifiques de l'université Paris Diderot. Lien
      Qualité en bibliothèques : L'application statistique interactive des Bibliothèques universitaires (Ministère de l’Enseignement Supérieur et de la recherche) https://www.sup.adc.education.fr/asibu/
      « Faut-il classer les revues en sciences humaines et sociales ? Dix années de controverses françaises (1999-2009) », Gabriel Galvez-Behar, http://halshs.archives-ouvertes.fr/halshs-00548183/fr/
      Evaluer la productionscientifique en SHS-Outilsbibliométriques (CNRS-INSHS INstitut des SciencesHumaines et Socialeshttp://www.cnrs.fr/inshs/recherche/evaluation-production-scientifique/outils-bibliometriques.htm
      Michèle Dassa, Christine Kosmopoulos et Denise Pumain,. « JournalBase. Comparer les bases de données scientifiques internationales en sciences humaines et sociales (SHS) » , 2010, http://cybergeo.revues.org/22864