• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Evaluer un dispositif de veille
 

Evaluer un dispositif de veille

on

  • 4,687 views

Après avoir défini les notions d'évaluation, d'indicateurs, de performance et de qualité, cette présentation donne quelques éléments sur la mise en œuvre de l'évaluation d'un service de ...

Après avoir défini les notions d'évaluation, d'indicateurs, de performance et de qualité, cette présentation donne quelques éléments sur la mise en œuvre de l'évaluation d'un service de veille réglementaire. Une première réflexion sur l'évaluation du pilotage d'un projet de veille est également abordée.

Statistics

Views

Total Views
4,687
Views on SlideShare
4,662
Embed Views
25

Actions

Likes
2
Downloads
137
Comments
0

1 Embed 25

http://ipoline.univ-angers.fr 25

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Evaluer un dispositif de veille Evaluer un dispositif de veille Presentation Transcript

    • Evaluer un dispositif de veille Réunion Pôle Veille Ivry sur Seine, 19 octobre 2011 Pôle Veille – Inra. DV‐IST 1 Marie‐Colette Fauré
    • Plan de l’intervention ► Définitions ► Indicateurs ► Evaluer : pourquoi, quoi, comment ? ► Un exemple : évaluation de VERSA ► Evaluation du pilotage d’un dispositif de veille 22
    • En préambule…  Efficacité : mesure la réalisation d’objectifs donnés ;  Efficience : mesure de l’utilisation des ressources pour atteindre un objectif donné (coût/efficacité) ;  Ex : Publier avec régularité des bulletins de veille de qualité  efficacité du service de veille  Mais, si le temps passé à sélectionner et traiter les informations est très important  le service nest pas efficient.  Performance : efficacité + efficience (meilleur équilibre)  Évaluation : processus consistant à estimer l’efficacité, l’efficience et la pertinence d’un service ou d’une installation ;  Qualité : ensemble des caractéristiques d’un produit ou d’un service qui déterminent l’aptitude à satisfaire des besoins explicites ou implicites. Source : Norme ISO 11620::2008 - Information et documentation - Indicateurs de performance des bibliothèques3
    • Pour évaluer : les indicateurs 1. Un indicateur fournit des données chiffrées sur les principaux aspects de laction évaluée et permet des comparaisons en matière de coûts, volume des activités, nombre de bénéficiaires. 2 grands types dindicateurs : • Les indicateurs dactivité ou de gestion • Les indicateurs de performance Un indicateur ne se limite pas à la mesure • La valeur de l’indicateur est fonction de l’objectif défini • un indicateur de performance est jugé pertinent par rapport à un contexte défini • les indicateurs permettent de mesurer latteinte des objectifs.4
    • Pour évaluer : les indicateurs 2. Les indicateurs dactivité mesurent le résultat direct de la production dun service. Par exemple :  Le nombre de visiteurs dun centre de documentation ou une bibliothèque  Le nombre de bulletins de veille produits. Pas suffisant pour rendre compte de la valeur ou de la qualité des services Les indicateurs de performance doivent permettre de juger si les objectifs dun programme ont été atteints. Par exemple,  la diminution du nombre de morts sur les routes pour la politique de sécurité routière  la réduction des délais dattente, des temps de réponse, du taux derreur pour mesurer la qualité dun service. Source : La documentation française - http://www.ladocumentationfrancaise.fr/dossiers/evaluation-politiques-publiques/glossaire.shtml#i5
    • Exemple : Indicateurs du manuel IFLA - 1 A. Ressources – Infrastructure  Surface de services publics par personne  Heures d’ouverture hebdomadaire  Nombre d’agents par personne B. Utilisation  Audience  Satisfaction des usagers  Entrées à la bibliothèque par personne  Rotation des collections  Emprunts par personne  Proportion des prêts entre bibliothèques sur le total des prêts  Taux de présence aux séances de formation (par personne) IFLA : International Federation of Library Associations and Institutions6
    • Exemple : Indicateurs du manuel IFLA - 2 C. Efficience  Coût par usager  Délai de traitement des documents  Productivité des agents dans le traitement des document D. Potentialités et développement  Pourcentage des dépenses en fourniture d’information consacrées à la collection électronique  Heures/jours de formation suivis par agent  Pourcentage des crédits de la bibliothèque provenant de subventions spéciales ou de fonds propres  Pourcentage du budget de l’institution alloué à la bibliothèque Source : Mesurer la qualité : mettre en place des indicateurs de performance dans les bibliothèques universitaires, IFLA, 1995. in : Pascale Talour : les indicateurs, lévaluation, la performance et les activités de lIST. http://isidora.cnrs.fr/IMG/pdf/Pascale-Talour_indicateurs.pdf7
    • Pourquoi évaluer un dispositif de veille ? 1. Lévaluation : une des étapes clé du processus de veille  processus itératif 2. Nécessité de contrôler le fonctionnement dun dispositif de veille : • Il faut que le système fonctionne • Il faut qu’il produise des résultats de qualité • Il faut que le rapport résultats/moyens soit bon • Il faut quil dure. 3. Lévaluation : pour disposer de points de repère, déléments de comparaison, pour rendre compte à la hiérarchie…8
    • Quest-ce que lon évalue ?  Lévaluation de la veille est très peu documentée dans la littérature.  Les articles sur le sujet évoquent plutôt lévaluation des étapes opérationnelles du processus de veille, sans doute plus facilement quantifiable.  Lévaluation globale (étapes du processus et pilotage) du dispositif est pourtant nécessaire à une bonne conduite du projet.9
    • Évaluer à chaque étape du processus de veille 1. Sourcing : • Nombre de sources surveillées (fonction du contexte) • Taux de nouvelles sources /an • Taux délimination /an  indique que le sourcing est régulièrement (ou pas) révisé.  névalue pas la qualité du sourcing. Collecte et surveillance  Nombres dalertes produites  Taux d’alertes non pertinentes / alertes utiles  donne des indications sur le choix ou le paramétrage de loutil de surveillance ou sur la qualité du sourcing.10
    • Évaluer à chaque étape du processus de veille 2. Traitement de linformation • Volume dinformations traitées • Nombre de fiches de synthèses ou danalyses produites…  indicateurs quantitatifs • Temps consacré au traitement et à lanalyse des informations Diffusion :  Nombre de bulletins publiés sur une période donnée  Nombre de lecteurs  indicateurs quantitatifs  Régularité des diffusions dinformation  Degré de satisfaction des lecteurs  indicateurs qualitatifs11
    • Une expérience : Évaluation de VERSA VERSA : dispositif de veille réglementaire en expérimentation animale, sécurité biologique et sûreté biologique, éthique et bien-être animal du département Santé Animale de l’Inra. Versa en quelques chiffres • Création : 2005 • Nombre de veilleurs : 5 • Nombre dutilisateurs : 800 • Alertes par semaine : 30 • Nombre de textes en base de données : 337 • Nouveaux textes insérés en 2010 : 11 • Nombre dinformations totales publiées sur la page du veilleur : 122 • Nombre dinformations/an publiées sur la Page du veilleur : 20 (environ)12
    • VERSA - Pourquoi évaluer ? Après 6 années de fonctionnement, quelques interrogations :  le dispositif est-il toujours conforme aux besoins de son public cible ?  la base de données VERSA (en ligne) est-elle exhaustive ?  la méthodologie de surveillance est-elle optimale ?  l’outil de veille est-il adapté aux besoins des veilleurs ?  Sil y a des problèmes, pouvons-nous y remédier et améliorer le dispositif ? Assurer de la pérennité de VERSA. Réflexion dans le cadre dun stage de licence professionnelle en management de l’information du 1er avril au 31 juillet 2011. Stagiaire : Alexandra Coppolino Co-encadrement : Céline Housseau (ingénieur qualité du dpt SA) / Marie-Colette Fauré (chargée de veille et d’ingénierie de l’information du dpt SA)13
    • Évaluation de VERSA : on ne part pas de rien Indicateurs suivis depuis lorigine du projet : • Le nombre dabonnés au site VERSA • Les statistiques de connexion 2008 – Une enquête de satisfaction auprès des abonnés au terme de 3 années d’activité. Objectifs :  évaluer la pertinence de VERSA  identifier les points d’amélioration  déterminer l’intérêt délargir le périmètre de VERSA (toxicologie, cosmétique…).  76 participants / 510 abonnés14
    • VERSA – Les statistiques de connexion, un indicateur … Vers une constance du nombre de visites 2009 : 1 520 visites / mois en moyenne 2010 : 1 465 visites / mois en moyenne Tendance à la « fidélisation » des visiteurs Visiteurs différents de 24 % à 21 % de visiteurs différents entre 2009 et 2010 Mode de connexion 80 % de connexion directe en 2009 et 89 % en 2010. Source : M. Gautret - Analyse des statistiques de consultation des sites Web15 du Département Santé Animale, janvier 2011.
    • Évaluation de VERSA : méthode adoptée  Lanalyse préalable de lexistant  Une approche Évaluation / Amélioration continue  un tableau SWOT pour évaluer les forces et les faiblesses  Le processus de VERSA revisité avec des points clés à surveiller  La définition et la mise en place des indicateurs  La révision des outils de gestion (plan de veille)  Le début des actions correctives16
    • VERSA – Forces est faiblesses SWOT POSITIF NÉGATIF Interne Le dispositif VERSA : - Reçoit l’appui de la direction pour son - L’outil de surveillance n’est pas adapté aux besoins développement et son maintien (fonctionnalité limitée). - Répond au schéma stratégique globale du DSA - Sa fonction collaborative n’est pas exploitée par les (2004-2007) : cellule de veille stratégique à mettre en veilleurs et les experts (pas de « feedback » et animation place. de la communauté des experts inexistante). - Correspond à un besoin stratégique lié à la - Il n’y a pas suffisamment de communication autour de certification ISO 9001 des UE. VERSA. - Comporte un périmètre de veille bien circonscrit. - Il n’y a pas d’évaluation régulière sur l’exhaustivité de la - L’Expérimentation Animale est un domaine sensible. base de donnée. - Est le seul dispositif de veille réglementaire existant - L’indexation des documents de la base de données n’est dans ce domaine. pas contrôlée (inexistence de référentiel linguistique dans - Est géré par un réseau de veilleurs, travaillant dans le ce domaine de recherche). domaine, et animé par le chef de projet. - On constate un manque d’ouverture et d’expertise sur - Contient une richesse de profils des utilisateurs d’autres espèces (faune sauvage et primates) : veilleurs très (privés et publics). orientés « PSAT », trop centré sur l’activité des UE du - Est un outil reconnu au sein du DSA et par ses département. partenaires. Externe -Est ouvert sur Internet et inscription gratuite. - La non exhaustivité et le manque de réactivité de la base - Partenariats possible : portail de CNUE, veille bien- de données peut être source d’insatisfaction pour les être animal (BEA)… utilisateurs de VERSA - La Communauté Européenne fait de plus en plus - Le processus est difficile à maintenir en continu : le pression sur les organismes de recherche (utilisant nombre de veilleurs reste insuffisant, et Versa n’est pas l’expérimentation animale), concernant la prise en leur mission principale (peu de disponibilité). compte du bien-être animal et éthique. - Une concurrence possible en matière de veille - La stratégie du DSA se positionne de plus en plus au réglementaire sur l’expérimentation animale. niveau international17
    • 18
    • VERSA – Indicateurs Sourcing Résultat Fréquence Représentation Indicateurs Objectifs à de graphique atteindre calcul Dans une veille réglementaire, au  Histogramme  % de sources officielles moins la moitié des sources doivent   50% Annuel empilé 100%  être des sources officielles ou secteurs Taux de sources  Histogramme  Le taux de sources actives souligne (sur  actives/total des sources  > 90% Annuel empilé 100%  la durée) le suivi du sourcing surveillées ou secteurs  1  Nombre dalertes reçues  Une source est "active" si  elle génère  2 fois par  alerte/tous  non par source/mois au moins 1 alerte tous les 6 mois an les 6 mois19
    • VERSA – Évaluation de la surveillance Fréquence Résultat à Représentation Indicateurs Objectifs de atteindre graphique calcul Labsence de bruit est un critère de  Nbre dalertes sans  qualité de la surveillance. Aucune  Histogramme  information  alerte sans information en relation   0% 2 fois/an empilé 100%  pertinentes/nbre dalertes  avec lobjet de la veille ne doit être  ou secteurs reçues par source/mois reçue. Taux dalertes  Histogramme  La part dalertes exploitées et diffusées  exploitées/total dalertes   50% Annuel empilé 100%  doit être supérieure à 50 %. reçues ou secteurs20
    • VERSA – Évaluation de la base de données Résultat à Fréquence Représentatio Indicateurs Objectifs atteindre de calcul n graphique La base de données doit être  Nbre de textes manquants exhaustive : aucun texte ne doit  = 0% Annuel non manquer La base de données doit être à jour et Nombre de textes non  doit proposer la dernière version des  = 0 % Annuel non actualisés textes en vigueur Les textes insérés dans la base de  Nombre de texte hors du  Annuel données doivent respecter le  = 0 % non périmètre de veille périmètre de la veille.21
    • VERSA – Évaluation de la diffusion Résultat à Fréquence Représentatio Indicateurs Objectifs atteindre de calcul n graphique Augmentation  régulière du nombre  Courbe ou  Nbre dutilisateurs  dinscrits /an + de 10%/an Annuel histogramme  enregistrés  maintien de lintérêt concernant  empilé cette veille Diminution du nombre de visiteurs  Courbe ou  ponctuels  histogramme  Fidélisation des visiteurs  utilisation de la base de données  ‐ 5%/an Annuel empilé comme un outil de travail "au  quotidien"22
    • VERSA – Premières actions correctives  Révision du sourcing − Refonte et mise à jour du tableau de sourcing  Révision de la base de données − Textes et recommandations dans le périmètre de VERSA − Textes manquants23
    • VERSA - Tableau de bord de sourcing et de surveillance24
    • Pour aller plus loin : Évaluation du pilotage du dispositif de veille La pérennisation dun dispositif de veille pourrait sappuyer utilement sur une évaluation du pilotage du dispositif de veille en permettant • Une vision systémique du dispositif • Un diagnostic de lexistant • Une identification des points critiques. Difficulté : évaluation difficilement quantifiable, mais,  définir, programmer, installer un processus dévaluation de ce type = capacité à conduire et à maitriser un projet.25
    • Identifier les points à évaluer - 1 Management du projet Le dispositif de veille sappuie-t-il • sur un document de cadrage ? • sur un comité de pilotage ou un interlocuteur privilégié représentant le commanditaire ? Des réunions sont-elles régulièrement organisées ? Ressources humaines Les tâches et responsabilités de chaque acteur sont-elles clairement définies ? Les acteurs sont-ils formés à la veille ? Le réseau de veilleurs et dexperts fait-il lobjet dune animation régulière ?26
    • Identifier les points à évaluer - 2 Ressources technologiques  Les méthodes et outils utilisés sont-ils appropriés et dimensionnés au projet ? Sourcing  Les sources utilisées sont-elles variées et de qualité ? Critères explicites en fonction des objectifs ?  Le sourcing est-il documenté et suivi ?  La révision du sourcing est-elle planifiée ?  Est-elle exécutée ? Surveillance et collecte  Lorganisation de la surveillance (qui fait quoi ?) est-elle clairement définie ?  Les opérations de surveillance sont-elles clairement évaluées sur une période donnée ?27
    • Identifier les points à évaluer - 3 Traitement de linformation  Linformation est-elle traitée en fonction des objectifs de lorganisation (niveau de traitement adapté aux besoins) ?  La synthèse et lanalyse sont-elles effectuées selon un cadre prédéfini (cf document de cadrage) ? Diffusion  Le choix du livrable est-il adapté au public cible ?  Répond-t-il aux objectifs du projet ? Promotion du dispositif de veille  Mise en place dune stratégie de communication ? Évaluation du dispositif de veille  Le dispositif de veille fait-il lobjet dune évaluation régulière ?28
    • Projet de tableau de bord  (à lecture simple) pour  évaluer le pilotage d’un  dispositif de veille, (Conception : Marie‐Colette Fauré)29
    • Conclusion Lien fort entre Évaluation et Facteurs Clés/Critiques de Succès • Penser lévaluation dans une perspective damélioration ou de correction des points critiques • Intégrer lévaluation et le choix des indicateurs dès le montage du projet • Utiliser lévaluation pour conserver lhumain au cœur du dispositif :  repérer les signes dessoufflement, de surcharge de travail, de démotivation…  tirer parti de cette étape pour faire le point, soutenir, faire évoluer…30
    • Bibliographie  Jakobiak, F. - Lintelligence économique. Techniques & Outils.- Eyrolles/ Éditions dOrganisation, 2009 (2eéd.)  Lesca, N., Caron-Fasan M.-L. – La veille vue comme un système cybernétique. Finance Contrôle Stratégie, 8 (4), 2005, 93-120.  Sutter, E. – Lévaluation et les indicateurs de performance des activités info- documentaire. Éditions dOrganisation, 2003.  Norme ISO 11620:2008 - Information et documentation - Indicateurs de performance des bibliothèques  La Documentation Française - Lévaluation des politiques publiques - Glossaire http://www.ladocumentationfrancaise.fr/dossiers/evaluation-politiques- publiques/glossaire.shtml  Mesurer la qualité : mettre en place des indicateurs de performance dans les bibliothèques universitaires, IFLA, 1995.  Poll R. - Mesures de la qualité dans les bibliothèques spécialisées.WLIC, 19-23 August 2007, Durban . (Trad. Dalbin, S.). http://archive.ifla.org/IV/ifla73/papers/152-Poll-trans-fr.pdf31