statistiques, indicateurs, performance, qualité… prendre la mesure de la bibliothèque
La politique, c'est l'art de chercher les problèmes, de les trouver, de les sous-évaluer et ensuite d'appliquer de manière...
Quelque chose comme 4 messages <ul><li>Compter, mesurer (ISO 2789) </li></ul><ul><li>Démontrer (ISO 11620) </li></ul><ul><...
Une approche top-down à partir des politiques publiques et de leur évaluation Une approche bottom-up à partir des outils
Une approche « objectiviste » : l’activité d’évaluation vise l’établissement d’une vérité administrative Une approche « su...
<ul><li>L’administration bureaucratique </li></ul>Les changements de paradigmes administratifs Le nouveau management publi...
… les grands débats des bibliothèques sont souvent une histoire de chiffres <ul><li>Les m², les places assises </li></ul><...
Le régime du storytelling… <ul><li>Les gens(*) ont peu de temps </li></ul><ul><li>Ils aiment les histoires </li></ul><ul><...
… et la nécessité de choisir les bons indicateurs <ul><li>La bibliothèque est ce qu’elle peut raconter d’elle-même </li></...
L’utilité d’une culture de l’évaluation pour les bibliothèques <ul><li>La bibliothèque est en concurrence avec les autres ...
Quelle méthode ? Face à la multiplicité des interlocuteurs… le public - les agents - la tutelle - les élus - ... -
Quelle méthode ? Du fait de la diversité des sources et des contextes… les enquêtes - les statistiques - les données extér...
Pas de méthode, mais un référent… <ul><li>Maître du « système d’information statistique », il/elle concentre les données r...
Compter, et avant de compter, définir <ul><li>ISO 2789  statistiques internationales </li></ul><ul><li>de bibliothèques : ...
Les statistiques à la poursuite de la réalité <ul><li>Hier </li></ul><ul><li>Compter </li></ul><ul><li>Démontrer </li></ul...
ISO 11620 : construire des indicateurs solides <ul><li>ni guide d’évaluation, ni catalogue d’indicateurs </li></ul><ul><ul...
Indicateurs : définition technique, définition politique… <ul><li>Définition technique  : quantifié, l’indicateur mesure l...
Indicateurs : des points de vue différents, l’approche de l’administration <ul><li>Compter </li></ul><ul><li>Démontrer </l...
Indicateurs : des points de vue différents, l’approche « classique » <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul...
Le « carré » de la performance <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>C...
Les indicateurs entre nouveau management public et théorie des incitations
Imprimer une logique « évaluation » à la norme <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </l...
Effets indésirables, pervers, secondaires… des indicateurs <ul><li>« payez suffisamment ou ne payez pas du tout » </li></u...
Le cadre intangible de description des indicateurs <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser...
Qualité et performance 1 <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisine...
<ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>Résultat voul...
<ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>Voulu opérati...
Qualité et performance 2 <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisine...
L’adaptation de concepts issus du privé <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul>...
Réconcilier performance et qualité <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><...
Une initiative française <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisine...
La grande famille des normes… <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cu...
Les paradoxes normatifs (rien que ça) <ul><li>La normalisation suppose : </li></ul><ul><ul><li>du temps </li></ul></ul><ul...
Dis, comment on fait les normes ? <ul><ul><li>Afnor Commission générale CG46 : information et documentation </li></ul></ul...
Pertinence des normes, aujourd’hui <ul><li>Elles existent ! </li></ul><ul><li>Elles rendent compte de ce qui peut être cla...
 
Upcoming SlideShare
Loading in...5
×

Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque

5,212

Published on

Présentation proposée à Médiaquitaine le 19/11/2009 dans le cadre du stage "Evaluer l'activité de la bibliothèque"

Published in: Education, Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
5,212
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
348
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Transcript of "Statistiques, indicateurs, performance et qualité : prendre la mesure de la bibliothèque"

  1. 1. statistiques, indicateurs, performance, qualité… prendre la mesure de la bibliothèque
  2. 2. La politique, c'est l'art de chercher les problèmes, de les trouver, de les sous-évaluer et ensuite d'appliquer de manière inadéquate les mauvais remèdes. Groucho Marx
  3. 3. Quelque chose comme 4 messages <ul><li>Compter, mesurer (ISO 2789) </li></ul><ul><li>Démontrer (ISO 11620) </li></ul><ul><li>Organiser (Qualibib) </li></ul><ul><li>Cuisiner (Afnor, ISO & Co) </li></ul>
  4. 4. Une approche top-down à partir des politiques publiques et de leur évaluation Une approche bottom-up à partir des outils
  5. 5. Une approche « objectiviste » : l’activité d’évaluation vise l’établissement d’une vérité administrative Une approche « subjectiviste » : l’activité d’évaluation s’inscrit dans des jeux de communication et de pouvoir
  6. 6. <ul><li>L’administration bureaucratique </li></ul>Les changements de paradigmes administratifs Le nouveau management public La coproduction administrative ? ? ? Indicateurs de suivi Indicateurs de performance Baromètres de satisfaction ? ? ?
  7. 7. … les grands débats des bibliothèques sont souvent une histoire de chiffres <ul><li>Les m², les places assises </li></ul><ul><li>Les horaires d’ouvertures </li></ul><ul><li>Le prix des ressources électroniques… </li></ul><ul><li>… et leur consultation </li></ul><ul><li>Les achats de livres des emprunteurs </li></ul><ul><li>… </li></ul>
  8. 8. Le régime du storytelling… <ul><li>Les gens(*) ont peu de temps </li></ul><ul><li>Ils aiment les histoires </li></ul><ul><li>Ils adorent les chiffres </li></ul><ul><li>Les chiffres racontent une histoire </li></ul><ul><li>(*) Les décideurs, le public, les interlocuteurs de la bibliothèque… </li></ul><ul><li>Nous sommes passés de l’ère de la démonstration à l’ère de la narration </li></ul>
  9. 9. … et la nécessité de choisir les bons indicateurs <ul><li>La bibliothèque est ce qu’elle peut raconter d’elle-même </li></ul><ul><li>Quelle histoire allez-vous raconter avec vos chiffres ? Quels chiffres allez-vous rassembler pour raconter votre histoire ? </li></ul>78 250 45 230 Prêts Documents
  10. 10. L’utilité d’une culture de l’évaluation pour les bibliothèques <ul><li>La bibliothèque est en concurrence avec les autres services en matière « d’exposition », en matière de « faire savoir », et ce, selon les « cadres » utilisés par l’administration </li></ul>
  11. 11. Quelle méthode ? Face à la multiplicité des interlocuteurs… le public - les agents - la tutelle - les élus - ... -
  12. 12. Quelle méthode ? Du fait de la diversité des sources et des contextes… les enquêtes - les statistiques - les données extérieures - ... -
  13. 13. Pas de méthode, mais un référent… <ul><li>Maître du « système d’information statistique », il/elle concentre les données recueillies ou produites, les organise et les met en forme, puis diffuse les résultats </li></ul>données livrable
  14. 14. Compter, et avant de compter, définir <ul><li>ISO 2789 statistiques internationales </li></ul><ul><li>de bibliothèques : le sommaire </li></ul><ul><ul><li>Définitions </li></ul></ul><ul><ul><ul><li>Bibliothèques, Collection, Usage et usagers, </li></ul></ul></ul><ul><ul><ul><li>Accès et équipement, Dépenses, Personnel </li></ul></ul></ul><ul><ul><li>Utilisation, avantages and limites d’utilisation des statistiques </li></ul></ul><ul><ul><li>Présentation des données statistiques </li></ul></ul><ul><ul><li>Collecte des données statistiques </li></ul></ul><ul><ul><li>Annexe A : mesurer l’utilisation des services électroniques </li></ul></ul><ul><ul><li>Annexe B : catégories complémentaires recommandées </li></ul></ul><ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>
  15. 15. Les statistiques à la poursuite de la réalité <ul><li>Hier </li></ul><ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>Lecteurs / livres <ul><li>Aujourd’hui </li></ul>Utilisateurs / services ? ? ? Besoin de données Facilité de la collecte, clarté des concepts
  16. 16. ISO 11620 : construire des indicateurs solides <ul><li>ni guide d’évaluation, ni catalogue d’indicateurs </li></ul><ul><ul><li>1. domaine d’application </li></ul></ul><ul><ul><li>2. référence normative </li></ul></ul><ul><ul><li>3. définitions </li></ul></ul><ul><ul><li>4. critères [de recevabilité] et cadre de description [des indicateurs] </li></ul></ul><ul><ul><li>5. emploi des indicateurs </li></ul></ul><ul><ul><li>annexe A : liste des indicateurs </li></ul></ul><ul><ul><li>annexe B : description des indicateurs </li></ul></ul><ul><ul><li>annexe C : bibliographie </li></ul></ul><ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>
  17. 17. Indicateurs : définition technique, définition politique… <ul><li>Définition technique : quantifié, l’indicateur mesure la réalisation de l’objectif précédemment défini et permet d’apprécier l’atteinte d’une performance le plus objectivement possible. </li></ul><ul><li>Définition « politique » : mesure que des acteurs, parties prenantes d’une organisation aux objectifs explicités ou contractualisés, se sont accordés à utiliser pour rendre compte d’un niveau de réalisation ou d’une évolution, en vue de contribuer au diagnostic ou à l’amélioration des performances. </li></ul><ul><li>ISO 11620 aide à construire des indicateurs techniques, pas à définir des indicateurs politiques </li></ul><ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>
  18. 18. Indicateurs : des points de vue différents, l’approche de l’administration <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>Coût d’un impôt par contribuable Réduire le coût de gestion de l’impôt Efficience de la gestion Contribuable Durée moyenne de la procédure Accélérer les décisions judiciaires Qualité du service rendu Usager Taux d’emploi six mois après le diplôme Améliorer l’insertion professionnelle des jeunes Efficacité socio-économique Citoyen Exemple d’indicateur Exemple d’objectif Catégorie d’objectifs Point de vue
  19. 19. Indicateurs : des points de vue différents, l’approche « classique » <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>objectifs moyens résultats pertinence efficacité efficience
  20. 20. Le « carré » de la performance <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>besoins moyens résultats objectifs satisfaction pertinence besoins efficience cohérence Société besoins objectifs résultats effets moyens cohérence efficience pertinence efficacité satisfaction impact <ul><li>Le carré de la performance : introduit les « besoins » </li></ul><ul><li>Le carré déplié </li></ul>
  21. 21. Les indicateurs entre nouveau management public et théorie des incitations
  22. 22. Imprimer une logique « évaluation » à la norme <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul><ul><li>4 familles d’indicateurs / approche balanced scorecard </li></ul><ul><ul><li>ressources, accès et </li></ul></ul><ul><ul><li>infrastructure </li></ul></ul><ul><ul><li>utilisation </li></ul></ul><ul><ul><li>efficience </li></ul></ul><ul><ul><li>potentialités et </li></ul></ul><ul><ul><li>développement </li></ul></ul>
  23. 23. Effets indésirables, pervers, secondaires… des indicateurs <ul><li>« payez suffisamment ou ne payez pas du tout » </li></ul><ul><li>Décourager les meilleurs </li></ul><ul><li>Encourager les moutons </li></ul><ul><li>(augmenter le taux de césariennes, favoriser la triche…) </li></ul>
  24. 24. Le cadre intangible de description des indicateurs <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul><ul><li>objectif </li></ul><ul><li>domaine d’application </li></ul><ul><li>définition </li></ul><ul><li>méthode </li></ul><ul><li>interprétation des résultats </li></ul><ul><li>sources </li></ul><ul><li>indicateurs associés </li></ul><ul><ul><ul><li>où A représente un niveau d’activité ou une quantité d’actes </li></ul></ul></ul><ul><ul><ul><li>où B rapporte A à une unité de moyens (€, ETP, temps…) </li></ul></ul></ul>
  25. 25. Qualité et performance 1 <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul><ul><li>Qualiticiens versus performeurs publics : qui inclut l’autre ? </li></ul><ul><li>Première proposition, la qualité est centrée sur les usagers et les processus, la performance fait référence aux missions et aux activités dictées par les missions </li></ul>
  26. 26. <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>Résultat voulu Résultat attendu Résultat réalisé Résultat perçu Évaluation de la satisfaction des besoins et de l’impact des actions menées Évaluation de la pertinence et de la cohérence de l’engagement Évaluation de la qualité de la perception (coïncidence) Évaluation de la qualité de la réalisation (efficacité / efficience) Qualité ? Performance ?
  27. 27. <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>Voulu opérationnel Attendu usagers, clients Réalisé prestataire Satisfaction de l’usager Efficacité opération. Perçu usagers, clients Résultat voulu politique Résultat attendu Att. citoyennes, besoins Résultat réalisé Effets indirects Résultat perçu global, citoyen Efficacité politique Satisfaction du citoyen citoyen client/usager prestataire politique Contraintes réglementaires, économiques
  28. 28. Qualité et performance 2 <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul><ul><li>Deuxième proposition : la qualité repose sur des référentiels externes (exemple la charte Marianne), la performance repose sur l’élaboration de référentiels internes (à la réalisation desquels peut contribuer la norme ISO 11620) </li></ul>
  29. 29. L’adaptation de concepts issus du privé <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul><ul><li>Performance et qualité : des concepts et des outils qui viennent du privé </li></ul><ul><li>Qualité et performance concourent à l’amélioration des résultats financiers </li></ul>Qualité des processus Réduction des coûts Qualité de la relation client Avantage compétitif Intangibilité des processus Public captif RAS <ul><li>Pas de problème, pas d’articulation… </li></ul>
  30. 30. Réconcilier performance et qualité <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul><ul><li>Performance = « qualité au meilleur coût » ? </li></ul><ul><li>L’administration, dans son approche, en particulier des indicateurs, opère un rapprochement </li></ul><ul><li>Assumer une complémentarité pratique, car les deux mettent en œuvre du management </li></ul><ul><li>Savoir ce que l’on fait et pourquoi on le fait </li></ul>
  31. 31. Une initiative française <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>qualibib
  32. 32. La grande famille des normes… <ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul>Pas de bon diaporama sans petits animaux
  33. 33. Les paradoxes normatifs (rien que ça) <ul><li>La normalisation suppose : </li></ul><ul><ul><li>du temps </li></ul></ul><ul><ul><li>le consensus </li></ul></ul><ul><ul><li>du recul </li></ul></ul><ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul><ul><li>Alors que les bibliothèques évoluent : </li></ul><ul><ul><li>vite </li></ul></ul><ul><ul><li>dans des directions différentes </li></ul></ul><ul><ul><li>de façon expérimentale </li></ul></ul>
  34. 34. Dis, comment on fait les normes ? <ul><ul><li>Afnor Commission générale CG46 : information et documentation </li></ul></ul><ul><ul><ul><li>Commission nationale CN8 : évaluation des résultats </li></ul></ul></ul><ul><li>Compter </li></ul><ul><li>Démontrer </li></ul><ul><li>Organiser </li></ul><ul><li>Cuisiner </li></ul><ul><ul><li>ISO Technical committee TC46 : information and documentation </li></ul></ul><ul><ul><ul><li>Sub Committee SC8 : Quality – statististics and performance evaluation </li></ul></ul></ul><ul><ul><ul><ul><li>WG2 (ISO 2789) </li></ul></ul></ul></ul><ul><ul><ul><ul><li>WG4 (ISO 11620) </li></ul></ul></ul></ul><ul><ul><ul><ul><li>WG5 (ISO 9707) </li></ul></ul></ul></ul><ul><ul><ul><ul><li>WG6 (ISO 9230) </li></ul></ul></ul></ul><ul><ul><ul><ul><li>WG7 (TR 28118) </li></ul></ul></ul></ul><ul><ul><ul><ul><li>WG8 (TR11219) </li></ul></ul></ul></ul><ul><ul><ul><ul><li>WG9 </li></ul></ul></ul></ul>Expertise, traduit, vote, propose…
  35. 35. Pertinence des normes, aujourd’hui <ul><li>Elles existent ! </li></ul><ul><li>Elles rendent compte de ce qui peut être clairement et sûrement calculé et mesuré aujourd’hui (« au-delà », rien d’assez solide pour être normalisé). [la normalisation = lieu de consolidation ? ] </li></ul><ul><li>En tant que normes internationales, elles donnent (ou devraient donner) un poids supérieur aux mesures et indicateurs qui en sont tirées, dans le cadre des discussions budgétaires ou politiques). </li></ul><ul><li>En particulier dans une perspective de comparaison, elles offrent un langage commun. </li></ul>
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×