Aib 2008 Mdg

724 views
667 views

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
724
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
17
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Aib 2008 Mdg

  1. 1. Misurazione e valutazione come strumenti di gestione, cambiamento e sviluppo Maurizio di Girolamo Biblioteca di Ateneo Università degli Studi di Milano Bicocca Seminario AIB 13 novembre 2008
  2. 2. Oggi parliamo di valutazione <ul><li>La valutazione: una brutta parola o tante parole da mettere insieme? </li></ul><ul><li>Tutto quello che avremmo voluto sapere ma che non abbiamo mai osato chiedere… ancora </li></ul><ul><li>Una sola domanda… </li></ul><ul><li>… tante possibili risposte </li></ul>
  3. 3. La “nuvola” della valutazione
  4. 5. La valutazione è… <ul><li>l'insieme delle attività per esprimere un giudizio per un fine decisionale ; tale giudizio deve essere argomentato tramite procedure di ricerca valutativa che ne costituiscono elemento essenziale ed imprescindibile di argomentazione. Le espressioni di giudizio argomentate sulla base di dati e informazioni raccolti e analizzati per questo scopo, e finalizzate al sostegno della decisione, è ciò che distingue la valutazione scientifica e professionale dall'espressione di giudizi basati sul senso comune, su pregiudizi, su interessi di parte. </li></ul><ul><li>(Claudio Bezzi) </li></ul><ul><li>http://www.valutazione.it </li></ul>
  5. 6. La teoria: l’evoluzione dello “Scientific management” <ul><li>La Misurazione (H. Ford, F. Taylor, 1920-30) </li></ul><ul><li>PDCA = Plan, do, check, act (E. Deming, 1940-50) </li></ul><ul><li>MBO = Manage by objective (P. Drucker, 1950-60) </li></ul><ul><li>ABC = Activity base costing (1970-80) </li></ul><ul><li>Balance Scorecard (Norton-Kaplan 1990-2000) </li></ul>
  6. 7. La teoria applicabile alla pratica: i principi guida del New Public Management <ul><li>Decentramento e autonomia della gestione </li></ul><ul><li>Controllo delle spese </li></ul><ul><li>Informatizzazione </li></ul><ul><li>Misurazione delle prestazioni </li></ul><ul><li>Valutazione e incentivazione del personale </li></ul><ul><li>Valutazione dell’impatto delle politiche adottate </li></ul><ul><li>La governance nella PA </li></ul><ul><li>< http://www.governance.formez.it /> </li></ul>
  7. 8. La performance come… <ul><li>Controllo di legittimità (adempimento burocratico)  anni ’80 </li></ul><ul><li>Efficienza manageriale (efficienza, economicità, qualità)  anni ’90 </li></ul><ul><li>Creazione di valore pubblico (risultati, effetti, impatti)  anni 2000 </li></ul><ul><li>Misurare per decidere </li></ul><ul><li>La misurazione delle performance per migliorare le politiche pubbliche e i servizi (2007) <http://www.cantieripa.it/inside.asp-id=513.htm> </li></ul>
  8. 9. La valutazione come sviluppo lineare Peter Brophy, Assessing library value and performance, Milano, novembre 2007
  9. 10. La valutazione come ciclo <ul><li>Il ciclo logico del monitoraggio e della valutazione ( Vecchi, Forum PA 2005 ): </li></ul>Obiettivi Input Attuazione Monitoraggio efficienza, qualità efficacia interna rilevanza Variabili intervenienti Valutazione Prodotti (output) Risultati (outcome) Impatti (impact) utilità, sostenibilità PROBLEMI COLLETTIVI = CONDIZIONI INDESIDERATE
  10. 11. Le prospettive della valutazione Prospettiva esterna Utenti Focus sulla qualità Focus sull’impatto Prospettiva interna Biblioteca Focus sui processi Focus sui prodotti Approccio quantitativo Approccio qualitativo
  11. 12. Quali misure e per quale scopo Joseph R. Matthews, The Balanced Scorecard in Public Libraries, September 2006
  12. 13. Un mondo di progetti… <ul><li>ARL: < http://www.arl.org/ stats / > </li></ul><ul><li>COUNTER: < http://www.projectcounter.org/ > </li></ul><ul><li>E-VALUED: http://www.evalued.bcu.ac.uk/ </li></ul><ul><li>MESUR: < http://www.mesur.org/ MESUR.html > </li></ul><ul><li>IFLA: < http://www.ifla.org/VII/s22/ > </li></ul><ul><li>LISU: < http://www.lboro.ac.uk/ departments / dils / lisu / > </li></ul><ul><li>SCONUL: < http://www.sconul.ac.uk/ statistics / > </li></ul><ul><li>LIBQUAL+: < http://www.libqual.org/ > </li></ul><ul><li>ULB MUNSTER: < http://www.ulb.uni-muenster.de/ bibliothek / projekte / outcome.html > </li></ul>
  13. 14. E noi? <ul><li>GIM (Gruppo Interuniversitario </li></ul><ul><li>per il Monitoraggio </li></ul><ul><li>dei sistemi bibliotecari di ateneo) </li></ul><ul><li>< http:// gim.cab.unipd.it / > </li></ul><ul><li>BIC (Biblioteche Italiane Certificate) < http://www.comune.empoli.fi.it/ bic / index.html > </li></ul>
  14. 15. Gli strumenti <ul><li>Efficienza </li></ul><ul><ul><li>Costi/benefici </li></ul></ul><ul><ul><li>Prodotti </li></ul></ul><ul><ul><li>Processi </li></ul></ul><ul><li>Efficacia </li></ul><ul><ul><li>Customer satisfaction </li></ul></ul><ul><li>Impatto </li></ul><ul><ul><li>Outcome </li></ul></ul><ul><ul><li>Risultati </li></ul></ul><ul><li>Approccio quantitativo </li></ul><ul><ul><li>Indicatori finanziari </li></ul></ul><ul><ul><li>Activity based costing </li></ul></ul><ul><ul><li>Diagramma di Pareto </li></ul></ul><ul><ul><li>ROI, Contingent valuation </li></ul></ul><ul><li>Approccio qualitativo </li></ul><ul><ul><li>Questionari </li></ul></ul><ul><ul><li>Interviste, focus group </li></ul></ul><ul><ul><li>Mystery shopping </li></ul></ul><ul><li>Approccio misto </li></ul><ul><ul><li>Balance scorecard </li></ul></ul>
  15. 16. L’analisi delle attività… Efficienza Efficacia Progetti Prodotti Gestione monografie - ordini Gestione monografie - catalogazioni Gestione periodici Coordinamento ILL/DD Gestione sale e collezioni Reference Prestito Formazione e comunicazione Gestione Web Gruppi di lavoro interateneo Manutenzione del catalogo Gestione sistemi informativi Gestione ILS Sviluppo organizzativo Risorse elettroniche Coordinamento
  16. 17. … e la frustrazione del bibliotecario L’angolo del buon umore 1
  17. 18. Dai numeri…
  18. 19. … alle parole (e oltre)
  19. 20. He uses statistics as a drunken man uses lampposts - for support rather than illumination A. Lang L’angolo del buon umore 2
  20. 21. Statistics are like bikinis. What they reveal is suggestive, but what they conceal is vital Aaron Levenstein L’angolo del buon umore 3
  21. 22. La valutazione nei Sistemi Bibliotecari di Ateneo (1) <ul><li>Inizio rilevazioni quantitative: seconda metà anni ’90 (MURST) e nuovo impulso 2002-2003 (GIM) </li></ul><ul><li>Indagini customer satisfaction: episodiche, soprattutto negli ultimi 3-4 anni </li></ul><ul><li>Approccio qualitativo: molto scarso, se si eccettuano specifici ambiti di applicazione </li></ul><ul><li>, </li></ul>Maurizio di Girolamo, Perché misuriamo? : i sistemi bibliotecari di ateneo alle prese con il monitoraggio, tra entusiasmi e frustrazioni, Convegno AIB 2007, < http://www.aib.it/ aib / congr /c54/mh.htm3 >
  22. 23. La valutazione nei Sistemi Bibliotecari di Ateneo (2) <ul><li>Periodicità annuale con eccezioni sporadiche (spese, performance, carichi di lavoro) </li></ul><ul><li>Controllo di gestione poco diffuso negli atenei e assente per gli SBA </li></ul><ul><li>Rapporto SBA NdV problematico (con lodevoli eccezioni) </li></ul>
  23. 24. La valutazione nei Sistemi Bibliotecari di Ateneo (3) <ul><li>Rapporto centro-periferia per raccolta ed elaborazione dati </li></ul><ul><li>Coesistenza di dati imputati manualmente e dati derivati da sistemi informativi </li></ul><ul><li>Sperimentazioni e analisi a livello decentrato (biblioteche di dipartimento) </li></ul>
  24. 25. La valutazione nei Sistemi Bibliotecari di Ateneo (4) <ul><li>Il monitoraggio come adempimento burocratico </li></ul><ul><li>Le resistenze dello staff </li></ul><ul><li>Le resistenze dei consigli scientifici </li></ul><ul><li>Le eccezioni positive </li></ul>
  25. 26. La valutazione nei Sistemi Bibliotecari di Ateneo (5) <ul><li>Dati assoluti in serie storica </li></ul><ul><li>Benchmarking interno </li></ul><ul><li>Confronto con standard (GIM e non solo) </li></ul><ul><li>Risorse elettroniche </li></ul><ul><li>Indagini di customer satisfaction </li></ul><ul><li>Mancata correlazione fra analisi quantitative e qualitative </li></ul>
  26. 27. La valutazione nei Sistemi Bibliotecari di Ateneo (6) <ul><li>Relazioni e rapporti annuali </li></ul><ul><li>Condivisione con lo staff e gli stakeholder </li></ul><ul><li>Pubblicazione dei dati e delle analisi (Intranet vs Internet) </li></ul><ul><li>Occasioni particolari (comunicazioni, pubblicazioni, …) </li></ul><ul><li>Eccezione: le indagini di customer </li></ul>
  27. 28. La valutazione nei Sistemi Bibliotecari di Ateneo (7) <ul><li>Atteggiamento “difensivo” </li></ul><ul><ul><li>Analisi quantitative </li></ul></ul><ul><li>Atteggiamento “proattivo” </li></ul><ul><ul><li>Analisi qualitative </li></ul></ul><ul><li>Comunicazione come condivisione </li></ul>
  28. 29. La valutazione nei Sistemi Bibliotecari di Ateneo (8) <ul><li>Ripartizione dei finanziamenti fra le strutture </li></ul><ul><li>Distribuzione del personale </li></ul><ul><li>Definizione e monitoraggio degli obiettivi di struttura e dei dirigenti </li></ul><ul><li>Valutazione di singoli servizi, forniture </li></ul><ul><li>Politica delle collezioni (cartacee ed elettroniche) </li></ul><ul><li>Monitoraggio della formazione interna/esterna </li></ul>
  29. 30. La valutazione nei Sistemi Bibliotecari di Ateneo (9) <ul><li>Difficoltà di rapporto fra SBA e resto dell’Ateneo </li></ul><ul><li>Mancanza di tempo/risorse da dedicare al monitoraggio </li></ul><ul><li>Sottovalutazione dell’importanza della misurazione in termini di pianificazione del cambiamento </li></ul>
  30. 31. L’angolo del buon umore?
  31. 32. Le indagini di OCLC <ul><li>L’avvento del Web e la sempre maggiore confidenza degli utenti nei confronti della rete, stanno, in effetti, rendendo evidente il fenomeno crescente della disintermediazione, o forse – più propriamente – iperintermediazione, informativa </li></ul><ul><li>I motori di ricerca sono il punto di riferimento in assoluto più utilizzato, dal quale, secondo il report del 2005, ben l’84% degli intervistati parte per le proprie ricerche, contro l’1% di quelli che si rivolgono, inizialmente, al sito web della biblioteca </li></ul><ul><li>Il 90% poi si ritiene soddisfatto dell’informazione ottenuta attraverso i search engines , soprattutto rispetto alla quantità e alla qualità delle informazioni ottenute </li></ul><ul><li>Andrea Marchitelli, AIB Notizie, 20, 2008 < http://www.aib.it/ aib /editoria/n20/0413.htm3 > </li></ul>Il cambiamento è una questione di SOPRAVVIVENZA
  32. 33. LIBQUAL+ Brown University Library’s Experience with LibQUAL+ BLC Output Measures Workshop May 27, 2003 Boston Public Library
  33. 34. Il Balanced Scorecard Kaplan & Norton http://www.balancedscorecard.org
  34. 35. I “Malcolm Baldridge Criteria” < http://www.quality.nist.gov/ >
  35. 36. Would you recommend us to a friend? < http://www.oclc.org/ nextspace /005/1.htm >
  36. 37. Pochi ma buoni… <ul><li>Measuring quality : performance measurement in libraries / Roswitha Poll, Peter te Boekhorst. - 2nd rev. ed. - München : K. G. Saur, 2007 </li></ul><ul><li>The evaluation and measurement of library services / Joseph R. Matthews. - Westport (Conn.) : Libraries Unlimited, 2007 </li></ul><ul><li>Measuring library performance : principles and techniques / Peter Brophy. - London : Facet, 2006 </li></ul><ul><li>The measure of library excellence / Despina Dapias Wilson, Theresa del Tufo and Anne E.C. Norman, Jefferson (N.C.) ; London : McFarland, c2008 </li></ul>
  37. 38. Per concludere… &quot;Obstacles are those frightful things you see when you take your eyes off your goal” Henry Ford

×