Valutazione VQR: seminario Giorgio Sirilli 19.3.2012

  • 3,907 views
Uploaded on

 

More in: Education
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
3,907
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
16
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. CONSIGLIO NAZIONALE DELLE RICERCHEIstituto di Studi sui Sistemi Regionali Federali e sulle Autonomie Massimo Severo Giannini Roma, 19 marzo 2012 La Valutazione della Ricerca del CNR Le sfide della VQR dell’ANVUR Giorgio Sirilli
  • 2. Un Seminario di politica scientifica
  • 3. Indice La genesi L’approccio Gli attori La Valutazione della Qualità della Ricerca (VQR) Discussione Le sfide
  • 4. La domanda Quale sarà l’esito della valutazione del CNR da parte dell’ANVUR?
  • 5. Possibile classifica degli enti di ricerca INFN CNR .… .… .… .… .…
  • 6. E’ possibile pronosticare l’esito della VQR per gli enti di ricerca? No
  • 7. Un precedente Studio all’inizio del millennio (2002) Il 3% di Lisbona 1,20
  • 8. L’approccio Domanda di ricerca Dati Elaborazione Conclusioni Previsioni e raccomandazioni
  • 9. La valutazione della ricercaLa valutazione della ricerca può essere definita come un processo oggettivo mirato all’analisi critica della rilevanza, dell’efficienza e dell’efficacia di politiche, programmi, progetti, istituzioni, gruppi e singoli ricercatori nel perseguire gli obiettivi prefissati.La valutazione consiste in un complesso di attività coordinate, di carattere comparativo, basate su metodi e tecniche formalizzate e realizzate attraverso procedure codificabili, volte ad esprimere un giudizio su interventi intenzionali rispetto al loro svolgimento ed agli effetti generati.
  • 10. La prima valutazione (Genesi)Il primo giorno Dio creò il cielo e la terra. E Dio vide tutto quello cheaveva fatto. “Guarda” disse Dio “è veramente molto buono”. E vennesera, e poi mattina: era il sesto giorno. Ed il settimo giorno Dio siriposò dopo il Suo lavoro. Venne quindi da Lui il Suo arcangelo cheGli chiese: “Dio, come fai a sapere che quello che hai creato è‘veramente molto buono’?. Quali sono i Tuoi criteri? Su quali dati basila Tua valutazione? Non sei Tu forse un po’ troppo direttamentecoinvolto per dare un giudizio spassionato?” Dio rifletté su questedomande per tutto il settimo giorno, ed il Suo riposo fu moltoagitato. L’ottavo giorno Dio disse: “Lucifero, vai all’inferno”.
  • 11. La valutazione e gli indicatori
  • 12. La valutazione e gli indicatori L’elefante ci ricorda che l’informazione che otteniamo dalle classifiche degli indicatori è corretta, ma è comunque parzialeEach in his own opinion Ciascuno con la sua opinioneExceeding stiff and strong, Convinto caparbiamente di essere nelThough each was partly giusto, in the right, Sebbene ciascuno fosse parzialmenteAnd all were in the wrong! nel giusto, Tutti erano nell’errore!John Godfrey Saxe (1816–1887) John Godfrey Saxe (1816–1887)"The Blind Men and the Elephant" "The Blind Men and the Elephant"
  • 13. La valutazione(Ben Martin) “Quando misuri un sistema, cambi il sistema” “I quattro principi di Merton: - universalismo - comunitarismo - disinteresse - scetticismo organizzato sono sempre più erosi”
  • 14. La valutazione: il difficile equilibrio tra le esigenze della scienza e quelle della società14
  • 15. La matrice multidimensionale della valutazioneUnità da Obiettivo Dimensioni Indicatori Altri indicatorivalutare dell’output bibliometriciIndividuo Allocazione di Produttività della Pubblicazioni Valutazione dei risorse ricerca pari Miglioramento Impatto sulla Impact factor Brevetti, licenze,Gruppo di della performance comunità spin-offricerca scientifica Incremento della Innovazione e Impatto delle Inviti alleDipartimento citazioni conferenze multidisciplinarità beneficio sociale Incremento del Sostenibilità Collaborazioni FinanziamentiIstituzione internazionali esterni coinvolgimento regionale Infrastrutture di Prestigio delle “Qualità” dei PhDArea di Promozioni, citazioniricerca reclutamento ricerca
  • 16. La VQRUnità da Obiettivo Dimensioni Indicatori Altri indicatorivalutare dell’output bibliometriciIndividuo Allocazione di Produttività Pubblicazioni Valutazione risorse della ricerca dei pari Miglioramento Impatto sulla Impact Brevetti,Gruppo di della comunità factor licenze, spin-ricerca performance scientifica off Incremento della Innovazione e ImpattoDiparti- Inviti alle multidisciplinarità beneficio dellemento conferenze sociale citazioni Incremento del Collaborazioni FinanziamentiIstituzione Sostenibilità coinvolgimento internazionali esterni regionaleArea di Promozioni, Infrastrutture di Prestigio delle “Qualità” dei PhDricerca reclutamento ricerca citazioni
  • 17. ROARShttp://www.roars.it/online/
  • 18. Agenzia vigilata dal MIURSette membri (tutti universitari)
  • 19. Gli attori della VQR ANVUR  Gruppi di Esperti della Valutazione (GEV)  Revisori Strutture  Università  Dipartimenti  Enti di ricerca CINECA Ricercatori
  • 20. La VQR GEV  14 Gruppi  450 esperti (di cui 3 del CNR) Cronoprogramma della VQR  Inizio: novembre 2011  Fine: giugno 2013
  • 21. VQR – Aree, GEV, ricercatori, prodotti GEV Universities Research agencies Max Full Assistant Research Technolo number ofArea professor professor Researcher TOTAL er gist productsMathematics and Information Science 25 968 1002 1256 3226 369 62 12075Physics 18 604 816 870 2290 262 44 8572Chemistry 23 703 963 1293 2959 338 57 11076Earth science 9 259 376 460 1095 125 21 4099Biology 38 1234 1361 2283 4878 557 94 18259Medicine 79 2186 2955 5052 10193 1165 196 38154Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483Industrial and Computer engineering andAncient History Philological Literature 39 1600 1504 1961 5065 579 97 18959Arts 42 1512 1628 2256 5396 617 104 20198History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469Law 37 1612 1123 2049 4784 547 92 17907Economics and Statistics 36 1580 1331 1758 4669 533 90 17477Political and Social sciences 13 437 485 775 1697 194 33 6352TOTAL 449 15972 16980 24875 57827 6609 1112 216455
  • 22. La metodologia 15 indicatori utilizzati  7 indicatori di Area  8 indicatori di “Terza missione”
  • 23. IndicatoriIndicatori di Area legati alla ricerca: qualità (0,5) attrazione di risorse (0,1) mobilità (0,1) internazionalizzazione (0,1) alta formazione (0,1) risorse proprie (0,05) Oggi l’attenzione è tutta qui miglioramento (0,05)
  • 24. Qualità dei “prodotti”Punteggi: eccellente 1,0 20% superiore della scala internazionale buono 0,8 60-80% accettabile 0,5 50-60% limitato 0,0 <50% mancante -0,5 non valutabile -1,0 plagio o frode -2,0
  • 25. Problemi della valutazione dei prodotti Valutazione dei pari/ bibliometria Riviste da Giudizio finale Associati includere dei GEV Presenza schiacciante Pesi Selezione dei degli universitari 20-20-10-50 referee Valori positivi Prodotti 6/3 e negativi
  • 26. Gli indicatori Indicatori di struttura di ‘terza missione’: conto terzi (0,2) brevetti (0,1) spin-off (0,1) incubatori (0,1) consorzi (0,1) siti archeologici (0,1) poli museali (0,1) altre attività (0,2)
  • 27. Quanti indicatori? Uno, nessuno, centomila?Tre scenari per gli indicatori: un indicatore sintetico due indicatori (Area e Terza missione) cruscotto (scoreboard)Scenari possibili: Graduatorie (Shanghai) multi-ranking
  • 28. Valutazione della Qualità della Ricerca (VQR) Università Enti di ricerca Didattica Ricerca Ricerca Terza Terza missione missione
  • 29. Valutazione della Qualità della Ricerca (VQR) VAlutazione delle Strutture che svolgonoAttività di RIcerca e di TRAsferimento delle COnoscenze (VASARITRACO)
  • 30. Il progetto della VQR Il progetto della VQR è ancora una abbozzo, manca la stesura finale in cui sono specificate le modalità di misurazione
  • 31. Un profilo degli enti pubblici di ricerca
  • 32. Gli enti pubblici di ricerca: realtà molto eterogenee
  • 33. Alcune caratteristiche degli enti pubblici di ricerca vigilati dal MIUR e di altri grandi enti. Anno 2009Sigla Caratteristiche differenziazione svolge svolge svolge scientifica e attività di attività di attività di tecnologica ricerca formazione servizioEnti vigilati dal MiurCnr alta sì sì sìInfn bassa sì sì noInaf bassa sì no noIngv bassa sì no sìAsi bassa no no noInrim media no sì sìOgs media sì no noStazione zoologica "A. Dohrn" bassa sì sì sìParco tecnologico Trieste alta no sì sìCentro Fermi bassa no no noIndam bassa no no noISG bassa no no noAltri enti 6/12 5/12 5/12Enea alta sì sì siIstat bassa sì sì sìIss media sì sì sìIsfol bassa sì no siIit media sì no no
  • 34. La valutazione degli Istituti del CNR Svolta nel 2009 Metodologia: “a tavolino” e “visita in loco”
  • 35. L a valutazione degli Istituti - 2009
  • 36. L a valutazione degli Istituti - 2009
  • 37. L a valutazione degli Istituti - 2009
  • 38. La valutazione degli Istituti del CNR Un’opportunità persa?http://www.issirfa.cnr.it/download/File/Research%20Evaluation%2017_3_2011.pdf
  • 39. Alcune considerazioni Gli enti pubblici di ricerca devono essere valutati La metodologia della VQR è inadatta per gli enti di ricerca Gli enti dovrebbero essere valutati ad hoc (“a tavolino” e “in loco”) Informazioni “vecchie” (2004-2010) per un’utilizzazione futura in tempi di “vacche magre” Valutazione adiuvante, non punitiva Modalità di utilizzazione dei risultati da parte dei policy maker
  • 40. Sfide per il CNR Penalizzazione del CNR – è più che un rischio Prestare attenzione agli “altri” 14 indicatori Tipo e qualità dei dati da fornire all’ANVUR Valutazione dell’ente, degli istituti e dei ricercatori/tecnologi Come rapportarsi con gli altri enti (concorrenti)? Chiedere che gli enti di ricerca siano valutati a parte Chiedere un “momento di riflessione” per migliorare la metodologia Gestire le tensioni all’interno del CNR
  • 41. E ora … affrontiamo le sfide Mettiamoci a lavoroGrazie dell’attenzione