0
CONSIGLIO NAZIONALE DELLE RICERCHEIstituto di Studi sui Sistemi Regionali Federali e sulle Autonomie                      ...
Un Seminario di politica scientifica
Indice   La genesi   L’approccio   Gli attori   La Valutazione della Qualità della Ricerca (VQR)   Discussione   Le ...
La domanda Quale sarà l’esito  della valutazione  del CNR da parte  dell’ANVUR?
Possibile classifica degli enti di ricerca  INFN         CNR               .…                    .…                       ...
E’ possibile pronosticare l’esito della     VQR per gli enti di ricerca?                  No
Un precedente Studio all’inizio del millennio (2002) Il 3% di Lisbona                                           1,20
L’approccio   Domanda di ricerca   Dati   Elaborazione   Conclusioni   Previsioni e raccomandazioni
La valutazione della ricercaLa valutazione della ricerca può essere definita come un processo   oggettivo mirato all’anali...
La prima valutazione (Genesi)Il primo giorno Dio creò il cielo e la terra. E Dio vide tutto quello cheaveva fatto. “Guarda...
La valutazione e gli indicatori
La valutazione e gli indicatori    L’elefante ci ricorda che l’informazione che otteniamo dalle classifiche        degli i...
La valutazione(Ben Martin) “Quando misuri un sistema, cambi il sistema” “I quattro principi di Merton:    - universalism...
La valutazione: il difficile equilibrio tra le     esigenze della scienza e quelle della società14
La matrice multidimensionale della valutazioneUnità da       Obiettivo          Dimensioni           Indicatori        Alt...
La VQRUnità da      Obiettivo        Dimensioni          Indicatori        Altri indicatorivalutare                       ...
ROARShttp://www.roars.it/online/
Agenzia vigilata dal MIURSette membri (tutti universitari)
Gli attori della VQR ANVUR    Gruppi di Esperti della Valutazione (GEV)    Revisori Strutture    Università    Dipar...
La VQR GEV    14 Gruppi    450 esperti (di cui 3 del CNR) Cronoprogramma della VQR    Inizio: novembre 2011    Fine:...
VQR – Aree, GEV, ricercatori, prodotti                                          GEV                 Universities          ...
La metodologia 15 indicatori utilizzati        7 indicatori di Area        8 indicatori di “Terza missione”
IndicatoriIndicatori di Area legati alla ricerca:   qualità                         (0,5)   attrazione di risorse         ...
Qualità dei “prodotti”Punteggi:  eccellente         1,0    20% superiore della scala internazionale  buono              0,...
Problemi della valutazione dei prodotti                 Valutazione dei pari/                     bibliometria            ...
Gli indicatori Indicatori di struttura di ‘terza missione’:  conto terzi            (0,2)  brevetti               (0,1)  ...
Quanti indicatori?    Uno, nessuno, centomila?Tre scenari per gli indicatori: un indicatore sintetico due indicatori (Ar...
Valutazione della Qualità della Ricerca (VQR)         Università     Enti di ricerca          Didattica                   ...
Valutazione della Qualità della Ricerca                    (VQR) VAlutazione delle Strutture che svolgonoAttività di RIcer...
Il progetto della VQR Il progetto della VQR è ancora una abbozzo, manca la stesura finale  in cui sono specificate le mod...
Un profilo degli enti pubblici di ricerca
Gli enti pubblici di ricerca: realtà molto eterogenee
Alcune caratteristiche degli enti pubblici di ricerca vigilati dal MIUR e di altri grandi enti. Anno 2009Sigla            ...
La valutazione degli Istituti del CNR Svolta nel 2009 Metodologia: “a tavolino” e “visita in loco”
L a valutazione degli Istituti - 2009
L a valutazione degli Istituti - 2009
L a valutazione degli Istituti - 2009
La valutazione degli Istituti del CNR               Un’opportunità persa?http://www.issirfa.cnr.it/download/File/Research%...
Alcune considerazioni Gli enti pubblici di ricerca devono essere valutati La metodologia della VQR è inadatta per gli en...
Sfide per il CNR   Penalizzazione del CNR – è più che un rischio   Prestare attenzione agli “altri” 14 indicatori   Tip...
E ora … affrontiamo le sfide    Mettiamoci a lavoroGrazie dell’attenzione
Upcoming SlideShare
Loading in...5
×

Valutazione VQR: seminario Giorgio Sirilli 19.3.2012

3,952

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
3,952
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
17
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Valutazione VQR: seminario Giorgio Sirilli 19.3.2012 "

  1. 1. CONSIGLIO NAZIONALE DELLE RICERCHEIstituto di Studi sui Sistemi Regionali Federali e sulle Autonomie Massimo Severo Giannini Roma, 19 marzo 2012 La Valutazione della Ricerca del CNR Le sfide della VQR dell’ANVUR Giorgio Sirilli
  2. 2. Un Seminario di politica scientifica
  3. 3. Indice La genesi L’approccio Gli attori La Valutazione della Qualità della Ricerca (VQR) Discussione Le sfide
  4. 4. La domanda Quale sarà l’esito della valutazione del CNR da parte dell’ANVUR?
  5. 5. Possibile classifica degli enti di ricerca INFN CNR .… .… .… .… .…
  6. 6. E’ possibile pronosticare l’esito della VQR per gli enti di ricerca? No
  7. 7. Un precedente Studio all’inizio del millennio (2002) Il 3% di Lisbona 1,20
  8. 8. L’approccio Domanda di ricerca Dati Elaborazione Conclusioni Previsioni e raccomandazioni
  9. 9. La valutazione della ricercaLa valutazione della ricerca può essere definita come un processo oggettivo mirato all’analisi critica della rilevanza, dell’efficienza e dell’efficacia di politiche, programmi, progetti, istituzioni, gruppi e singoli ricercatori nel perseguire gli obiettivi prefissati.La valutazione consiste in un complesso di attività coordinate, di carattere comparativo, basate su metodi e tecniche formalizzate e realizzate attraverso procedure codificabili, volte ad esprimere un giudizio su interventi intenzionali rispetto al loro svolgimento ed agli effetti generati.
  10. 10. La prima valutazione (Genesi)Il primo giorno Dio creò il cielo e la terra. E Dio vide tutto quello cheaveva fatto. “Guarda” disse Dio “è veramente molto buono”. E vennesera, e poi mattina: era il sesto giorno. Ed il settimo giorno Dio siriposò dopo il Suo lavoro. Venne quindi da Lui il Suo arcangelo cheGli chiese: “Dio, come fai a sapere che quello che hai creato è‘veramente molto buono’?. Quali sono i Tuoi criteri? Su quali dati basila Tua valutazione? Non sei Tu forse un po’ troppo direttamentecoinvolto per dare un giudizio spassionato?” Dio rifletté su questedomande per tutto il settimo giorno, ed il Suo riposo fu moltoagitato. L’ottavo giorno Dio disse: “Lucifero, vai all’inferno”.
  11. 11. La valutazione e gli indicatori
  12. 12. La valutazione e gli indicatori L’elefante ci ricorda che l’informazione che otteniamo dalle classifiche degli indicatori è corretta, ma è comunque parzialeEach in his own opinion Ciascuno con la sua opinioneExceeding stiff and strong, Convinto caparbiamente di essere nelThough each was partly giusto, in the right, Sebbene ciascuno fosse parzialmenteAnd all were in the wrong! nel giusto, Tutti erano nell’errore!John Godfrey Saxe (1816–1887) John Godfrey Saxe (1816–1887)"The Blind Men and the Elephant" "The Blind Men and the Elephant"
  13. 13. La valutazione(Ben Martin) “Quando misuri un sistema, cambi il sistema” “I quattro principi di Merton: - universalismo - comunitarismo - disinteresse - scetticismo organizzato sono sempre più erosi”
  14. 14. La valutazione: il difficile equilibrio tra le esigenze della scienza e quelle della società14
  15. 15. La matrice multidimensionale della valutazioneUnità da Obiettivo Dimensioni Indicatori Altri indicatorivalutare dell’output bibliometriciIndividuo Allocazione di Produttività della Pubblicazioni Valutazione dei risorse ricerca pari Miglioramento Impatto sulla Impact factor Brevetti, licenze,Gruppo di della performance comunità spin-offricerca scientifica Incremento della Innovazione e Impatto delle Inviti alleDipartimento citazioni conferenze multidisciplinarità beneficio sociale Incremento del Sostenibilità Collaborazioni FinanziamentiIstituzione internazionali esterni coinvolgimento regionale Infrastrutture di Prestigio delle “Qualità” dei PhDArea di Promozioni, citazioniricerca reclutamento ricerca
  16. 16. La VQRUnità da Obiettivo Dimensioni Indicatori Altri indicatorivalutare dell’output bibliometriciIndividuo Allocazione di Produttività Pubblicazioni Valutazione risorse della ricerca dei pari Miglioramento Impatto sulla Impact Brevetti,Gruppo di della comunità factor licenze, spin-ricerca performance scientifica off Incremento della Innovazione e ImpattoDiparti- Inviti alle multidisciplinarità beneficio dellemento conferenze sociale citazioni Incremento del Collaborazioni FinanziamentiIstituzione Sostenibilità coinvolgimento internazionali esterni regionaleArea di Promozioni, Infrastrutture di Prestigio delle “Qualità” dei PhDricerca reclutamento ricerca citazioni
  17. 17. ROARShttp://www.roars.it/online/
  18. 18. Agenzia vigilata dal MIURSette membri (tutti universitari)
  19. 19. Gli attori della VQR ANVUR  Gruppi di Esperti della Valutazione (GEV)  Revisori Strutture  Università  Dipartimenti  Enti di ricerca CINECA Ricercatori
  20. 20. La VQR GEV  14 Gruppi  450 esperti (di cui 3 del CNR) Cronoprogramma della VQR  Inizio: novembre 2011  Fine: giugno 2013
  21. 21. VQR – Aree, GEV, ricercatori, prodotti GEV Universities Research agencies Max Full Assistant Research Technolo number ofArea professor professor Researcher TOTAL er gist productsMathematics and Information Science 25 968 1002 1256 3226 369 62 12075Physics 18 604 816 870 2290 262 44 8572Chemistry 23 703 963 1293 2959 338 57 11076Earth science 9 259 376 460 1095 125 21 4099Biology 38 1234 1361 2283 4878 557 94 18259Medicine 79 2186 2955 5052 10193 1165 196 38154Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483Industrial and Computer engineering andAncient History Philological Literature 39 1600 1504 1961 5065 579 97 18959Arts 42 1512 1628 2256 5396 617 104 20198History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469Law 37 1612 1123 2049 4784 547 92 17907Economics and Statistics 36 1580 1331 1758 4669 533 90 17477Political and Social sciences 13 437 485 775 1697 194 33 6352TOTAL 449 15972 16980 24875 57827 6609 1112 216455
  22. 22. La metodologia 15 indicatori utilizzati  7 indicatori di Area  8 indicatori di “Terza missione”
  23. 23. IndicatoriIndicatori di Area legati alla ricerca: qualità (0,5) attrazione di risorse (0,1) mobilità (0,1) internazionalizzazione (0,1) alta formazione (0,1) risorse proprie (0,05) Oggi l’attenzione è tutta qui miglioramento (0,05)
  24. 24. Qualità dei “prodotti”Punteggi: eccellente 1,0 20% superiore della scala internazionale buono 0,8 60-80% accettabile 0,5 50-60% limitato 0,0 <50% mancante -0,5 non valutabile -1,0 plagio o frode -2,0
  25. 25. Problemi della valutazione dei prodotti Valutazione dei pari/ bibliometria Riviste da Giudizio finale Associati includere dei GEV Presenza schiacciante Pesi Selezione dei degli universitari 20-20-10-50 referee Valori positivi Prodotti 6/3 e negativi
  26. 26. Gli indicatori Indicatori di struttura di ‘terza missione’: conto terzi (0,2) brevetti (0,1) spin-off (0,1) incubatori (0,1) consorzi (0,1) siti archeologici (0,1) poli museali (0,1) altre attività (0,2)
  27. 27. Quanti indicatori? Uno, nessuno, centomila?Tre scenari per gli indicatori: un indicatore sintetico due indicatori (Area e Terza missione) cruscotto (scoreboard)Scenari possibili: Graduatorie (Shanghai) multi-ranking
  28. 28. Valutazione della Qualità della Ricerca (VQR) Università Enti di ricerca Didattica Ricerca Ricerca Terza Terza missione missione
  29. 29. Valutazione della Qualità della Ricerca (VQR) VAlutazione delle Strutture che svolgonoAttività di RIcerca e di TRAsferimento delle COnoscenze (VASARITRACO)
  30. 30. Il progetto della VQR Il progetto della VQR è ancora una abbozzo, manca la stesura finale in cui sono specificate le modalità di misurazione
  31. 31. Un profilo degli enti pubblici di ricerca
  32. 32. Gli enti pubblici di ricerca: realtà molto eterogenee
  33. 33. Alcune caratteristiche degli enti pubblici di ricerca vigilati dal MIUR e di altri grandi enti. Anno 2009Sigla Caratteristiche differenziazione svolge svolge svolge scientifica e attività di attività di attività di tecnologica ricerca formazione servizioEnti vigilati dal MiurCnr alta sì sì sìInfn bassa sì sì noInaf bassa sì no noIngv bassa sì no sìAsi bassa no no noInrim media no sì sìOgs media sì no noStazione zoologica "A. Dohrn" bassa sì sì sìParco tecnologico Trieste alta no sì sìCentro Fermi bassa no no noIndam bassa no no noISG bassa no no noAltri enti 6/12 5/12 5/12Enea alta sì sì siIstat bassa sì sì sìIss media sì sì sìIsfol bassa sì no siIit media sì no no
  34. 34. La valutazione degli Istituti del CNR Svolta nel 2009 Metodologia: “a tavolino” e “visita in loco”
  35. 35. L a valutazione degli Istituti - 2009
  36. 36. L a valutazione degli Istituti - 2009
  37. 37. L a valutazione degli Istituti - 2009
  38. 38. La valutazione degli Istituti del CNR Un’opportunità persa?http://www.issirfa.cnr.it/download/File/Research%20Evaluation%2017_3_2011.pdf
  39. 39. Alcune considerazioni Gli enti pubblici di ricerca devono essere valutati La metodologia della VQR è inadatta per gli enti di ricerca Gli enti dovrebbero essere valutati ad hoc (“a tavolino” e “in loco”) Informazioni “vecchie” (2004-2010) per un’utilizzazione futura in tempi di “vacche magre” Valutazione adiuvante, non punitiva Modalità di utilizzazione dei risultati da parte dei policy maker
  40. 40. Sfide per il CNR Penalizzazione del CNR – è più che un rischio Prestare attenzione agli “altri” 14 indicatori Tipo e qualità dei dati da fornire all’ANVUR Valutazione dell’ente, degli istituti e dei ricercatori/tecnologi Come rapportarsi con gli altri enti (concorrenti)? Chiedere che gli enti di ricerca siano valutati a parte Chiedere un “momento di riflessione” per migliorare la metodologia Gestire le tensioni all’interno del CNR
  41. 41. E ora … affrontiamo le sfide Mettiamoci a lavoroGrazie dell’attenzione
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×