Lorenzo D'Emidio- Lavoro sulla Bioarchittetura.pptx
Valutazione VQR: seminario Giorgio Sirilli 19.3.2012
1. CONSIGLIO NAZIONALE DELLE RICERCHE
Istituto di Studi sui Sistemi Regionali Federali e sulle Autonomie
''Massimo Severo Giannini''
Roma, 19 marzo 2012
La Valutazione della Ricerca del CNR
Le sfide della VQR dell’ANVUR
Giorgio Sirilli
8. L’approccio
Domanda di ricerca
Dati
Elaborazione
Conclusioni
Previsioni e raccomandazioni
9. La valutazione della ricerca
La valutazione della ricerca può essere definita come un processo
oggettivo mirato all’analisi critica della rilevanza, dell’efficienza e
dell’efficacia di politiche, programmi, progetti, istituzioni, gruppi e
singoli ricercatori nel perseguire gli obiettivi prefissati.
La valutazione consiste in un complesso di attività coordinate, di
carattere comparativo, basate su metodi e tecniche formalizzate e
realizzate attraverso procedure codificabili, volte ad esprimere un
giudizio su interventi intenzionali rispetto al loro svolgimento ed agli
effetti generati.
10. La prima valutazione (Genesi)
Il primo giorno Dio creò il cielo e la terra. E Dio vide tutto quello che
aveva fatto. “Guarda” disse Dio “è veramente molto buono”. E venne
sera, e poi mattina: era il sesto giorno. Ed il settimo giorno Dio si
riposò dopo il Suo lavoro. Venne quindi da Lui il Suo arcangelo che
Gli chiese: “Dio, come fai a sapere che quello che hai creato è
‘veramente molto buono’?. Quali sono i Tuoi criteri? Su quali dati basi
la Tua valutazione? Non sei Tu forse un po’ troppo direttamente
coinvolto per dare un giudizio spassionato?” Dio rifletté su queste
domande per tutto il settimo giorno, ed il Suo riposo fu molto
agitato. L’ottavo giorno Dio disse: “Lucifero, vai all’inferno”.
12. La valutazione e gli indicatori
L’elefante ci ricorda che l’informazione che otteniamo dalle classifiche
degli indicatori è corretta, ma è comunque parziale
Each in his own opinion Ciascuno con la sua opinione
Exceeding stiff and strong, Convinto caparbiamente di essere nel
Though each was partly giusto,
in the right, Sebbene ciascuno fosse parzialmente
And all were in the wrong! nel giusto,
Tutti erano nell’errore!
John Godfrey Saxe (1816–1887) John Godfrey Saxe (1816–1887)
"The Blind Men and the Elephant" "The Blind Men and the Elephant"
13. La valutazione
(Ben Martin)
“Quando misuri un sistema, cambi il sistema”
“I quattro principi di Merton:
- universalismo
- comunitarismo
- disinteresse
- scetticismo organizzato
sono sempre più erosi”
14. La valutazione: il difficile equilibrio tra le
esigenze della scienza e quelle della società
14
15. La matrice multidimensionale della valutazione
Unità da Obiettivo Dimensioni Indicatori Altri indicatori
valutare dell’output bibliometrici
Individuo Allocazione di Produttività della Pubblicazioni Valutazione dei
risorse ricerca pari
Miglioramento Impatto sulla Impact factor Brevetti, licenze,
Gruppo di
della performance comunità spin-off
ricerca
scientifica
Incremento della Innovazione e Impatto delle Inviti alle
Dipartimento citazioni conferenze
multidisciplinarità beneficio sociale
Incremento del Sostenibilità Collaborazioni Finanziamenti
Istituzione internazionali esterni
coinvolgimento
regionale
Infrastrutture di Prestigio delle “Qualità” dei PhD
Area di Promozioni, citazioni
ricerca reclutamento ricerca
16. La VQR
Unità da Obiettivo Dimensioni Indicatori Altri indicatori
valutare dell’output bibliometrici
Individuo Allocazione di Produttività Pubblicazioni Valutazione
risorse della ricerca dei pari
Miglioramento Impatto sulla Impact Brevetti,
Gruppo di
della comunità factor licenze, spin-
ricerca
performance scientifica off
Incremento della Innovazione e Impatto
Diparti- Inviti alle
multidisciplinarità beneficio delle
mento conferenze
sociale citazioni
Incremento del Collaborazioni Finanziamenti
Istituzione Sostenibilità
coinvolgimento internazionali esterni
regionale
Area di Promozioni, Infrastrutture di Prestigio delle “Qualità” dei PhD
ricerca reclutamento ricerca citazioni
19. Gli attori della VQR
ANVUR
Gruppi di Esperti della Valutazione (GEV)
Revisori
Strutture
Università
Dipartimenti
Enti di ricerca
CINECA
Ricercatori
20. La VQR
GEV
14 Gruppi
450 esperti (di cui 3 del CNR)
Cronoprogramma della VQR
Inizio: novembre 2011
Fine: giugno 2013
21. VQR – Aree, GEV, ricercatori, prodotti
GEV Universities Research agencies
Max
Full Assistant Research Technolo number of
Area professor professor Researcher TOTAL er gist products
Mathematics and Information Science 25 968 1002 1256 3226 369 62 12075
Physics 18 604 816 870 2290 262 44 8572
Chemistry 23 703 963 1293 2959 338 57 11076
Earth science 9 259 376 460 1095 125 21 4099
Biology 38 1234 1361 2283 4878 557 94 18259
Medicine 79 2186 2955 5052 10193 1165 196 38154
Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375
Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483
Industrial and Computer engineering and
Ancient History Philological Literature 39 1600 1504 1961 5065 579 97 18959
Arts 42 1512 1628 2256 5396 617 104 20198
History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469
Law 37 1612 1123 2049 4784 547 92 17907
Economics and Statistics 36 1580 1331 1758 4669 533 90 17477
Political and Social sciences 13 437 485 775 1697 194 33 6352
TOTAL 449 15972 16980 24875 57827 6609 1112 216455
22. La metodologia
15 indicatori utilizzati
7 indicatori di Area
8 indicatori di “Terza missione”
23. Indicatori
Indicatori di Area legati alla ricerca:
qualità (0,5)
attrazione di risorse (0,1)
mobilità (0,1)
internazionalizzazione (0,1)
alta formazione (0,1)
risorse proprie (0,05)
Oggi l’attenzione è tutta qui
miglioramento (0,05)
24. Qualità dei “prodotti”
Punteggi:
eccellente 1,0 20% superiore della scala internazionale
buono 0,8 60-80%
accettabile 0,5 50-60%
limitato 0,0 <50%
mancante -0,5
non valutabile -1,0
plagio o frode -2,0
25. Problemi della valutazione dei prodotti
Valutazione dei pari/
bibliometria
Riviste da
Giudizio finale Associati includere
dei GEV
Presenza schiacciante
Pesi Selezione dei
degli universitari
20-20-10-50 referee
Valori positivi Prodotti 6/3
e negativi
26. Gli indicatori
Indicatori di struttura di ‘terza missione’:
conto terzi (0,2)
brevetti (0,1)
spin-off (0,1)
incubatori (0,1)
consorzi (0,1)
siti archeologici (0,1)
poli museali (0,1)
altre attività (0,2)
27. Quanti indicatori?
Uno, nessuno, centomila?
Tre scenari per gli indicatori:
un indicatore sintetico
due indicatori (Area e Terza missione)
cruscotto (scoreboard)
Scenari possibili:
Graduatorie (Shanghai)
multi-ranking
28. Valutazione della Qualità della Ricerca (VQR)
Università Enti di ricerca
Didattica
Ricerca
Ricerca
Terza
Terza missione
missione
29. Valutazione della Qualità della Ricerca
(VQR)
VAlutazione delle Strutture che svolgono
Attività di RIcerca e di TRAsferimento delle
COnoscenze
(VASARITRACO)
30. Il progetto della VQR
Il progetto della VQR è ancora una abbozzo, manca la stesura finale
in cui sono specificate le modalità di misurazione
33. Alcune caratteristiche degli enti pubblici di ricerca vigilati dal MIUR e di altri grandi enti. Anno 2009
Sigla Caratteristiche
differenziazione svolge svolge svolge
scientifica e attività di attività di attività di
tecnologica ricerca formazione servizio
Enti vigilati dal Miur
Cnr alta sì sì sì
Infn bassa sì sì no
Inaf bassa sì no no
Ingv bassa sì no sì
Asi bassa no no no
Inrim media no sì sì
Ogs media sì no no
Stazione zoologica "A. Dohrn" bassa sì sì sì
Parco tecnologico Trieste alta no sì sì
Centro Fermi bassa no no no
Indam bassa no no no
ISG bassa no no no
Altri enti 6/12 5/12 5/12
Enea alta sì sì si
Istat bassa sì sì sì
Iss media sì sì sì
Isfol bassa sì no si
Iit media sì no no
34. La valutazione degli Istituti del CNR
Svolta nel 2009
Metodologia: “a tavolino” e “visita in loco”
38. La valutazione degli Istituti del CNR
Un’opportunità persa?
http://www.issirfa.cnr.it/download/File/Research%20Evaluation%2017_3_2011.pdf
39. Alcune considerazioni
Gli enti pubblici di ricerca devono essere valutati
La metodologia della VQR è inadatta per gli enti di ricerca
Gli enti dovrebbero essere valutati ad hoc (“a tavolino” e “in loco”)
Informazioni “vecchie” (2004-2010) per un’utilizzazione futura in
tempi di “vacche magre”
Valutazione adiuvante, non punitiva
Modalità di utilizzazione dei risultati da parte dei policy maker
40. Sfide per il CNR
Penalizzazione del CNR – è più che un rischio
Prestare attenzione agli “altri” 14 indicatori
Tipo e qualità dei dati da fornire all’ANVUR
Valutazione dell’ente, degli istituti e dei ricercatori/tecnologi
Come rapportarsi con gli altri enti (concorrenti)?
Chiedere che gli enti di ricerca siano valutati a parte
Chiedere un “momento di riflessione” per migliorare la metodologia
Gestire le tensioni all’interno del CNR
41. E ora … affrontiamo le sfide
Mettiamoci a lavoro
Grazie dell’attenzione