1. Convegno CGIL
Roma, 17 maggio 2012
La VQR: struttura e impatto sull’università
e sugli enti pubblici di ricerca
Giorgio Sirilli

2. Agenzia vigilata dal MIUR
Sette membri (tutti universitari)
Una Agenzia, non una Autorità

3. Gli attori della Valutazione della Qualità della Ricerca (VQR)
 ANVUR
 Coordinatore e vice-coordinatore della VQR
 Gruppi di Esperti della Valutazione (GEV)
 Revisori (referee)
 Strutture valutate
 Università
 Dipartimenti universitari
 Enti di ricerca vigilati dal MIUR (12)
 Altri
 CINECA
 Ricercatori /tecnologi/docenti

4. Oggetto della valutazione degli EPR
Gli enti nel loro complesso, non le loro parti costitutive

5. Il cronoprogramma della VQR
Inizio: novembre 2011
Fine: giugno 2013

6. VQR – Aree, GEV, ricercatori, prodotti
GEV Universities Research agencies
Max
Full Assistant Research Technolo number of
Area professor professor Researcher TOTAL er gist products
Mathematics and Information Science 25 968 1002 1256 3226 369 62 12075
Physics 18 604 816 870 2290 262 44 8572
Chemistry 23 703 963 1293 2959 338 57 11076
Earth science 9 259 376 460 1095 125 21 4099
Biology 38 1234 1361 2283 4878 557 94 18259
Medicine 79 2186 2955 5052 10193 1165 196 38154
Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375
Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483
Industrial and Computer engineering and
Ancient History Philological Literature 39 1600 1504 1961 5065 579 97 18959
Arts 42 1512 1628 2256 5396 617 104 20198
History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469
Law 37 1612 1123 2049 4784 547 92 17907
Economics and Statistics 36 1580 1331 1758 4669 533 90 17477
Political and Social sciences 13 437 485 775 1697 194 33 6352
TOTAL 449 15972 16980 24875 57827 6609 1112 216455

7. La metodologia della VQR
15 indicatori
7 indicatori di Area
8 indicatori di “Terza missione”
Metodologia “a tavolino”

8. Indicatori
Indicatori di Area legati alla ricerca:
qualità dei “prodotti” (0,5)
attrazione di risorse (0,1)
mobilità (0,1)
internazionalizzazione (0,1) Oggi l’attenzione è tutta qui
alta formazione (0,1)
risorse proprie (0,05)
miglioramento (0,05)

9. Qualità dei “prodotti”
Punteggi:
eccellente 1,0
buono 0,8
accettabile 0,5
limitato 0,0
mancante -0,5
non valutabile -1,0
plagio o frode -2,0

10. Problemi della valutazione dei prodotti
Valutazione dei pari/
bibliometria
Riviste da
Giudizio finale Associati includere
dei GEV
Presenza schiacciante
Pesi Selezione dei
degli universitari
20-20-10-50 referee
Valori positivi Prodotti 6/3
e negativi

11. Gli indicatori
Indicatori di struttura di ‘terza missione’:
conto terzi (0,2)
brevetti (0,1)
spin-off (0,1)
incubatori (0,1)
consorzi (0,1)
siti archeologici (0,1)
poli museali (0,1)
altre attività (0,2)

12. La qualità dei dati
I dati verranno forniti dalle strutture in un contesto competitivo
I dati non sono certificati (oste, il vino è buono?)

13. Quanti indicatori?
Uno, nessuno, centomila?
(Pirandello)
Tre scenari per gli indicatori:
 un indicatore sintetico
 due indicatori (Area e Terza missione)
 cruscotto (scoreboard)
Scenari possibili:
 graduatorie (Shanghai)
 multi-ranking

14. Valutazione della Qualità della Ricerca (VQR)
Università Enti di ricerca
Didattica Attività di
ente
Ricerca
Ricerca
Terza Terza
missione missione

15. Valutazione della Qualità della Ricerca
(VQR)
VAlutazione delle Strutture che svolgono Attività di RIcerca e
di TRAsferimento delle COnoscenze
(VASARITRACO)

16. Gruppi di Esperti della Valutazione
Gruppi di Esperti Valutatori

17. Il costo della VQR
300 milioni di euro, pari a metà del FFO del CNR

18. Il costo della VQR
costo Totale
persone numero giornaliero generale
Voce di costo numero coinvolte giorni (euro) Totale (euro) (euro) %
Bilancio dell'ANVUR 7.000.000 7.000.000 2,3
Lavoro dei ricercatori
Referaggio dei "prodotti" 108000 2 2 500 216.000.000
Predisposizione dei "prodotti" 64000 2 400 51.200.000
Lavoro dei GEV 450 40 500 9.000.000 276.200.000 91,5
Lavoro delle strutture
grandi enti 2 10 20 200 80.000
piccoli enti 10 5 10 200 100.000
università 96 5 30 200 2.880.000
dipartimenti universitari 1565 5 10 200 15.650.000 18.710.000 6,2
CINECA ?
Totale 301.910.000 100,0

19. Il progetto della VQR

20. La valutazione degli Istituti del CNR
 E’ stata svolta nel 2009
 Metodologia: “a tavolino” e “visita in loco”
 Costo: 18 + 28 = 46 milioni di euro
 Return on investment = 0
 Quanto costerà al CNR ed agli altri enti la VQR?

21. La valutazione degli Istituti del CNR

22. Gli enti pubblici di ricerca:
realtà molto eterogenee
* 6 enti su 12 fanno ricerca
*
*
** * *

23. Una simulazione sul comportamento dei ricercatori/tecnologi del CNR
700 ricercatori/tecnologi (20%) non inseriscono i dati ("mancante" nel
gergo ANVUR)
diminuzione del punteggio del 36,7%
700 ricercatori/tecnologi (20%), inseriscono qualcosa (“non valutabile”
nel gergo ANVUR)
diminuzione del punteggio del 53,3%

24. Alcune considerazioni
 La valutazione va fatta, ma va fatta bene
 La metodologia va corretta
 La VQR è stata pensata dagli universitari per l’università
 La metodologia della VQR è inadatta per gli enti di ricerca
 La VQR penalizza gli enti di ricerca
 Utilizzare le valutazioni già svolte
 La valutazione deve essere adiuvante, non punitiva (le dichiarazioni di
Benedetto)
 Chiarire le modalità di utilizzazione dei risultati da parte dei policy maker
 La VQR sta modificando le regole del gioco

25. Le regole nel settore pubblico della ricerca stanno già cambiando
La domanda ricorrente:
“ma mi vale come pubblicazione? “

26. La carta europea dei ricercatori
Valutazione
“Il merito non dovrebbe essere valutato esclusivamente sul numero di
pubblicazioni, …., ma dovrebbe essere ponderato con le attività di
insegnamento e supervisione, il lavoro di équipe, il trasferimento delle
conoscenze, la gestione della ricerca, l’innovazione e le attività di
sensibilizzazione del pubblico”

27. “Oh, boy” Opera di Yves Obyn a Bruges
“Un fanatico ha costruito il suo aeroplano che, a causa dei difetti di
progettazione e di costruzione, si è subito schiantato al suolo”

28. Riprendere il volo
Tornare a discutere di politica scientifica

29. E ora mettiamoci al lavoro
Grazie dell’attenzione