Giorgio Sirilli Valutazione vqr cgil 24 4 2012
Upcoming SlideShare
Loading in...5
×
 

Giorgio Sirilli Valutazione vqr cgil 24 4 2012

on

  • 1,454 views

Seminario di Giorgio Sirilli al CNR il 24.04.2012

Seminario di Giorgio Sirilli al CNR il 24.04.2012

Statistics

Views

Total Views
1,454
Views on SlideShare
903
Embed Views
551

Actions

Likes
1
Downloads
13
Comments
0

2 Embeds 551

http://www.roars.it 550
http://www.slashdocs.com 1

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Giorgio Sirilli Valutazione vqr cgil 24 4 2012 Giorgio Sirilli Valutazione vqr cgil 24 4 2012 Presentation Transcript

  • Convegno CGIL Roma, 24 aprile2012La Valutazione della Qualità della Ricerca (VQR) Le sfide per gli enti di ricerca Giorgio Sirilli
  • Indice Gli obiettivi Gli attori L’approccio L’impatto sugli enti pubblici di ricerca Ancune considerazioni
  • AvvertenzaLe diapositive con lo sfondo bianco contengono informazioniQuelle con lo sfondo fondo blu contengono opinioni
  • L’ANVUR è un’Agenzia del MIUR, come l’Agenzia delle entrate è un’Agenzia del MEFNon è dunque una Autorità indipendente come l’Autorità garante della concorrenza ed altre, ma uno strumento del ministroE’ composta da sette membri (tutti universitari) Presidente: Stefano Fantoni Coordinatore della VQR: Sergio Benedetto Vice coordinatore della VQR: Andrea Bonaccorsi
  • Gli attori della VQR  ANVUR  Gruppi di Esperti della Valutazione (GEV)  Revisori  Strutture  Università  Dipartimenti  Enti di ricerca  CINECA  Ricercatori /tecnologi/docentiNella VQR vi sono due tipi di attori: le istituzioni (ANVUR, enti di ricerca, università) ed isingoli ricercatori/tecnologi/docenti. Quest’ultimi hanno la responsabilità diretta dellafornitura dei “prodotti” attraverso il CINECA: se non forniscono i dati la VQR non puòessere eseguita.
  • La VQRLA VQR è stata pensata dagli universitari per valutare l’università, gli entidi ricerca sono un accidenteGli universitari non “capiscono” il CNR. Ciò è stato ampiamente dimostratoin occasione della valutazione svolta nel 2009 allorché i panel di espertihanno visitato gli IstitutiGli universitari hanno un conflitto di interessi con la “seconda retescientifica”: la considerano una piattaforma al loro servizio da utilizzare eda governare per svolgervi le attività che non riescono a realizzare nelleuniversità
  • Oggetto della valutazioneE’ stato deciso di valutare gli enti di ricerca nel loro complesso, non isingoli istituti (107 nel CNR, simili ai dipartimenti).Nelle università vengono valutati anche i dipartimenti
  • La VQR Gruppi di Esperti di Valutazione (GEV)  14 Gruppi (vedi tabella seguente)  450 esperti, quasi tutti universitari. Soltanto 3 sono ricercatori del CNR  Centinaia di referee (presumibilmente quasi tutti universitari, selezionalti dagli universitari) che riceveranno il compenso di 30 euro a “prodotto”) Cronoprogramma della VQR  Inizio: novembre 2011  Fine: giugno 2013
  • VQR – Aree, GEV, ricercatori, prodotti GEV Universities Research agencies Max Full Assistant Research Technolo number ofArea professor professor Researcher TOTAL er gist productsMathematics and Information Science 25 968 1002 1256 3226 369 62 12075Physics 18 604 816 870 2290 262 44 8572Chemistry 23 703 963 1293 2959 338 57 11076Earth science 9 259 376 460 1095 125 21 4099Biology 38 1234 1361 2283 4878 557 94 18259Medicine 79 2186 2955 5052 10193 1165 196 38154Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483Industrial and Computer engineering andAncient History Philological Literature 39 1600 1504 1961 5065 579 97 18959Arts 42 1512 1628 2256 5396 617 104 20198History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469Law 37 1612 1123 2049 4784 547 92 17907Economics and Statistics 36 1580 1331 1758 4669 533 90 17477Political and Social sciences 13 437 485 775 1697 194 33 6352TOTAL 449 15972 16980 24875 57827 6609 1112 216455
  • Il costo della VQRE’ stato stimato che la VQR costerà 300 milioni di euro,pari a metà del Fondo di Finanziamento Ordinario del CNRIl costo verrà sostenuto principalmente dall’università (92%)mente la quota rimanente sarà a carico delle strutture da valutare(6%) e dell’ANVUR (2%)
  • La metodologia della VQR Nella VQR verranno raccolti i dati relativi a 15 indicatori: 7 indicatori di Area 8 indicatori di “Terza missione” E’ stata adottata una metodologia “a tavolino”, basata soltanto su documentiE’ da notare la terminologia usata: “Terza missione” è un concetto residualedell’università che è impegnata prioritariamente nella didattica e nella ricerca. Leattività elencate fanno pienamente parte della missione degli enti pubblici di ricerca,non sono residuali.
  • IndicatoriIndicatori di Area legati alla ricerca: qualità (0,5) attrazione di risorse (0,1) mobilità (0,1) internazionalizzazione (0,1) alta formazione (0,1) risorse proprie (0,05) Oggi l’attenzione è tutta qui miglioramento (0,05)
  • Qualità delle pubblicazioni Punteggi: eccellente 1,0 20% superiore della scala internazionale buono 0,8 60-80% accettabile 0,5 50-60% limitato 0,0 <50% mancante -0,5 non valutabile -1,0 plagio o frode -2,0La VQR presenta forti caratteri di originalità. Prevede l’assegnazione di valori negativi,scleta ignota ad altre procedure valutative. La distribuzione 20-20-10-50 non riflette ladistribuzione statistica delle pubblicazioni
  • Problemi della valutazione dei prodotti Valutazione dei pari/ bibliometria Riviste da Giudizio finale Associati includere dei GEV Classificazioni Pesi Selezione dei Presenza schiacciante 20-20-10-50 referee degli universitari Valori positivi Prodotti 6/3 e negativiNell’ovale è riportato un elenco, non esaustivo, dei punti critici della VQR: inparticolare l’assegnazione di punteggi negativi e la richiesta ai ricercatori degli enti diricerca di esibire 6 “prodotti” ed agli universitarii di esibirne 3
  • Gli indicatori Indicatori di struttura di ‘terza missione’: conto terzi (0,2) brevetti (0,1) spin-off (0,1) incubatori (0,1) consorzi (0,1) siti archeologici (0,1) poli museali (0,1) altre attività (0,2)Le strutture dovranno fornire i dati su 14 indicatori: tali dati non sono certificati daun’autorità indipendente, per cui vi potranno essere comportamenti opportunisticinella competizione tra enti e università per l’assegnazione delle risorse. In particolarela categoria “alte attività” si presta a libere e interessate interpretazioni di carattereestensivo
  • La carta europea dei ricercatori Valutazione “Il merito non dovrebbe essere valutato esclusivamente sul numero di pubblicazioni, …., ma dovrebbe essere ponderato con le attività di insegnamento e supervisione, il lavoro di équipe, il trasferimento delle conoscenze, la gestione della ricerca, l’innovazione e le attività di sensibilizzazione del pubblico”Le attività segnate in rosso, svolte dai ricercatori e menzionate della Carta europea deiricercatori, non sono considerate nella VQR
  • Quanti indicatori? Uno, nessuno, centomila? Tre scenari per gli indicatori:  un indicatore sintetico  due indicatori (Area e Terza missione)  cruscotto (scoreboard) Scenari possibili:  graduatorie (Shanghai)  multi-rankingQuale sarà l’output della VQR: un solo indicatore per ciascuna struttura, due indicatorio un cruscotto di 15 indicatori?Mancano regole chiare econdivise: la metodologia della VQR non dà risposta a questiquesiti lasciando aperte tutte le possibilità
  • Valutazione della Qualità della Ricerca (VQR) Università Enti di ricerca Didattica Ricerca Ricerca Terza Terza missione missione
  • Valutazione della Qualità della Ricerca (VQR)VAlutazione delle Strutture che svolgono Attività di RIcerca e di TRAsferimento delle COnoscenze (VASARITRACO)La VQR non valuta la ricerca e la sua qualità, ma le strutture impegnate in una serie diattività di produzione e trasferimento delle conoscenze
  • Un profilo degli enti pubblici di ricercaLa VQR valuta soltanto i 12 enti di ricerca vigilati dal MIUR, lasciando fuori importantienti di ricerca come l’ENEA, l’ISTAT, l’Istituto Superiore di Sanità, l’ISFOLGli enti pubblici di ricerca sono profondamente diversi tra loro per dimensione,missione e struttura, e diversi dall’universitàTra I 12 enti vigilati dal MIUR soltanto 6 svolgono attività di ricercaVa chiarito come verranno valutati gli enti che non svolgono attività di ricerca (peresempio l’Agenzia spaziale italiana
  • Gli enti pubblici di ricerca: realtà molto eterogenee
  • Alcune caratteristiche degli enti pubblici di ricerca vigilati dal MIUR e di altri grandi enti. Anno 2009Sigla Caratteristiche differenziazione svolge svolge svolge scientifica e attività di attività di attività di tecnologica ricerca formazione servizioEnti vigilati dal MiurCnr alta sì sì sìInfn bassa sì sì noInaf bassa sì no noIngv bassa sì no sìAsi bassa no no noInrim media no sì sìOgs media sì no noStazione zoologica "A. Dohrn" bassa sì sì sìParco tecnologico Trieste alta no sì sìCentro Fermi bassa no no noIndam bassa no no noISG bassa no no noAltri enti 6/12 5/12 5/12Enea alta sì sì siIstat bassa sì sì sìIss media sì sì sìIsfol bassa sì no siIit media sì no no
  • La valutazione degli Istituti del CNR Nel 2009 il CNR ha sottoposto a valutazione i suoi 107 Istituti di ricerca E’ stata impiegata una metodologia che prevedeva sia l’analisi “a tavolino” che le “visite in loco” Il costo diretto della valutazione è stato di 1,8 milioni di euro, a cui vanno aggiunti i costi indiretti stimati pari a 2,8 milioni di euro. Totale: 4,6 milioni di euro Il return on investment è stato finora pari a 0. Non risulta che le informazioni raccolte non siano state utilizzate per orientare le scelte dell’enteSarebbe oppotuno utilizzare i risultati della valutazione degli Istituti del CNR pereseguire la VQRAndrebbe affettuato un accurato calcolo del costo che stanno sostenendo gli enti diricerca per corrispondere alle richieste della VQR
  • L a valutazione degli Istituti - 2009Nel caso della valutazione degli Istituti del CNR le regole erano chiare fin dall’inizio edil personale era coinvolto nell’ambito degli Istituti ma non era chiamato a fornire alPanel generale alcuna informazione. Al termine dell’esercizio ciascun Istituto haavuto la sua valutazione numerica e qualitativa (vedi gli esempi sopra riportati)
  • Una simulazione sul comportamento dei ricercatori/tecnologi del CNRNel caso in cui 350 ricercatori/tecnologi (il 10%) non inserisca i dati ("mancante" nel gergo ANVUR) limpatto sarà di una diminuzione del punteggio del 18,3%.Nel caso in cui 350 ricercatori/tecnologi (10%) inserisca qualche prodotto anomalo (“non valutabile” nel gergo ANVUR), limpatto sarà di una diminuzione del punteggio del 26,7%.
  • Alcune considerazioni Non c’è dubbio che gli enti pubblici di ricerca debbano essere valutati La metodologia della VQR è una originalità nel panorama internazionale e non è stata sottoposta a test La metodologia della VQR è inadatta per gli enti di ricerca La VQR penalizza il CNR Gli enti dovrebbero essere valutati con una metodologia ad hoc (“a tavolino” e “in loco”)
  • Alcune considerazioni Per il CNR andrebbero utilizzati i risultati della valutazione svolta tre anni fa Le informazioni acquisite sui “prodotti” sono “vecchie” (2004-2010): nel frattempo sono cambiate molte cose La valutazione deve essere adiuvante, non punitiva (le dichiarazioni di Benedetto hanno suscitato molta apprensione circal’uso dei risultati della VQR) La VQR, come ogni tipo di musurazione, cambia le regole del gioco. C’è il pericolo che i ricercatori degli enti di ricerca, per ben apparire nelle classifiche VQR, tendano ad appiattirsi sui parametri tipicamente universitari, snaturando la missione degli enti di ricerca Vanno chiarite le modalità di utilizzazione dei risultati da parte dei policy maker (dentro e fuori gli enti)
  • E ora … affrontiamo le sfide Grazie dell’attenzione