Verso la prossima VQR

Verso la prossima VQR
Alberto Baccini
Roars 3.0
Camera dei Deputati, Sala del Refettorio,
Palazzo di Via del Seminario 76, Roma
19 giugno 2015

Alberto Baccini, Verso la prossima VQR
Indirizzo, valutazione e controllo
1. Limitati interventi ordinamentali; fiducia ai meccanismi di
autoregolazione e controllo orizzontale dei pari.
 Enfasi sul carattere di bene pubblico della conoscenza scientifica e
dell’istruzione.
2. Regolazione diretta attraverso norme e direttive attuate da
agenzie.
 Rendimenti privati della ricerca e interesse privato individuale ad
«investire» in capitale umano.
 L’Italia ha scelto, con decenni di ritardo la seconda via.
 Costruendo un sistema istituzionale sbilanciato

Governance by indicators
1. Governance by targets
 Individuazione di indicatori che diventano i target
delle azioni di policy
 RAE/REF
 VQR
2. Governance by information
 Pubblicazione di indicatori che modificano i
comportamenti delle istituzioni
 OECD-PISA
 University rankings

Tra il 2011 e il 2013…

“Do not use journal-based metrics … as a surrogate measure of
the quality of individual articles, to assess individual scientist’s
contributions, or in hiring, promotion, or funding decisions”
“while bibliometrics may be employed as a source of additional
information for quality assessment within a specific area of research,
the primary manner for assessment of either scientific quality of a
research project or of an individual scientist should be peer review”

Guidelines and principles for science assessment
1. Context matters
2. Do not harm
 Attempts to link funding allocation directly to specific indicators have the potential to
lead to unintended consequences
3. Transparency is critical
 Indicator construction and validation; data sources; criteria; procedures for selecting
expert reviewers
4. The judgement of scientific experts remains invaluable

1. La valutazione quantitativa deve supportare il giudizio qualitativo
2. Misurare le prestazioni in relazione alla missione di ricerca dell’istituzione, del gruppo o
del ricercatore
3. Salvaguardare l’eccellenza nella specifica ricerca locale
4. Mantenere aperto, trasparente e semplice il processo di acquisizione dei dati e quello di
analisi
5. Consentire ai valutati di verificare i dati e l’analisi
6. Tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e
citazione
7. Basare la valutazione dei singoli ricercatori su un giudizio qualitativo del loro portafoglio
scientifico
8. Evitare finta concretezza e falsa precisione
9. Riconoscere gli effetti sistemici della valutazione e degli indicatori
10. Verificare regolarmente la qualità degli indicatori ed aggiornarli

Una VQR leggera
 Ridurre i costi della VQR
 In particolare i costi indiretti imposti alle strutture
oggetto di valutazione;
 ~300m€ (Sirilli); ~100m€ (Geuna)

Una VQR poco invasiva
 Dalla governance by targets alla governance by information
 Per ridurre al minimo l’impatto sulle scelte in termini di strategie di ricerca
e pubblicazione
 Per evitare i comportamenti opportunistici e le conseguenze non volute:
 Guest authorship
 Citation cartels
 IF boosting
Eliminare automatismo tra
distribuzione risorse FFO e
risultati VQR

Fonte: Todeschini-Baccini 2015 su dati Amos 2014

Una VQR trasparente
 Nelle procedure
 di selezione dei membri GEV
 di definizione delle responsabilità della valutazione
all’interno dei GEV
 di scelta dei referee
 nomi resi pubblici al termine della valutazione con il numero dei
prodotti valutati
 Nella pubblicazione dei risultati

ANVUR dichiara di non fare classifiche…
Fonte:rapportofinalep.7

… poi pubblica graduatorie.

Una VQR basata soltanto sulla revisione dei pari

Una VQR che non usa le classifiche delle riviste
“Do not use journal-based metrics … as a surrogate measure of
the quality of individual articles, to assess individual scientist’s
contributions, or in hiring, promotion, or funding decisions”

Una VQR molto simile al REF non è comunque
esente da problemi

Come sarà la VQR 2011-2014?
 Sul modello della VQR 2004-2010
 Nessuna «revisione di spesa»
 7,5m€ a Cineca
 burocrazia bibliometrica stabile o in aumento (prev.)
 mix revisione dei pari e bibliometria
 Che non ha funzionato
 Con uso massiccio di ranking di riviste
 opaca
 Procedura GEV già partita (prima del DM !)
 Referee anonimi
 Risultati sotto forma di classifiche
 Dati non disponibili per la comunità scientifica (prev.)

Raccomandazione DORA per i ricercatori
“18. Mettere in dubbio le pratiche di valutazione della ricerca
che fanno affidamento impropriamente su fattori di impatto
delle riviste, e promuovere e insegnare le migliori pratiche
centrate sul valore e l’influenza dei singoli prodotti della ricerca”

Verso la prossima VQR

More Related Content

Similar to Verso la prossima VQR

More from Alberto Baccini

Recently uploaded

Verso la prossima VQR