Intervento al terzo convegno annuale di Roars. Come dovrebbe essere e come probabilmente sarà la prossima VQR (valutazione della qualità della ricerca).

1. Verso la prossima VQR
Alberto Baccini
Roars 3.0
Camera dei Deputati, Sala del Refettorio,
Palazzo di Via del Seminario 76, Roma
19 giugno 2015

2. Alberto Baccini, Verso la prossima VQR
Indirizzo, valutazione e controllo
1. Limitati interventi ordinamentali; fiducia ai meccanismi di
autoregolazione e controllo orizzontale dei pari.
 Enfasi sul carattere di bene pubblico della conoscenza scientifica e
dell’istruzione.
2. Regolazione diretta attraverso norme e direttive attuate da
agenzie.
 Rendimenti privati della ricerca e interesse privato individuale ad
«investire» in capitale umano.
 L’Italia ha scelto, con decenni di ritardo la seconda via.
 Costruendo un sistema istituzionale sbilanciato

3. Alberto Baccini, Verso la prossima VQR
Governance by indicators
1. Governance by targets
 Individuazione di indicatori che diventano i target
delle azioni di policy
 RAE/REF
 VQR
2. Governance by information
 Pubblicazione di indicatori che modificano i
comportamenti delle istituzioni
 OECD-PISA
 University rankings

4. Alberto Baccini, Verso la prossima VQR

5. Alberto Baccini, Verso la prossima VQR
Tra il 2011 e il 2013…

6. Alberto Baccini, Verso la prossima VQR

7. Alberto Baccini, Verso la prossima VQR
“Do not use journal-based metrics … as a surrogate measure of
the quality of individual articles, to assess individual scientist’s
contributions, or in hiring, promotion, or funding decisions”
“while bibliometrics may be employed as a source of additional
information for quality assessment within a specific area of research,
the primary manner for assessment of either scientific quality of a
research project or of an individual scientist should be peer review”

8. Alberto Baccini, Verso la prossima VQR

9. Alberto Baccini, Verso la prossima VQR
Guidelines and principles for science assessment
1. Context matters
2. Do not harm
 Attempts to link funding allocation directly to specific indicators have the potential to
lead to unintended consequences
3. Transparency is critical
 Indicator construction and validation; data sources; criteria; procedures for selecting
expert reviewers
4. The judgement of scientific experts remains invaluable

10. Alberto Baccini, Verso la prossima VQR
1. La valutazione quantitativa deve supportare il giudizio qualitativo
2. Misurare le prestazioni in relazione alla missione di ricerca dell’istituzione, del gruppo o
del ricercatore
3. Salvaguardare l’eccellenza nella specifica ricerca locale
4. Mantenere aperto, trasparente e semplice il processo di acquisizione dei dati e quello di
analisi
5. Consentire ai valutati di verificare i dati e l’analisi
6. Tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e
citazione
7. Basare la valutazione dei singoli ricercatori su un giudizio qualitativo del loro portafoglio
scientifico
8. Evitare finta concretezza e falsa precisione
9. Riconoscere gli effetti sistemici della valutazione e degli indicatori
10. Verificare regolarmente la qualità degli indicatori ed aggiornarli

11. Alberto Baccini, Verso la prossima VQR
Una VQR leggera
 Ridurre i costi della VQR
 In particolare i costi indiretti imposti alle strutture
oggetto di valutazione;
 ~300m€ (Sirilli); ~100m€ (Geuna)

12. Alberto Baccini, Verso la prossima VQR
Una VQR poco invasiva
 Dalla governance by targets alla governance by information
 Per ridurre al minimo l’impatto sulle scelte in termini di strategie di ricerca
e pubblicazione
 Per evitare i comportamenti opportunistici e le conseguenze non volute:
 Guest authorship
 Citation cartels
 IF boosting
Eliminare automatismo tra
distribuzione risorse FFO e
risultati VQR

13. Alberto Baccini, Verso la prossima VQR
Fonte: Todeschini-Baccini 2015 su dati Amos 2014

14. Alberto Baccini, Verso la prossima VQR
Una VQR trasparente
 Nelle procedure
 di selezione dei membri GEV
 di definizione delle responsabilità della valutazione
all’interno dei GEV
 di scelta dei referee
 nomi resi pubblici al termine della valutazione con il numero dei
prodotti valutati
 Nella pubblicazione dei risultati

15. Alberto Baccini, Verso la prossima VQR
ANVUR dichiara di non fare classifiche…
Fonte:rapportofinalep.7

16. Alberto Baccini, Verso la prossima VQR
… poi pubblica graduatorie.

17. Alberto Baccini, Verso la prossima VQR

18. Alberto Baccini, Verso la prossima VQR
Una VQR basata soltanto sulla revisione dei pari

19. Alberto Baccini, Verso la prossima VQR
Una VQR che non usa le classifiche delle riviste
“Do not use journal-based metrics … as a surrogate measure of
the quality of individual articles, to assess individual scientist’s
contributions, or in hiring, promotion, or funding decisions”

20. Alberto Baccini, Verso la prossima VQR
Una VQR molto simile al REF non è comunque
esente da problemi

21. Alberto Baccini, Verso la prossima VQR
Come sarà la VQR 2011-2014?
 Sul modello della VQR 2004-2010
 Nessuna «revisione di spesa»
 7,5m€ a Cineca
 burocrazia bibliometrica stabile o in aumento (prev.)
 mix revisione dei pari e bibliometria
 Che non ha funzionato
 Con uso massiccio di ranking di riviste
 opaca
 Procedura GEV già partita (prima del DM !)
 Referee anonimi
 Risultati sotto forma di classifiche
 Dati non disponibili per la comunità scientifica (prev.)

22. Alberto Baccini, Verso la prossima VQR
Raccomandazione DORA per i ricercatori
“18. Mettere in dubbio le pratiche di valutazione della ricerca
che fanno affidamento impropriamente su fattori di impatto
delle riviste, e promuovere e insegnare le migliori pratiche
centrate sul valore e l’influenza dei singoli prodotti della ricerca”