Intervento alla tavola rotonda del Convegno, La conoscenza organizzata, Trento, 6 dicembre 2013. http://www.jus.unitn.it/services/arc/2013/1206i/home.html

1. Napoleone, la valutazione della ricerca e le sue
conseguenze prevedibili in Italia
Alberto Baccini (Università di Siena, ROARS)
«La conoscenza organizzata. Argomenti, sistemi giuridici e riforme nella Scuola,
nell'Università, nella Ricerca»
Università di Trento
Facoltà di Giurisprudenza
06 dicembre 2013

2. Il cattivo disegno delle istituzioni …

Struttura napoleonica:



controllo ministeriale centralizzato
Bleiklie, Ivar and Svein Michelsen. 2013. "Comparing He Policies in Europe." Higher Education, 65(1), 113-33
L’illusione delle istituzioni di first best





introduzione di elementi di modello competitivo
autonomia come primo passo per la competizione
riforma della governance (Gelmini)
valutazione oggettiva (ANVUR)
distribuzione premiale delle risorse
Alberto Baccini, Napoleone e la valutazione

3. … ha dato luogo ad un sistema sbilanciato


Ministro
Agenzia plenipotenziaria di valutazione (ANVUR):




tutte le attività di valutazione della ricerca
«assicurazione della qualità» della didattica
performance della macchina amministrativa delle università (decreto FARE)
Finanziamento alla ricerca multicentrico non coordinato

«The absence of a research funding agency creates a critical unbalance in
the governance of the R&D system, with the government decentralize
evaluation, but not the power to design research priorities, to address new,
explorative, research themes, and to set up innovative strategic funding
instruments.» [Reale, EGOS colloquium 2012]
Alberto Baccini, Napoleone e la valutazione

4. …governato di fatto da una élite

Nessuna rappresentanza della comunità scientifica


Il CUN ha natura ibrida
La CRUI è una associazione privata

Il sistema attuale attribuisce indirettamente alla politica e ad una ristretta élite
«organica» ad ANVUR, un potere enorme e senza contrappesi su università e
ricerca

«The new rules are able to modify the composition of the actors influencing the
knowledge production in universities, with the reinforcement of those individuals
more involved in peer reviewing and bibliometric activities, and groups more capable
to colonize the disciplinary peer review committees. It is uncertain the extent to which
the mentioned transformation of individual professional habits would produce the
effect of reinforcing the universities, reducing their characters of loosely-coupled
organizations, or just re‐adjust the internal power distribution, without altering the
organizational characteristics.» (Reale 2012)
Alberto Baccini, Napoleone e la valutazione

5. La valutazione della ricerca: costi e benefici


“In primo luogo, il costo della valutazione (il termine “costo” va inteso in
senso lato, sì da includere tutte le conseguenze negative e tutti i costi diretti e
indiretti) necessario per consentire un’adeguata rendicontazione della spesa
pubblica (accountability) non dovrebbe mai rappresentare più di una quota
minimale del costo delle attività da valutare (per esempio meno dell’1%). In
secondo luogo, e più nello specifico, il costo totale dovrebbe essere inferiore
ai benefici prodotti da questa più accurata rendicontazione”. (Ben Martin
2012)
«Non vi sono evidenze adeguate che stabiliscano se sia meglio dare più risorse
a pochi scienziati oppure distribuire finanziamenti più piccoli a un maggior
numero di ricercatori. […] noi dovremo trovare il modo di stabilire quale
approccio funzioni meglio. E’ uno scandalo che miliardi di dollari siano spesi
per ricerca senza sapere quale sia il migliore modo per distribuire i
finanziamenti»
John P.A. Ioannidis, Nature (2011)
Alberto Baccini, Napoleone e la valutazione

6. Quanto costa valutare la ricerca?

Relazione diretta tra accuratezza e costi della valutazione



Are we creating a Frankenstein monster? (Ben R. Martin 2012)
Costi diretti e costi indiretti
RAE/REF e VTR/VQR sono gli esercizi più costosi
“The RAE and VTR incur heavy costs in faculty time because
they are peer-review exercises.” Hicks 2012

Alcune stime dei costi



RAE 100m£ ~126m€ (180.000 prodotti)
ERA 2010 diretti 35,8 mAU$-27,90m€
VQR 300m€ (Sirilli) (99.000 prodotti valutati Fonte: rapporto finale vqr tab 3.3)
Alberto Baccini, Napoleone e la valutazione

7. La genesi delle istituzioni della scienza


«…se tra la confusione che serpeggia nella fila, un
soggetto intraprendente fa sentire la sua voce, fa alcune
proposte per organizzare meglio la fila tumultuosa, e tutti
i componenti le ritengono buone e le osservano, ecco che
… noi abbiamo avuto il miracolo della genesi del
diritto» P. Grossi, Prima lezione di diritto, p. 14
Robert K. Merton: auto-organizzazione della repubblica
della scienza; osservanza spontanea delle regole (1957)
Alberto Baccini, Napoleone e la valutazione

8. Le regole della valutazione…




… sono in conflitto con le strutture di autoregolazione
della scienza
La variabile osservata dal valutatore diventa l’obiettivo
da perseguire per il ricercatore
Con conseguenti comportamenti opportunistici: la loro
incidenza è tanto maggiore quanto minore la diffusione
dell’etica della ricerca nella comunità scientifica
Gli effetti della VQR e dell’ASN non tarderanno a
manifestarsi:
Alberto Baccini, Napoleone e la valutazione

9. Anche se è difficile prevedere quali perché la VQR
non è classificabile …
Alberto Baccini, Napoleone e la valutazione

10. E perché la varietà dei metodi di valutazione
avrà effetti settoriali differenziati
Fonte: A. Baccini, «Napoléon et l’évaluation bibliométrique de la recherche : le cas de l’Italie », Colloque Bibliométrie et indicateurs
de la recherche: enjeux et perspectives, Toulouse, 11 giugno 2013
Alberto Baccini, Napoleone e la valutazione

11. Una nomenclatura delle conseguenze negative prevedibili

Unintended effects






Mainstreaming (economics; malattie rare)
Salami slicing
Retraction
Predatory publishing


http://scholarlyoa.com/2013/03/07/report-details-predatory-practices-of-two-bosnian-journals/
Ghost authorship


1. peggioramento delle performance citazionali indotto dall’adozione di liste di
riviste;
2. riduzione della ricerca di interesse locale (eucalipto);
http://www.sciencemag.org/content/342/6162/1019.full
IF boosting


http://blogs.nature.com/news/2013/06/new-record-66-journals-banned-for-boosting-impact-factor-with-selfcitations.html
http://admin-apps.webofknowledge.com/JCR/static_html/notices/notices.htm#editorial_information
Alberto Baccini, Napoleone e la valutazione

12. Alberto Baccini, Napoleone e la valutazione

13. Alberto Baccini, Napoleone e la valutazione

14. In attesa della riforma di ANVUR, almeno due
strumenti di base

Per realizzare una credibile attività di valutazione sono necessari due
strumenti di base:

l’anagrafe nazionale dei prodotti della ricerca (ANPREPS)




già prevista da una norma del 2009 ma mai attuata, deve essere realizzata e manutenuta dal MIUR
(non dalla Agenzia di valutazione) secondo standard internazionali.
I prodotti inseriti nell’anagrafe devono essere classificati per tipologie.
Le tipologie sono definite dalla comunità scientifica (CUN) secondo standard classificatori
internazionali;
una lista di riviste scientifiche





realizzata secondo le convenzioni internazionali sul modello di analoghe liste realizzate altrove
(Finlandia, Norvegia, Francia, Australia).
I criteri per la realizzazione della lista sono costruiti attraverso una ampia consultazione delle
comunità scientifiche.
La lista è realizzata e manutenuta dal MIUR.
La lista è aggiornata annualmente.
Una rivista, una volta ritenuta scientifica resta tale per tutti i settori e per tutte le aree.
Alberto Baccini, Napoleone e la valutazione

15. Adozione di standard metodologici adeguati
http://am.ascb.org/dora/
9596 sottoscrittori individuali; 409 organizzazioni
Alberto Baccini, Napoleone e la valutazione

16. Le raccomandazioni di DORA

«Non usare metriche riferite alle riviste, come i fattori di impatto della
rivista, come misura surrogata della qualità dei singoli articoli di ricerca, per
valutare i contributi del singolo scienziato, o per decisioni relative ad
assunzioni, promozioni e finanziamenti»

Tre i temi:
1.
la necessità di valutare la ricerca per i suoi propri meriti e non sulla base
della rivista su cui è pubblicata;
2.
la necessità di sfruttare al meglio le opportunità fornite dalla pubblicazione
on-line (riducendo per esempio i limiti non necessari imposti del numero
di pagine, figure e riferimenti bibliografici negli articoli, e esplorando
nuovi indicatori di importanza e impatto)”
Alberto Baccini, Napoleone e la valutazione

17. Il contenuto è più importante del luogo di
pubblicazione (DORA)
1.
2.
rendere espliciti i criteri usati per valutare la produttività scientifica e per le
decisioni di assunzione, tenure e promozione, e sottolineare chiaramente,
specialmente per i giovani ricercatori, che il contenuto scientifico di un
articolo è molto più importante delle metriche della pubblicazione e
dell’identità della rivista nel quale è pubblicato.
considerare, ai fini della valutazione della ricerca, il valore e l’impatto di tutti
i prodotti della ricerca (inclusi i datasets e il software) in aggiunta alle
pubblicazioni, e considerare un ampio insieme di misure di impatto che
includono indicatori qualitativi dell’impatto della ricerca, come l’influenza
sulle politiche e sulle pratiche.
Alberto Baccini, Napoleone e la valutazione

18. Cosa fa l’agenzia di valutazione per la
valutazione della ricerca:


indagini bibliometriche a cadenza annuale relative alla
produttività del sistema della ricerca e all’impatto della
produzione scientifica italiana;
(se utile) un esercizio di valutazione della qualità della
ricerca quinquennale, sulla base del modello REF
britannico:


(peer review su un numero limitato di prodotti);
verifica ex post i risultati dei progetti di ricerca
finanziati dal MIUR.
Alberto Baccini, Napoleone e la valutazione

19. Non c’è correlazione tra IF della rivista e citazioni
agli articoli che vi sono contenuti
Alberto Baccini, Napoleone e la valutazione

20. Quanti articoli apparsi su Nature non sono mai
stati citati?
h:-index: 734
Fonte: Scimago: 3 luglio 2013
Alberto Baccini, Napoleone e la valutazione

21. Comparabilità dei risultati: RAE vs. VQR
Alberto Baccini, Napoleone e la valutazione

22. RAE national comparative data
Alberto Baccini, Napoleone e la valutazione

23. Fonte: rapporto finale p. 7
VQR: dati non comparabili tra aree
Alberto Baccini, Napoleone e la valutazione

24. Alberto Baccini, Napoleone e la valutazione

25. Alberto Baccini, Napoleone e la valutazione

26. Confronto tra prodotti eccellenti nella VTR e
nella VQR
Alberto Baccini, Napoleone e la valutazione

27. Non c’è correlazione tra IF della rivista e citazioni
agli articoli che vi sono contenuti
Alberto Baccini, Napoleone e la valutazione

28. Quanti articoli apparsi su Nature non sono mai
stati citati?
h:-index: 734
Fonte: Scimago: 3 luglio 2013
Alberto Baccini, Napoleone e la valutazione

29. La bibliometria pedagogica dell’ANVUR
pedagogica
Alberto Baccini, Napoleone e la valutazione

30. Alberto Baccini, Napoleone e la valutazione
Kurmis, A. P. and T. P. Kurmis (2006). "Exploring the relationship between
impact factor and manuscript rejection rates in radiologic journals." Academic
radiology 13(1): 77-83.
Schultz, D. M. (2010). "Rejection Rates for Journals Publishing in the
Atmospheric Sciences." Bulletin of the American Meteorological Society 91(2):
231-243.

31. Ecco la rivista migliore!
Alberto Baccini, Napoleone e la valutazione