Il cattivo disegno delle istituzioni preposte alla valutazione ha dato luogo ad un esercizio di valutazione della ricerca con notevoli errori metodologici. Gli effetti negativi non tarderanno a manifestarsi. Le slide della presentazione al convegno «Miti e riti della valutazione nell’università italiana» Dip. studi internazionali, giuridici e storico-politici
Università di Milano statale, 13 giugno 2014
Intervento al convegno Evoluzione e valutazione della scienza giuridica tenutosi al Dipartimento di Giurisprudenza dell'università di Firenze il 18 ottobre 2013.
Napoleone, la valutazione della ricerca e le sue conseguenze prevedibili in I...Alberto Baccini
Intervento alla tavola rotonda del Convegno, La conoscenza organizzata, Trento, 6 dicembre 2013.
http://www.jus.unitn.it/services/arc/2013/1206i/home.html
La valutazione massiva della ricerca: costi e beneficiAlberto Baccini
Gli argomenti usati per giustificare l’adozione di sistemi di valutazione massiva della ricerca del tipo VQR non sono basati su evidenze incontrovertibili. In particolare non esistono analisi che mostrino che i benefici sono superiori ai costi della valutazione. La valutazione massiva della ricerca è autoritaria e contraria alle prassi adottate nelle comunità scientifiche.
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...Alberto Baccini
La valutazione della ricerca ed il suo finanziamento. Slide presentate alla giornata dedicata alla Valutazione della ricerca organizzata da Dario Braga a Bologna il 21 novembre 2014.
Contributo di Alberto Baccini al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Intervento al terzo convegno annuale di Roars. Come dovrebbe essere e come probabilmente sarà la prossima VQR (valutazione della qualità della ricerca).
Intervento al convegno Evoluzione e valutazione della scienza giuridica tenutosi al Dipartimento di Giurisprudenza dell'università di Firenze il 18 ottobre 2013.
Napoleone, la valutazione della ricerca e le sue conseguenze prevedibili in I...Alberto Baccini
Intervento alla tavola rotonda del Convegno, La conoscenza organizzata, Trento, 6 dicembre 2013.
http://www.jus.unitn.it/services/arc/2013/1206i/home.html
La valutazione massiva della ricerca: costi e beneficiAlberto Baccini
Gli argomenti usati per giustificare l’adozione di sistemi di valutazione massiva della ricerca del tipo VQR non sono basati su evidenze incontrovertibili. In particolare non esistono analisi che mostrino che i benefici sono superiori ai costi della valutazione. La valutazione massiva della ricerca è autoritaria e contraria alle prassi adottate nelle comunità scientifiche.
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...Alberto Baccini
La valutazione della ricerca ed il suo finanziamento. Slide presentate alla giornata dedicata alla Valutazione della ricerca organizzata da Dario Braga a Bologna il 21 novembre 2014.
Contributo di Alberto Baccini al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Intervento al terzo convegno annuale di Roars. Come dovrebbe essere e come probabilmente sarà la prossima VQR (valutazione della qualità della ricerca).
Alberto Baccini: Il futuro della valutazione in un paese latecomer.Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Alberto Baccini
Nelle slide si ripercorre la vicenda della prima Valutazione della Qualità della Ricerca (VQR), mostrando come l'agenzia governativa ANVUR abbia elaborato statistiche e le abbia mascherate da scienza, negando l'accesso ai dati per la loro verifica.
Collaborazionisti o resistenti. L'accademia ai tempi della valutazione della ...Alberto Baccini
Ma una valutazione massiva della ricerca tipo REF o VQR serve davvero? E perché gli accademici accettano la retorica dell'eccellenza? La ricerca deve essere solida, non "eccellente". Intervento al XIII convegno STOREP, Catania, 24 giugno 2016
La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...Alberto Baccini
I risultati della valutazione condotta dal GEV13 non sono credibili. Peer review e bibliometria hanno dato risultati non concordanti. Ma nelle altre aree non è andata meglio. Con alcune lezioni per il futuro.
Contributo di Stefano Semplici al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
Valutazione della ricerca, incentivi basati sulla performance e scienza apertaAlberto Baccini
Intervento all' Open access week del Politecnico di Torino. Torino, 22-24 ottobre 2018.
L'introduzione di incentivi che premiano le metriche di produzione e citazione corrompono le norme sociali e i valori che dovrebbero regolare le interazioni nella scienza. La priorità nella scoperta cessa di essere l'obiettivo principale di uno scienziato. Il nuovo obiettivo è quello di ottenere etichette appropriate e prestazioni migliori sulle metriche. Le verità provvisorie della scienza emergono dalla battaglia di idee contrastanti e sono il risultato dell‘«uso pubblico della ragione». Nel sistema attuale la verità scientifica definitiva è garantita da classifiche di scienziati o riviste. Nei sistemi istituzionalizzati di valutazione della ricerca, la verità scientifica definitiva è garantita da una qualche classifica governativa. La scienza aperta/accesso aperto senza modificazione delle condizioni istituzionali in cui si svolge la ricerca è destinata a piegarsi alle regole del publish or perish e/o della valutazione istituzionale. Per disporre di «buoni consigli» per le politiche (economiche) c’è bisogno di «buona scienza». Ma la «buona scienza» è danneggiata dai sistemi di valutazione della ricerca. I «buoni consigli» non nascono dalla battaglia per ottenere etichette o conquistare un posto in una rivista ad elevato IF. Che fare? 1.Ridurre al minimo l'impatto dei sistemi di valutazione della ricerca sulla scienza. 2.Eliminare i sistemi di valutazione istituzionale massiva della ricerca. (Almeno disaccoppiarli dal meccanismo di finanziamento automatico). 3.Considerare seriamente la crescente pressione dal basso scienza per sostituire l’«eccellenza» con la «scienza sana». 4.Considerare seriamente proposte innovative per il finanziamento della ricerca al fine di promuovere il pluralismo.
Intervento al convegno per i dieci anni di Roars. Trento 24 e 25 febbraio 2023. Compattare quindici anni di riforme dell'università in mezz'ora è impresa è impossibile. Quindi tento un taglio di tipo "valutazione ex post delle politiche". Parto dalla discussione che precedette la riforma Gelmini e tento di spiegare come quella discussione contribuì a determinare l'agenda politica dei governi di centro-destra e centro-sinistra che fecero la riforma e poi la attuarono. Vedrò e racconterò gli effetti della riforma nei documenti ufficiali e poi aggiungerò un po' di evidenze disponibili che non stanno nei documenti ufficiali.
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...Alberto Baccini
La riduzione della istruzione da diritto a funzione affidata ad un governo tecnocratico svincolato dal controllo parlamentare ha dato l’avvio alla creazione di una élite di tecnici e un indotto di dimensioni non trascurabili (illiberal reformers!). A questo si accompagna la trasformazione progressiva dei «cittadini in sudditi» (Calvano). Rientra in questo percorso anche il recente cambio di retorica con l'inaugurazione della valutazione compassionevole.
More Related Content
Similar to BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca
Alberto Baccini: Il futuro della valutazione in un paese latecomer.Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Alberto Baccini
Nelle slide si ripercorre la vicenda della prima Valutazione della Qualità della Ricerca (VQR), mostrando come l'agenzia governativa ANVUR abbia elaborato statistiche e le abbia mascherate da scienza, negando l'accesso ai dati per la loro verifica.
Collaborazionisti o resistenti. L'accademia ai tempi della valutazione della ...Alberto Baccini
Ma una valutazione massiva della ricerca tipo REF o VQR serve davvero? E perché gli accademici accettano la retorica dell'eccellenza? La ricerca deve essere solida, non "eccellente". Intervento al XIII convegno STOREP, Catania, 24 giugno 2016
La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...Alberto Baccini
I risultati della valutazione condotta dal GEV13 non sono credibili. Peer review e bibliometria hanno dato risultati non concordanti. Ma nelle altre aree non è andata meglio. Con alcune lezioni per il futuro.
Contributo di Stefano Semplici al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
Valutazione della ricerca, incentivi basati sulla performance e scienza apertaAlberto Baccini
Intervento all' Open access week del Politecnico di Torino. Torino, 22-24 ottobre 2018.
L'introduzione di incentivi che premiano le metriche di produzione e citazione corrompono le norme sociali e i valori che dovrebbero regolare le interazioni nella scienza. La priorità nella scoperta cessa di essere l'obiettivo principale di uno scienziato. Il nuovo obiettivo è quello di ottenere etichette appropriate e prestazioni migliori sulle metriche. Le verità provvisorie della scienza emergono dalla battaglia di idee contrastanti e sono il risultato dell‘«uso pubblico della ragione». Nel sistema attuale la verità scientifica definitiva è garantita da classifiche di scienziati o riviste. Nei sistemi istituzionalizzati di valutazione della ricerca, la verità scientifica definitiva è garantita da una qualche classifica governativa. La scienza aperta/accesso aperto senza modificazione delle condizioni istituzionali in cui si svolge la ricerca è destinata a piegarsi alle regole del publish or perish e/o della valutazione istituzionale. Per disporre di «buoni consigli» per le politiche (economiche) c’è bisogno di «buona scienza». Ma la «buona scienza» è danneggiata dai sistemi di valutazione della ricerca. I «buoni consigli» non nascono dalla battaglia per ottenere etichette o conquistare un posto in una rivista ad elevato IF. Che fare? 1.Ridurre al minimo l'impatto dei sistemi di valutazione della ricerca sulla scienza. 2.Eliminare i sistemi di valutazione istituzionale massiva della ricerca. (Almeno disaccoppiarli dal meccanismo di finanziamento automatico). 3.Considerare seriamente la crescente pressione dal basso scienza per sostituire l’«eccellenza» con la «scienza sana». 4.Considerare seriamente proposte innovative per il finanziamento della ricerca al fine di promuovere il pluralismo.
Intervento al convegno per i dieci anni di Roars. Trento 24 e 25 febbraio 2023. Compattare quindici anni di riforme dell'università in mezz'ora è impresa è impossibile. Quindi tento un taglio di tipo "valutazione ex post delle politiche". Parto dalla discussione che precedette la riforma Gelmini e tento di spiegare come quella discussione contribuì a determinare l'agenda politica dei governi di centro-destra e centro-sinistra che fecero la riforma e poi la attuarono. Vedrò e racconterò gli effetti della riforma nei documenti ufficiali e poi aggiungerò un po' di evidenze disponibili che non stanno nei documenti ufficiali.
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...Alberto Baccini
La riduzione della istruzione da diritto a funzione affidata ad un governo tecnocratico svincolato dal controllo parlamentare ha dato l’avvio alla creazione di una élite di tecnici e un indotto di dimensioni non trascurabili (illiberal reformers!). A questo si accompagna la trasformazione progressiva dei «cittadini in sudditi» (Calvano). Rientra in questo percorso anche il recente cambio di retorica con l'inaugurazione della valutazione compassionevole.
Research evaluation systems and the percolation of bad science Alberto Baccini
Slides of the speech at G20-Global solutions summit, Berlin 28-29 May 2018.
Performance-Based Incentives, Research Evaluation Systems and the Trickle-Down of Bad Science
MAY 2018 | PUBLIC & PRIVATE INSTITUTIONS | INSTITUTIONS, POLICY & POLITICS
DOWNLOAD PAPER
Alberto Baccini’s presentation for INET’s panel on research evaluation at the G20 Global Solutions Summit in Berlin, May 2018.
Governments or university managers, vice-chancellors or rectors need information about effectiveness of research funding. Governments are increasingly using monitoring tools as instruments for governance. The promise of bibliometric tools or journal rankings for reducing complexities is a feature that managers, policy-makers and academics find appealing. Systems of incentives are designed for steering scientists at a distance and indicators of scientific activities become more and more targets for scientists. It is the era of the governance of science by indicators.
My thesis here is that the adoption of a research policy based on research evaluation systems rewarding performance of scientists could be at the root of many deep problems afflicting contemporary science. And it could be also responsible for the growing difficulties of using the best available science for governmental regulation and policy, in particular for economic policy.
Text of the speech available at: https://www.ineteconomics.org/uploads/papers/Baccini-Value-for-money-Berlin-final.pdf
Intervento nel ciclo di conferenze Dentro al futuro: formazione e ricerca- L'università organizzate dal Comitato per l'attuazione della costituzione di San Casciano Val Di Pesa
Intervento a L'altraeconomia organizzato da Rethinking economics, Bologna, 6 maggio 2016. Cosa hanno a che fare pluralismo in economia e valutazione della ricerca?
Le slide del mio intervento alla Notte dei ricercatori a Siena il 26 settembre 2014. Nella prima parte ci sono le slide sulla percezione nei media dell'università italiana. Poi mostro i dati sul finanzimaento ad università e ricerca in Italia.
L'istruzione: un diritto per tutti. Un commento a Ichino e TerlizzeseAlberto Baccini
Le slides del mio intervento alla presentazione del libro di Ichino e Terlizzese "Facoltà di scelta" all'università di Siena il 7 maggio 2014. Spiego perché l'istruzione è un diritto. Mostro che il libro di Ichino e Terlizzese è costruito su fonti informative ben poco salde. Infine ricordo che il modello di prestiti che propongono, quello inglese, sta incontrando problemi rilevanti anche oltre Manica.
Toulouse_Napoleon et la bibliometrie ItalienneAlberto Baccini
Alberto Baccini, professeur d'économie politique à l'université de Sienne en Italie, dresse un panorama critique des réformes de l'évaluation de la recherche universitaire en Italie. La question de la constitution de listes de revues "scientifiques" à but d'évaluation est au cœur de cet exposé, qui interroge sur la validité des listes imposées par le ministère de la recherche italien. Des exemples éloquents de revues officiellement reconnues de valeur scientifique sont présentés. Ils suggèrent une défaillance quant aux critères utilisés pour caractériser la scientificité des revues dans le contexte italien.
http://www.dailymotion.com/video/x16enfd_evaluation-de-la-recherche-en-italie-mes-usages-de-la-bibliometrie-et-l-initiative-roars-alberto-ba_school
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca
1.
2. Burocrati Bibliometrici. La via italiana alla
valutazione dell’università e della ricerca
Alberto Baccini (DEPS Unisi e www.roars.it)
«Miti e riti della valutazione nell’università italiana»
Dip. studi internazionali, giuridici e storico-politici
Milano 13 giugno 2014
3. Alberto Baccini, VQR di area13
Il cattivo disegno delle istituzioni …
Struttura napoleonica:
controllo ministeriale centralizzato
Bleiklie, Ivar and Svein Michelsen. 2013. "Comparing He Policies in Europe." Higher Education, 65(1), 113-33
L’illusione delle istituzioni di first best
introduzione di elementi di modello competitivo
autonomia come primo passo per la competizione
riforma della governance (Gelmini)
valutazione oggettiva (ANVUR)
distribuzione premiale delle risorse
4. Alberto Baccini, VQR di area13
… ha dato luogo ad un sistema sbilanciato
Ministro
Agenzia plenipotenziaria di valutazione (ANVUR):
tutte le attività di valutazione della ricerca
«assicurazione della qualità» della didattica
performance della macchina amministrativa delle università (decreto FARE)
Finanziamento alla ricerca multicentrico non coordinato
«The absence of a research funding agency creates a critical unbalance in
the governance of the R&D system, with the government decentralize
evaluation, but not the power to design research priorities, to address new,
explorative, research themes, and to set up innovative strategic funding
instruments.» [Reale, EGOS colloquium 2012]
5. Alberto Baccini, VQR di area13
…governato di fatto da una élite
Il sistema attuale attribuisce indirettamente alla politica e ad una ristretta élite
«organica» ad ANVUR, un potere enorme e senza contrappesi su università e
ricerca
«The new rules are able to modify the composition of the actors influencing the
knowledge production in universities, with the reinforcement of those individuals
more involved in peer reviewing and bibliometric activities, and groups more capable
to colonize the disciplinary peer review committees. It is uncertain the extent to which
the mentioned transformation of individual professional habits would produce the
effect of reinforcing the universities, reducing their characters of loosely-coupled
organizations, or just re‐adjust the internal power distribution, without altering the
organizational characteristics.» (Reale 2012)
6. Alberto Baccini, VQR di area13
Nessuno ha valutato i costi e benefici della
valutazione
“In primo luogo, il costo della valutazione (il termine “costo” va inteso in
senso lato, sì da includere tutte le conseguenze negative e tutti i costi diretti e
indiretti) necessario per consentire un’adeguata rendicontazione della spesa
pubblica (accountability) non dovrebbe mai rappresentare più di una quota
minimale del costo delle attività da valutare (per esempio meno dell’1%). In
secondo luogo, e più nello specifico, il costo totale dovrebbe essere inferiore
ai benefici prodotti da questa più accurata rendicontazione”. (Ben Martin
2012)
«Non vi sono evidenze adeguate che stabiliscano se sia meglio dare più risorse
a pochi scienziati oppure distribuire finanziamenti più piccoli a un maggior
numero di ricercatori. […] noi dovremo trovare il modo di stabilire quale
approccio funzioni meglio. E’ uno scandalo che miliardi di dollari siano spesi
per ricerca senza sapere quale sia il migliore modo per distribuire i
finanziamenti» John P.A. Ioannidis, Nature (2011)
7. Alberto Baccini, VQR di area13
I Burocrati Bibliometrici della VQR
Valutazione universale
Valutazione bibliometrica accurata del singolo
prodotto di ricerca
Valutazione accurata del singolo ricercatore
Oggettività del processo di valutazione
Garantita da una élite di scienziati
Ed ora visto che lo strumento esiste lo applichiamo:
dottorati, università per chiamate etc.
8. Alberto Baccini, VQR di area13
I problemi della VQR: assenza di fairness nella composizione dei
GEV
http://www.roars.it/online/gli-esperti-di-valutazione-allitaliana/
9. Alberto Baccini, VQR di area13
BB: almeno 48 bibliometrie diverse
Fonte: A. Baccini, «Napoléon et l’évaluation bibliométrique de la recherche : le cas de l’Italie », Colloque Bibliométrie et indicateurs
de la recherche: enjeux et perspectives, Toulouse, 11 giugno 2013
10. Alberto Baccini, VQR di area13
BB: i dati VQR non comparabili tra aree
diverse
Fonte:rapportofinalep.7
15. Alberto Baccini, VQR di area13
BB: peer review e bibliometria misurano la
qualità della ricerca
E sono quindi intercambiabili
16. Alberto Baccini, VQR di area13
BB: c’è concordanza più che adeguata tra bibliometria e
peer review. (Peccato non sia vero)
http://www.roars.it/online/lo-strano-caso-delle-
concordanze-della-vqr/
17. Alberto Baccini, VQR di area13
Non c’è concordanza tra peer review e
bibliometrica per cui
23. Alberto Baccini, VQR di area13
Le regole stabilite dai burocrati bibliometrici
per la VQR…
… sono in conflitto con le strutture di autoregolazione
della scienza
La variabile osservata dal valutatore diventa l’obiettivo
da perseguire per il ricercatore
Con conseguenti comportamenti opportunistici: la loro
incidenza è tanto maggiore quanto minore la diffusione
dell’etica della ricerca nella comunità scientifica
Gli effetti della VQR e dell’ASN non tarderanno a
manifestarsi:
24. Alberto Baccini, VQR di area13
Una nomenclatura delle conseguenze negative prevedibili
Unintended effects
1. peggioramento delle performance citazionali indotto dall’adozione di liste di
riviste;
2. riduzione della ricerca di interesse locale (eucalipto);
Mainstreaming (economics; malattie rare)
Salami slicing
Retraction
Predatory publishing
http://scholarlyoa.com/2013/03/07/report-details-predatory-practices-of-two-bosnian-journals/
Ghost authorship
http://www.sciencemag.org/content/342/6162/1019.full
IF boosting
http://blogs.nature.com/news/2013/06/new-record-66-journals-banned-for-boosting-impact-factor-with-self-
citations.html
http://admin-apps.webofknowledge.com/JCR/static_html/notices/notices.htm#editorial_information
25. Alberto Baccini, VQR di area13
http://am.ascb.org/dora/
9596 sottoscrittori individuali; 409 organizzazioni