Intervento a L'altraeconomia organizzato da Rethinking economics, Bologna, 6 maggio 2016. Cosa hanno a che fare pluralismo in economia e valutazione della ricerca?
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...Alberto Baccini
La valutazione della ricerca ed il suo finanziamento. Slide presentate alla giornata dedicata alla Valutazione della ricerca organizzata da Dario Braga a Bologna il 21 novembre 2014.
Intervento a L'altraeconomia organizzato da Rethinking economics, Bologna, 6 maggio 2016. Cosa hanno a che fare pluralismo in economia e valutazione della ricerca?
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...Alberto Baccini
La valutazione della ricerca ed il suo finanziamento. Slide presentate alla giornata dedicata alla Valutazione della ricerca organizzata da Dario Braga a Bologna il 21 novembre 2014.
Intervento al convegno Evoluzione e valutazione della scienza giuridica tenutosi al Dipartimento di Giurisprudenza dell'università di Firenze il 18 ottobre 2013.
Napoleone, la valutazione della ricerca e le sue conseguenze prevedibili in I...Alberto Baccini
Intervento alla tavola rotonda del Convegno, La conoscenza organizzata, Trento, 6 dicembre 2013.
http://www.jus.unitn.it/services/arc/2013/1206i/home.html
Alberto Baccini: Il futuro della valutazione in un paese latecomer.Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
Valutazione della ricerca, incentivi basati sulla performance e scienza apertaAlberto Baccini
Intervento all' Open access week del Politecnico di Torino. Torino, 22-24 ottobre 2018.
L'introduzione di incentivi che premiano le metriche di produzione e citazione corrompono le norme sociali e i valori che dovrebbero regolare le interazioni nella scienza. La priorità nella scoperta cessa di essere l'obiettivo principale di uno scienziato. Il nuovo obiettivo è quello di ottenere etichette appropriate e prestazioni migliori sulle metriche. Le verità provvisorie della scienza emergono dalla battaglia di idee contrastanti e sono il risultato dell‘«uso pubblico della ragione». Nel sistema attuale la verità scientifica definitiva è garantita da classifiche di scienziati o riviste. Nei sistemi istituzionalizzati di valutazione della ricerca, la verità scientifica definitiva è garantita da una qualche classifica governativa. La scienza aperta/accesso aperto senza modificazione delle condizioni istituzionali in cui si svolge la ricerca è destinata a piegarsi alle regole del publish or perish e/o della valutazione istituzionale. Per disporre di «buoni consigli» per le politiche (economiche) c’è bisogno di «buona scienza». Ma la «buona scienza» è danneggiata dai sistemi di valutazione della ricerca. I «buoni consigli» non nascono dalla battaglia per ottenere etichette o conquistare un posto in una rivista ad elevato IF. Che fare? 1.Ridurre al minimo l'impatto dei sistemi di valutazione della ricerca sulla scienza. 2.Eliminare i sistemi di valutazione istituzionale massiva della ricerca. (Almeno disaccoppiarli dal meccanismo di finanziamento automatico). 3.Considerare seriamente la crescente pressione dal basso scienza per sostituire l’«eccellenza» con la «scienza sana». 4.Considerare seriamente proposte innovative per il finanziamento della ricerca al fine di promuovere il pluralismo.
Il rapporto fornisce, attraverso l’uso di dati bibliometrici, un quadro dettagliato del capitale intellettuale locale analizzando l’attività di pubblicazione scientifica a livello internazionale nel corso del periodo 1990-2011 di università, enti di ricerca e imprese private che operano nella Regione Puglia. Il rapporto fornisce inoltre un orientamento scientifico-disciplinare degli studi pubblicati.
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...Alberto Baccini
Il cattivo disegno delle istituzioni preposte alla valutazione ha dato luogo ad un esercizio di valutazione della ricerca con notevoli errori metodologici. Gli effetti negativi non tarderanno a manifestarsi. Le slide della presentazione al convegno «Miti e riti della valutazione nell’università italiana» Dip. studi internazionali, giuridici e storico-politici
Università di Milano statale, 13 giugno 2014
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
La valutazione massiva della ricerca: costi e beneficiAlberto Baccini
Gli argomenti usati per giustificare l’adozione di sistemi di valutazione massiva della ricerca del tipo VQR non sono basati su evidenze incontrovertibili. In particolare non esistono analisi che mostrino che i benefici sono superiori ai costi della valutazione. La valutazione massiva della ricerca è autoritaria e contraria alle prassi adottate nelle comunità scientifiche.
Intervento al terzo convegno annuale di Roars. Come dovrebbe essere e come probabilmente sarà la prossima VQR (valutazione della qualità della ricerca).
Contributo di Alberto Baccini al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Collaborazionisti o resistenti. L'accademia ai tempi della valutazione della ...Alberto Baccini
Ma una valutazione massiva della ricerca tipo REF o VQR serve davvero? E perché gli accademici accettano la retorica dell'eccellenza? La ricerca deve essere solida, non "eccellente". Intervento al XIII convegno STOREP, Catania, 24 giugno 2016
Intervento al convegno per i dieci anni di Roars. Trento 24 e 25 febbraio 2023. Compattare quindici anni di riforme dell'università in mezz'ora è impresa è impossibile. Quindi tento un taglio di tipo "valutazione ex post delle politiche". Parto dalla discussione che precedette la riforma Gelmini e tento di spiegare come quella discussione contribuì a determinare l'agenda politica dei governi di centro-destra e centro-sinistra che fecero la riforma e poi la attuarono. Vedrò e racconterò gli effetti della riforma nei documenti ufficiali e poi aggiungerò un po' di evidenze disponibili che non stanno nei documenti ufficiali.
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...Alberto Baccini
La riduzione della istruzione da diritto a funzione affidata ad un governo tecnocratico svincolato dal controllo parlamentare ha dato l’avvio alla creazione di una élite di tecnici e un indotto di dimensioni non trascurabili (illiberal reformers!). A questo si accompagna la trasformazione progressiva dei «cittadini in sudditi» (Calvano). Rientra in questo percorso anche il recente cambio di retorica con l'inaugurazione della valutazione compassionevole.
Intervento al convegno Evoluzione e valutazione della scienza giuridica tenutosi al Dipartimento di Giurisprudenza dell'università di Firenze il 18 ottobre 2013.
Napoleone, la valutazione della ricerca e le sue conseguenze prevedibili in I...Alberto Baccini
Intervento alla tavola rotonda del Convegno, La conoscenza organizzata, Trento, 6 dicembre 2013.
http://www.jus.unitn.it/services/arc/2013/1206i/home.html
Alberto Baccini: Il futuro della valutazione in un paese latecomer.Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
Valutazione della ricerca, incentivi basati sulla performance e scienza apertaAlberto Baccini
Intervento all' Open access week del Politecnico di Torino. Torino, 22-24 ottobre 2018.
L'introduzione di incentivi che premiano le metriche di produzione e citazione corrompono le norme sociali e i valori che dovrebbero regolare le interazioni nella scienza. La priorità nella scoperta cessa di essere l'obiettivo principale di uno scienziato. Il nuovo obiettivo è quello di ottenere etichette appropriate e prestazioni migliori sulle metriche. Le verità provvisorie della scienza emergono dalla battaglia di idee contrastanti e sono il risultato dell‘«uso pubblico della ragione». Nel sistema attuale la verità scientifica definitiva è garantita da classifiche di scienziati o riviste. Nei sistemi istituzionalizzati di valutazione della ricerca, la verità scientifica definitiva è garantita da una qualche classifica governativa. La scienza aperta/accesso aperto senza modificazione delle condizioni istituzionali in cui si svolge la ricerca è destinata a piegarsi alle regole del publish or perish e/o della valutazione istituzionale. Per disporre di «buoni consigli» per le politiche (economiche) c’è bisogno di «buona scienza». Ma la «buona scienza» è danneggiata dai sistemi di valutazione della ricerca. I «buoni consigli» non nascono dalla battaglia per ottenere etichette o conquistare un posto in una rivista ad elevato IF. Che fare? 1.Ridurre al minimo l'impatto dei sistemi di valutazione della ricerca sulla scienza. 2.Eliminare i sistemi di valutazione istituzionale massiva della ricerca. (Almeno disaccoppiarli dal meccanismo di finanziamento automatico). 3.Considerare seriamente la crescente pressione dal basso scienza per sostituire l’«eccellenza» con la «scienza sana». 4.Considerare seriamente proposte innovative per il finanziamento della ricerca al fine di promuovere il pluralismo.
Il rapporto fornisce, attraverso l’uso di dati bibliometrici, un quadro dettagliato del capitale intellettuale locale analizzando l’attività di pubblicazione scientifica a livello internazionale nel corso del periodo 1990-2011 di università, enti di ricerca e imprese private che operano nella Regione Puglia. Il rapporto fornisce inoltre un orientamento scientifico-disciplinare degli studi pubblicati.
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...Alberto Baccini
Il cattivo disegno delle istituzioni preposte alla valutazione ha dato luogo ad un esercizio di valutazione della ricerca con notevoli errori metodologici. Gli effetti negativi non tarderanno a manifestarsi. Le slide della presentazione al convegno «Miti e riti della valutazione nell’università italiana» Dip. studi internazionali, giuridici e storico-politici
Università di Milano statale, 13 giugno 2014
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
La valutazione massiva della ricerca: costi e beneficiAlberto Baccini
Gli argomenti usati per giustificare l’adozione di sistemi di valutazione massiva della ricerca del tipo VQR non sono basati su evidenze incontrovertibili. In particolare non esistono analisi che mostrino che i benefici sono superiori ai costi della valutazione. La valutazione massiva della ricerca è autoritaria e contraria alle prassi adottate nelle comunità scientifiche.
Intervento al terzo convegno annuale di Roars. Come dovrebbe essere e come probabilmente sarà la prossima VQR (valutazione della qualità della ricerca).
Contributo di Alberto Baccini al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Collaborazionisti o resistenti. L'accademia ai tempi della valutazione della ...Alberto Baccini
Ma una valutazione massiva della ricerca tipo REF o VQR serve davvero? E perché gli accademici accettano la retorica dell'eccellenza? La ricerca deve essere solida, non "eccellente". Intervento al XIII convegno STOREP, Catania, 24 giugno 2016
Intervento al convegno per i dieci anni di Roars. Trento 24 e 25 febbraio 2023. Compattare quindici anni di riforme dell'università in mezz'ora è impresa è impossibile. Quindi tento un taglio di tipo "valutazione ex post delle politiche". Parto dalla discussione che precedette la riforma Gelmini e tento di spiegare come quella discussione contribuì a determinare l'agenda politica dei governi di centro-destra e centro-sinistra che fecero la riforma e poi la attuarono. Vedrò e racconterò gli effetti della riforma nei documenti ufficiali e poi aggiungerò un po' di evidenze disponibili che non stanno nei documenti ufficiali.
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...Alberto Baccini
La riduzione della istruzione da diritto a funzione affidata ad un governo tecnocratico svincolato dal controllo parlamentare ha dato l’avvio alla creazione di una élite di tecnici e un indotto di dimensioni non trascurabili (illiberal reformers!). A questo si accompagna la trasformazione progressiva dei «cittadini in sudditi» (Calvano). Rientra in questo percorso anche il recente cambio di retorica con l'inaugurazione della valutazione compassionevole.
Research evaluation systems and the percolation of bad science Alberto Baccini
Slides of the speech at G20-Global solutions summit, Berlin 28-29 May 2018.
Performance-Based Incentives, Research Evaluation Systems and the Trickle-Down of Bad Science
MAY 2018 | PUBLIC & PRIVATE INSTITUTIONS | INSTITUTIONS, POLICY & POLITICS
DOWNLOAD PAPER
Alberto Baccini’s presentation for INET’s panel on research evaluation at the G20 Global Solutions Summit in Berlin, May 2018.
Governments or university managers, vice-chancellors or rectors need information about effectiveness of research funding. Governments are increasingly using monitoring tools as instruments for governance. The promise of bibliometric tools or journal rankings for reducing complexities is a feature that managers, policy-makers and academics find appealing. Systems of incentives are designed for steering scientists at a distance and indicators of scientific activities become more and more targets for scientists. It is the era of the governance of science by indicators.
My thesis here is that the adoption of a research policy based on research evaluation systems rewarding performance of scientists could be at the root of many deep problems afflicting contemporary science. And it could be also responsible for the growing difficulties of using the best available science for governmental regulation and policy, in particular for economic policy.
Text of the speech available at: https://www.ineteconomics.org/uploads/papers/Baccini-Value-for-money-Berlin-final.pdf
Intervento nel ciclo di conferenze Dentro al futuro: formazione e ricerca- L'università organizzate dal Comitato per l'attuazione della costituzione di San Casciano Val Di Pesa
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Alberto Baccini
Nelle slide si ripercorre la vicenda della prima Valutazione della Qualità della Ricerca (VQR), mostrando come l'agenzia governativa ANVUR abbia elaborato statistiche e le abbia mascherate da scienza, negando l'accesso ai dati per la loro verifica.
Le slide del mio intervento alla Notte dei ricercatori a Siena il 26 settembre 2014. Nella prima parte ci sono le slide sulla percezione nei media dell'università italiana. Poi mostro i dati sul finanzimaento ad università e ricerca in Italia.
L'istruzione: un diritto per tutti. Un commento a Ichino e TerlizzeseAlberto Baccini
Le slides del mio intervento alla presentazione del libro di Ichino e Terlizzese "Facoltà di scelta" all'università di Siena il 7 maggio 2014. Spiego perché l'istruzione è un diritto. Mostro che il libro di Ichino e Terlizzese è costruito su fonti informative ben poco salde. Infine ricordo che il modello di prestiti che propongono, quello inglese, sta incontrando problemi rilevanti anche oltre Manica.
La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...Alberto Baccini
I risultati della valutazione condotta dal GEV13 non sono credibili. Peer review e bibliometria hanno dato risultati non concordanti. Ma nelle altre aree non è andata meglio. Con alcune lezioni per il futuro.
Toulouse_Napoleon et la bibliometrie ItalienneAlberto Baccini
Alberto Baccini, professeur d'économie politique à l'université de Sienne en Italie, dresse un panorama critique des réformes de l'évaluation de la recherche universitaire en Italie. La question de la constitution de listes de revues "scientifiques" à but d'évaluation est au cœur de cet exposé, qui interroge sur la validité des listes imposées par le ministère de la recherche italien. Des exemples éloquents de revues officiellement reconnues de valeur scientifique sont présentés. Ils suggèrent une défaillance quant aux critères utilisés pour caractériser la scientificité des revues dans le contexte italien.
http://www.dailymotion.com/video/x16enfd_evaluation-de-la-recherche-en-italie-mes-usages-de-la-bibliometrie-et-l-initiative-roars-alberto-ba_school
1. Indicatori bibliometrici e discipline
umanistiche
Alberto Baccini (Unisi)
La valutazione della ricerca nelle discipline
umanistiche: un passaggio necessario
Milano, 28 settembre 2011
3. Alberto Baccini, Valutare la ricerca scientifica
Lo «scontro» sulla valutazione
Impact Factor, H-index e derivati sono spesso usati come una
clava per scardinare le baronie nazionali.
Altri negano che gli indicatori bibliometrici abbiano qualsiasi
significato ed utilità. Specialmente per le scienze umane.
Le misure bibliometriche sintetizzano informazioni sulla qualità e
l’impatto della ricerca basate sulla peer review, secondo le pratiche
condivise da secoli nella comunità accademica internazionale.
Il loro uso “accorto e consapevole” è utile per le decisioni sul
finanziamento della ricerca.
4. Alberto Baccini, Valutare la ricerca scientifica
Qualità, importanza, impatto
Per qualità di un contributo scientifico si intende il riconoscimento che la
ricerca è stata ben condotta in riferimento agli standard prevalenti (originalità,
rilevanza, rigore metodologico…) in un certo momento del tempo.
Un articolo pubblicato su una rivista che usa la peer review è di qualità
Indicatori bibliometrici di produzione di qualità
Per impatto si intende il riconoscimento tributato ad contributo scientifico
dalla comunità dei pari attraverso le citazioni in un dato intervallo temporale.
Un articolo molto citato è un articolo con un elevato impatto nella comuità scientifica
Indicatori bibliometrici citazionali
Per importanza di un contributo scientifico si intende la capacità di un
contributo scientifico di influenzare nel lungo periodo le ricerche condotte da
altri, di produrre conoscenza utilizzata da altri nel proprio lavoro, di aprire la
strada a nuove vie per lo sviluppo della scienza
Ricerca dimenticata e belle addormentate
5. Alberto Baccini, Valutare la ricerca scientifica
Ma gli archivi bibliografici e citazionali
contengono tutte le informazioni rilevanti?
ISI, Scopus, Google Scholar
Archivi disciplinari (EconLit, PubMed , …)
Non esistono discipline cui per la loro natura speciale non
possano essere applicati indicatori bibliometrici
Per alcune discipline al momento gli indicatori
bibliometrici sono scarsamente affidabili
7. Alberto Baccini, Valutare la ricerca scientifica
Misure della produzione scientifica
Scopus Scholar
Umberto Eco 6 >1000
A.L. Barabasi 169 793
H. Moed 78 >1000
(26 settembre 2011)
8. Alberto Baccini, Valutare la ricerca scientifica
Quanto producono umanisti e scienziati sociali?
Etxebarria,GoioandGomez-Uranga,Mikel(2010),'UseofScopusand
GoogleScholartomeasuresocialsciencesproductioninfourmajor
Spanishuniversities',Scientometrics,82(2),333-49.
11. Alberto Baccini, Valutare la ricerca scientifica
Per valutare le scienze sociali ed umane servono
strumenti speciali?
Ranking delle riviste/editori (Pontille-Torny 2010)
ERIH (European Reference Index for the Humanities)
AERES list (Agence d’Evaluation de la Recherche e de l’Enseignement
Superieur)
Australian ranking (Vanclay 2011)
Statistiche di produzione basate su cataloghi delle
biblioteche (Torres-Salinas-Moed 2009)
Diffusione di un libro ha la stessa funzione della citazione (?)
Revisione dei pari
Il controllo accademico nelle discipline al riparo dalla scienza
internazionale (Civr; Prin 2009)
12. Alberto Baccini, Valutare la ricerca scientifica
Servono database adeguati
Diana Hicks and Jian Wang. 2010. "Coverage and overlap of the new social science and humanities
journal lists" forthcoming in JASIST.
13. Alberto Baccini, Valutare la ricerca scientifica
European SSH journal coverage
Diana Hicks and Jian Wang. 2010. "Coverage and overlap of the new social science and humanities
journal lists" forthcoming in JASIST.
14. Alberto Baccini, Valutare la ricerca scientifica
Conclusioni
Sarebbe facile sostenere che:
la valutazione ed i suoi strumenti sono da usare con estrema
cautela;
l’autonomia della comunità scientifica deve essere strenuamente
difesa dalle ingerenze dei governi
l’introduzione di meccanismi di valutazione rischia di distorcere i
comportamenti dei ricercatori in modi inopportuni
che il controllo esercitato per evitare errori di tipo I nelle
procedure di valutazione, comporta un rischio elevato di
incorrere in errori di tipo II (i diamanti rosa di Gillies 2008)
che i processi di valutazione devono essere improntati alla
massima trasparenza.
15. Alberto Baccini, Valutare la ricerca scientifica
Conclusioni
Ma quando si osserva che:
le società scientifiche italiane si sono affrettate a predisporre
graduatorie di riviste ed editori da utilizzare in vista degli esercizi
di valutazione e dei concorsi;
le riviste hanno iniziato a dotarsi di (improbabili) meccanismi di
revisione dei pari
alcuni piccoli editori hanno iniziato ad indicare che il volume
pubblicato è stato accettato per la pubblicazione dopo
(improbabili) scrutini da parte di comitati di lettura (spesso
indicati nominativamente)
sono apparsi attacchi non solo ai meccanismi istituzionali di
valutazione, ma addirittura alla legittimità della revisione dei pari
16. Alberto Baccini, Valutare la ricerca scientifica
Conclusioni
Forse nel caso italiano la messa in atto di procedure
di valutazione, anche le più drasticamente rozze
adottate a livello internazionale, potrà servire a
limitare l’autoreferenzialità di molti ambiti disciplinari
che si sono sviluppati e riprodotti ben al riparo dalle
regole adottate nella comunità scientifica
internazionale, e migliorare anche per questa via la
qualità del sistema universitario e della ricerca.