Intervento al terzo convegno annuale di Roars. Come dovrebbe essere e come probabilmente sarà la prossima VQR (valutazione della qualità della ricerca).
Intervento al terzo convegno annuale di Roars. Come dovrebbe essere e come probabilmente sarà la prossima VQR (valutazione della qualità della ricerca).
Intervento al convegno Evoluzione e valutazione della scienza giuridica tenutosi al Dipartimento di Giurisprudenza dell'università di Firenze il 18 ottobre 2013.
Napoleone, la valutazione della ricerca e le sue conseguenze prevedibili in I...Alberto Baccini
Intervento alla tavola rotonda del Convegno, La conoscenza organizzata, Trento, 6 dicembre 2013.
http://www.jus.unitn.it/services/arc/2013/1206i/home.html
Valutazione della ricerca, incentivi basati sulla performance e scienza apertaAlberto Baccini
Intervento all' Open access week del Politecnico di Torino. Torino, 22-24 ottobre 2018.
L'introduzione di incentivi che premiano le metriche di produzione e citazione corrompono le norme sociali e i valori che dovrebbero regolare le interazioni nella scienza. La priorità nella scoperta cessa di essere l'obiettivo principale di uno scienziato. Il nuovo obiettivo è quello di ottenere etichette appropriate e prestazioni migliori sulle metriche. Le verità provvisorie della scienza emergono dalla battaglia di idee contrastanti e sono il risultato dell‘«uso pubblico della ragione». Nel sistema attuale la verità scientifica definitiva è garantita da classifiche di scienziati o riviste. Nei sistemi istituzionalizzati di valutazione della ricerca, la verità scientifica definitiva è garantita da una qualche classifica governativa. La scienza aperta/accesso aperto senza modificazione delle condizioni istituzionali in cui si svolge la ricerca è destinata a piegarsi alle regole del publish or perish e/o della valutazione istituzionale. Per disporre di «buoni consigli» per le politiche (economiche) c’è bisogno di «buona scienza». Ma la «buona scienza» è danneggiata dai sistemi di valutazione della ricerca. I «buoni consigli» non nascono dalla battaglia per ottenere etichette o conquistare un posto in una rivista ad elevato IF. Che fare? 1.Ridurre al minimo l'impatto dei sistemi di valutazione della ricerca sulla scienza. 2.Eliminare i sistemi di valutazione istituzionale massiva della ricerca. (Almeno disaccoppiarli dal meccanismo di finanziamento automatico). 3.Considerare seriamente la crescente pressione dal basso scienza per sostituire l’«eccellenza» con la «scienza sana». 4.Considerare seriamente proposte innovative per il finanziamento della ricerca al fine di promuovere il pluralismo.
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...Alberto Baccini
La valutazione della ricerca ed il suo finanziamento. Slide presentate alla giornata dedicata alla Valutazione della ricerca organizzata da Dario Braga a Bologna il 21 novembre 2014.
Alberto Baccini: Il futuro della valutazione in un paese latecomer.Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...Alberto Baccini
Il cattivo disegno delle istituzioni preposte alla valutazione ha dato luogo ad un esercizio di valutazione della ricerca con notevoli errori metodologici. Gli effetti negativi non tarderanno a manifestarsi. Le slide della presentazione al convegno «Miti e riti della valutazione nell’università italiana» Dip. studi internazionali, giuridici e storico-politici
Università di Milano statale, 13 giugno 2014
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Alberto Baccini
Nelle slide si ripercorre la vicenda della prima Valutazione della Qualità della Ricerca (VQR), mostrando come l'agenzia governativa ANVUR abbia elaborato statistiche e le abbia mascherate da scienza, negando l'accesso ai dati per la loro verifica.
La valutazione massiva della ricerca: costi e beneficiAlberto Baccini
Gli argomenti usati per giustificare l’adozione di sistemi di valutazione massiva della ricerca del tipo VQR non sono basati su evidenze incontrovertibili. In particolare non esistono analisi che mostrino che i benefici sono superiori ai costi della valutazione. La valutazione massiva della ricerca è autoritaria e contraria alle prassi adottate nelle comunità scientifiche.
Contributo di Alberto Baccini al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Intervento a L'altraeconomia organizzato da Rethinking economics, Bologna, 6 maggio 2016. Cosa hanno a che fare pluralismo in economia e valutazione della ricerca?
Intervento al convegno per i dieci anni di Roars. Trento 24 e 25 febbraio 2023. Compattare quindici anni di riforme dell'università in mezz'ora è impresa è impossibile. Quindi tento un taglio di tipo "valutazione ex post delle politiche". Parto dalla discussione che precedette la riforma Gelmini e tento di spiegare come quella discussione contribuì a determinare l'agenda politica dei governi di centro-destra e centro-sinistra che fecero la riforma e poi la attuarono. Vedrò e racconterò gli effetti della riforma nei documenti ufficiali e poi aggiungerò un po' di evidenze disponibili che non stanno nei documenti ufficiali.
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...Alberto Baccini
La riduzione della istruzione da diritto a funzione affidata ad un governo tecnocratico svincolato dal controllo parlamentare ha dato l’avvio alla creazione di una élite di tecnici e un indotto di dimensioni non trascurabili (illiberal reformers!). A questo si accompagna la trasformazione progressiva dei «cittadini in sudditi» (Calvano). Rientra in questo percorso anche il recente cambio di retorica con l'inaugurazione della valutazione compassionevole.
Intervento al convegno Evoluzione e valutazione della scienza giuridica tenutosi al Dipartimento di Giurisprudenza dell'università di Firenze il 18 ottobre 2013.
Napoleone, la valutazione della ricerca e le sue conseguenze prevedibili in I...Alberto Baccini
Intervento alla tavola rotonda del Convegno, La conoscenza organizzata, Trento, 6 dicembre 2013.
http://www.jus.unitn.it/services/arc/2013/1206i/home.html
Valutazione della ricerca, incentivi basati sulla performance e scienza apertaAlberto Baccini
Intervento all' Open access week del Politecnico di Torino. Torino, 22-24 ottobre 2018.
L'introduzione di incentivi che premiano le metriche di produzione e citazione corrompono le norme sociali e i valori che dovrebbero regolare le interazioni nella scienza. La priorità nella scoperta cessa di essere l'obiettivo principale di uno scienziato. Il nuovo obiettivo è quello di ottenere etichette appropriate e prestazioni migliori sulle metriche. Le verità provvisorie della scienza emergono dalla battaglia di idee contrastanti e sono il risultato dell‘«uso pubblico della ragione». Nel sistema attuale la verità scientifica definitiva è garantita da classifiche di scienziati o riviste. Nei sistemi istituzionalizzati di valutazione della ricerca, la verità scientifica definitiva è garantita da una qualche classifica governativa. La scienza aperta/accesso aperto senza modificazione delle condizioni istituzionali in cui si svolge la ricerca è destinata a piegarsi alle regole del publish or perish e/o della valutazione istituzionale. Per disporre di «buoni consigli» per le politiche (economiche) c’è bisogno di «buona scienza». Ma la «buona scienza» è danneggiata dai sistemi di valutazione della ricerca. I «buoni consigli» non nascono dalla battaglia per ottenere etichette o conquistare un posto in una rivista ad elevato IF. Che fare? 1.Ridurre al minimo l'impatto dei sistemi di valutazione della ricerca sulla scienza. 2.Eliminare i sistemi di valutazione istituzionale massiva della ricerca. (Almeno disaccoppiarli dal meccanismo di finanziamento automatico). 3.Considerare seriamente la crescente pressione dal basso scienza per sostituire l’«eccellenza» con la «scienza sana». 4.Considerare seriamente proposte innovative per il finanziamento della ricerca al fine di promuovere il pluralismo.
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...Alberto Baccini
La valutazione della ricerca ed il suo finanziamento. Slide presentate alla giornata dedicata alla Valutazione della ricerca organizzata da Dario Braga a Bologna il 21 novembre 2014.
Alberto Baccini: Il futuro della valutazione in un paese latecomer.Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...Alberto Baccini
Il cattivo disegno delle istituzioni preposte alla valutazione ha dato luogo ad un esercizio di valutazione della ricerca con notevoli errori metodologici. Gli effetti negativi non tarderanno a manifestarsi. Le slide della presentazione al convegno «Miti e riti della valutazione nell’università italiana» Dip. studi internazionali, giuridici e storico-politici
Università di Milano statale, 13 giugno 2014
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Alberto Baccini
Nelle slide si ripercorre la vicenda della prima Valutazione della Qualità della Ricerca (VQR), mostrando come l'agenzia governativa ANVUR abbia elaborato statistiche e le abbia mascherate da scienza, negando l'accesso ai dati per la loro verifica.
La valutazione massiva della ricerca: costi e beneficiAlberto Baccini
Gli argomenti usati per giustificare l’adozione di sistemi di valutazione massiva della ricerca del tipo VQR non sono basati su evidenze incontrovertibili. In particolare non esistono analisi che mostrino che i benefici sono superiori ai costi della valutazione. La valutazione massiva della ricerca è autoritaria e contraria alle prassi adottate nelle comunità scientifiche.
Contributo di Alberto Baccini al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Intervento a L'altraeconomia organizzato da Rethinking economics, Bologna, 6 maggio 2016. Cosa hanno a che fare pluralismo in economia e valutazione della ricerca?
Intervento al convegno per i dieci anni di Roars. Trento 24 e 25 febbraio 2023. Compattare quindici anni di riforme dell'università in mezz'ora è impresa è impossibile. Quindi tento un taglio di tipo "valutazione ex post delle politiche". Parto dalla discussione che precedette la riforma Gelmini e tento di spiegare come quella discussione contribuì a determinare l'agenda politica dei governi di centro-destra e centro-sinistra che fecero la riforma e poi la attuarono. Vedrò e racconterò gli effetti della riforma nei documenti ufficiali e poi aggiungerò un po' di evidenze disponibili che non stanno nei documenti ufficiali.
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...Alberto Baccini
La riduzione della istruzione da diritto a funzione affidata ad un governo tecnocratico svincolato dal controllo parlamentare ha dato l’avvio alla creazione di una élite di tecnici e un indotto di dimensioni non trascurabili (illiberal reformers!). A questo si accompagna la trasformazione progressiva dei «cittadini in sudditi» (Calvano). Rientra in questo percorso anche il recente cambio di retorica con l'inaugurazione della valutazione compassionevole.
Research evaluation systems and the percolation of bad science Alberto Baccini
Slides of the speech at G20-Global solutions summit, Berlin 28-29 May 2018.
Performance-Based Incentives, Research Evaluation Systems and the Trickle-Down of Bad Science
MAY 2018 | PUBLIC & PRIVATE INSTITUTIONS | INSTITUTIONS, POLICY & POLITICS
DOWNLOAD PAPER
Alberto Baccini’s presentation for INET’s panel on research evaluation at the G20 Global Solutions Summit in Berlin, May 2018.
Governments or university managers, vice-chancellors or rectors need information about effectiveness of research funding. Governments are increasingly using monitoring tools as instruments for governance. The promise of bibliometric tools or journal rankings for reducing complexities is a feature that managers, policy-makers and academics find appealing. Systems of incentives are designed for steering scientists at a distance and indicators of scientific activities become more and more targets for scientists. It is the era of the governance of science by indicators.
My thesis here is that the adoption of a research policy based on research evaluation systems rewarding performance of scientists could be at the root of many deep problems afflicting contemporary science. And it could be also responsible for the growing difficulties of using the best available science for governmental regulation and policy, in particular for economic policy.
Text of the speech available at: https://www.ineteconomics.org/uploads/papers/Baccini-Value-for-money-Berlin-final.pdf
Intervento nel ciclo di conferenze Dentro al futuro: formazione e ricerca- L'università organizzate dal Comitato per l'attuazione della costituzione di San Casciano Val Di Pesa
Collaborazionisti o resistenti. L'accademia ai tempi della valutazione della ...Alberto Baccini
Ma una valutazione massiva della ricerca tipo REF o VQR serve davvero? E perché gli accademici accettano la retorica dell'eccellenza? La ricerca deve essere solida, non "eccellente". Intervento al XIII convegno STOREP, Catania, 24 giugno 2016
Le slide del mio intervento alla Notte dei ricercatori a Siena il 26 settembre 2014. Nella prima parte ci sono le slide sulla percezione nei media dell'università italiana. Poi mostro i dati sul finanzimaento ad università e ricerca in Italia.
L'istruzione: un diritto per tutti. Un commento a Ichino e TerlizzeseAlberto Baccini
Le slides del mio intervento alla presentazione del libro di Ichino e Terlizzese "Facoltà di scelta" all'università di Siena il 7 maggio 2014. Spiego perché l'istruzione è un diritto. Mostro che il libro di Ichino e Terlizzese è costruito su fonti informative ben poco salde. Infine ricordo che il modello di prestiti che propongono, quello inglese, sta incontrando problemi rilevanti anche oltre Manica.
La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...Alberto Baccini
I risultati della valutazione condotta dal GEV13 non sono credibili. Peer review e bibliometria hanno dato risultati non concordanti. Ma nelle altre aree non è andata meglio. Con alcune lezioni per il futuro.
Toulouse_Napoleon et la bibliometrie ItalienneAlberto Baccini
Alberto Baccini, professeur d'économie politique à l'université de Sienne en Italie, dresse un panorama critique des réformes de l'évaluation de la recherche universitaire en Italie. La question de la constitution de listes de revues "scientifiques" à but d'évaluation est au cœur de cet exposé, qui interroge sur la validité des listes imposées par le ministère de la recherche italien. Des exemples éloquents de revues officiellement reconnues de valeur scientifique sont présentés. Ils suggèrent une défaillance quant aux critères utilisés pour caractériser la scientificité des revues dans le contexte italien.
http://www.dailymotion.com/video/x16enfd_evaluation-de-la-recherche-en-italie-mes-usages-de-la-bibliometrie-et-l-initiative-roars-alberto-ba_school
1. Bibliometria per la valutazione della
ricerca: uso e abuso
Alberto Baccini (Unisi)
Seconda conferenza di Ateneo sugli strumenti
di valutazione della ricerca
Ferrara, 18 maggio 2010
3. Alberto Baccini, Valutare la ricerca scientifica
Lo scontro sulla valutazione
In Italia stiamo assistendo allo scontro tra coloro che usano
Impact Factor, H-index e derivati come una clava per scardinare
le baronie nazionali; e coloro che negano che gli indicatori
bibliometrici abbiano qualsiasi significato ed utilità.
Le misure bibliometriche sintetizzano le informazioni sulla
qualità e l’impatto della ricerca, secondo le definizioni condivisa
da secoli nella comunità accademica internazionale.
Il loro uso “accorto e consapevole” è fondamentale per le
decisioni sul finanziamento della ricerca.
4. Alberto Baccini, Valutare la ricerca scientifica
La repubblica autonoma della scienza e le esigenze dei
governi
I meccanismi autonomi di riconoscimento della
qualità della ricerca: priorità, eponimia, citazioni,
premi etc.
Il lungo periodo della scienza vs. le esigenze di
breve periodo della “società della conoscenza”
I meccanismi di valutazione della ricerca:
distinguere tra valutazione e uso della valutazione
per le decisioni di politica della ricerca
5. Alberto Baccini, Valutare la ricerca scientifica
Qualità, importanza, impatto
Per qualità di un contributo scientifico si intende il riconoscimento che la
ricerca è stata ben condotta in riferimento agli standard prevalenti (originalità,
rilevanza, rigore metodologico…) in un certo momento del tempo.
Un articolo pubblicato su una rivista che usa la peer review è di qualità
Indicatori bibliometrici di produzione di qualità
Per impatto si intende il riconoscimento tributato ad contributo scientifico
dalla comunità dei pari attraverso le citazioni in un dato intervallo temporale.
Un articolo molto citato è un articolo con un elevato impatto nella comuità scientifica
Indicatori bibliometrici citazionali
Per importanza di un contributo scientifico si intende la capacità di un
contributo scientifico di influenzare nel lungo periodo le ricerche condotte da
altri, di produrre conoscenza utilizzata da altri nel proprio lavoro, di aprire la
strada a nuove vie per lo sviluppo della scienza
Ricerca dimenticata e belle addormentate
6. Alberto Baccini, Valutare la ricerca scientifica
La valutazione dei pari (peer review)
La valutazione condotta dai pari è il peggiore dei modi
per giudicare la qualità della ricerca; il fatto è che non ce
ne sono di migliori
La contrapposizione tra “revisione diretta dei pari” e
“uso degli indicatori bibliometrici” è fuorviante
Entrambe le forme di valutazione sono basate sul
giudizio di qualità espresso dai pari (in forma diretta o
indiretta)
La valutazione basata su indicatori bibliometrici è meno
costosa, ma richiede conoscenze tecniche specifiche
7. Alberto Baccini, Valutare la ricerca scientifica
Ma gli archivi bibliografici e citazionali
contengono tutte le informazioni rilevanti?
ISI, Scopus, Google Scholar
Archivi disciplinari (EconLit, PubMed …)
Non esistono discipline cui per la loro natura speciale non
possano essere applicati indicatori bibliometrici
Per alcune discipline al momento attuale gli
indicatori bibliometrici sono scarsamente affidabili
13. Alberto Baccini, Valutare la ricerca scientifica
Guida per il buon uso degli indicatori
1. Per approssimare la multidimensionalità del
giudizio del revisore, è consigliabile l’uso di
“pacchetti di indicatori” (es. n ; c)
2. Le misure bibliometriche vanno sempre lette e
interpretate in riferimento a misure strutturali di
controllo (es. IF)
3. Scegliere accuratamente gli indicatori in relazione
all’oggetto della valutazione (citazioni vs. IF)
14. Alberto Baccini, Valutare la ricerca scientifica
Livelli di aggregazione della valutazione
Al crescere del livello di aggregazione, aumenta
l’affidabilità dell’indicatore
Livelli di aggregazione:
1. la produzione scientifica di un ricercatore;
2. gli articoli pubblicati in una rivista o i libri pubblicati da un editore;
3. la produzione scientifica di un gruppo di ricerca (dipartimento, facoltà
etc.);
4. la produzione scientifica di un intera area disciplinare, campo di ricerca o
disciplina (CIVR);
5. la produzione scientifica di una regione o di una nazione.
16. Alberto Baccini, Valutare la ricerca scientifica
Regola 1
Definire chiaramente scopo ed obiettivi della
valutazione, e individuare le misure bibliometriche
di produzione ed impatto più adatte per
raggiungerli
Evitare l’abuso dell’IF come unica misura per qualsiasi
tipo di valutazione
17. Alberto Baccini, Valutare la ricerca scientifica
Contare le citazioni
esempio di conteggio delle citazioni per prodotto
di ricerca sul database ISI.
18. Alberto Baccini, Valutare la ricerca scientifica
Regola 2
Dopo aver scelto gli indicatori di performance o
citazionali, definire le misure strutturali di controllo
Evita l’abuso di presentare misure bibliometriche in
valore assoluto e senza valori comparativi
19. Alberto Baccini, Valutare la ricerca scientifica
Impact Factor (di una rivista)
http://www.topitalianscientists.org/top_italian_scientists.aspx
20. Alberto Baccini, Valutare la ricerca scientifica
Regola 3
Quando la risoluzione è molto elevata (singolo
ricercatore, singolo prodotto di ricerca) valutare se
affiancare all’uso degli indicatori, la revisione diretta
dei pari
Evita il frequente abuso di sommare gli IF per valutare
un ricercatore
23. Alberto Baccini, Valutare la ricerca scientifica
H-interval
L. Pratellli, A. Baccini, L. Barabesi, M. Marchessi, “Statistical analysis of the Hirsch Index”
arXiv:1102.2701v1 [math.ST]
24. Alberto Baccini, Valutare la ricerca scientifica
Regola 4
Nel caso di valutazioni che riguardano grandi
aggregati, la revisione diretta dei pari è da preferirsi
solo se si ritiene che potersi avvalere di
informazioni ex post migliori la qualità della
valutazione
Il VQR e le discipline umanistiche
Il VTR e le discipline al riparo dalla “scienza
internazionale”
25. Alberto Baccini, Valutare la ricerca scientifica
Regola 5
Ricordare che gli indicatori tendono a scartare i
diamanti rosa
La revisione dei pari controlla due tipi di rischio
Errore di Tipo 1. Consiste nel sostenere che un lavoro non è di qualità
quando invece lo è (falso negativo)
Errore di Tipo 2. Consiste nel sostenere che un lavoro è di qualità
quando invece non lo è (falso positivo)
La revisione dei pari tende a minimizzare gli errori di Tipo 2, e
quindi a scartare i diamanti rosa
Misure a favore del pluralismo nella ricerca