La valutazione massiva della ricerca: costi e beneficiAlberto Baccini
Gli argomenti usati per giustificare l’adozione di sistemi di valutazione massiva della ricerca del tipo VQR non sono basati su evidenze incontrovertibili. In particolare non esistono analisi che mostrino che i benefici sono superiori ai costi della valutazione. La valutazione massiva della ricerca è autoritaria e contraria alle prassi adottate nelle comunità scientifiche.
Collaborazionisti o resistenti. L'accademia ai tempi della valutazione della ...Alberto Baccini
Ma una valutazione massiva della ricerca tipo REF o VQR serve davvero? E perché gli accademici accettano la retorica dell'eccellenza? La ricerca deve essere solida, non "eccellente". Intervento al XIII convegno STOREP, Catania, 24 giugno 2016
Intervento a L'altraeconomia organizzato da Rethinking economics, Bologna, 6 maggio 2016. Cosa hanno a che fare pluralismo in economia e valutazione della ricerca?
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...Alberto Baccini
Il cattivo disegno delle istituzioni preposte alla valutazione ha dato luogo ad un esercizio di valutazione della ricerca con notevoli errori metodologici. Gli effetti negativi non tarderanno a manifestarsi. Le slide della presentazione al convegno «Miti e riti della valutazione nell’università italiana» Dip. studi internazionali, giuridici e storico-politici
Università di Milano statale, 13 giugno 2014
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
Dai sistemi di valutazione agli effetti sull'etica dei comportamentiGiuseppe De Nicolao
Slide dell'interventod di Giuseppe De Nicolao al convegno "Frode Scientifica, come nasce e come si previene", Venerdì 17 e Sabato 18 Novembre a Pavia. Partecipazione gratuita, previa registrazione obbligatoria http://www-3.unipv.it/max3/fs/programma-1.html
La valutazione massiva della ricerca: costi e beneficiAlberto Baccini
Gli argomenti usati per giustificare l’adozione di sistemi di valutazione massiva della ricerca del tipo VQR non sono basati su evidenze incontrovertibili. In particolare non esistono analisi che mostrino che i benefici sono superiori ai costi della valutazione. La valutazione massiva della ricerca è autoritaria e contraria alle prassi adottate nelle comunità scientifiche.
Collaborazionisti o resistenti. L'accademia ai tempi della valutazione della ...Alberto Baccini
Ma una valutazione massiva della ricerca tipo REF o VQR serve davvero? E perché gli accademici accettano la retorica dell'eccellenza? La ricerca deve essere solida, non "eccellente". Intervento al XIII convegno STOREP, Catania, 24 giugno 2016
Intervento a L'altraeconomia organizzato da Rethinking economics, Bologna, 6 maggio 2016. Cosa hanno a che fare pluralismo in economia e valutazione della ricerca?
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...Alberto Baccini
Il cattivo disegno delle istituzioni preposte alla valutazione ha dato luogo ad un esercizio di valutazione della ricerca con notevoli errori metodologici. Gli effetti negativi non tarderanno a manifestarsi. Le slide della presentazione al convegno «Miti e riti della valutazione nell’università italiana» Dip. studi internazionali, giuridici e storico-politici
Università di Milano statale, 13 giugno 2014
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
Dai sistemi di valutazione agli effetti sull'etica dei comportamentiGiuseppe De Nicolao
Slide dell'interventod di Giuseppe De Nicolao al convegno "Frode Scientifica, come nasce e come si previene", Venerdì 17 e Sabato 18 Novembre a Pavia. Partecipazione gratuita, previa registrazione obbligatoria http://www-3.unipv.it/max3/fs/programma-1.html
Napoleone, la valutazione della ricerca e le sue conseguenze prevedibili in I...Alberto Baccini
Intervento alla tavola rotonda del Convegno, La conoscenza organizzata, Trento, 6 dicembre 2013.
http://www.jus.unitn.it/services/arc/2013/1206i/home.html
Valutazione della ricerca, incentivi basati sulla performance e scienza apertaAlberto Baccini
Intervento all' Open access week del Politecnico di Torino. Torino, 22-24 ottobre 2018.
L'introduzione di incentivi che premiano le metriche di produzione e citazione corrompono le norme sociali e i valori che dovrebbero regolare le interazioni nella scienza. La priorità nella scoperta cessa di essere l'obiettivo principale di uno scienziato. Il nuovo obiettivo è quello di ottenere etichette appropriate e prestazioni migliori sulle metriche. Le verità provvisorie della scienza emergono dalla battaglia di idee contrastanti e sono il risultato dell‘«uso pubblico della ragione». Nel sistema attuale la verità scientifica definitiva è garantita da classifiche di scienziati o riviste. Nei sistemi istituzionalizzati di valutazione della ricerca, la verità scientifica definitiva è garantita da una qualche classifica governativa. La scienza aperta/accesso aperto senza modificazione delle condizioni istituzionali in cui si svolge la ricerca è destinata a piegarsi alle regole del publish or perish e/o della valutazione istituzionale. Per disporre di «buoni consigli» per le politiche (economiche) c’è bisogno di «buona scienza». Ma la «buona scienza» è danneggiata dai sistemi di valutazione della ricerca. I «buoni consigli» non nascono dalla battaglia per ottenere etichette o conquistare un posto in una rivista ad elevato IF. Che fare? 1.Ridurre al minimo l'impatto dei sistemi di valutazione della ricerca sulla scienza. 2.Eliminare i sistemi di valutazione istituzionale massiva della ricerca. (Almeno disaccoppiarli dal meccanismo di finanziamento automatico). 3.Considerare seriamente la crescente pressione dal basso scienza per sostituire l’«eccellenza» con la «scienza sana». 4.Considerare seriamente proposte innovative per il finanziamento della ricerca al fine di promuovere il pluralismo.
Intervento al convegno Evoluzione e valutazione della scienza giuridica tenutosi al Dipartimento di Giurisprudenza dell'università di Firenze il 18 ottobre 2013.
Il documento ANVUR sui parametri per l’abilitazione scientifica Giuseppe De Nicolao
Analisi critica del documento ANVUR "Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale". Intervento alla Tavola Rotonda "Valutazione e Valorizzazione della Ricerca e dei Ricercatori" - Pisa 9/9/2011 nell'ambito del Convegno Automatica.it 2011.
http://www.convegnoautomaticaitaliana.org/Dibattiti.htm
Riflessioni sui Documenti ANVUR su abilitazione scientificaGiuseppe De Nicolao
Alcune riflessioni critiche sui documenti ANVUR su "Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale"
P. Galimberti: Valutazione/classificazione delle riviste scientificheGiuseppe De Nicolao
Intervento di Paola Galimberti (Università degli Studi di Milano) nel WORKSHOP INTERNO AIPDA (ASSOCIAZIONE ITALIANA DEI PROFESSORI DI DIRITTO AMMINISTRATIVO)
LA VALUTAZIONE DELLE RIVISTE
dalla Scientificità alla Classificazione
(Ragioni, Metodi, Modelli, Impatto)
13 gennaio 2017, Milano, ore 11.15-17.00 Università Milano IULM
Sala delle Conferenze-VI° piano-IULM 1-Via Carlo Bo, 1
State-fostered immaturity? Kant, Galileo and the Grand EvaluatorGiuseppe De Nicolao
Slide dell'intervento di Giuseppe De Nicolao al convegno “Academic Freedom Today - Insights from Law, Philosophy, and Institutional Practice”, 6-7 dicembre 2018, Libera Università di Bolzano, https://academicfreedom.events.unibz.it/
_________
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
In 2017, the president of Anvur, the Italian agency for research evaluation, was asked if bibliometrics-based research evaluation could discourage innovative research. The answer was disconcerting, yet revealing: a scientific genius “will be rewarded twenty years from now, when he will become the most famous scientist in the world. In the meantime, he should be grateful that he maintained his academic position without being burnt alive. Frankly speaking, we are not all Galilei and Newton”. No less worrying is the creeping effect of research evaluation on the public use of reason by academics. Linking administrative actions such as hiring, career, funding and wages to the outcomes of centralized research evaluation can subtly impair academic freedom in fields such as health, environment, economics, education and research policy. These issues will be illustrated through the analysis of methods, outcomes and unintended effects of research evaluations run by Anvur.
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologiaGiuseppe De Nicolao
Per primeggiare nella classifica 2017 dei dipartimenti di eccellenza, un premio Nobel come Giorgio Parisi contava assai poco, dato che un bravo storico della fisica pesava tre volte tanto. Ciò nonostante, la classifica "si fonda su un modello matematico solido", se si vuole prestar fede alla rassicurazione inviata dall'Anvur al Consiglio Universitario Nazionale. Talmente solido che l'Anvur e il Ministero hanno preferito tenere nascosto che ben 119 dipartimenti su 767 avevano meritato zero in pagella e che nel 2022 la situazione è verosimilmente peggiorata. Ma come nasce e come funziona questa classifica così strana, che oltre a penalizzare i Nobel, funge da "ammazza-Sud"? Nel seminario, vengono spiegati a uno a uno gli ingranaggi dell'algoritmo che genera i punteggi dell'ISPD, l'indicatore standardizzato di performance dipartimentale. La sua nascita risale al cosiddetto voto standardizzato, ideato nel 2014 da una commissione della CRUI. Nascita segnata da un peccato originale che si cercò di rendere invisibile attraverso modifiche che condussero all’indicatore ISPD, infine adottato nel 2017 come generatore della classifica dei dipartimenti di eccellenza. La ricostruzione storica e la dissezione anatomica aiuteranno a capire perché si diventa eccellenti o paria; per esempio perché nel 2017 il miglior dipartimento di fisica era quello che aveva pochi fisici e tanti psicologi. Verrà anche spiegato perché la presenza o l’assenza di ben precisi settori scientifici rende più o meno probabile la scalata verso l’eccellenza. Da ultimo, si cerca di capire quali motivazioni stanno alla base dell’adozione di una classifica così irrazionale.
_________
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologia
Seminario di Giuseppe De Nicolao.
Organizzato da Roars, Rete 29 Aprile e Circolo Errera.
24 giugno 2022
Contenuti del video:
- Presentazione di Massimiliano Tabusi (Rete 29 Aprile)
- Introduzione
- La pietra filosofale della competizione
- Un grecista eccellente? Vale 4 Nobel per la Fisica!
- La legge dell’imbuto
- Perché ISPD è distribuito «a vasca da bagno»?
- Perché la classifica deve rimanere segreta?
- Una svista che vale un ricorso al TAR
- Ammazzare il Sud giustifica i mezzi
Video: https://www.youtube.com/watch?v=03E_5srlLPo
Il rapporto fornisce, attraverso l’uso di dati bibliometrici, un quadro dettagliato del capitale intellettuale locale analizzando l’attività di pubblicazione scientifica a livello internazionale nel corso del periodo 1990-2011 di università, enti di ricerca e imprese private che operano nella Regione Puglia. Il rapporto fornisce inoltre un orientamento scientifico-disciplinare degli studi pubblicati.
Intervento al convegno per i dieci anni di Roars. Trento 24 e 25 febbraio 2023. Compattare quindici anni di riforme dell'università in mezz'ora è impresa è impossibile. Quindi tento un taglio di tipo "valutazione ex post delle politiche". Parto dalla discussione che precedette la riforma Gelmini e tento di spiegare come quella discussione contribuì a determinare l'agenda politica dei governi di centro-destra e centro-sinistra che fecero la riforma e poi la attuarono. Vedrò e racconterò gli effetti della riforma nei documenti ufficiali e poi aggiungerò un po' di evidenze disponibili che non stanno nei documenti ufficiali.
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...Alberto Baccini
La riduzione della istruzione da diritto a funzione affidata ad un governo tecnocratico svincolato dal controllo parlamentare ha dato l’avvio alla creazione di una élite di tecnici e un indotto di dimensioni non trascurabili (illiberal reformers!). A questo si accompagna la trasformazione progressiva dei «cittadini in sudditi» (Calvano). Rientra in questo percorso anche il recente cambio di retorica con l'inaugurazione della valutazione compassionevole.
More Related Content
Similar to Sistemi di valutazione della produzione scientifica e cattive pratiche accademiche
Napoleone, la valutazione della ricerca e le sue conseguenze prevedibili in I...Alberto Baccini
Intervento alla tavola rotonda del Convegno, La conoscenza organizzata, Trento, 6 dicembre 2013.
http://www.jus.unitn.it/services/arc/2013/1206i/home.html
Valutazione della ricerca, incentivi basati sulla performance e scienza apertaAlberto Baccini
Intervento all' Open access week del Politecnico di Torino. Torino, 22-24 ottobre 2018.
L'introduzione di incentivi che premiano le metriche di produzione e citazione corrompono le norme sociali e i valori che dovrebbero regolare le interazioni nella scienza. La priorità nella scoperta cessa di essere l'obiettivo principale di uno scienziato. Il nuovo obiettivo è quello di ottenere etichette appropriate e prestazioni migliori sulle metriche. Le verità provvisorie della scienza emergono dalla battaglia di idee contrastanti e sono il risultato dell‘«uso pubblico della ragione». Nel sistema attuale la verità scientifica definitiva è garantita da classifiche di scienziati o riviste. Nei sistemi istituzionalizzati di valutazione della ricerca, la verità scientifica definitiva è garantita da una qualche classifica governativa. La scienza aperta/accesso aperto senza modificazione delle condizioni istituzionali in cui si svolge la ricerca è destinata a piegarsi alle regole del publish or perish e/o della valutazione istituzionale. Per disporre di «buoni consigli» per le politiche (economiche) c’è bisogno di «buona scienza». Ma la «buona scienza» è danneggiata dai sistemi di valutazione della ricerca. I «buoni consigli» non nascono dalla battaglia per ottenere etichette o conquistare un posto in una rivista ad elevato IF. Che fare? 1.Ridurre al minimo l'impatto dei sistemi di valutazione della ricerca sulla scienza. 2.Eliminare i sistemi di valutazione istituzionale massiva della ricerca. (Almeno disaccoppiarli dal meccanismo di finanziamento automatico). 3.Considerare seriamente la crescente pressione dal basso scienza per sostituire l’«eccellenza» con la «scienza sana». 4.Considerare seriamente proposte innovative per il finanziamento della ricerca al fine di promuovere il pluralismo.
Intervento al convegno Evoluzione e valutazione della scienza giuridica tenutosi al Dipartimento di Giurisprudenza dell'università di Firenze il 18 ottobre 2013.
Il documento ANVUR sui parametri per l’abilitazione scientifica Giuseppe De Nicolao
Analisi critica del documento ANVUR "Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale". Intervento alla Tavola Rotonda "Valutazione e Valorizzazione della Ricerca e dei Ricercatori" - Pisa 9/9/2011 nell'ambito del Convegno Automatica.it 2011.
http://www.convegnoautomaticaitaliana.org/Dibattiti.htm
Riflessioni sui Documenti ANVUR su abilitazione scientificaGiuseppe De Nicolao
Alcune riflessioni critiche sui documenti ANVUR su "Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale"
P. Galimberti: Valutazione/classificazione delle riviste scientificheGiuseppe De Nicolao
Intervento di Paola Galimberti (Università degli Studi di Milano) nel WORKSHOP INTERNO AIPDA (ASSOCIAZIONE ITALIANA DEI PROFESSORI DI DIRITTO AMMINISTRATIVO)
LA VALUTAZIONE DELLE RIVISTE
dalla Scientificità alla Classificazione
(Ragioni, Metodi, Modelli, Impatto)
13 gennaio 2017, Milano, ore 11.15-17.00 Università Milano IULM
Sala delle Conferenze-VI° piano-IULM 1-Via Carlo Bo, 1
State-fostered immaturity? Kant, Galileo and the Grand EvaluatorGiuseppe De Nicolao
Slide dell'intervento di Giuseppe De Nicolao al convegno “Academic Freedom Today - Insights from Law, Philosophy, and Institutional Practice”, 6-7 dicembre 2018, Libera Università di Bolzano, https://academicfreedom.events.unibz.it/
_________
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
In 2017, the president of Anvur, the Italian agency for research evaluation, was asked if bibliometrics-based research evaluation could discourage innovative research. The answer was disconcerting, yet revealing: a scientific genius “will be rewarded twenty years from now, when he will become the most famous scientist in the world. In the meantime, he should be grateful that he maintained his academic position without being burnt alive. Frankly speaking, we are not all Galilei and Newton”. No less worrying is the creeping effect of research evaluation on the public use of reason by academics. Linking administrative actions such as hiring, career, funding and wages to the outcomes of centralized research evaluation can subtly impair academic freedom in fields such as health, environment, economics, education and research policy. These issues will be illustrated through the analysis of methods, outcomes and unintended effects of research evaluations run by Anvur.
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologiaGiuseppe De Nicolao
Per primeggiare nella classifica 2017 dei dipartimenti di eccellenza, un premio Nobel come Giorgio Parisi contava assai poco, dato che un bravo storico della fisica pesava tre volte tanto. Ciò nonostante, la classifica "si fonda su un modello matematico solido", se si vuole prestar fede alla rassicurazione inviata dall'Anvur al Consiglio Universitario Nazionale. Talmente solido che l'Anvur e il Ministero hanno preferito tenere nascosto che ben 119 dipartimenti su 767 avevano meritato zero in pagella e che nel 2022 la situazione è verosimilmente peggiorata. Ma come nasce e come funziona questa classifica così strana, che oltre a penalizzare i Nobel, funge da "ammazza-Sud"? Nel seminario, vengono spiegati a uno a uno gli ingranaggi dell'algoritmo che genera i punteggi dell'ISPD, l'indicatore standardizzato di performance dipartimentale. La sua nascita risale al cosiddetto voto standardizzato, ideato nel 2014 da una commissione della CRUI. Nascita segnata da un peccato originale che si cercò di rendere invisibile attraverso modifiche che condussero all’indicatore ISPD, infine adottato nel 2017 come generatore della classifica dei dipartimenti di eccellenza. La ricostruzione storica e la dissezione anatomica aiuteranno a capire perché si diventa eccellenti o paria; per esempio perché nel 2017 il miglior dipartimento di fisica era quello che aveva pochi fisici e tanti psicologi. Verrà anche spiegato perché la presenza o l’assenza di ben precisi settori scientifici rende più o meno probabile la scalata verso l’eccellenza. Da ultimo, si cerca di capire quali motivazioni stanno alla base dell’adozione di una classifica così irrazionale.
_________
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologia
Seminario di Giuseppe De Nicolao.
Organizzato da Roars, Rete 29 Aprile e Circolo Errera.
24 giugno 2022
Contenuti del video:
- Presentazione di Massimiliano Tabusi (Rete 29 Aprile)
- Introduzione
- La pietra filosofale della competizione
- Un grecista eccellente? Vale 4 Nobel per la Fisica!
- La legge dell’imbuto
- Perché ISPD è distribuito «a vasca da bagno»?
- Perché la classifica deve rimanere segreta?
- Una svista che vale un ricorso al TAR
- Ammazzare il Sud giustifica i mezzi
Video: https://www.youtube.com/watch?v=03E_5srlLPo
Il rapporto fornisce, attraverso l’uso di dati bibliometrici, un quadro dettagliato del capitale intellettuale locale analizzando l’attività di pubblicazione scientifica a livello internazionale nel corso del periodo 1990-2011 di università, enti di ricerca e imprese private che operano nella Regione Puglia. Il rapporto fornisce inoltre un orientamento scientifico-disciplinare degli studi pubblicati.
Intervento al convegno per i dieci anni di Roars. Trento 24 e 25 febbraio 2023. Compattare quindici anni di riforme dell'università in mezz'ora è impresa è impossibile. Quindi tento un taglio di tipo "valutazione ex post delle politiche". Parto dalla discussione che precedette la riforma Gelmini e tento di spiegare come quella discussione contribuì a determinare l'agenda politica dei governi di centro-destra e centro-sinistra che fecero la riforma e poi la attuarono. Vedrò e racconterò gli effetti della riforma nei documenti ufficiali e poi aggiungerò un po' di evidenze disponibili che non stanno nei documenti ufficiali.
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...Alberto Baccini
La riduzione della istruzione da diritto a funzione affidata ad un governo tecnocratico svincolato dal controllo parlamentare ha dato l’avvio alla creazione di una élite di tecnici e un indotto di dimensioni non trascurabili (illiberal reformers!). A questo si accompagna la trasformazione progressiva dei «cittadini in sudditi» (Calvano). Rientra in questo percorso anche il recente cambio di retorica con l'inaugurazione della valutazione compassionevole.
Research evaluation systems and the percolation of bad science Alberto Baccini
Slides of the speech at G20-Global solutions summit, Berlin 28-29 May 2018.
Performance-Based Incentives, Research Evaluation Systems and the Trickle-Down of Bad Science
MAY 2018 | PUBLIC & PRIVATE INSTITUTIONS | INSTITUTIONS, POLICY & POLITICS
DOWNLOAD PAPER
Alberto Baccini’s presentation for INET’s panel on research evaluation at the G20 Global Solutions Summit in Berlin, May 2018.
Governments or university managers, vice-chancellors or rectors need information about effectiveness of research funding. Governments are increasingly using monitoring tools as instruments for governance. The promise of bibliometric tools or journal rankings for reducing complexities is a feature that managers, policy-makers and academics find appealing. Systems of incentives are designed for steering scientists at a distance and indicators of scientific activities become more and more targets for scientists. It is the era of the governance of science by indicators.
My thesis here is that the adoption of a research policy based on research evaluation systems rewarding performance of scientists could be at the root of many deep problems afflicting contemporary science. And it could be also responsible for the growing difficulties of using the best available science for governmental regulation and policy, in particular for economic policy.
Text of the speech available at: https://www.ineteconomics.org/uploads/papers/Baccini-Value-for-money-Berlin-final.pdf
Intervento nel ciclo di conferenze Dentro al futuro: formazione e ricerca- L'università organizzate dal Comitato per l'attuazione della costituzione di San Casciano Val Di Pesa
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Alberto Baccini
Nelle slide si ripercorre la vicenda della prima Valutazione della Qualità della Ricerca (VQR), mostrando come l'agenzia governativa ANVUR abbia elaborato statistiche e le abbia mascherate da scienza, negando l'accesso ai dati per la loro verifica.
Intervento al terzo convegno annuale di Roars. Come dovrebbe essere e come probabilmente sarà la prossima VQR (valutazione della qualità della ricerca).
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...Alberto Baccini
La valutazione della ricerca ed il suo finanziamento. Slide presentate alla giornata dedicata alla Valutazione della ricerca organizzata da Dario Braga a Bologna il 21 novembre 2014.
Le slide del mio intervento alla Notte dei ricercatori a Siena il 26 settembre 2014. Nella prima parte ci sono le slide sulla percezione nei media dell'università italiana. Poi mostro i dati sul finanzimaento ad università e ricerca in Italia.
L'istruzione: un diritto per tutti. Un commento a Ichino e TerlizzeseAlberto Baccini
Le slides del mio intervento alla presentazione del libro di Ichino e Terlizzese "Facoltà di scelta" all'università di Siena il 7 maggio 2014. Spiego perché l'istruzione è un diritto. Mostro che il libro di Ichino e Terlizzese è costruito su fonti informative ben poco salde. Infine ricordo che il modello di prestiti che propongono, quello inglese, sta incontrando problemi rilevanti anche oltre Manica.
La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...Alberto Baccini
I risultati della valutazione condotta dal GEV13 non sono credibili. Peer review e bibliometria hanno dato risultati non concordanti. Ma nelle altre aree non è andata meglio. Con alcune lezioni per il futuro.
Toulouse_Napoleon et la bibliometrie ItalienneAlberto Baccini
Alberto Baccini, professeur d'économie politique à l'université de Sienne en Italie, dresse un panorama critique des réformes de l'évaluation de la recherche universitaire en Italie. La question de la constitution de listes de revues "scientifiques" à but d'évaluation est au cœur de cet exposé, qui interroge sur la validité des listes imposées par le ministère de la recherche italien. Des exemples éloquents de revues officiellement reconnues de valeur scientifique sont présentés. Ils suggèrent une défaillance quant aux critères utilisés pour caractériser la scientificité des revues dans le contexte italien.
http://www.dailymotion.com/video/x16enfd_evaluation-de-la-recherche-en-italie-mes-usages-de-la-bibliometrie-et-l-initiative-roars-alberto-ba_school
Sistemi di valutazione della produzione scientifica e cattive pratiche accademiche
1.
2. Sommario
Valutazione massiva della ricerca
Incentivo a cattiva condotta?
La punta dell’iceberg
Tipologie ed esempi di cattive condotte
Siamo nel migliore dei mondi possibili
Un algoritmo salverà la scienza (o la condannerà?)
3. La valutazione massiva della ricerca
Valutazione massiva della ricerca condotta
A livello di strutture
(es. VQR; RAE/REF; ERA)
A livello di singolo ricercatore
A fini di carriera o premi monetari
(es. ASN; China’s Discipline Ranking; sexenio Spain: Turchia,
Corea)
Con uso di strumenti automatizzati
Liste di riviste
Indicatori bibliometrici
5. E’ documentato che i ricercatori rispondono
agli incentivi
In summary, the evidence indicates that performance-informed
(with or without a formal link between performance and funding) does
indeed increase the pressure on researchers and institutions to
meet the performance criteria, irrespective of whether the latter
are based on peer review or on citations. This is clearly an
intended effect. […]
The research community respond strategically, and this may in
turn create unintended effects, either through the mechanism of
goal displacement or through more structural changes in
research priorities, publication activities, or research capacities
and organization» (P. Wouters, 2014)
12. Kim Carr: «There is clear and
consistent evidence that the rankings
were being deployed
inappropriately within some
quarters of the sector, in ways that
could produce harmful
outcomes [...]. [...] the removal of the
ranks and the provision of the
publication profile will ensure they will
be used descriptively rather than
prescriptively.»
Kim Carr, the Australian
Minister for Innovation,
Industry, Science and
Research
30 maggio 2011
13. Ma la valutazione massiva induce
l’adozione di cattive pratiche della
ricerca?
14. • The apparent endemicity of bad research behaviour is alarming.
• We aid and abet the worst behaviours.
• Our acquiescence to the impact factor fuels an unhealthy
competition to win a place in a select few journals.
• Journals are not the only miscreants.
• Universities are in a perpetual struggle for money and talent,
endpoints that foster reductive metrics, such as high-impact
publication.
• National assessment procedures, such as the Research Excellence
Framework, incentivize bad practices. And individual scientists,
including their most senior leaders, do little to alter a research culture
that occasionally veers close to misconduct.
15. «Non esiste, a mio modo di
vedere, una evidenza empirica
robusta sul fatto che la
valutazione o anche i sistemi di
publish or perish, inducano nel
lungo periodo effetti distorsivi
permanenti sulla ricerca. […] »
(Bonaccorsi, 2015: 170)
30. « Su questi aspetti l’esperienza personale
degli ultimi anni è straordinaria. […] Il
classico salami slicing invece di scrivere un
solo articolo complesso, si scrivono
numerosi articoletti più corti,
corrispondenti alla c.d. unità minima
pubblicabile, al solo scopo di moltiplicare
il conteggio.» (Bonaccorsi 2017)
31.
32.
33. «Se A e B prima scrivevano quattro lavori l’anno a
firma singola, se si accordano nel diventare coautori la
loro produzione raddoppia magicamente a otto per
anno. Anche qui l’esperienza diretta degli ultimi anni è
interessante: ho visto cv nei quali il numero di articoli
per anno triplica da prima a dopo l'Abilitazione
scientifica nazionale. Nel mio settore nel quale il
numero medio di autori era tradizionalmente intorno a
due, ho visto recentemente articoli con sei e sette
firme, di cui quattro di professori associati (che nella
vita si occupano di cose completamente diverse) e due
o tre di studenti di dottorato (tra poco riapre la
Abilitazione, meglio essere pronti).» (Bonaccorsi 2017)
34. «All'indomani della VQR nel mio ateneo un direttore
di dipartimento, il cui posizionamento nel settore
scientifico era molto debole, ha scritto ai colleghi di
provvedere, in vista della successiva valutazione, a
inserire come co-autori coloro che risultavano inattivi,
cioè con un numero di pubblicazioni inferiore al
richiesto. (Bonaccorsi 2017)
35. «Per fare un altro esempio, all'indomani della
uscita dei criteri per l’Abilitazione scientifica ho
visto con i miei occhi la tabellina di un settore
concorsuale nella quale veniva fatta la lista dei
lavori sottomessi a rivista o già accettati, con
una ripartizione scientifica dei casi nei quali agli
autori (tutti giovani) sarebbe stato chiesto di
aggiungere il nome di un altro prima della
pubblicazione finale, il tutto controllato da un
ben organizzato gruppo di professori ordinari.»
(Bonaccorsi 2017)
36. «Non ci sono evidenze di effetti distorsivi permanenti» (!)
2010-2015: + 174% 2010-2015: + 136%
2010-2015: + 124%
Variazione complessiva del
numero di articoli pubblicati
nel SSD
Dati riprodotti da fonte
confidenziale
37. «Non ci sono evidenze di effetti distorsivi permanenti» (!)
Neanche a livello individuale (!)
Dati riprodotti da fonte
confidenziale
38. «Non ci sono evidenze di effetti distorsivi permanenti» (!)
Dati di un commissario ASN
39. «Non ci sono evidenze di effetti distorsivi permanenti» (!)
Dati di un commissario ASN
40. «Non ci sono evidenze di effetti distorsivi permanenti» (!)
Dati di un commissario ASN
42. «Non ci sono evidenze di effetti distorsivi permanenti» (!)
2010-2015: + 329% 2010-2015: + 194%
2010-2015: + 167%
Variazione complessiva del
numero di citazioni
nel SSD
Dati riprodotti da fonte
confidenziale
43. «Non ci sono evidenze di effetti distorsivi permanenti» (!)
Solo outliers (!)
Dati riprodotti da fonte
confidenziale
53. «Nell’area di economia … nella classificazione delle
riviste scientifiche non comparivano riviste italiane
nella fascia A, ai fini dell’Abilitazione scientifica
nazionale. [...] L’ANVUR ha poi aperto una
procedura, svoltasi per due volte, finalizzata alla
revisione periodica del giudizio sulle riviste. [...] Si è
poi venuti a sapere che una rivista di area aziendale
aveva organizzato la richiesta di revisione con ampio
anticipo, circolando agli autori articolate istruzioni su
come citare gli articoli della rivista stessa.
Organizzando cioè una forma di coercive citation
pianificata, con tanto di periodico monitoraggio dei
risultati su Google Scholar.» (Bonaccorsi 2017)
54.
55. Non siamo nel migliore dei mondi
possibili. Ma non c’è da
preoccuparsi…
56.
57. «[Con la ASN] Il contenzioso più grosso
si è concentrato in un numero ristretto di
casi, prevalentemente nelle aree
umanistiche e sociali dove si sono allineati
fattori negativi cumulati: conflitti tra
scuole non risolti, indicatori imperfetti …
estrazione a sorte sfavorevole, e pulizia
etnica quando in alcune discipline si è
ritenuto che avendo una maggioranza
consolidata si potesse prendersi tutte le
rivincite» Siena, 29 novembre 2016
58. E comunque un algoritmo ci salverà
«Il sistema universitario italiano non è immune
da questi virus [della corruzione], anzi col tempo
sembra aver sviluppato ceppi resistenti agli
antibiotici.[…] I settori più a rischio sono
quelli di dimensione ristretta, dunque più
61. Individual metrics give
significant different
outcomes from the REF
peer review process,
showing that metrics
cannot provide a like-
for-like replacement for
REF peer review
62.
63. When you create a
model from proxies,
it is far simpler for
people to game it.
This is because
proxies are easier to
manipulate than the
complicated reality
they represent.
Editor's Notes
http://www.abc.es/sociedad/20140505/abci-educacion-universidades-rectores-201405041703.html; http://www.anvur.org/attachments/article/728/1_GRIEKEN%20-%20PresentacionRoma_B6_051214.pdf
Yang, Lihua (2016), 'Open up research evaluation in China', Nature, 539, 168.
Franzoni, Chiara, Scellato, Giuseppe, and Stephan, Paula (2011), 'Changing Incentives to Publish', Science, 333 (6043), 702-03.