Anna Tramontano: la situazione italiana nel contesto del finanziamento intern...Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
Alberto Baccini: Il futuro della valutazione in un paese latecomer.Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
Intervento al convegno Evoluzione e valutazione della scienza giuridica tenutosi al Dipartimento di Giurisprudenza dell'università di Firenze il 18 ottobre 2013.
Intervento al terzo convegno annuale di Roars. Come dovrebbe essere e come probabilmente sarà la prossima VQR (valutazione della qualità della ricerca).
Contributo di Alberto Baccini al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Anna Tramontano: la situazione italiana nel contesto del finanziamento intern...Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
Alberto Baccini: Il futuro della valutazione in un paese latecomer.Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
Intervento al convegno Evoluzione e valutazione della scienza giuridica tenutosi al Dipartimento di Giurisprudenza dell'università di Firenze il 18 ottobre 2013.
Intervento al terzo convegno annuale di Roars. Come dovrebbe essere e come probabilmente sarà la prossima VQR (valutazione della qualità della ricerca).
Contributo di Alberto Baccini al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Contributo di Stefano Semplici al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Alberto Baccini
Nelle slide si ripercorre la vicenda della prima Valutazione della Qualità della Ricerca (VQR), mostrando come l'agenzia governativa ANVUR abbia elaborato statistiche e le abbia mascherate da scienza, negando l'accesso ai dati per la loro verifica.
Il documento ANVUR sui parametri per l’abilitazione scientifica Giuseppe De Nicolao
Analisi critica del documento ANVUR "Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale". Intervento alla Tavola Rotonda "Valutazione e Valorizzazione della Ricerca e dei Ricercatori" - Pisa 9/9/2011 nell'ambito del Convegno Automatica.it 2011.
http://www.convegnoautomaticaitaliana.org/Dibattiti.htm
Paola Galimberti: Via il velo - la trasparenza dei dati nella produzione scie...Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...Alberto Baccini
Il cattivo disegno delle istituzioni preposte alla valutazione ha dato luogo ad un esercizio di valutazione della ricerca con notevoli errori metodologici. Gli effetti negativi non tarderanno a manifestarsi. Le slide della presentazione al convegno «Miti e riti della valutazione nell’università italiana» Dip. studi internazionali, giuridici e storico-politici
Università di Milano statale, 13 giugno 2014
Riflessioni sui Documenti ANVUR su abilitazione scientificaGiuseppe De Nicolao
Alcune riflessioni critiche sui documenti ANVUR su "Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale"
Finalmente svelata la vita da CRA.
Scopri in cosa consiste e come accedere a questo ruolo.
Per maggiori informazioni:
www.diventarecra.com
www.missionecra.com
P. Galimberti: Valutazione/classificazione delle riviste scientificheGiuseppe De Nicolao
Intervento di Paola Galimberti (Università degli Studi di Milano) nel WORKSHOP INTERNO AIPDA (ASSOCIAZIONE ITALIANA DEI PROFESSORI DI DIRITTO AMMINISTRATIVO)
LA VALUTAZIONE DELLE RIVISTE
dalla Scientificità alla Classificazione
(Ragioni, Metodi, Modelli, Impatto)
13 gennaio 2017, Milano, ore 11.15-17.00 Università Milano IULM
Sala delle Conferenze-VI° piano-IULM 1-Via Carlo Bo, 1
University Rankings – sempre più popolari.
Le classifiche delle università sui media risalgono al 1983 quando US News and World Report iniziò la pubblicazione di “America’s Best Colleges Rankings”. Lo scopo era di aiutare studenti e genitori a scegliere l’università più adeguata. Solo recentemente due valutazioni globali delle università hanno attratto l’attenzione del grande pubblico, l’inglese THES-QS World University Rankings dal 2004 e la cinese ARWU (Academic Rankings of World Universities) dal 2003, impattando in modo significativo sul sistema universitario.
Intervento alla tavola Rotonda su “Iperautorialità e riviste predatorie” il 29 maggio 2024,
Facoltà di Economia, Roma.
Partecipanti:
Santo Fortunato, Indiana University
Giulia Iori, Università Ca’ Foscari Venezia
Marco Malgarini, ANVUR
Angelo Pezzullo, Università Cattolica
Francesco Sylos Labini, CREF
Modera: Marco Li Calzi, Università Ca’ Foscari Venezia
Contributo di Stefano Semplici al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Alberto Baccini
Nelle slide si ripercorre la vicenda della prima Valutazione della Qualità della Ricerca (VQR), mostrando come l'agenzia governativa ANVUR abbia elaborato statistiche e le abbia mascherate da scienza, negando l'accesso ai dati per la loro verifica.
Il documento ANVUR sui parametri per l’abilitazione scientifica Giuseppe De Nicolao
Analisi critica del documento ANVUR "Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale". Intervento alla Tavola Rotonda "Valutazione e Valorizzazione della Ricerca e dei Ricercatori" - Pisa 9/9/2011 nell'ambito del Convegno Automatica.it 2011.
http://www.convegnoautomaticaitaliana.org/Dibattiti.htm
Paola Galimberti: Via il velo - la trasparenza dei dati nella produzione scie...Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...Alberto Baccini
Il cattivo disegno delle istituzioni preposte alla valutazione ha dato luogo ad un esercizio di valutazione della ricerca con notevoli errori metodologici. Gli effetti negativi non tarderanno a manifestarsi. Le slide della presentazione al convegno «Miti e riti della valutazione nell’università italiana» Dip. studi internazionali, giuridici e storico-politici
Università di Milano statale, 13 giugno 2014
Riflessioni sui Documenti ANVUR su abilitazione scientificaGiuseppe De Nicolao
Alcune riflessioni critiche sui documenti ANVUR su "Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale"
Finalmente svelata la vita da CRA.
Scopri in cosa consiste e come accedere a questo ruolo.
Per maggiori informazioni:
www.diventarecra.com
www.missionecra.com
P. Galimberti: Valutazione/classificazione delle riviste scientificheGiuseppe De Nicolao
Intervento di Paola Galimberti (Università degli Studi di Milano) nel WORKSHOP INTERNO AIPDA (ASSOCIAZIONE ITALIANA DEI PROFESSORI DI DIRITTO AMMINISTRATIVO)
LA VALUTAZIONE DELLE RIVISTE
dalla Scientificità alla Classificazione
(Ragioni, Metodi, Modelli, Impatto)
13 gennaio 2017, Milano, ore 11.15-17.00 Università Milano IULM
Sala delle Conferenze-VI° piano-IULM 1-Via Carlo Bo, 1
University Rankings – sempre più popolari.
Le classifiche delle università sui media risalgono al 1983 quando US News and World Report iniziò la pubblicazione di “America’s Best Colleges Rankings”. Lo scopo era di aiutare studenti e genitori a scegliere l’università più adeguata. Solo recentemente due valutazioni globali delle università hanno attratto l’attenzione del grande pubblico, l’inglese THES-QS World University Rankings dal 2004 e la cinese ARWU (Academic Rankings of World Universities) dal 2003, impattando in modo significativo sul sistema universitario.
Intervento alla tavola Rotonda su “Iperautorialità e riviste predatorie” il 29 maggio 2024,
Facoltà di Economia, Roma.
Partecipanti:
Santo Fortunato, Indiana University
Giulia Iori, Università Ca’ Foscari Venezia
Marco Malgarini, ANVUR
Angelo Pezzullo, Università Cattolica
Francesco Sylos Labini, CREF
Modera: Marco Li Calzi, Università Ca’ Foscari Venezia
“Meritocracy, evaluation, excellence: The case of universities and research”Francesco Sylos Labini
Invited talk at the conference “The Economy of Francesco” Assisi September 2022
Title “Meritocracy, evaluation, excellence: The case of universities and research”
Abstract “According to the current paradigm, meritocracy in education would have a dual role: on the one hand, that of representing the fundamental criterion through which the most efficient technicians needed for society and its economy are selected; on the other hand, that of providing the moral justification for the inequalities in the distribution of income from work that necessarily arise. It seems, therefore, that behind the word meritocracy lies the instrument used to justify the growth of inequalities. We will examine how meritocracy, preconceived as a dystopia by the English sociologist Michael Young, is declined in a modern key through what we will call techno-evaluation: we will discuss how it is implemented in practice, particularly with regard to research and universities, under the illusory motivation that the centralization of resources on a few educational and scientific excellences reduces waste and improves quality.”
References Francesco Sylos Labini, “Science and the Economic Crisis, Impact on Science Lessons from Science”, Springer 2016.
Giovedì 30 gennaio presso il dipartimento di fisica dell’università di Bari
https://francescosyloslabini.info/2020/01/24/la-valutazione-che-cambia-la-ricerca-conformismo-e-scoperte-2/
Interventi alla Scuola di formazione a Frattocchie, panel "Migrazioni: oltre buonismo e cattivismo"
http://www.patriaecostituzione.it/2019/06/27/il-ritorno-della-politica-scuola-di-formazione-a-frattocchie/
Intervento al meeting L'Urgenza di Ripensare l'Economia - Rethinking Economics,
Francesco Saraceno (Sciences-Po e autore di "La scienza inutile")
Lorenzo Fioramonti (Viceministro Miur)
Francesco Sylos Labini (Cnr e autore di "Rischio e previsione")
Pasquale Tridico (Università Roma Tre)
Gabriele Guzzi (Rethinking Economics Italia)
Intervento come al “DIGITAL ITALY SUMMIT 2017”, che si è tenuto dal 13 al 15 Novembre 2017 a Roma nella Sessione: Le politiche di innovazione per la crescita digitale del nostro Paese
https://www.theinnovationgroup.it/events/digital-italy-summit-2017/?type=0&lang=it
In questo contributo si considera la qualità della gran parte delle previsioni economiche prima e dopo la grande recessione nel 2008 e si discute la ragione teorica alla base del loro fallimento. In particolare si discuteranno le previsioni economiche basate sulla teoria economica neoclassica che ha fornito la base teorica per l’idea che, al fine di aumentare l’efficienza del mercato, i governi dovrebbero privatizzare le loro industrie e deregolamentare i mercati stessi. Questo risultato sarebbe provata da sofisticate teorie economiche, che, attraverso procedure logico-deduttivo, caratterizzata da un rigore matematico formale, avrebbero fornito una serie di teoremi matematici per sostenere queste conclusioni. Tuttavia, considerando le assunzioni alla base dei teoremi matematici utilizzati in questa teoria economica, si riscontra una notevole differenza tra le condizioni in cui possono essere applicati e realtà. A differenza di teorie fisiche che sono stati oggetto di convalida intensiva attraverso esperimenti, sembra che l’economia neoclassica non è stata oggetto di una pressione simile per verificare la teoria contro l’evidenza empirica.
Slides del seminario di presentazione del libro Rischio e Previsioni (più info su https://francescosyloslabini.info/category/books/rischio-e-previsione/ )
Presentazione al Congresso Nazionale del Comitato Nazionale Universitario, Roma 15.12.2016 (http://cnu.cineca.it/article/universit-negli-anni-della-crisi-aggiornamento-programma-n2)
Discussione con il sottosegretario alla Presidenza del Consiglio Tommaso Nannicini sulle Cattedre Natta. Interventi programmati di Massimiliano Tabusi, Francesco Sinopoli e Francesco Sylos Labini.
Meeting on "Funding and Research"
with Donald Gillies University College London
and Emiliano Ippoliti University "Sapienza"
Organized by
Science & Philosophy Colloquia ROARS – Returns On Academic ReSearch
Room x – Villa Mirafiori – via Carlo Fea 2 – Rome 20 May 2015 – 15:30-18:00
Contributo al Convegno Il sistema delle pubbliche amministrazioni e la conoscenza http://francescosyloslabini.info/2015/04/22/il-sistema-delle-pubbliche-amministrazioni-e-la-conoscenza/
1. Problemi dell’ANVUR e della VQR
Francesco Sylos Labini
Centro Enrico Fermi & Istituto dei Sistemi Complessi,
CNR, Roma
www.roars.it
2. www.roars.it
In un paese normale la valutazione
dell’università come dovrebbe procedere?
•Ministro e Parlamento decidono come distribuire in modo
efficiente le risorse per l’Università.
•Agenzia indipendente di valutazione responsabile delle
procedure di valutazione.
•Il Ministro richiede all’agenzia di procedere ad un esercizio di
valutazione, stanziando le risorse necessarie (1-2% totale
risorse per la ricerca).
•L’Agenzia organizza l’esercizio di valutazione.
3. www.roars.it
In un paese normale la valutazione
dell’università come dovrebbe procedere?
•il Ministro utilizza i dati della valutazione per decidere gli
interventi di finanziamento.
•Questo modo di procedere separa nettamente le
responsabilità della politica (distribuzione delle risorse,ecc ),
da quelle dell’Agenzia che ha il compito di per sé assai
complesso di svolgere un esercizio di valutazione i cui risultati
siano giudicati credibili dalla comunità dei valutati.
•Questo schema è adottato senza varianti degne di nota nel
Regno Unito, in Francia, in Australia, ovvero in tutti quei
paesi che hanno deciso di dotarsi di sistemi di valutazione.
4. www.roars.it
Cosa fa (dovrebbe fare)
l’agenzia di valutazione ?
•Sceglie opportunamente le metodologie e le tecniche
della valutazione tra quelle disponibili a livello
internazionale, adattandole al contesto.
•Nel caso in cui preveda di utilizzare estesamente la
peer review, nomina dei gruppi di esperti che
organizzano e verificano le procedure di peer review.
•Nel caso in cui preveda di utilizzare strumenti
bibliometrici, li testa e li discute con esperti di settore.
5. www.roars.it
Cosa fa (dovrebbe fare)
l’agenzia di valutazione ?
•Nel caso in cui preveda di utilizzare classifiche di
riviste e sedi editoriali di pubblicazione, costruisce
insieme alle comunità scientifiche classifiche di riviste.
•Poiché l’Agenzia sa benissimo che ogni processo di
valutazione modifica i comportamenti dei valutati, sta
molto attenta ad adottare tecniche di valutazione che
non creino danni comportamentali o che spingano il
sistema della ricerca ad adottare comportamenti
indesiderabili, avvisando il ministro e la comunità
accademica di ciò.
6. www.roars.it
E in Italia come funziona?
•Il ministro (Gelmini) decide di svolgere un nuovo esercizio di
valutazione.
•Il ministro scrive un decreto che dà il via all’esercizio di
valutazione.
•Inserisce nel decreto le modalità operative ed i criteri della
valutazione, scrive cioè quali sono le metodologie di
valutazione e gli strumenti.
•L’ ANVUR, anziché far notare al ministro che in nessun paese
del mondo il Ministro dice all’agenzia come si valuta, dà il via
all’esercizio di valutazione
7. www.roars.it
E in Italia come funziona?
•Il ministro ha previsto che si possa usare anche la
peer review; l’ANVUR allora specifica che almeno il
50% dei prodotti sarà soggetto a peer review.
•Il ministro ha previsto (art. 3 commi 3 e 4) che ci
debbano essere dei gruppi di esperti di valutazione
nominati dall’ANVUR e che ognuno di questi gruppi
abbia un presidente scelto dall’ANVUR tra i membri.
•L’ANVUR nomina prima i presidenti dei GEV e poi,
evidentemente con l’aiuto di questi ultimi, i 450
membri.
8. www.roars.it
E in Italia come funziona?
•Poi l’ANVUR attribuisce ai GEV la possibilità di crearsi le
classifiche delle riviste da utilizzare nella valutazione, e
sollecita anche la loro fantasia bibliometrica: quindi
persone scelte perché esperte e competenti in medicina,
chimica, ingegneria, filosofia, letteratura, scienze
giuridiche, medicina, etc. sono invitati a creare
bibliometria fai da te.
•L’ANVUR sollecita informalmente le società scientifiche a
far pervenire classifiche delle riviste. Quindi, sottopone
queste classifiche a peer review. Procedura sconosciuta in
qualsiasi altra procedura di valutazione.
9. www.roars.it
E in Italia come funziona?
•Secondo il coordinatore della VQR il compito dell’ANVUR è
quello di creare una classifica delle strutture accademiche:
“Tutte le università dovranno ripartire da zero. E quando
la valutazione sarà conclusa, avremo la distinzione tra
researching universities e teaching universities. Ad alcune si
potrà dire: tu fai solo il corso di laurea triennale. E qualche
sede dovrà essere chiusa
•Dunque, in Italia il Ministro ha fatto il mestiere dell’agenzia
di valutazione; l’ANVUR vuole fare il mestiere del Ministro; i
GEV fanno i bibliometrici e svolgono i compiti che altrove
sono appannaggio delle comunità scientifiche.
10. www.roars.it
Anomalie che hanno caratterizzato
la fase preparatoria della VQR:
Tutte le università dovranno ripartire da zero. E quando la valutazione
sarà conclusa, avremo la distinzione tra researching university e
teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea
triennale. E qualche sede dovrà essere chiusa. Ora rivedremo anche i
corsi di dottorato, con criteri che porteranno a una diminuzione molto
netta.
11. www.roars.it
Anomalie che hanno
caratterizzato la fase preparatoria della VQR:
12. www.roars.it
Anomalie che hanno
caratterizzato la fase preparatoria della VQR:
"Per capire meglio cosa è accaduto, ho interpellato un
esperto australiano che ha avuto ruoli importanti
nell’Australian Research Council (ARC), che conosce
dal di dentro la vicenda e che, per comprensibili
ragioni, mi ha chiesto l’anonimato. Ecco la sua
ricostruzione dei …... Si è trattato quindi, a suo
giudizio, non di debolezze metodologiche ma di
pressioni politiche.”
Andrea Bonaccorsi, Aprile 2012, Anvur
13. www.roars.it
In estrema sintesi
quali sono le critiche principali al VQR?
• la confusione tra progettisti dei criteri e valutatori;
• la confusione tra eccellenza scientifica e competenza
nel gestire e condurre processi divalutazione;
• la mancanza di tempo e trasparenza nella definizione
dei criteri bibliometrici;
• l’uso di punteggi negativi frutto di un’ossessione
punitiva talmente forte da sconfinare nella sciatteria
matematica.
14. www.roars.it
Anomalie che hanno caratterizzato
la fase preparatoria della VQR:
•La proposta di una procedura di classificazione
bibliometrica a due stadi, senza precedenti e senza basi
scientifiche, che può dare esiti paradossali
•La classifica bibliometrica delle riviste basata sulla
media di rankings di indicatori bibliometrici, una pratica
scientificamente screditata
•La nuova proposta di usare una classifica basata sulla
PCA che può dar luogo ad una “classifica di Pinocchio”
che preferisce le riviste peggiori a quelle migliori
15. www.roars.it
Anomalie che hanno caratterizzato
la fase preparatoria della VQR:
• Una formula per ripartire la quota premiale tra le
strutture basata su una una combinazione “convessa”
con pesi negativi, non solo gravida di paradossi, ma
capace di instaurare meccanismi di punizione collettiva,
in contrasto con i criteri usati all’estero.
5. L’annuncio da parte del coordinatore della VQR della
chiusura di sedi sulla base delle future classifiche della
VQR, quando le agenzie di valutazione straniere (UK e
Australia,ecc.) producono solo “quality profiles”,
rifiutandosi in modo assoluto di fornire classifiche
16. www.roars.it
Anomalie che hanno caratterizzato
la fase preparatoria della VQR:
6. Il pregiudizio negativo del coordinatore della VQR nei confronti della
qualità della produzione scientifica italiana, a dispetto dei dati
bibliometrici che mostrano che l’impatto scientifico della quasi totalità
degli atenei statali sta sopra la media mondiale
7. I criteri punitivi nei confronti degli enti di ricerca come il CNR, i cui
ricercatori devono presentare un numero doppio di prodotti di ricerca
(sei, invece che tre, come per gli universitari), quando non sembra
esistere evidenza bibliometrica, né nazionale né internazionale, che la
“produttività bibliometrica” degli enti di ricerca non universitari debba
essere doppia di quella degli universitari
8. L’anomala composizione del GEV13, in cui almeno il 75% dei
membri sono strettamente legati tra di loro, come dimostrato dalla
“network analysis”