La ricerca umanistica: i risultati della VQR 2004-2010
Milano 23 ottobre 2013
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
"Le sperimentazioni INVALSI per la valutazione delle scuole"- L'intervento di Donatella Poliandri, Responsabile Valutazione delle Scuole INVALSI, alla Conferenza "Il Decennale delle Prove INVALSI" - Roma, 4 e 5 Dicembre 2014
Harassing with Numbers: the Uses and Abuses of Bureaucracy and BibliometryGiuseppe De Nicolao
The document discusses the issues with using quantitative metrics and rankings to assess university performance and research. It provides examples of how rankings have been influential in policy decisions around the world despite their questionable scientific validity. Concerns raised include the lack of transparency in methodology, arbitrary weighting of indicators, and incentives for gaming the system. While metrics provide objective measures, they fail to capture many important qualitative aspects of universities and research. Overall, the document questions the practice of "governing by numbers" and emphasizes the need for more holistic evaluation that considers national priorities and systemic impacts.
Valutazione della ricerca 2012-2014: tre anni vissuti pericolosamenteGiuseppe De Nicolao
Slide della relazione di Giuseppe De Nicolao tenuta nel corso dell'Assemblea dell’area CUN 09 (Ingegneria industriale e dell’informazione), Roma, 3 dicembre 2014, Università La Sapienza
Il finanziamento del sistema universitario: alla ricerca di un equilibrio.Giuseppe De Nicolao
Intervento di Gianfranco Viesti al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Tra assenze e refusi, A Napoli la primavera CRUI parte maleGiuseppe De Nicolao
Per il 21 Marzo 2016 la CRUI ha indetto la Primavera dell’Università, promossa con un video patinato, ma non senza qualche refuso. A Napoli, politici assenti e docenti contestati. Anche il Presidente della CRUI dà forfait e va a Roma in TV per “Porta a Porta”.
Paola Galimberti: Via il velo - la trasparenza dei dati nella produzione scie...Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
"Le sperimentazioni INVALSI per la valutazione delle scuole"- L'intervento di Donatella Poliandri, Responsabile Valutazione delle Scuole INVALSI, alla Conferenza "Il Decennale delle Prove INVALSI" - Roma, 4 e 5 Dicembre 2014
Harassing with Numbers: the Uses and Abuses of Bureaucracy and BibliometryGiuseppe De Nicolao
The document discusses the issues with using quantitative metrics and rankings to assess university performance and research. It provides examples of how rankings have been influential in policy decisions around the world despite their questionable scientific validity. Concerns raised include the lack of transparency in methodology, arbitrary weighting of indicators, and incentives for gaming the system. While metrics provide objective measures, they fail to capture many important qualitative aspects of universities and research. Overall, the document questions the practice of "governing by numbers" and emphasizes the need for more holistic evaluation that considers national priorities and systemic impacts.
Valutazione della ricerca 2012-2014: tre anni vissuti pericolosamenteGiuseppe De Nicolao
Slide della relazione di Giuseppe De Nicolao tenuta nel corso dell'Assemblea dell’area CUN 09 (Ingegneria industriale e dell’informazione), Roma, 3 dicembre 2014, Università La Sapienza
Il finanziamento del sistema universitario: alla ricerca di un equilibrio.Giuseppe De Nicolao
Intervento di Gianfranco Viesti al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Tra assenze e refusi, A Napoli la primavera CRUI parte maleGiuseppe De Nicolao
Per il 21 Marzo 2016 la CRUI ha indetto la Primavera dell’Università, promossa con un video patinato, ma non senza qualche refuso. A Napoli, politici assenti e docenti contestati. Anche il Presidente della CRUI dà forfait e va a Roma in TV per “Porta a Porta”.
Paola Galimberti: Via il velo - la trasparenza dei dati nella produzione scie...Giuseppe De Nicolao
Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)
Un quadro della situazione a quattro anni dalla legge 240: le principali crit...Giuseppe De Nicolao
Intervento di Andrea Stella al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
la prevista grande manifestazione proposta dalla CRUI per riaffermare il ruolo dell'università (o forse per tenere i docenti un po' più tranquilli nel momento clou del dibattito sulla VQR) si limiterà a Milano a una mezza giornata di dibattiti lontano dal Poli. La locandina dell'evento milanese nemmeno ne cita le motivazioni. Certo il ministro resterà impressionato da una simile "prova di forza", ma purtroppo molti di noi e tutti i nostri studenti non vi potranno partecipare.
Vi propongo quindi una nostra iniziativa fai-da-te, per la quale ho preparato solo sette slide powerpoint che riassumono la situazione di finanziamenti, ruolo e situazione dei docenti dell'università italiana. Le potete scaricare da:
http://home.deib.polimi.it/guariso/inverno universita.pptx
L'idea è, dopo averle corrette e modificate a vostro piacimento, di dedicare 10 minuti di un quarto d'ora accademico di lunedì 21 marzo e farle vedere agli studenti, per illustrare i motivi del nostro disagio e cercare di coinvolgerli nella battaglia per un'università (e quindi un paese) migliore.
Stante la situazione evidenziata nelle slide, mi sembra che il titolo più opportuno sia "L'inverno dell'università", ma ovviamente potete modificare anche questo.
Buon lavoro!
La compressione selettiva e cumulativa dell'università italianaGiuseppe De Nicolao
Intervento di Gianfranco Viesti all'incontro "Per il diritto allo studio e alla ricerca", Università degli Studi di Napoli Federico II Aula Pessina, Corso Umberto 1 11 febbraio 2016
WebShool Tours du 19/02/2015 - Les CMS : Pourquoi ? comment ?
Sommaire : Les bases et les solutions de la création de site web. Les solutions de gestion de contenu (CMS). Exemple de mise en pratique avec le logiciel libre Drupal.
This document summarizes Dan York's presentation on deploying DNSSEC. It discusses how DNSSEC helps ensure the integrity of DNS data by using digital signatures to authenticate DNS responses, preventing cache poisoning and man-in-the-middle attacks. It provides examples of normal DNS interactions versus attacks, and how DNSSEC establishes a chain of trust. The presentation also covers the current state of DNSSEC deployment, how it works in combination with TLS/SSL through DANE, and business reasons for organizations to deploy DNSSEC.
ION Bucharest, 12 October 2016 - Today, we can say that IPv6 is already happening all around the world. It’s interesting to see the main reasons that made it happen, how it’s happening, and to make the audience think about their deployment status and strategy. Statistics from different sources are showed, including data from RIPE NCC measurements.
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
P. Galimberti: Valutazione/classificazione delle riviste scientificheGiuseppe De Nicolao
Intervento di Paola Galimberti (Università degli Studi di Milano) nel WORKSHOP INTERNO AIPDA (ASSOCIAZIONE ITALIANA DEI PROFESSORI DI DIRITTO AMMINISTRATIVO)
LA VALUTAZIONE DELLE RIVISTE
dalla Scientificità alla Classificazione
(Ragioni, Metodi, Modelli, Impatto)
13 gennaio 2017, Milano, ore 11.15-17.00 Università Milano IULM
Sala delle Conferenze-VI° piano-IULM 1-Via Carlo Bo, 1
Presentazione delle diverse tipologia di revisione: tradizionale, revisione sistematica e meta-analisi, revisione sistematiche qualitative e metasintesi, revisioni metodi misti
Corso di Laurea in Logopedia
Corso di Laurea in Infermieristica
AA 2019/2020
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Alberto Baccini
Nelle slide si ripercorre la vicenda della prima Valutazione della Qualità della Ricerca (VQR), mostrando come l'agenzia governativa ANVUR abbia elaborato statistiche e le abbia mascherate da scienza, negando l'accesso ai dati per la loro verifica.
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologiaGiuseppe De Nicolao
Per primeggiare nella classifica 2017 dei dipartimenti di eccellenza, un premio Nobel come Giorgio Parisi contava assai poco, dato che un bravo storico della fisica pesava tre volte tanto. Ciò nonostante, la classifica "si fonda su un modello matematico solido", se si vuole prestar fede alla rassicurazione inviata dall'Anvur al Consiglio Universitario Nazionale. Talmente solido che l'Anvur e il Ministero hanno preferito tenere nascosto che ben 119 dipartimenti su 767 avevano meritato zero in pagella e che nel 2022 la situazione è verosimilmente peggiorata. Ma come nasce e come funziona questa classifica così strana, che oltre a penalizzare i Nobel, funge da "ammazza-Sud"? Nel seminario, vengono spiegati a uno a uno gli ingranaggi dell'algoritmo che genera i punteggi dell'ISPD, l'indicatore standardizzato di performance dipartimentale. La sua nascita risale al cosiddetto voto standardizzato, ideato nel 2014 da una commissione della CRUI. Nascita segnata da un peccato originale che si cercò di rendere invisibile attraverso modifiche che condussero all’indicatore ISPD, infine adottato nel 2017 come generatore della classifica dei dipartimenti di eccellenza. La ricostruzione storica e la dissezione anatomica aiuteranno a capire perché si diventa eccellenti o paria; per esempio perché nel 2017 il miglior dipartimento di fisica era quello che aveva pochi fisici e tanti psicologi. Verrà anche spiegato perché la presenza o l’assenza di ben precisi settori scientifici rende più o meno probabile la scalata verso l’eccellenza. Da ultimo, si cerca di capire quali motivazioni stanno alla base dell’adozione di una classifica così irrazionale.
_________
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologia
Seminario di Giuseppe De Nicolao.
Organizzato da Roars, Rete 29 Aprile e Circolo Errera.
24 giugno 2022
Contenuti del video:
- Presentazione di Massimiliano Tabusi (Rete 29 Aprile)
- Introduzione
- La pietra filosofale della competizione
- Un grecista eccellente? Vale 4 Nobel per la Fisica!
- La legge dell’imbuto
- Perché ISPD è distribuito «a vasca da bagno»?
- Perché la classifica deve rimanere segreta?
- Una svista che vale un ricorso al TAR
- Ammazzare il Sud giustifica i mezzi
Video: https://www.youtube.com/watch?v=03E_5srlLPo
La mia presentazione per il convegno della Società Italiana di Pedagogia Speciale del 12 giugno 2014. Un'analisi delle evidenze di ricerca relative ai diversi modelli di implementazione dell'Universal Design in educazione.
Un quadro della situazione a quattro anni dalla legge 240: le principali crit...Giuseppe De Nicolao
Intervento di Andrea Stella al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
la prevista grande manifestazione proposta dalla CRUI per riaffermare il ruolo dell'università (o forse per tenere i docenti un po' più tranquilli nel momento clou del dibattito sulla VQR) si limiterà a Milano a una mezza giornata di dibattiti lontano dal Poli. La locandina dell'evento milanese nemmeno ne cita le motivazioni. Certo il ministro resterà impressionato da una simile "prova di forza", ma purtroppo molti di noi e tutti i nostri studenti non vi potranno partecipare.
Vi propongo quindi una nostra iniziativa fai-da-te, per la quale ho preparato solo sette slide powerpoint che riassumono la situazione di finanziamenti, ruolo e situazione dei docenti dell'università italiana. Le potete scaricare da:
http://home.deib.polimi.it/guariso/inverno universita.pptx
L'idea è, dopo averle corrette e modificate a vostro piacimento, di dedicare 10 minuti di un quarto d'ora accademico di lunedì 21 marzo e farle vedere agli studenti, per illustrare i motivi del nostro disagio e cercare di coinvolgerli nella battaglia per un'università (e quindi un paese) migliore.
Stante la situazione evidenziata nelle slide, mi sembra che il titolo più opportuno sia "L'inverno dell'università", ma ovviamente potete modificare anche questo.
Buon lavoro!
La compressione selettiva e cumulativa dell'università italianaGiuseppe De Nicolao
Intervento di Gianfranco Viesti all'incontro "Per il diritto allo studio e alla ricerca", Università degli Studi di Napoli Federico II Aula Pessina, Corso Umberto 1 11 febbraio 2016
WebShool Tours du 19/02/2015 - Les CMS : Pourquoi ? comment ?
Sommaire : Les bases et les solutions de la création de site web. Les solutions de gestion de contenu (CMS). Exemple de mise en pratique avec le logiciel libre Drupal.
This document summarizes Dan York's presentation on deploying DNSSEC. It discusses how DNSSEC helps ensure the integrity of DNS data by using digital signatures to authenticate DNS responses, preventing cache poisoning and man-in-the-middle attacks. It provides examples of normal DNS interactions versus attacks, and how DNSSEC establishes a chain of trust. The presentation also covers the current state of DNSSEC deployment, how it works in combination with TLS/SSL through DANE, and business reasons for organizations to deploy DNSSEC.
ION Bucharest, 12 October 2016 - Today, we can say that IPv6 is already happening all around the world. It’s interesting to see the main reasons that made it happen, how it’s happening, and to make the audience think about their deployment status and strategy. Statistics from different sources are showed, including data from RIPE NCC measurements.
Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010"
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR
P. Galimberti: Valutazione/classificazione delle riviste scientificheGiuseppe De Nicolao
Intervento di Paola Galimberti (Università degli Studi di Milano) nel WORKSHOP INTERNO AIPDA (ASSOCIAZIONE ITALIANA DEI PROFESSORI DI DIRITTO AMMINISTRATIVO)
LA VALUTAZIONE DELLE RIVISTE
dalla Scientificità alla Classificazione
(Ragioni, Metodi, Modelli, Impatto)
13 gennaio 2017, Milano, ore 11.15-17.00 Università Milano IULM
Sala delle Conferenze-VI° piano-IULM 1-Via Carlo Bo, 1
Presentazione delle diverse tipologia di revisione: tradizionale, revisione sistematica e meta-analisi, revisione sistematiche qualitative e metasintesi, revisioni metodi misti
Corso di Laurea in Logopedia
Corso di Laurea in Infermieristica
AA 2019/2020
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Alberto Baccini
Nelle slide si ripercorre la vicenda della prima Valutazione della Qualità della Ricerca (VQR), mostrando come l'agenzia governativa ANVUR abbia elaborato statistiche e le abbia mascherate da scienza, negando l'accesso ai dati per la loro verifica.
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologiaGiuseppe De Nicolao
Per primeggiare nella classifica 2017 dei dipartimenti di eccellenza, un premio Nobel come Giorgio Parisi contava assai poco, dato che un bravo storico della fisica pesava tre volte tanto. Ciò nonostante, la classifica "si fonda su un modello matematico solido", se si vuole prestar fede alla rassicurazione inviata dall'Anvur al Consiglio Universitario Nazionale. Talmente solido che l'Anvur e il Ministero hanno preferito tenere nascosto che ben 119 dipartimenti su 767 avevano meritato zero in pagella e che nel 2022 la situazione è verosimilmente peggiorata. Ma come nasce e come funziona questa classifica così strana, che oltre a penalizzare i Nobel, funge da "ammazza-Sud"? Nel seminario, vengono spiegati a uno a uno gli ingranaggi dell'algoritmo che genera i punteggi dell'ISPD, l'indicatore standardizzato di performance dipartimentale. La sua nascita risale al cosiddetto voto standardizzato, ideato nel 2014 da una commissione della CRUI. Nascita segnata da un peccato originale che si cercò di rendere invisibile attraverso modifiche che condussero all’indicatore ISPD, infine adottato nel 2017 come generatore della classifica dei dipartimenti di eccellenza. La ricostruzione storica e la dissezione anatomica aiuteranno a capire perché si diventa eccellenti o paria; per esempio perché nel 2017 il miglior dipartimento di fisica era quello che aveva pochi fisici e tanti psicologi. Verrà anche spiegato perché la presenza o l’assenza di ben precisi settori scientifici rende più o meno probabile la scalata verso l’eccellenza. Da ultimo, si cerca di capire quali motivazioni stanno alla base dell’adozione di una classifica così irrazionale.
_________
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologia
Seminario di Giuseppe De Nicolao.
Organizzato da Roars, Rete 29 Aprile e Circolo Errera.
24 giugno 2022
Contenuti del video:
- Presentazione di Massimiliano Tabusi (Rete 29 Aprile)
- Introduzione
- La pietra filosofale della competizione
- Un grecista eccellente? Vale 4 Nobel per la Fisica!
- La legge dell’imbuto
- Perché ISPD è distribuito «a vasca da bagno»?
- Perché la classifica deve rimanere segreta?
- Una svista che vale un ricorso al TAR
- Ammazzare il Sud giustifica i mezzi
Video: https://www.youtube.com/watch?v=03E_5srlLPo
La mia presentazione per il convegno della Società Italiana di Pedagogia Speciale del 12 giugno 2014. Un'analisi delle evidenze di ricerca relative ai diversi modelli di implementazione dell'Universal Design in educazione.
La valutazione della ricerca e i dati: l’esperienza italiana a confronto con ...Giuseppe De Nicolao
Intervento di Paola Galimberti al
Terzo Convegno di ROARS, 19 Giugno 2015, Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma
Slides dell'intervento di Giuseppe De Nicolao nella giornata di studi
Le ragioni dell'emergenza, le ragiomi della didattica
Università di Padova, 26 novembre 2020
La didattica a distanza, aspetti critici, limiti e potenzialitàGiuseppe De Nicolao
In vista dell'anno accademico 2020/21 si parla molto di didattica universitaria cosiddetta "blended", nel senso di erogata simultaneamente in presenza per una parte degli studendi e a distanza, per esempio in streaming, per quelli che non sono in aula. Nel video, si prova a rispondere a tre domande.
1. Come variano le probabilità di contagio in ambienti chiusi frequentati da più persone in funzione della cubatura, del ricambio d'aria e del tempo di permanenza?
2. Quali sono e come sono gestibili i principali problemi audio e video della didattica a distanza?
3. Quali relazioni tra didattica blended, datafication e università delle piattaforme?
Intervento di Giuseppe De Nicolao presentato nel corso del convegno “L' Università tra crisi e rinascita: quale direzione per il futuro?”, organizzato dal Comitato Nazionale Universitario (CNU), 10 luglio 2020
Più citazioni se volete far carriera! La valutazione della ricerca universitariaGiuseppe De Nicolao
La valutazione della ricerca Universitaria: webinar con Giuseppe De Nicolao di ROARS: 29 maggio ore 18:00
Quarto appuntamento di “Immaginiamo il futuro, dopo la crisi e oltre”, incontri in webinar con personalità della cultura e della politica per ragionare e discutere del futuro e degli scenari del dopo crisi. Gli incontri sono organizzati dai prof. Plinio Innocenzi e Quirico Migheli.
Slides dell'intervento di Rossella Latempa al Convegno "SCUOLA DI COMPETENZE: VERSO UN NUOVO MODELLO DIDATTICO. QUALE?", Gilda degli Insegnanti, Vicenza 18 marzo 2019.
State-fostered immaturity? Kant, Galileo and the Grand EvaluatorGiuseppe De Nicolao
Slide dell'intervento di Giuseppe De Nicolao al convegno “Academic Freedom Today - Insights from Law, Philosophy, and Institutional Practice”, 6-7 dicembre 2018, Libera Università di Bolzano, https://academicfreedom.events.unibz.it/
_________
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
In 2017, the president of Anvur, the Italian agency for research evaluation, was asked if bibliometrics-based research evaluation could discourage innovative research. The answer was disconcerting, yet revealing: a scientific genius “will be rewarded twenty years from now, when he will become the most famous scientist in the world. In the meantime, he should be grateful that he maintained his academic position without being burnt alive. Frankly speaking, we are not all Galilei and Newton”. No less worrying is the creeping effect of research evaluation on the public use of reason by academics. Linking administrative actions such as hiring, career, funding and wages to the outcomes of centralized research evaluation can subtly impair academic freedom in fields such as health, environment, economics, education and research policy. These issues will be illustrated through the analysis of methods, outcomes and unintended effects of research evaluations run by Anvur.
Una rivista ad accesso aperto, senza costi per gli autori e di alta qualità: ...Giuseppe De Nicolao
«Times have changed. Articles now circulate easily via the Internet, but unfortunately MLJ publications are under restricted access. […] In summary, our resignation from the editorial board of MLJ reflects our belief that journals should principally serve the needs of the intellectual community, in particular by providing the immediate and universal access to journal articles that modern technology supports, and doing so at a cost that excludes no one.» Questa lettera di dimissioni, firmata dalla maggioranza degli editor della rivista Machine Learning (Kluwer ), sancì la nascita del Journal of Machine Learning Research, una rivista open access, subito accreditatasi tra le più qualificate sedi di pubblicazione per le ricerche nel settore del machine learning. Una vicenda che risale al 2000, ma che, ad anni di distanza, non cessa di far discutere. Come quando nel 2011 Kent Anderson (Scholarly Kitchen) mise in dubbio la sostenibilità di riviste open access e senza costi per gli autori. «In my field (computer science) one of the most prominent journals is entirely free and open access (Journal of Machine Learning Research)» fu la secca replica di Yann LeCun. Ne nacque una discussione, proseguita sul blog di Stuart Shieber, che appare emblematica sotto diversi aspetti e di cui proveremo a riassumere i punti salienti.
Conferenza AISA (Associazione Italiana per la promozione della Scienza Aperta), ospitata dal Dipartimento di Scienze Politiche dell'Università di Pisa, dal titolo Publishing without perishing? La scienza aperta all’epoca della valutazione della ricerca (link is external), con gli interventi di Alberto Baccini (Università di Siena), Roberto Caso (Università di Trento), Giuseppe De Nicolao (Università di Pavia) e Paola Galimberti (Università di Milano) e con la partecipazione di Paolo Rossi (Università di Pisa) in veste di discussant. Giovedì 19 gennaio 2017 dalle ore 15 in aula 2, Polo Piagge
Credo quia absurdum, l'apologetica delle "Weapons of math destruction” Giuseppe De Nicolao
Intervento presentato al Convegno "Teocrazia e Tecnocrazia", organizzato da Fondazione Roma Sapienza e da Nuova Accademia.
giovedì 3 maggio alle ore 10.30 presso l’aula Multimediale Palazzo del Rettorato
Sapienza Università di Roma
Abstract. “There is no alternative” è la legittimazione principe della tecnocrazia. Non sorprende, pertanto, che solo di rado i tecnocrati cerchino di legittimare, sul piano razionale ed etico, il loro ruolo e i loro strumenti. Tra i pochi che si sono cimentati, vi sono due membri del Consiglio direttivo dell’Anvur, l’Agenzia nazionale per la valutazlone del sistema universitario e della ricerca. Sul versante del dibattito razionale, quella che potremmo chiamare “apologetica della valutazione” si scontra con l’obiezione “Caesar non est supra grammaticos”, attuale ogni qual volta chi detiene il potere pretende di prendere parte al dibattito scientifico, che per sua natura deve svolgersi tra pari. Sul versante etico, il vulnus che la valutazione di stato infligge alla libertà della scienza è giustificato dalla necessità di guidare una comunità scientifica (quella italiana) debole e bisognosa di indirizzi, un argomento curiosamente simile a quello invocato dal Grande Inquisitore per legittimare il suo regime teocratico. Una coincidenza già notata da Aldous Huxley che, commentando nel 1959 la distopia tecnocratica descritta nel suo romanzo “Brave New World”, ne riconduceva il dilemma etico fondamentale proprio al famoso personaggio di Dostoevskij.
Intervento di Rossella Latempa al CONVEGNO DI AGGIORNAMENTO CESP: PER RIPARTIRE DALLA SCUOLA. DISCUSSIONE INTORNO A SETTE TEMI:
9 febbraio 2018 - IIS USUELLI-RUZZA - Padova
http://www.cesp-pd.it/spip/spip.php?article1464
Intervento di Rossella Latempa al CONVEGNO DI AGGIORNAMENTO CESP: PER RIPARTIRE DALLA SCUOLA. DISCUSSIONE INTORNO A SETTE TEMI:
9 febbraio 2018 - IIS USUELLI-RUZZA - Padova
http://www.cesp-pd.it/spip/spip.php?article1464
The EUA Public Funding Observatory was launched in 2008 with the aim to monitor the impact of the financial crisis on higher education in different countries across Europe. Since then, EUA has been collecting quantitative and qualitative data on public funding received by European higher education institutions, and analysing both long- term trends and recent changes.
The funding data and other relevant figures are made available to EUA by its collective members, the national rectors’ conferences, whose support has been invaluable. Processed and analysed in view of evolving student numbers, as well as the overall economic context adjusted to inflation and GDP growth, this data provides some empirical evidence on public funding trajectories in the field of higher education in Europe.
Dai sistemi di valutazione agli effetti sull'etica dei comportamentiGiuseppe De Nicolao
Slide dell'interventod di Giuseppe De Nicolao al convegno "Frode Scientifica, come nasce e come si previene", Venerdì 17 e Sabato 18 Novembre a Pavia. Partecipazione gratuita, previa registrazione obbligatoria http://www-3.unipv.it/max3/fs/programma-1.html
Terza missione: è lei la prima vittima della "cultura della valutazione"?Giuseppe De Nicolao
Intervento di Giuseppe De Nicolao al Convegno "Culture della valutazione. Università e Terza Missione. Conoscenza, formazione, territorio°. IULM, Martedì 10 OTTOBRE 2017
ANVUR ASN
Bibliometria Bufale Benito
CRUI Cattaneo Checchi Costituzione Cingolani Cantone Consiglio di Stato Cammellate Coda colpo di
Diritto allo studio Declino Duce
Elena Cattaneo ERC
Ferraro/ Figlio di MIUR/Fascia A Formazione Feticismo
Graziosi/ Giannini
Human Technopole
IIT Impact Factor Inguscio immortale innovativi
Junk arithmetic
K
Londra radio Licenza di copiare Ludi dipartimentali
Miccoli Manfredi
Natta Cattedre nannicini Nature
OCSE Oro alla Patria Omonimie
Perquisizioni Primavera PISA Pavia PRRR! Professionalizzanti Premiale
Quinlan
Renzi - Referendum Rignano Science Foundation Rottamazione del Sud
Stop-VQR Sole 24 Ore Scatti
Turchia Tasse Times Higher Education Tesoretto IIT Truppe Terremoto
Ultimi OCSE Uomo quasi immortale
VQR fantasma Viesti
W Roars
Xylella
Y
Blob Roars 2015, di tutto, di più. Un anno di università e ricerca attraverso una selezione delle copertine di Roars
«La posta in gioco è troppo alta. È una posta di dignità - come dice Carlo Ferraro - ma anche una posta di diritti civili del paese. E quindi, se noi non diciamo “basta!”, le cose andranno avanti così e lo scenario è quello che stiamo vedendo»
Intervento di Giuseppe De Nicolao (Università di Pavia e Roars) nel corso dell'incontro "#STOPVQR il futuro passa per una migliore valutazione della ricerca", organizzato da M5S presso la Sala Tatarella del Palazzo dei Gruppi della Camera dei Deputati (via Uffici del Vicario 21), mercoledì 16 marzo, dalle ore 15 alle 17.
G. De Nicolao: #stopVQR, qual è la posta in gioco?
La ricerca umanistica: i risultati della VQR 2004-2010 (di Paola Galimberti)
1. Paola Galimberti
La ricerca umanistica: i risultati
della VQR 2004-2010
Milano 23 ottobre 2013
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo/ i risultati della VQR
2. VQR maneggiare con cura (Cit da G. De Nicolao)
Premessa
- I report VQR vanno letti nella loro totalità. Paradossalmente i rapporti per le
strutture sono la parte meno significativa
- La VQR ordina sempre strutture, SSD, Dipartimenti sull’area.
- E’ opportuno leggere gli indicatori I, R ed X all’interno dell’area.
3. Una lettura diversa (da quella fatta dal Prof.
Florio nella seduta congiunta di CdA e SA)
• Il nucleo vede tutto il Dipartimento il GEV vede solo
l’area.(M.Florio 21 attobre)
Il Gev vede tutta l’area a livello nazionale ed effettua
un benchmark sulla base della lettura delle
pubblicazioni. Il nucleo fa un benchmark solo su
personale e attrazione fondi, NON sulle pubblicazioni
• Il GEV effettua un benchmark sull’area CUN. Si
confronta Bioscienze di Milano con Oncologia di Torino
Il confronto viene fatto fra il pezzo di area 06 di
Bioscienze (MI) e il pezzo di area 06 di Oncologia (TO)
nel segmento G
4. Una lettura diversa
• Il 20% dei docenti produce il 50% delle pubblicazioni
(vergogna!)
Lotka anni ’20
Bradford 1934 (alla base del SCI di Garfield)
Zipf 1949
Il sistema della scienza funziona così da 100 anni, non
solo qui ma ovunque.
Si può cambiare?
5. Breve storia della Valutazione della Qualità
della Ricerca
• Arco temporale nov. 2011- giugno 2012 (con strascichi
fino al 2013)
• Bando pubblicato dopo un periodo di esposizione
pubblica per poter raccogliere suggerimenti dal basso
• 3 lavori sul settennio per docente (6 per gli affiliati
anche a centri di ricerca), ogni lavoro presentato una
sola volta per la stessa struttura
• Sconto per i ricercatori più giovani o per chi aveva
usufruiti di periodi di congedo
• Tipologie di lavori presentabili definiti dal bando
6. Breve storia della Valutazione della Qualità
della Ricerca
• 14 Gruppi di esperti della Valutazione a numerosità
variabile a seconda dell’ampiezza dell’area e della
numerosità degli SSD
• I GEV hanno definito il protocollo interno:
- Criteri per la creazione di una lista di riviste con la
collaborazione delle società scientifiche
- Scelta del gruppo di confronto PR vs. bibliometria (o
PR vs. liste di riviste)
- Scheda di valutazione
7. Breve storia della Valutazione della Qualità
della Ricerca
- Selezione dei revisori secondo un protocollo rigoroso e
attribuzione dei lavori agli stessi (2 revisori ogni lavoro
in media) – Corrispondenza fra SSD pubblicazione e
SSD revisore
- Consensus group in caso di revisione contrastanti
- Modalità di assegnazione dei lavori del presidente del
GEV e dei componenti del gruppo (conflitti di
interesse)
8. La fase di prevalutazione interna
• Coinvolgimento dei Direttori dei Dipartimenti ante
legge 210
• Un gruppo di coordinamento formato dai prorettori e
DG
• Selezione concordata (soprattutto nel caso di
coautoraggi)
• I Direttori avevano la possibilità di controllare che i
colleghi avessero selezionato le pubblicazioni dovute,
la presenza di eventuali conflitti interni la presenza di
tutti i dati richiesti
9. La fase di prevalutazione interna
• Ai Direttori è stato reso disponibile tramite surplus uno strumento di
monitoraggio sulle scelte effettuate dai colleghi
• Ai singoli docenti è stato messo a disposizione uno strumento per
l’integrazione dei dati da inviare ma mancanti in surplus (SSD ad
esempio, presenza di coautore straniero, abstract, lingua ecc.) e le
integrazioni sono state inviate al sito docente
• La fase di prevalutazione interna ha coinvolto tutti i direttori dei
dipartimenti e i loro delegati, i 50 bibliotecari che hanno validato le
registrazioni immesse ad hoc per la VQR
• Tre persone a tempo pieno che hanno lavorato al monitoraggio per tutti i
mesi della VQR affiancando i direttori e sollecitando i ritardatari
10. Per le sole aree 10 e 11 di unimi sono stati
dunque coinvolti
• Circa 10 bibliotecari
• 3 / 4 persone che hanno lavorato sui dati
• Tutti i docenti di area 10 e 11 distribuiti in 20
dipartimenti e i Direttori dei Dipartimenti ante Legge
210 (8 a Lettere e Filosofia + una parte a Scienze
politiche + una parte a medicina)
• Lato ANVUR circa 1564 schede di revisione peer (non
la lettura di referenze bibliografiche come nella
valutazione del nucleo)
11. • Dato l’impegno consistente di personale a qualsiasi
livello e date le ricadute sulle strutture la VQR va
presa molto sul serio.
• E’ importante che ogni Dipartimento rifletta sugli esiti
anche perché avranno ripercussioni a vario livello
12. Dati generali di contesto (pochi prodotti
mancanti o penalizzati)
16. I report dei GEV
Area
%Articoli
%Saggi
+Monografie
Metodo di
valutazione
%Lingua
10 (77 SSD)
26
70
Peer review
17% inglese
12% altre
lingue
11 (34 SSD)
23
72
Peer review+
bibliometria
12% inglese
non bilio
62% inglese
biblio
17. Cosa ci dicono i dati
• In tutte le aree l’articolo su rivista non è la tipologia
maggiormente diffusa
• In tutte le aree la lingua inglese non è la lingua con
cui si comunica
• In tutte le aree i prodotti eccellenti non sono
pubblicati univocamente in riviste di fascia A e quelli
limitati non sono pubblicati univocamente in riviste di
fascia B o C.
• In tutte le aree dove si è effettuata anche una
valutazione bibliometrica la peer review è stata
molto più severa che la bibliometria
18. Cosa ci dicono i report
• Tutti i GEV hanno riscontrato problemi nell’utilizzo
della scheda di valutazione pensata e modellata sulle
scienze dure
•
•
•
a) rilevanza, da intendersi come valore aggiunto per l'avanzamento della
conoscenza nel settore e per la scienza in generale, anche in termini di congruità,
efficacia, tempestività e durata delle ricadute;
b) originalità/innovazione, da intendersi come contributo all'avanzamento di
conoscenze o a nuove acquisizioni nel settore di riferimento;
c) internazionalizzazione, da intendersi come posizionamento nello scenario
internazionale, in termini di rilevanza, competitività, diffusione editoriale e
apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con
ricercatori e gruppi di ricerca di altre nazioni
• Correlazione fra peer review e valutazione
bibliometrica non sempre significativa
19. Il rapporto di area 10
• Inadeguatezza delle voci della griglia, ma anche
dell’utilizzo degli stessi criteri validi per gli articoli
anche per monografie e saggi
• Rating riviste fatto perché dovuto ma senza che se ne
sia tenuto conto infatti spesso non c’è correlazione fra
eccellenza del lavoro e sua collocazione in rivista di
fascia A
• Grosse differenze nella distribuzione delle eccellenze
fra nord e sud ma nella media buon risultato
20. SSD valutati
• Per l’area 10 16 SSD di cui si ha la valutazione su 48
rappresentati in ateneo
• Anche i settori con 1 o 2 docenti sono stati valutati ma
i risultati non sono stati resi pubblici
• Per l’area 11 25 SSD rappresentati in ateneo
21. Il rapporto di Area 11
• Bias della peer review
• Concentrazione nelle fasce centrali dei giudizi più che
in quelle estreme
• Soddisfazione per il rating delle riviste e per la ottima
collaborazione con le società scientifiche
• Buona correlazione tra prodotti eccellenti e loro
collocazione in riviste di fascia A
• Mancanza di rating per storie di altre discipline
sottoposte al GEV
22. Il rapporto di area 11
• Le discipline di Psicologia e Metodi e didattica delle
attività motorie hanno avuto una valutazione
bibliometrica rispettivamente per il 59% e il 78% che
non sono affatto la totalità dei prodotti
• Internazionalizzazione?
• Nonostante dica che non spetta al GEV interpretare i
dati, il rapporto sembra suggerire la via maestra ai
giovani ricercatori
23. Gli indicatori di sintesi
• IRFD indicatore opaco, ottenuto attraverso una media
di 4 modalità proposte per l’aggregazione dei risultati
(appendice D)
• L’indicatore (a detta stessa di ANVUR da utilizzarsi con
cautela) non va utilizzato per comparazioni a meno
che non si abbia la piena consapevolezza di cosa sta
usando
• Il nucleo compara però le proprie classifiche A,B,C,D,
con l’indicatore sintetico
24. Cosa si sta facendo altrove
• Osservatori e Dipartimenti stanno studiando i dati
• Le amministrazioni stanno elaborando criteri di
pesatura dei risultati per la distribuzione dei fondi
• E’ necessario un confronto con le altre strutture per
evitare la autoreferenzialità.
25. La taglia unica non si adatta a nessuno
• Soprattutto per quanto riguarda l’area 11 il rapporto
sembra aderire totalmente al modello dominante.
• Quello elaborato nell’ambito delle scienze dure in cui
gli autori lavorano in gruppo, scrivono in inglese,
pubblicano articoli su riviste internazionali con IF.
• Questo modello non rispecchia la ricerca umanistica
26. Il modello olandese
• Lunga gestazione e frutto di questionari distribuiti a
livello internazionale e di interviste alle comunità
scientifiche nazionali
• Alla ricerca di una definizione di qualità
• Qualità della ricerca – qualità sociale (valorizzazione
della conoscenza)
27. La peer review
• Resta il sistema portante, ma si riconoscono i limiti
• La pressione verso il publish or perish ha condotto ad
un aumento della produzione scientifica
• Aumento del lavoro per i revisori (vedi le rinunce) che
sono soggetti alla stessa pressione
• Il sistema rischia di implodere
• Un aiuto può venire dagli indicatori qualitativi
28. Indicatori qualitativi
• La qualità si misura sulla base di un set di criteri
all’interno dei quali vengono definiti
indicatori specifici
29. Other output *
Other evidence of use *
Other evidence of recogniƟon *
Other societal output *
Other evidence of use *
Other evidence of societal recogniƟon *
Figure 1 Diagram of criteria and indicators
* discipline-‐speci ic/context-‐speci ic indicators
A number of aspects of this system and the way in which it should be applied require
explanation. Taking the diagram from left to right:
• In assessing research in the humanities, one can distinguish between scholarly
quality and societal quality. The Committee proposes that peers, if necessary assisted by external experts in the ield of societal quality or societal stakeholders,47
47 For this type of extended peer review, see Section 3; see also the remarks below regarding
the pilot phase of this project.
47
30. Un quadro composito
•
•
•
•
La bibliometria
√
Le liste di riviste √
Le classificazioni di sedi editoriali (collane) √
Un sistema di pesi che attribuisca valori diversi alle
diverse tipologie √
• Mix flessibile e rivedibile con opportuna frequenza che
tenga conto delle specificità delle discipline ed eviti
l’affermarsi di comportamenti adattivi
31. Un quadro composito…
• Alla luce di quanto riportato dai GEV nelle diverse aree
risulta chiaro come per le SSH strumenti, metodi e
indicatori siano ancora tutti da costruire
• Il tema dell’impatto sociale e del trasferimento della
conoscenza diventa fondamentale impact.pot
• Ci sono modelli a cui ispirarsi adattabili alla realtà
italiana
• Ciò può essere fatto solo se si riconosce alle SSH una
propria specificità intesa come multidimensionalità di
espressioni, canali di comunicazione e target .
32.
33.
34.
35.
36.
37. … da poter ricomporre
• Quello che si richiede è la disponibilità di un ampio set
di indicatori entro i quali la scelta va guidata da un
processo che associ gli obiettivi da perseguire nel
percorso valutativo alla qualità e significatività degli
strumenti utilizzati. Ciò deve potersi tradurre in una
specifica attenzione alla disciplina, al contesto e alle
altre dimensioni valutative attraverso un mix flessibile
e rivedibile con opportuna frequenza
38. • Il sistema di ANVUR con tutti i limiti segnalati mette in
relazione la qualità delle pubblicazioni con la media
nazionale.
• Il nucleo sarebbe nella posizione di effettuare una
valutazione in context. Proprio perché ha a
disposizione i microdata è in grado di correlare
personale e pubblicazioni, di spiegare eventuali tassi
di improduttività, di legare input e output. Di pesare
diversamente le tipologie di lavori. Di analizzare
l’efficacia ed efficienza del reclutamento
• Fino ad ora si è applicato il metodo della conta della
pubblicazioni, metodo che mortifica le Scienze umane
non riconoscendone la specificità
39. • E’ necessario avviare una riflessione su questi temi, a
partire dall’incontro di oggi
40. “an effective system is not
simple and a limited system is
not effective” (KNAW 2011)