Riflessioni sui Documenti ANVUR su abilitazione scientifica

Alcune riflessioni sul documento ANVUR “Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale” Giuseppe De Nicolao Dipartimento di Informatica e Sistemistica Facoltà di Ingegneria Università di Pavia

Il profilo scientifico del professore associato
Il candidato ha raggiunto una dimostrabile maturità e autonomia scientifica, ha pubblicato contributi significativi e riconosciuti a livello internazionale , ha partecipato in qualità di relatore invitato o è stato attivo nell’organizzazione di congressi internazionali , possiede autonomia sufficiente a guidare nella tesi studenti della laurea magistrale e di dottorato . Ha mostrato, in almeno un caso, capacità di attrazione di finanziamenti per la ricerca partecipando con successo a bandi competitivi in qualità di coordinatore locale, nazionale o internazionale, o documentata capacità di conduzione e coordinamento di gruppi di ricerca .
ANVUR, “Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale”, 22/06/11
http://www.anvur.org/sites/anvur-miur/files/documento01_11.pdf

Il profilo scientifico del professore ordinario
Il candidato ha una posizione riconosciuta nel panorama internazionale della ricerca (nazionale limitatamente a quei settori in cui il carattere internazionale delle ricerca è marginale), ottenuta pubblicando contributi significativi e riconosciuti a livello internazionale, ha partecipato a congressi internazionali in qualità di oratore invitato o di membro del Comitato Scientifico , è attivo nelle società professionali e/o scientifiche del settore , ha ottenuto riconoscimenti per la sua attività scientifica . Ha dimostrato capacità di guida di un gruppo di ricerca caratterizzato da scambi a livello internazionale , ha guidato studenti al raggiungimento del dottorato di ricerca . È capace di attrarre finanziamenti competitivi qualificanti in una posizione di leader . Nei settori per i quali sia appropriato, ha mostrato la capacità di trasferire conoscenza al contesto socio-economico esterno all’università.
ANVUR, “Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale”, 22/06/11
http://www.anvur.org/sites/anvur-miur/files/documento01_11.pdf

“ Occorre sottolineare che i criteri [ soglie numeriche ] vanno definiti in modo da costituire delle caratteristiche necessarie per accedere alle procedure di abilitazione, lasciando alle Commissioni il compito di valutare i candidati sulla base di una rosa più ampia e più esigente di criteri e di parametri , definiti dalle Commissioni stesse nell’ambito della loro autonomia di giudizio”
Conseguenze
Gli indicatori bibliometrici rispecchiano un solo aspetto che non basta a garantire la bontà di un candidato
Vanno usati per escludere candidati palesemente non ancora matur i

Condanna dell’innocente vs assoluzione del colpevole
“ Gli errori che possono essere commessi con il criterio della mediana possono essere di due tipi, di segno opposto.
Il primo errore è di escludere persone di valore che resterebbero al di sotto della mediana , ad esempio perché deliberatamente pubblicano poco. [...]
secondo tipo di errore: che il criterio della mediana consenta di selezionare studiosi che hanno solo prodotto numerosi lavori , ma di bassa qualità. Questo errore è più serio , soprattutto per le candidature alla abilitazione dei giovani studiosi.”

Esempio: ricercatore Gelmini “tipo B”
Abilitazione ⇒ Prof. Associato
Mancata abilitazione ⇒ Contratto non rinnovabile
Paradosso ...

Mathematics: Analysis

Management of Technol. and Innov .

Paradosso
La regola della mediana renderà:
più facile la carriera nei settori scientificamente più deboli (es. Manag. of Technol. & Innov.) ...
... e più difficile in quelli di punta (es. Mathematics-Analysis)

Cosa dicono gli esperti di statistica?

Golden-Spiegelhalter: a three-part framework for performance assessment

1. Data "No amount of fancy statistical footwork will overcome basic inadequacies in either the appropriateness or the integrity of the data collected."
Golden-Spiegelhalter: a three-part framework for performance assessment 1/3

Appropriateness/integrity : esempio #1 Dovrebbe valere il principio di non cancellazione: "nessuno può migliorare la propria valutazione cancellando dei titoli dal proprio curriculum”
Paradosso:
Ricercatore 1 e Ricercatore 2 hanno la stessa età
Pubblicano in coppia 20 articoli negli anni 2001-2010
Il Ricercatore 1 è coautore in un articolo (che ha zero citazioni) pubblicato nel 1995 a cui aveva contribuito mentre era laureando ⇒ maggiore età accademica (secondo ANVUR) ⇒ il suo h-index per anno è inferiore
Al Ricercatore 1 converrebbe “cancellare” il paper del 1995

Appropriateness/integrity : esempio #2 22 Agosto 2011

Anatomia del crollo scientifico dell’Italia: analisi in 3 mosse

1/3 Confronto con altre fonti Nei dati SCImago (Scopus) non si vede traccia del crollo ... Italia: scientific documents

2/3 Ipotesi sulla genesi dell’errore
Fatto noto: ritardo di registrazione. All’ultimo anno disponibile nel database manca almeno il 10% degli articoli
Il National Science Board nel suo report del 2010, non usa i dati 2008 e 2009 perché ritiene assestati solo i dati fino al 2007
Ipotesi: Daraio & Moed hanno interrogato il database nel primo semestre 2010: dati 2009 non affidabili?

3/3 Verifica finale: Figura 9 di Daraio & Moed

Appropriateness/integrity : esempio #2 22 Agosto 2011 Bufala!

per saperne di più ... http://univeritas.wordpress.com/

“Circa Google Scholar , i suoi limiti sono ben noti. Tuttavia, il parere ANVUR non suggerisce di usare sic et simpliciter questa fonte, ma di usare l’h-index, così come prodotto dal sito Publish or Perish. In questo caso, pur utilizzando la stessa fonte originaria, vi sono accorgimenti di information retrieval tali da ridurre al minimo possibilità di errori .”
Appropriateness/integrity : esempio #3

h-index = 98 Ike AntKare non esiste!

I contenziosi saranno inevitabili ...
2.4 Ricorso in appello avverso la pubblicazione dei dati ANVUR Sembra opportuno inserire un sistema, molto snello, di possibilità di ricorso contro la pubblicazione delle mediane da parte di soggetti esclusi. Occorre definire il modello e il soggetto. Preferibile un modello del tipo ricorso gerarchico, verso l’ANVUR, che dovrà nominare una commissione indipendente.

2. Statistical Analysis and Presentation “ We shall pay particular attention to the specification of an appropriate statistical model , the crucial importance of uncertainty in the presentation of all results ...."

2. Statistical Model: esempio
3.2 Distribuzioni multimodali del conteggio delle pubblicazioni. ... il concreto rischio che la mediana cada nell’intervallo, escludendo così ingiustamente un sottoinsieme di autori. ...

50% ricercatori teorici 50% ricercatori applicativi mediana # pubblicazioni Esempio di distribuzione bimodale (semplificato) Gli “applicativi” non possono abilitarsi e sono condannati all’estinzione

2. Statistical Model: esempio
3.2 Distribuzioni multimodali del conteggio delle pubblicazioni. ... il concreto rischio che la mediana cada nell’intervallo, escludendo così ingiustamente un sottoinsieme di autori. ... “Su richiesta di almeno il 30% degli ordinari di un’area concorsuale, nel calcolo della mediana l’ANVUR effettuerà controlli volti a identificare se sussistono prove evidenti di differenze strutturali tra comunità scientifiche appartenenti allo stesso SSD. In questo caso si procede al calcolo di due o più mediane, utilizzando appositi modelli statistici ”.

2. Statistical model: esempio
Un tentativo (rudimentale) di modello statistico solo se il 30% dei PO lo chiede
come si definiscono in termini regolamentari le “prove evidenti di differenze strutturali”? Discrezionalità? Altra fonte di contenzioso?
Gli indicatori bibliometrici sono realizzazioni di variabili casuali ⇒ necessità di considerare l’incertezza
Esempio: normalizzazione per anni di carriera implica maggiore varianza per ricercatori giovani

3. Interpretation and Impact ”... analysts should also be aware of the potential effect of the results in terms of future behavioural changes by institutions and individuals seeking to improve their subsequent 'ranking'."

3. Interpretation and impact: incentivazione di comportamenti opportunistici
moltiplicare articoli brevi su riviste minori
seguire le mode per massimizzare le citazioni
scambio di citazioni tra “amici”
authorships fittizie
La mediana consente ad una popolazione sottoposta a valutazione di modificare il metro di giudizio: gli ultimi due comportamenti favoriscono scuole/gruppi di ricerca numerosi ⇒ pericolo di “ pulizia etnica”

una denuncia recente ed autorevole di comportamenti opportunistici ...

Allarme etico/scientifico
Degrees and job promotions: researchers are evaluated on the basis of how many papers they write and publish
"Chinese researchers are too obsessed with Science Citation Index, churning out too many articles of low quality" says the Director-General of the Institute of Policy and Management at the Chinese Academy of Sciences
Chinese academics and students often buy and sell scientific papers to swell publication lists and many of the purported authors never write the papers they sign
Others mass-produce scientific papers in order to get monetary rewards from their institutions

perché essere gli ultimi ad applicare le ricette che gli altri stanno ormai mettendo in discussione?

Riflessioni sui Documenti ANVUR su abilitazione scientifica

by giuseppedn on Oct 01, 2011

Accessibility

Tags

Upload Details

Usage Rights

Statistics

Riflessioni sui Documenti ANVUR su abilitazione scientifica — Presentation Transcript