Your SlideShare is downloading. ×
0
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Il documento ANVUR sui parametri per l’abilitazione scientifica
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Il documento ANVUR sui parametri per l’abilitazione scientifica

1,786

Published on

Analisi critica del documento ANVUR "Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale". Intervento alla Tavola Rotonda "Valutazione e …

Analisi critica del documento ANVUR "Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale". Intervento alla Tavola Rotonda "Valutazione e Valorizzazione della Ricerca e dei Ricercatori" - Pisa 9/9/2011 nell'ambito del Convegno Automatica.it 2011.
http://www.convegnoautomaticaitaliana.org/Dibattiti.htm

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,786
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
20
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Alcune riflessioni sul documento ANVUR “Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale” Giuseppe De Nicolao Dipartimento di Informatica e Sistemistica Università di Pavia
  • 2. I like ...
  • 3. Il profilo scientifico del professore associato <ul><li>Il candidato ha raggiunto una dimostrabile maturità e autonomia scientifica, ha pubblicato contributi significativi e riconosciuti a livello internazionale , ha partecipato in qualità di relatore invitato o è stato attivo nell’organizzazione di congressi internazionali , possiede autonomia sufficiente a guidare nella tesi studenti della laurea magistrale e di dottorato . Ha mostrato, in almeno un caso, capacità di attrazione di finanziamenti per la ricerca partecipando con successo a bandi competitivi in qualità di coordinatore locale, nazionale o internazionale, o documentata capacità di conduzione e coordinamento di gruppi di ricerca . </li></ul><ul><li>ANVUR, “Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale”, 22/06/11 </li></ul><ul><li>http://www.anvur.org/sites/anvur-miur/files/documento01_11.pdf </li></ul>
  • 4. Il profilo scientifico del professore ordinario <ul><li>Il candidato ha una posizione riconosciuta nel panorama internazionale della ricerca (nazionale limitatamente a quei settori in cui il carattere internazionale delle ricerca è marginale), ottenuta pubblicando contributi significativi e riconosciuti a livello internazionale, ha partecipato a congressi internazionali in qualità di oratore invitato o di membro del Comitato Scientifico, è attivo nelle società professionali e/o scientifiche del settore, ha ottenuto riconoscimenti per la sua attività scientifica. Ha dimostrato capacità di guida di un gruppo di ricerca caratterizzato da scambi a livello internazionale, ha guidato studenti al raggiungimento del dottorato di ricerca. È capace di attrarre finanziamenti competitivi qualificanti in una posizione di leader. Nei settori per i quali sia appropriato, ha mostrato la capacità di trasferire conoscenza al contesto socio-economico esterno all’università. </li></ul><ul><li>ANVUR, “Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale”, 22/06/11 </li></ul><ul><li>http://www.anvur.org/sites/anvur-miur/files/documento01_11.pdf </li></ul>
  • 5. <ul><li>“ Occorre sottolineare che i criteri vanno definiti in modo da costituire delle caratteristiche necessarie per accedere alle procedure di abilitazione, lasciando alle Commissioni il compito di valutare i candidati sulla base di una rosa più ampia e più esigente di criteri e di parametri , definiti dalle Commissioni stesse nell’ambito della loro autonomia di giudizio” </li></ul><ul><li>Conseguenze </li></ul><ul><li>Gli indicatori bibliometrici rispecchiano un solo aspetto che non basta a garantire la bontà di un candidato </li></ul><ul><li>Vanno usati per escludere candidati palesemente non ancora matur i </li></ul>
  • 6. I don’t like ...
  • 7. Condanna dell’innocente vs assoluzione del colpevole <ul><li>“ Gli errori che possono essere commessi con il criterio della mediana possono essere di due tipi, di segno opposto. </li></ul><ul><li>Il primo errore è di escludere persone di valore che resterebbero al di sotto della mediana , ad esempio perché deliberatamente pubblicano poco. [...] </li></ul><ul><li>secondo tipo di errore: che il criterio della mediana consenta di selezionare studiosi che hanno solo prodotto numerosi lavori , ma di bassa qualità. Questo errore è più serio , soprattutto per le candidature alla abilitazione dei giovani studiosi.” </li></ul>
  • 8. Esempio: ricercatore Gelmini “tipo B” <ul><li>Abilitazione ⇒ Prof. Associato </li></ul><ul><li>Mancata abilitazione ⇒ Contratto non rinnovabile </li></ul><ul><li>Paradosso ... </li></ul>
  • 9. Mathematics: Analysis
  • 10. Management of Technol. and Innov .
  • 11. Paradosso <ul><li>La regola della mediana renderà: </li></ul><ul><li>più facile la carriera nei settori scientificamente più deboli (es. Manag. of Technol. & Innov.) ... </li></ul><ul><li>... e più difficile in quelli di punta (es. Mathematics-Analysis) </li></ul>
  • 12. Cosa dicono gli esperti di statistica?
  • 13. Golden-Spiegelhalter: a three-part framework for performance assessment
  • 14. <ul><li>1. Data &quot;No amount of fancy statistical footwork will overcome basic inadequacies in either the appropriateness or the integrity of the data collected.&quot; </li></ul>Golden-Spiegelhalter: a three-part framework for performance assessment 1/3
  • 15. Appropriateness/integrity : esempio #1 Dovrebbe valere il principio di non cancellazione: &quot;nessuno può migliorare la propria valutazione cancellando dei titoli dal proprio curriculum” <ul><li>Paradosso: </li></ul><ul><li>Ricercatore 1 e Ricercatore 2 hanno la stessa età </li></ul><ul><li>Pubblicano in coppia 20 articoli negli anni 2001-2010 </li></ul><ul><li>Il Ricercatore 1 è coautore in un articolo (che ha zero citazioni) pubblicato nel 1995 a cui aveva contribuito mentre era laureando ⇒ maggiore età accademica (secondo ANVUR) ⇒ il suo h-index per anno è inferiore </li></ul><ul><li>Al Ricercatore 1 converrebbe “cancellare” il paper del 1995 </li></ul>
  • 16. Appropriateness/integrity : esempio #2 22 Agosto 2011 Bufala!
  • 17. Spiegazione della bufala : i dati 2009 sono parziali perché estratti nel primo semestre 2010
  • 18. <ul><li>“Circa Google Scholar , i suoi limiti sono ben noti. Tuttavia, il parere ANVUR non suggerisce di usare sic et simpliciter questa fonte, ma di usare l’h-index, così come prodotto dal sito Publish or Perish. In questo caso, pur utilizzando la stessa fonte originaria, vi sono accorgimenti di information retrieval tali da ridurre al minimo possibilità di errori .” </li></ul>Appropriateness/integrity : esempio #3
  • 19. h-index = 98 Ike AntKare non esiste!
  • 20. I contenziosi saranno inevitabili ... <ul><li>2.4 Ricorso in appello avverso la pubblicazione dei dati ANVUR Sembra opportuno inserire un sistema, molto snello, di possibilità di ricorso contro la pubblicazione delle mediane da parte di soggetti esclusi. Occorre definire il modello e il soggetto. Preferibile un modello del tipo ricorso gerarchico, verso l’ANVUR, che dovrà nominare una commissione indipendente. </li></ul>
  • 21. <ul><li>2. Statistical Analysis and Presentation “ We shall pay particular attention to the specification of an appropriate statistical model , the crucial importance of uncertainty in the presentation of all results ....&quot; </li></ul>Golden-Spiegelhalter: a three-part framework for performance assessment 2/3
  • 22. 2. Statistical Model: esempio <ul><li>3.2 Distribuzioni multimodali del conteggio delle pubblicazioni. ... il concreto rischio che la mediana cada nell’intervallo, escludendo così ingiustamente un sottoinsieme di autori. ... “Su richiesta di almeno il 30% degli ordinari di un’area concorsuale, nel calcolo della mediana l’ANVUR effettuerà controlli volti a identificare se sussistono prove evidenti di differenze strutturali tra comunità scientifiche appartenenti allo stesso SSD. In questo caso si procede al calcolo di due o più mediane, utilizzando appositi modelli statistici ”. </li></ul>
  • 23. 2. Statistical model: esempio <ul><li>Un tentativo (rudimentale) di modello statistico solo se il 30% dei PO lo chiede </li></ul><ul><li>come si definiscono in termini regolamentari le “prove evidenti di differenze strutturali”? Discrezionalità? Altra fonte di contenzioso? </li></ul><ul><li>Gli indicatori bibliometrici sono realizzazioni di variabili casuali ⇒ necessità di considerare l’incertezza </li></ul><ul><ul><li>Esempio: normalizzazione per anni di carriera implica maggiore varianza per ricercatori giovani </li></ul></ul>
  • 24. <ul><li>3. Interpretation and Impact ”... analysts should also be aware of the potential effect of the results in terms of future behavioural changes by institutions and individuals seeking to improve their subsequent 'ranking'.&quot; </li></ul>Golden-Spiegelhalter: a three-part framework for performance assessment 3/3
  • 25. 3. Interpretation and impact: incentivazione di comportamenti opportunistici <ul><li>moltiplicare articoli brevi su riviste minori </li></ul><ul><li>seguire le mode per massimizzare le citazioni </li></ul><ul><li>scambio di citazioni tra “amici” </li></ul><ul><li>authorships fittizie </li></ul>La mediana consente ad una popolazione sottoposta a valutazione di modificare il metro di giudizio: gli ultimi due comportamenti favoriscono scuole/gruppi di ricerca numerosi ⇒ pericolo di “ pulizia etnica”

×