Uploaded on

Slides presentate al dibattito "Valutare la ricerca" organizzato dall'ADI (Associazione Dottorandi e Dottori di Ricerca Italiani), Pisa 29 novembre 2013. Partecipanti: A. Bonaccorsi (Univ. Pisa e …

Slides presentate al dibattito "Valutare la ricerca" organizzato dall'ADI (Associazione Dottorandi e Dottori di Ricerca Italiani), Pisa 29 novembre 2013. Partecipanti: A. Bonaccorsi (Univ. Pisa e ANVUR), G. De Nicolao (Univ. Pavia e Roars), A. Nuvolari (Scuola Sup. S. Anna)

More in: Education
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
186
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
5
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. VQR:  un  metro  ro-o?   Giuseppe  De  Nicolao   Dip.  Ingegneria  Industriale  e  dell’Informazione   Università  di  Pavia  
  • 2. Tesi:  nelle  aree  bibliometriche     la  VQR  è  inaffidabile  perché  basata     su  metriche  disomogenee   1.  Le  aree  sono  scalibrate  (peccato  veniale)   2.  Le  bibliometrie  degli  SSD  sono  scalibrate     (fatal  error)   3.  Bibliometria  e  peer-­‐review  sono  scalibrate   (fatal  error)   4.  Classifiche  credibili?  
  • 3. 1.  Le  aree  sono  scalibrate   ING-­‐INF/05!  
  • 4. I  due  volB  del  quadrato     magico  del  GEV09   BEST   Lo  schema   base  ...   ...  ha  due   varianB  ...   WORST  
  • 5. Quale  bersaglio  preferite?   ING-­‐INF/05   Resto  del  GEV  09   BEST   BEST   1 punto 1 punto 0,8 punti CITATIONS   0,8 punti 0,5 pti 0,5 pti 0 punti JOURNAL RANKING 0 punti WORST   JOURNAL RANKING WORST  
  • 6. and  the  loser  is  ...  ING-­‐INF/05!  
  • 7. and  the  loser  is  ...  ING-­‐INF/05!  
  • 8. Area  09:  La  VQR  è  invalidata   Per  esempio,  a  parità  di  condizioni  un   diparJmento  di  Ing.  Meccanica  è   ingiustamente  avvantaggiato  rispeMo   ad  un  diparJmento  di  Ing.  InformaJca  
  • 9. Per  fortuna  la  scalibrazione     tocca  solo  il  GEV  09  ...  o  no?   Per  rispondere,   andiamo  a  leggere   l’Appendice  A  del   Rapporto  Finale  VQR  
  • 10. Proviamo  a  visualizzare  la   Tabella  A1.1  aMraverso  la   metafora  del  Jro  con  l’arco  
  • 11. Le basi di tiro bibliometrico
  • 12. E = 1 B = 0,8 A = 0,5 L = 0
  • 13. 20% 20% 10% 50%
  • 14. Ma  come  sono  faW  i  bersagli  veri?   Ce  lo  dice  l’ANVUR:  infaR,  la  Tabella  A1.1  ci   fornisce  proprio  le  dimensioni  degli  anelli  del   bersaglio  per  ciascuna  area  CUN  
  • 15. I  veri  “bersagli  VQR”  sono  diversi  da   quello  teorico  e  cambiano  da  area  ad  area  
  • 16. Ti  piace  vincere  facile?   22% 40% 21% 13% 44% 25% Scienze   Mediche   Ingegneria   Industriale  e   dell’Informazione   14% 21%
  • 17. Morale:  Le  for5  variazioni     inter-­‐area  rendono  i  vo5   incomparabili  tra  aree  diverse   L’ANVUR  lo  sa  e  scrive  che  i  voB  in   aree  diverse  non  sono  comparabili  ...   (peccato  veniale)   ...  ma  il  problema  è  dentro  le  aree.  
  • 18. 2.  La  bibliometria  dei  SSD  è  scalibrata  
  • 19. I  bersagli  dei  SSD  sono  scalibraB?   Sì,  come  confessa  il  GEV  09  
  • 20. I  bersagli  dei  SSD  sono  scalibraB?   Sì,  come  confessa  il  GEV  02  
  • 21. Area  02:  lo  schema  base  ....  
  • 22. ....  e  le  ricalibrazioni  
  • 23. Tu-o  è  bene  quel  che  finisce  bene?   •  Il GEV 02 ha ricalibrato •  Tutto bene, allora •  Non proprio, perché 1.  Gli altri GEV non hanno ricalibrato 2.  Ricalibrando, il GEV 02 ha cambiato la proporzione di peer-review (altra fonte di scalibrazione)
  • 24. I  bersagli  dei  SSD  sono  scalibraB?   Altra  evidenza  dal  GEV  09  
  • 25. I  bersagli  dei  SSD  sono  scalibraB?   Altra  evidenza  dal  GEV  09   Nell’area 09 ci sono due misure “esterne” alla VQR: Top 1% e 5% secondo Web of Science
  • 26. % ECCELLENTI WoS (Top 5%) Area 09: confronto Web of Science vs VQR ... ma la misura esterna Top 5% non è troppo coerente con la % Eccellenti della VQR ... % ECCELLENTI VQR
  • 27. % ECCELLENTI WoS (Top 5%) ... e nemmeno con il voto medio VQR VOTO MEDIO VQR
  • 28. Morale  della  favola   •  Le  bibliometrie  dei  SSD  sono  scalibrate   (confessione  del  GEV  02)   •  Area  09:  SSD  “eccellenY”  per  VQR  non  lo  sono   per  Web  of  Science              FATAL  ERROR?  
  • 29. 3.  Bibliometria  e  peer-­‐review     sono  scalibrate  
  • 30. La  versione  ufficiale   “una più che adeguata concordanza tra valutazione peer e biblio” Stesse identiche parole in tutti i rapporti di area 01-09
  • 31. Visualizziamo  la  concordanza     peer-­‐review  vs  bibliometria   E Livelli di grigio proporzionali alla frequenza dei casi A L IP E VALUTAZIONE BIBLIO Questo è il caso ideale (i giudizi concordano sempre). B B A L IR VALUTAZIONE PEER
  • 32. AGUZZATE  LA  VISTA:  trovate  la  concordanza  VQR  (Area  09)     in  mezzo  a  13  campioni  casuali  a  concordanza  nulla   CASO IDEALE
  • 33. La  versione  ufficiale  traballa   ANVUR: k = 0, 1710 concordanza più che adeguata Wikipedia: 0 ≤ k ≤ 0,4 concordanza scarsa
  • 34. La  versione  ufficiale  traballa   ANVUR: k = 0, 1710 concordanza più che adeguata Wikipedia: 0 ≤ k ≤ 0,4 concordanza scarsa
  • 35. Un  errore  di  Wikipedia?  Non  sembra:  
  • 36. VOTO MEDIO VQR SSD:  Voto  medio  VQR  vs  %  peer  review   il voto medio VQR di ogni SSD è ben predicibile dalla % di prodotti valutati mediante peerreview (!) % PEER REVIEW
  • 37. Morale  della  favola   •  Valutazione  bibliometrica  e  peer-­‐review   concordano  poco   •  VoY  più  bassi  per  chi  ha  %  maggiore  di   prodoR  valutaY  in  peer  review   •  SSD  eccellenB  secondo  ANVUR  non  sono   quelli  eccellenB  secondo  Web  of  Science,  ma   quelli  che  hanno  una  bassa  %  di  peer-­‐review              FATAL  ERROR?  
  • 38. 4.  Classifiche  credibili?  
  • 39. Classifiche  per  chiudere   SERGIO BENEDETTO (CONSIGLIO DIRETTIVO ANVUR) 4–02-2012!
  • 40. Messina  meglio  di  Milano  Politecnico?   Area  8b:  Archite_ura   Area  9:    Ingegneria  Industriale  e  dell’informazione  
  • 41. Messina  meglio  di  Milano  Politecnico:   sarà  colpa  di  qualche  errore  casuale?   Ma  l’ANVUR  dice  che  ...  
  • 42. «Il  caso  non  ha  dunque  nulla  a  che  fare   con  i  risultaB  della  Vqr»     S.  Benede_o  e  R.  Torrini   h_p://www.lavoce.info/una-­‐valutazione-­‐molto-­‐chiara/  
  • 43. «La   VQR   in   realtà   ha   come   compito   primario   quello   di   creare   conoscenza   per   il   policy   maker,   per   gli   organi   di   governo   delle   Stru_ure,   per   i   giovani   che   vogliono   intraprendere   gli   studi   universitari  …»   S.  Fantoni,  “Una  radiografia  del  sistema  universitario”,    in:  I  vo5  all’università,   supplemento  del  Corriere  della  Sera,  Luglio  2013,  pag.  12  
  • 44. Proposta:   stanziare   borse   di   studio   per   gli   studenY  milanesi  più  capaci  e  meritevoli  perché   possano   andare   a   studiare   Archite_ura   ed   Ingegneria  a  Messina.  
  • 45. Problemi  bibliometrici  della  VQR   •  Non  c’è  uniformità  del  metro  di  giudizio   bibliometrico  tra  le  aree   •  ForY  indizi  che  il  metro  di  giudizio  sia  disuniforme   anche  nelle  le  aree   •  Il  mix  bibliometria/peer  review  introduce  ulteriori   disuniformità   •  Conseguenza:  sono  credibili  le  pagelle  VQR?  
  • 46. Cato mirari se aiebat, quod non rideret haruspex haruspicem cum vidisset Cicerone, DE NATURA DEORUM, III, 26
  • 47. Grazie  per  l’a_enzione!  
  • 48. AGUZZATE  LA  VISTA:  trovate  la  vera  VQR  (Area  09)     in  mezzo  a  o-o  VQR  puramente  casuali,  simulate  con  il  Lego