VQR: un metro rotto?
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

VQR: un metro rotto?

on

  • 475 views

Slides presentate al dibattito "Valutare la ricerca" organizzato dall'ADI (Associazione Dottorandi e Dottori di Ricerca Italiani), Pisa 29 novembre 2013. Partecipanti: A. Bonaccorsi (Univ. Pisa e ...

Slides presentate al dibattito "Valutare la ricerca" organizzato dall'ADI (Associazione Dottorandi e Dottori di Ricerca Italiani), Pisa 29 novembre 2013. Partecipanti: A. Bonaccorsi (Univ. Pisa e ANVUR), G. De Nicolao (Univ. Pavia e Roars), A. Nuvolari (Scuola Sup. S. Anna)

Statistics

Views

Total Views
475
Views on SlideShare
475
Embed Views
0

Actions

Likes
0
Downloads
4
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

VQR: un metro rotto? Presentation Transcript

  • 1. VQR:  un  metro  ro-o?   Giuseppe  De  Nicolao   Dip.  Ingegneria  Industriale  e  dell’Informazione   Università  di  Pavia  
  • 2. Tesi:  nelle  aree  bibliometriche     la  VQR  è  inaffidabile  perché  basata     su  metriche  disomogenee   1.  Le  aree  sono  scalibrate  (peccato  veniale)   2.  Le  bibliometrie  degli  SSD  sono  scalibrate     (fatal  error)   3.  Bibliometria  e  peer-­‐review  sono  scalibrate   (fatal  error)   4.  Classifiche  credibili?  
  • 3. 1.  Le  aree  sono  scalibrate   ING-­‐INF/05!  
  • 4. I  due  volB  del  quadrato     magico  del  GEV09   BEST   Lo  schema   base  ...   ...  ha  due   varianB  ...   WORST  
  • 5. Quale  bersaglio  preferite?   ING-­‐INF/05   Resto  del  GEV  09   BEST   BEST   1 punto 1 punto 0,8 punti CITATIONS   0,8 punti 0,5 pti 0,5 pti 0 punti JOURNAL RANKING 0 punti WORST   JOURNAL RANKING WORST  
  • 6. and  the  loser  is  ...  ING-­‐INF/05!  
  • 7. and  the  loser  is  ...  ING-­‐INF/05!  
  • 8. Area  09:  La  VQR  è  invalidata   Per  esempio,  a  parità  di  condizioni  un   diparJmento  di  Ing.  Meccanica  è   ingiustamente  avvantaggiato  rispeMo   ad  un  diparJmento  di  Ing.  InformaJca  
  • 9. Per  fortuna  la  scalibrazione     tocca  solo  il  GEV  09  ...  o  no?   Per  rispondere,   andiamo  a  leggere   l’Appendice  A  del   Rapporto  Finale  VQR  
  • 10. Proviamo  a  visualizzare  la   Tabella  A1.1  aMraverso  la   metafora  del  Jro  con  l’arco  
  • 11. Le basi di tiro bibliometrico
  • 12. E = 1 B = 0,8 A = 0,5 L = 0
  • 13. 20% 20% 10% 50%
  • 14. Ma  come  sono  faW  i  bersagli  veri?   Ce  lo  dice  l’ANVUR:  infaR,  la  Tabella  A1.1  ci   fornisce  proprio  le  dimensioni  degli  anelli  del   bersaglio  per  ciascuna  area  CUN  
  • 15. I  veri  “bersagli  VQR”  sono  diversi  da   quello  teorico  e  cambiano  da  area  ad  area  
  • 16. Ti  piace  vincere  facile?   22% 40% 21% 13% 44% 25% Scienze   Mediche   Ingegneria   Industriale  e   dell’Informazione   14% 21%
  • 17. Morale:  Le  for5  variazioni     inter-­‐area  rendono  i  vo5   incomparabili  tra  aree  diverse   L’ANVUR  lo  sa  e  scrive  che  i  voB  in   aree  diverse  non  sono  comparabili  ...   (peccato  veniale)   ...  ma  il  problema  è  dentro  le  aree.  
  • 18. 2.  La  bibliometria  dei  SSD  è  scalibrata  
  • 19. I  bersagli  dei  SSD  sono  scalibraB?   Sì,  come  confessa  il  GEV  09  
  • 20. I  bersagli  dei  SSD  sono  scalibraB?   Sì,  come  confessa  il  GEV  02  
  • 21. Area  02:  lo  schema  base  ....  
  • 22. ....  e  le  ricalibrazioni  
  • 23. Tu-o  è  bene  quel  che  finisce  bene?   •  Il GEV 02 ha ricalibrato •  Tutto bene, allora •  Non proprio, perché 1.  Gli altri GEV non hanno ricalibrato 2.  Ricalibrando, il GEV 02 ha cambiato la proporzione di peer-review (altra fonte di scalibrazione)
  • 24. I  bersagli  dei  SSD  sono  scalibraB?   Altra  evidenza  dal  GEV  09  
  • 25. I  bersagli  dei  SSD  sono  scalibraB?   Altra  evidenza  dal  GEV  09   Nell’area 09 ci sono due misure “esterne” alla VQR: Top 1% e 5% secondo Web of Science
  • 26. % ECCELLENTI WoS (Top 5%) Area 09: confronto Web of Science vs VQR ... ma la misura esterna Top 5% non è troppo coerente con la % Eccellenti della VQR ... % ECCELLENTI VQR
  • 27. % ECCELLENTI WoS (Top 5%) ... e nemmeno con il voto medio VQR VOTO MEDIO VQR
  • 28. Morale  della  favola   •  Le  bibliometrie  dei  SSD  sono  scalibrate   (confessione  del  GEV  02)   •  Area  09:  SSD  “eccellenY”  per  VQR  non  lo  sono   per  Web  of  Science              FATAL  ERROR?  
  • 29. 3.  Bibliometria  e  peer-­‐review     sono  scalibrate  
  • 30. La  versione  ufficiale   “una più che adeguata concordanza tra valutazione peer e biblio” Stesse identiche parole in tutti i rapporti di area 01-09
  • 31. Visualizziamo  la  concordanza     peer-­‐review  vs  bibliometria   E Livelli di grigio proporzionali alla frequenza dei casi A L IP E VALUTAZIONE BIBLIO Questo è il caso ideale (i giudizi concordano sempre). B B A L IR VALUTAZIONE PEER
  • 32. AGUZZATE  LA  VISTA:  trovate  la  concordanza  VQR  (Area  09)     in  mezzo  a  13  campioni  casuali  a  concordanza  nulla   CASO IDEALE
  • 33. La  versione  ufficiale  traballa   ANVUR: k = 0, 1710 concordanza più che adeguata Wikipedia: 0 ≤ k ≤ 0,4 concordanza scarsa
  • 34. La  versione  ufficiale  traballa   ANVUR: k = 0, 1710 concordanza più che adeguata Wikipedia: 0 ≤ k ≤ 0,4 concordanza scarsa
  • 35. Un  errore  di  Wikipedia?  Non  sembra:  
  • 36. VOTO MEDIO VQR SSD:  Voto  medio  VQR  vs  %  peer  review   il voto medio VQR di ogni SSD è ben predicibile dalla % di prodotti valutati mediante peerreview (!) % PEER REVIEW
  • 37. Morale  della  favola   •  Valutazione  bibliometrica  e  peer-­‐review   concordano  poco   •  VoY  più  bassi  per  chi  ha  %  maggiore  di   prodoR  valutaY  in  peer  review   •  SSD  eccellenB  secondo  ANVUR  non  sono   quelli  eccellenB  secondo  Web  of  Science,  ma   quelli  che  hanno  una  bassa  %  di  peer-­‐review              FATAL  ERROR?  
  • 38. 4.  Classifiche  credibili?  
  • 39. Classifiche  per  chiudere   SERGIO BENEDETTO (CONSIGLIO DIRETTIVO ANVUR) 4–02-2012!
  • 40. Messina  meglio  di  Milano  Politecnico?   Area  8b:  Archite_ura   Area  9:    Ingegneria  Industriale  e  dell’informazione  
  • 41. Messina  meglio  di  Milano  Politecnico:   sarà  colpa  di  qualche  errore  casuale?   Ma  l’ANVUR  dice  che  ...  
  • 42. «Il  caso  non  ha  dunque  nulla  a  che  fare   con  i  risultaB  della  Vqr»     S.  Benede_o  e  R.  Torrini   h_p://www.lavoce.info/una-­‐valutazione-­‐molto-­‐chiara/  
  • 43. «La   VQR   in   realtà   ha   come   compito   primario   quello   di   creare   conoscenza   per   il   policy   maker,   per   gli   organi   di   governo   delle   Stru_ure,   per   i   giovani   che   vogliono   intraprendere   gli   studi   universitari  …»   S.  Fantoni,  “Una  radiografia  del  sistema  universitario”,    in:  I  vo5  all’università,   supplemento  del  Corriere  della  Sera,  Luglio  2013,  pag.  12  
  • 44. Proposta:   stanziare   borse   di   studio   per   gli   studenY  milanesi  più  capaci  e  meritevoli  perché   possano   andare   a   studiare   Archite_ura   ed   Ingegneria  a  Messina.  
  • 45. Problemi  bibliometrici  della  VQR   •  Non  c’è  uniformità  del  metro  di  giudizio   bibliometrico  tra  le  aree   •  ForY  indizi  che  il  metro  di  giudizio  sia  disuniforme   anche  nelle  le  aree   •  Il  mix  bibliometria/peer  review  introduce  ulteriori   disuniformità   •  Conseguenza:  sono  credibili  le  pagelle  VQR?  
  • 46. Cato mirari se aiebat, quod non rideret haruspex haruspicem cum vidisset Cicerone, DE NATURA DEORUM, III, 26
  • 47. Grazie  per  l’a_enzione!  
  • 48. AGUZZATE  LA  VISTA:  trovate  la  vera  VQR  (Area  09)     in  mezzo  a  o-o  VQR  puramente  casuali,  simulate  con  il  Lego