Your SlideShare is downloading. ×
0
VQR:	
  un	
  metro	
  ro-o?	
  
Giuseppe	
  De	
  Nicolao	
  
Dip.	
  Ingegneria	
  Industriale	
  e	
  dell’Informazione...
Tesi:	
  nelle	
  aree	
  bibliometriche	
  	
  
la	
  VQR	
  è	
  inaffidabile	
  perché	
  basata	
  	
  
su	
  metriche	
...
1.	
  Le	
  aree	
  sono	
  scalibrate	
  
ING-­‐INF/05!
	
  
I	
  due	
  volB	
  del	
  quadrato	
  
	
  
magico	
  del	
  GEV09
	
  
BEST
	
  

Lo	
  schema	
  
base	
  ...
	
  

......
Quale	
  bersaglio	
  preferite?
	
  
ING-­‐INF/05
	
  

Resto	
  del	
  GEV	
  09
	
  

BEST
	
  

BEST
	
  
1 punto

1 p...
and	
  the	
  loser	
  is	
  ...	
  ING-­‐INF/05!
	
  
and	
  the	
  loser	
  is	
  ...	
  ING-­‐INF/05!
	
  
Area	
  09:	
  La	
  VQR	
  è	
  invalidata
	
  
Per	
  esempio,	
  a	
  parità	
  di	
  condizioni	
  un	
  
diparJmento	...
Per	
  fortuna	
  la	
  scalibrazione	
  
	
  
tocca	
  solo	
  il	
  GEV	
  09	
  ...	
  o	
  no?
	
  
Per	
  rispondere,...
Proviamo	
  a	
  visualizzare	
  la	
  
Tabella	
  A1.1	
  aMraverso	
  la	
  
metafora	
  del	
  Jro	
  con	
  l’arco
	
 ...
Le basi di tiro	
bibliometrico
E = 1 B = 0,8 A = 0,5 L = 0
20%
20%
10%
50%
Ma	
  come	
  sono	
  faW	
  i	
  bersagli	
  veri?	
  
Ce	
  lo	
  dice	
  l’ANVUR:	
  infaR,	
  la	
  Tabella	
  A1.1	
 ...
I	
  veri	
  “bersagli	
  VQR”	
  sono	
  diversi	
  da	
  
quello	
  teorico	
  e	
  cambiano	
  da	
  area	
  ad	
  area...
Ti	
  piace	
  vincere	
  facile?
	
  

22%
40%
21%
13%
44%

25%
Scienze
	
  
Mediche
	
  

Ingegneria	
  
Industriale	
  ...
Morale:	
  Le	
  for5	
  variazioni	
  
	
  
inter-­‐area	
  rendono	
  i	
  vo5	
  
incomparabili	
  tra	
  aree	
  diver...
2.	
  La	
  bibliometria	
  dei	
  SSD	
  è	
  scalibrata
	
  
I	
  bersagli	
  dei	
  SSD	
  sono	
  scalibraB?
	
  
Sì,	
  come	
  confessa	
  il	
  GEV	
  09
	
  
I	
  bersagli	
  dei	
  SSD	
  sono	
  scalibraB?
	
  
Sì,	
  come	
  confessa	
  il	
  GEV	
  02
	
  
Area	
  02:	
  lo	
  schema	
  base	
  ....
	
  
....	
  e	
  le	
  ricalibrazioni
	
  
Tu-o	
  è	
  bene	
  quel	
  che	
  finisce	
  bene?
	
  
•  Il GEV 02 ha ricalibrato
•  Tutto bene, allora
•  Non proprio,...
I	
  bersagli	
  dei	
  SSD	
  sono	
  scalibraB?
	
  
Altra	
  evidenza	
  dal	
  GEV	
  09
	
  
I	
  bersagli	
  dei	
  SSD	
  sono	
  scalibraB?
	
  
Altra	
  evidenza	
  dal	
  GEV	
  09
	
  

Nell’area 09 ci sono du...
% ECCELLENTI WoS (Top 5%)

Area 09: confronto Web of Science vs VQR

... ma la misura
esterna Top 5%
non è troppo
coerente...
% ECCELLENTI WoS (Top 5%)

... e nemmeno
con il voto
medio VQR

VOTO MEDIO VQR
Morale	
  della	
  favola
	
  
•  Le	
  bibliometrie	
  dei	
  SSD	
  sono	
  scalibrate	
  
(confessione	
  del	
  GEV	
 ...
3.	
  Bibliometria	
  e	
  peer-­‐review	
  
	
  
sono	
  scalibrate
	
  
La	
  versione	
  ufficiale
	
  

“una più che adeguata concordanza
tra valutazione peer e biblio”

Stesse identiche parole ...
Visualizziamo	
  la	
  concordanza	
  
	
  
peer-­‐review	
  vs	
  bibliometria
	
  
E

Livelli di grigio
proporzionali al...
AGUZZATE	
  LA	
  VISTA:	
  trovate	
  la	
  concordanza	
  VQR	
  (Area	
  09)	
  
	
  
in	
  mezzo	
  a	
  13	
  campion...
La	
  versione	
  ufficiale	
  traballa
	
  
ANVUR: k = 0, 1710
concordanza più che
adeguata
Wikipedia: 0 ≤ k ≤ 0,4
concorda...
La	
  versione	
  ufficiale	
  traballa
	
  
ANVUR: k = 0, 1710
concordanza più che
adeguata
Wikipedia: 0 ≤ k ≤ 0,4
concorda...
Un	
  errore	
  di	
  Wikipedia?	
  Non	
  sembra:
	
  
VOTO MEDIO VQR

SSD:	
  Voto	
  medio	
  VQR	
  vs	
  %	
  peer	
  review
	
  

il voto medio
VQR di ogni SSD
è ben predic...
Morale	
  della	
  favola
	
  
•  Valutazione	
  bibliometrica	
  e	
  peer-­‐review	
  
concordano	
  poco	
  
•  VoY	
  ...
4.	
  Classifiche	
  credibili?
	
  
Classifiche	
  per	
  chiudere
	
  

SERGIO BENEDETTO
(CONSIGLIO DIRETTIVO ANVUR)

4–02-2012!
Messina	
  meglio	
  di	
  Milano	
  Politecnico?
	
  

Area	
  8b:	
  Archite_ura	
  

Area	
  9:	
  	
  Ingegneria	
  In...
Messina	
  meglio	
  di	
  Milano	
  Politecnico:
	
  
sarà	
  colpa	
  di	
  qualche	
  errore	
  casuale?
	
  
Ma	
  l’A...
«Il	
  caso	
  non	
  ha	
  dunque	
  nulla	
  a	
  che	
  fare	
  
con	
  i	
  risultaB	
  della	
  Vqr»	
  	
  

S.	
  B...
«La	
   VQR	
   in	
   realtà	
   ha	
   come	
   compito	
   primario
	
  
quello	
   di	
   creare	
   conoscenza	
   pe...
Proposta:	
   stanziare	
   borse	
   di	
   studio	
   per	
   gli
	
  
studenY	
  milanesi	
  più	
  capaci	
  e	
  meri...
Problemi	
  bibliometrici	
  della	
  VQR	
  
•  Non	
  c’è	
  uniformità	
  del	
  metro	
  di	
  giudizio	
  
bibliometr...
Cato mirari se aiebat,
quod non rideret
haruspex haruspicem
cum vidisset
Cicerone, DE NATURA DEORUM, III, 26
Grazie	
  per	
  l’a_enzione!	
  
AGUZZATE	
  LA	
  VISTA:	
  trovate	
  la	
  vera	
  VQR	
  (Area	
  09)	
  
	
  
in	
  mezzo	
  a	
  o-o	
  VQR	
  purame...
VQR: un metro rotto?
Upcoming SlideShare
Loading in...5
×

VQR: un metro rotto?

218

Published on

Slides presentate al dibattito "Valutare la ricerca" organizzato dall'ADI (Associazione Dottorandi e Dottori di Ricerca Italiani), Pisa 29 novembre 2013. Partecipanti: A. Bonaccorsi (Univ. Pisa e ANVUR), G. De Nicolao (Univ. Pavia e Roars), A. Nuvolari (Scuola Sup. S. Anna)

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
218
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
5
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "VQR: un metro rotto?"

  1. 1. VQR:  un  metro  ro-o?   Giuseppe  De  Nicolao   Dip.  Ingegneria  Industriale  e  dell’Informazione   Università  di  Pavia  
  2. 2. Tesi:  nelle  aree  bibliometriche     la  VQR  è  inaffidabile  perché  basata     su  metriche  disomogenee   1.  Le  aree  sono  scalibrate  (peccato  veniale)   2.  Le  bibliometrie  degli  SSD  sono  scalibrate     (fatal  error)   3.  Bibliometria  e  peer-­‐review  sono  scalibrate   (fatal  error)   4.  Classifiche  credibili?  
  3. 3. 1.  Le  aree  sono  scalibrate   ING-­‐INF/05!  
  4. 4. I  due  volB  del  quadrato     magico  del  GEV09   BEST   Lo  schema   base  ...   ...  ha  due   varianB  ...   WORST  
  5. 5. Quale  bersaglio  preferite?   ING-­‐INF/05   Resto  del  GEV  09   BEST   BEST   1 punto 1 punto 0,8 punti CITATIONS   0,8 punti 0,5 pti 0,5 pti 0 punti JOURNAL RANKING 0 punti WORST   JOURNAL RANKING WORST  
  6. 6. and  the  loser  is  ...  ING-­‐INF/05!  
  7. 7. and  the  loser  is  ...  ING-­‐INF/05!  
  8. 8. Area  09:  La  VQR  è  invalidata   Per  esempio,  a  parità  di  condizioni  un   diparJmento  di  Ing.  Meccanica  è   ingiustamente  avvantaggiato  rispeMo   ad  un  diparJmento  di  Ing.  InformaJca  
  9. 9. Per  fortuna  la  scalibrazione     tocca  solo  il  GEV  09  ...  o  no?   Per  rispondere,   andiamo  a  leggere   l’Appendice  A  del   Rapporto  Finale  VQR  
  10. 10. Proviamo  a  visualizzare  la   Tabella  A1.1  aMraverso  la   metafora  del  Jro  con  l’arco  
  11. 11. Le basi di tiro bibliometrico
  12. 12. E = 1 B = 0,8 A = 0,5 L = 0
  13. 13. 20% 20% 10% 50%
  14. 14. Ma  come  sono  faW  i  bersagli  veri?   Ce  lo  dice  l’ANVUR:  infaR,  la  Tabella  A1.1  ci   fornisce  proprio  le  dimensioni  degli  anelli  del   bersaglio  per  ciascuna  area  CUN  
  15. 15. I  veri  “bersagli  VQR”  sono  diversi  da   quello  teorico  e  cambiano  da  area  ad  area  
  16. 16. Ti  piace  vincere  facile?   22% 40% 21% 13% 44% 25% Scienze   Mediche   Ingegneria   Industriale  e   dell’Informazione   14% 21%
  17. 17. Morale:  Le  for5  variazioni     inter-­‐area  rendono  i  vo5   incomparabili  tra  aree  diverse   L’ANVUR  lo  sa  e  scrive  che  i  voB  in   aree  diverse  non  sono  comparabili  ...   (peccato  veniale)   ...  ma  il  problema  è  dentro  le  aree.  
  18. 18. 2.  La  bibliometria  dei  SSD  è  scalibrata  
  19. 19. I  bersagli  dei  SSD  sono  scalibraB?   Sì,  come  confessa  il  GEV  09  
  20. 20. I  bersagli  dei  SSD  sono  scalibraB?   Sì,  come  confessa  il  GEV  02  
  21. 21. Area  02:  lo  schema  base  ....  
  22. 22. ....  e  le  ricalibrazioni  
  23. 23. Tu-o  è  bene  quel  che  finisce  bene?   •  Il GEV 02 ha ricalibrato •  Tutto bene, allora •  Non proprio, perché 1.  Gli altri GEV non hanno ricalibrato 2.  Ricalibrando, il GEV 02 ha cambiato la proporzione di peer-review (altra fonte di scalibrazione)
  24. 24. I  bersagli  dei  SSD  sono  scalibraB?   Altra  evidenza  dal  GEV  09  
  25. 25. I  bersagli  dei  SSD  sono  scalibraB?   Altra  evidenza  dal  GEV  09   Nell’area 09 ci sono due misure “esterne” alla VQR: Top 1% e 5% secondo Web of Science
  26. 26. % ECCELLENTI WoS (Top 5%) Area 09: confronto Web of Science vs VQR ... ma la misura esterna Top 5% non è troppo coerente con la % Eccellenti della VQR ... % ECCELLENTI VQR
  27. 27. % ECCELLENTI WoS (Top 5%) ... e nemmeno con il voto medio VQR VOTO MEDIO VQR
  28. 28. Morale  della  favola   •  Le  bibliometrie  dei  SSD  sono  scalibrate   (confessione  del  GEV  02)   •  Area  09:  SSD  “eccellenY”  per  VQR  non  lo  sono   per  Web  of  Science              FATAL  ERROR?  
  29. 29. 3.  Bibliometria  e  peer-­‐review     sono  scalibrate  
  30. 30. La  versione  ufficiale   “una più che adeguata concordanza tra valutazione peer e biblio” Stesse identiche parole in tutti i rapporti di area 01-09
  31. 31. Visualizziamo  la  concordanza     peer-­‐review  vs  bibliometria   E Livelli di grigio proporzionali alla frequenza dei casi A L IP E VALUTAZIONE BIBLIO Questo è il caso ideale (i giudizi concordano sempre). B B A L IR VALUTAZIONE PEER
  32. 32. AGUZZATE  LA  VISTA:  trovate  la  concordanza  VQR  (Area  09)     in  mezzo  a  13  campioni  casuali  a  concordanza  nulla   CASO IDEALE
  33. 33. La  versione  ufficiale  traballa   ANVUR: k = 0, 1710 concordanza più che adeguata Wikipedia: 0 ≤ k ≤ 0,4 concordanza scarsa
  34. 34. La  versione  ufficiale  traballa   ANVUR: k = 0, 1710 concordanza più che adeguata Wikipedia: 0 ≤ k ≤ 0,4 concordanza scarsa
  35. 35. Un  errore  di  Wikipedia?  Non  sembra:  
  36. 36. VOTO MEDIO VQR SSD:  Voto  medio  VQR  vs  %  peer  review   il voto medio VQR di ogni SSD è ben predicibile dalla % di prodotti valutati mediante peerreview (!) % PEER REVIEW
  37. 37. Morale  della  favola   •  Valutazione  bibliometrica  e  peer-­‐review   concordano  poco   •  VoY  più  bassi  per  chi  ha  %  maggiore  di   prodoR  valutaY  in  peer  review   •  SSD  eccellenB  secondo  ANVUR  non  sono   quelli  eccellenB  secondo  Web  of  Science,  ma   quelli  che  hanno  una  bassa  %  di  peer-­‐review              FATAL  ERROR?  
  38. 38. 4.  Classifiche  credibili?  
  39. 39. Classifiche  per  chiudere   SERGIO BENEDETTO (CONSIGLIO DIRETTIVO ANVUR) 4–02-2012!
  40. 40. Messina  meglio  di  Milano  Politecnico?   Area  8b:  Archite_ura   Area  9:    Ingegneria  Industriale  e  dell’informazione  
  41. 41. Messina  meglio  di  Milano  Politecnico:   sarà  colpa  di  qualche  errore  casuale?   Ma  l’ANVUR  dice  che  ...  
  42. 42. «Il  caso  non  ha  dunque  nulla  a  che  fare   con  i  risultaB  della  Vqr»     S.  Benede_o  e  R.  Torrini   h_p://www.lavoce.info/una-­‐valutazione-­‐molto-­‐chiara/  
  43. 43. «La   VQR   in   realtà   ha   come   compito   primario   quello   di   creare   conoscenza   per   il   policy   maker,   per   gli   organi   di   governo   delle   Stru_ure,   per   i   giovani   che   vogliono   intraprendere   gli   studi   universitari  …»   S.  Fantoni,  “Una  radiografia  del  sistema  universitario”,    in:  I  vo5  all’università,   supplemento  del  Corriere  della  Sera,  Luglio  2013,  pag.  12  
  44. 44. Proposta:   stanziare   borse   di   studio   per   gli   studenY  milanesi  più  capaci  e  meritevoli  perché   possano   andare   a   studiare   Archite_ura   ed   Ingegneria  a  Messina.  
  45. 45. Problemi  bibliometrici  della  VQR   •  Non  c’è  uniformità  del  metro  di  giudizio   bibliometrico  tra  le  aree   •  ForY  indizi  che  il  metro  di  giudizio  sia  disuniforme   anche  nelle  le  aree   •  Il  mix  bibliometria/peer  review  introduce  ulteriori   disuniformità   •  Conseguenza:  sono  credibili  le  pagelle  VQR?  
  46. 46. Cato mirari se aiebat, quod non rideret haruspex haruspicem cum vidisset Cicerone, DE NATURA DEORUM, III, 26
  47. 47. Grazie  per  l’a_enzione!  
  48. 48. AGUZZATE  LA  VISTA:  trovate  la  vera  VQR  (Area  09)     in  mezzo  a  o-o  VQR  puramente  casuali,  simulate  con  il  Lego  
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×