Seminario di Giuseppe De Nicolao

1,081 views
1,015 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,081
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
23
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Seminario di Giuseppe De Nicolao

  1. 1. VQR: diagnosi, patologia e prognosi della bibliometria fai-da-te Giuseppe De Nicolao (Univ. di Pavia) ANVUR e politiche di sistema Roma, 17 maggio 2012
  2. 2. Capitoli1. La parete nord della valutazione2. Classifiche fai-da-te3. Alcune valutazioni sono più uguali delle altre4. Dove stiamo andando?
  3. 3. Capitolo 1 La parete norddella valutazione
  4. 4. Vetta: valutazione nazionale della ricercaVie classiche: peer review, statistiche bibliometricheParete nord: valutazione bibliometrica dei singoli articoliTre spedizioni: UK - RAE/REF Australia - ERA Italia - VQR
  5. 5. British REF (Research Excellence Framework)Bibliometrics are not sufficiently robust at this stage to be usedformulaically or to replace expert review in the REFReport on the pilot exercise to develop bibliometric indicators for the ResearchExcellence Framework, September 2009Australian ERA (Excellence of Research in Australia)There is clear and consistent evidence that the rankings were beingdeployed inappropriately … in ways that could produce harmfuloutcomes Ministro K. Carr, 30 Maggio 2011
  6. 6. Italia - VQR Definizione criteri: 3 mesi Fonte: Servizio Studi, Politecnico di Milano Atenei GEV ANVUR 14 GEV ⇒ 14 Bibliometrie fai-da-te6
  7. 7. VQR: criteri fai-da-te• Approcci eterogenei ed empirici per far fronte alla carenza di tempo• Per dare un’idea delle criticità, tre esempi: – classifica delle riviste del Sub-GEV01.1 – soglie bibliometriche del GEV09 – paradossi della valutazione delle strutture
  8. 8. Capitolo 2Classifiche fai-da-te
  9. 9. Una classifica fai-da-te delle riviste• Problema: come costruire una classifica “oggettiva” delle riviste?• Idea: indicatori bibliometrici (Impact Factor, 5- Year Impact Factor, EigenFactor, Article Influence)• Problema: Quale scegliere?• Idea: Media di indicatori• Problema: come normalizzarli?• Idea: 4 classifiche e poi calcolo la media delle posizioni in classifica
  10. 10. Journal of Excellent Computing 1° – Impact Factor 3° – 5-Year Impact Factor 6° – Eigenfactor Score 10° – Article InfluenceMedia dei ranking= (1 + 3 +6 +10)/4 = 5Simile allo score Rf usato dal Sub-GEV01.1(vengono mediati un ranking bibliometrico e leclassi di merito di 2 classifiche)GEV01 – Frequently Asked Questions, p. 6http://www.anvur.org/sites/anvur-miur/files/gev_documenti/gev01_faq.pdf
  11. 11. Il giro d’Italia fai-da-te• Coppi vince il tappone dolomitico con 20 min di distacco sul secondo: maglia rosa!• Il giorno dopo arriva decimo a 3 secondi dal primo• Maglia rosa passa ad un gregario che è arrivato quinto in tutte e due le tappe Gregario: (5 + 5)/2 = 5 Coppi: (1 + 10)/2 = 5.5
  12. 12. Negli USA, nella valutazione degli “high-stakes” test, la media dei percentile ranks è stata abbandonata in quanto statisticamene scorretta“The only reason for using percentile ranks isignorance, and it is questionable whether adefense of ignorance will be viable.” B. Thompson (1993)
  13. 13. Capitolo 3 Alcunevalutazioni sonopiù uguali delle altre
  14. 14. ANVUR proposal: Use bibliometry, # of citations (and informed peer review) Bibliometry (IF,…) Bibliometry (IF,…) A B C D A B C D A A A A A? A A IR IR IR Old articles B IR B IR IR B A B IR D CitationsCitations C IR IR C IR C A IR C D Recent D IR D D D articles D A? IR IR D For the matrix entries labeled IR we rely on the informed peer review 14
  15. 15. I due volti del quadrato magico del GEV09 BESTLo schema ... ha due base ... varianti ... WORST
  16. 16. Quale bersaglio preferite? ING-INF/05 Resto del GEV 09BEST BEST 1 punto 1 punto 0,8 punti 0,8 punti 0,5 pti CITATIONS 0,5 pti 0 punti 0 punti JOURNAL RANKING WORST JOURNAL RANKING WORST
  17. 17. Che vantaggio offre il bersaglio facile? Ipotesi: articolo estratto a caso da produzione mondiale, assumendo quattro diverse distribuzioni, vedi: http://www.roars.it/online/?p=6280 Vantaggio = + 40%
  18. 18. Area 09: una gara alla pari?Se fossero tutti bravi uguali, chiè favorito dal bersaglio facile?
  19. 19. S. Benedetto: “Tutte le università dovrannoripartire da zero. E quando la valutazione saràconclusa, avremo la distinzione tra researchinguniversity e teaching university. Ad alcune sipotrà dire: tu fai solo il corso di laurea triennale.E qualche sede dovrà essere chiusa” Repubblica, 4 Febbraio 2012
  20. 20. La formula “ammazza-atenei”Le conseguenze paradossali dei punteggi negativi per i prodotti mancanti
  21. 21. Capitolo 4Dove stiamo andando?
  22. 22. Gli errori architetturali della VQR• La confusione tra progettisti dei criteri e valutatori• La confusione tra eccellenza scientifica e competenza nel gestire e condurre processi divalutazione• La mancanza di tempo e trasparenza nella definizione dei criteri bibliometrici
  23. 23. Problemi bibliometrici della VQR• Cade l’uniformità del metro di giudizio bibliometrico dentro le aree• Il mix bibliometria/peer review introduce ulteriori disuniformità• Procedura contorta che mette in crisi i singoli e le strutture nella selezione dei prodotti migliori• Conseguenza: risultati inaffidabili e spreco di risorse (e credibilità)• Chi sta remando contro la valutazione (seria)?
  24. 24. Bibliografia• La classifica di Nonna Papera http://www.roars.it/online/?p=3567• Alcune valutazioni sono più uguali delle altre http://www.roars.it/online/?p=6280• La formula ammazza-atenei http://www.roars.it/online/?p=4391
  25. 25. Grazie per l’attenzione!

×