Seminario di Giuseppe De Nicolao
Upcoming SlideShare
Loading in...5
×
 

Seminario di Giuseppe De Nicolao

on

  • 1,145 views

 

Statistics

Views

Total Views
1,145
Views on SlideShare
812
Embed Views
333

Actions

Likes
0
Downloads
20
Comments
0

1 Embed 333

http://www.roars.it 333

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Seminario di Giuseppe De Nicolao Seminario di Giuseppe De Nicolao Presentation Transcript

    • VQR: diagnosi, patologia e prognosi della bibliometria fai-da-te Giuseppe De Nicolao (Univ. di Pavia) ANVUR e politiche di sistema Roma, 17 maggio 2012
    • Capitoli1. La parete nord della valutazione2. Classifiche fai-da-te3. Alcune valutazioni sono più uguali delle altre4. Dove stiamo andando?
    • Capitolo 1 La parete norddella valutazione
    • Vetta: valutazione nazionale della ricercaVie classiche: peer review, statistiche bibliometricheParete nord: valutazione bibliometrica dei singoli articoliTre spedizioni: UK - RAE/REF Australia - ERA Italia - VQR
    • British REF (Research Excellence Framework)Bibliometrics are not sufficiently robust at this stage to be usedformulaically or to replace expert review in the REFReport on the pilot exercise to develop bibliometric indicators for the ResearchExcellence Framework, September 2009Australian ERA (Excellence of Research in Australia)There is clear and consistent evidence that the rankings were beingdeployed inappropriately … in ways that could produce harmfuloutcomes Ministro K. Carr, 30 Maggio 2011
    • Italia - VQR Definizione criteri: 3 mesi Fonte: Servizio Studi, Politecnico di Milano Atenei GEV ANVUR 14 GEV ⇒ 14 Bibliometrie fai-da-te6
    • VQR: criteri fai-da-te• Approcci eterogenei ed empirici per far fronte alla carenza di tempo• Per dare un’idea delle criticità, tre esempi: – classifica delle riviste del Sub-GEV01.1 – soglie bibliometriche del GEV09 – paradossi della valutazione delle strutture
    • Capitolo 2Classifiche fai-da-te
    • Una classifica fai-da-te delle riviste• Problema: come costruire una classifica “oggettiva” delle riviste?• Idea: indicatori bibliometrici (Impact Factor, 5- Year Impact Factor, EigenFactor, Article Influence)• Problema: Quale scegliere?• Idea: Media di indicatori• Problema: come normalizzarli?• Idea: 4 classifiche e poi calcolo la media delle posizioni in classifica
    • Journal of Excellent Computing 1° – Impact Factor 3° – 5-Year Impact Factor 6° – Eigenfactor Score 10° – Article InfluenceMedia dei ranking= (1 + 3 +6 +10)/4 = 5Simile allo score Rf usato dal Sub-GEV01.1(vengono mediati un ranking bibliometrico e leclassi di merito di 2 classifiche)GEV01 – Frequently Asked Questions, p. 6http://www.anvur.org/sites/anvur-miur/files/gev_documenti/gev01_faq.pdf
    • Il giro d’Italia fai-da-te• Coppi vince il tappone dolomitico con 20 min di distacco sul secondo: maglia rosa!• Il giorno dopo arriva decimo a 3 secondi dal primo• Maglia rosa passa ad un gregario che è arrivato quinto in tutte e due le tappe Gregario: (5 + 5)/2 = 5 Coppi: (1 + 10)/2 = 5.5
    • Negli USA, nella valutazione degli “high-stakes” test, la media dei percentile ranks è stata abbandonata in quanto statisticamene scorretta“The only reason for using percentile ranks isignorance, and it is questionable whether adefense of ignorance will be viable.” B. Thompson (1993)
    • Capitolo 3 Alcunevalutazioni sonopiù uguali delle altre
    • ANVUR proposal: Use bibliometry, # of citations (and informed peer review) Bibliometry (IF,…) Bibliometry (IF,…) A B C D A B C D A A A A A? A A IR IR IR Old articles B IR B IR IR B A B IR D CitationsCitations C IR IR C IR C A IR C D Recent D IR D D D articles D A? IR IR D For the matrix entries labeled IR we rely on the informed peer review 14
    • I due volti del quadrato magico del GEV09 BESTLo schema ... ha due base ... varianti ... WORST
    • Quale bersaglio preferite? ING-INF/05 Resto del GEV 09BEST BEST 1 punto 1 punto 0,8 punti 0,8 punti 0,5 pti CITATIONS 0,5 pti 0 punti 0 punti JOURNAL RANKING WORST JOURNAL RANKING WORST
    • Che vantaggio offre il bersaglio facile? Ipotesi: articolo estratto a caso da produzione mondiale, assumendo quattro diverse distribuzioni, vedi: http://www.roars.it/online/?p=6280 Vantaggio = + 40%
    • Area 09: una gara alla pari?Se fossero tutti bravi uguali, chiè favorito dal bersaglio facile?
    • S. Benedetto: “Tutte le università dovrannoripartire da zero. E quando la valutazione saràconclusa, avremo la distinzione tra researchinguniversity e teaching university. Ad alcune sipotrà dire: tu fai solo il corso di laurea triennale.E qualche sede dovrà essere chiusa” Repubblica, 4 Febbraio 2012
    • La formula “ammazza-atenei”Le conseguenze paradossali dei punteggi negativi per i prodotti mancanti
    • Capitolo 4Dove stiamo andando?
    • Gli errori architetturali della VQR• La confusione tra progettisti dei criteri e valutatori• La confusione tra eccellenza scientifica e competenza nel gestire e condurre processi divalutazione• La mancanza di tempo e trasparenza nella definizione dei criteri bibliometrici
    • Problemi bibliometrici della VQR• Cade l’uniformità del metro di giudizio bibliometrico dentro le aree• Il mix bibliometria/peer review introduce ulteriori disuniformità• Procedura contorta che mette in crisi i singoli e le strutture nella selezione dei prodotti migliori• Conseguenza: risultati inaffidabili e spreco di risorse (e credibilità)• Chi sta remando contro la valutazione (seria)?
    • Bibliografia• La classifica di Nonna Papera http://www.roars.it/online/?p=3567• Alcune valutazioni sono più uguali delle altre http://www.roars.it/online/?p=6280• La formula ammazza-atenei http://www.roars.it/online/?p=4391
    • Grazie per l’attenzione!