Seminario di Alberto Baccini
Upcoming SlideShare
Loading in...5
×
 

Seminario di Alberto Baccini

on

  • 1,128 views

 

Statistics

Views

Total Views
1,128
Views on SlideShare
775
Embed Views
353

Actions

Likes
1
Downloads
18
Comments
0

1 Embed 353

http://www.roars.it 353

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Seminario di Alberto Baccini Seminario di Alberto Baccini Presentation Transcript

  • La valutazione della ricerca in un paeseritardatario: modelli a confronto Alberto Baccini (DEPS Unisi) ANVUR e politiche di sistema Roma, 17 maggio 2012 Alberto Baccini, Valutare la ricerca scientifica
  • Alcune riflessioni introduttive A che serve valutare la ricerca? Separazione tra obiettivi della valutazione e sua realizzazione Chi valuta la ricerca? Struttura istituzionale della valutazione Come si valuta la ricerca? Peer review vs. bibliometria? Quanto costa valutare la ricerca?  RAE £100M; VQR 300M€ (Sirilli); ERA 2012 diretti 35,8 mAU$; 27,90m€) Accuratezza vs. costi della valutazione: boiling frog syndrome  Are we creating a Frankenstein monster? (Ben R. Martin 2012) Il vantaggio di arrivare in ritardo … Alberto Baccini, Valutare la ricerca scientifica
  • Cosa si fa in giro per il mondo Diane Hicks (2009) ha contato 20 esercizi nazionali di valutazione  19 sono condotti da una agenzia indipendente.  In Italia l’ANVUR, nata in origine come agenzia indipendente (Mussi/ Modica), è stata trasformata da Gelmini/Giavazzi in executive agency del MIUR  C. Pinelli, Rivista AIC http://www.roars.it/online/?p=4351 10/20 usano bibliometria 18/20 si valuta università/disciplina/dipartimento In Messico e Sud Africa si valutano gli individui  http://www.nrf.ac.za/projects.php?pid=34 Alberto Baccini, Valutare la ricerca scientifica
  • In Italia In Italia si valutano i singoli prodotti (come in UK)  Il giudizio sarà comunicato riservatamente a ciascun ricercatore Si chiamano “soggetti valutati” i ricercatori  Nel bando pre-Gelmini/ANVUR si chiamavano correttamente “soggetti interessati” Classifiche di Università/Dipartimenti Il Ministro (davvero!) ha definito la griglia di valutazione dei singoli prodotti (50:10:20:20), i punteggi (1:0,8;0,5;0), le penalizzazioni -0,5 per ogni prodotto mancante  Confusione di ruoli istituzionali  Origini di molti problemi tecnici del VQR (valutazione a due stadi; G. De Nicolao: Nonna Papera e formula Ammazzatenei) Alberto Baccini, Valutare la ricerca scientifica
  • Cosa avremmo potuto fare e non abbiamofatto: il modello REF Peer review universale su 4 prodotti di un (sottoinsieme) di ricercatori di ogni istituzione Peer review condotta da 4 main panel e 36 sub-panel David Sweeney, direttore dell’HEFCE,  “With regard to our assessment of research previously through the Research Assessment Exercise and the Research Excellence Framework, we are very clear that we do not use our journal Impact Factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all.  He added that “the [REF] panels are meeting now to develop their detailed criteria, but it is an underpinning element in the exercise that journal Impact Factors will not be used”.  http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf Schema guidato di valutazione con metrica unica Alberto Baccini, Valutare la ricerca scientifica
  • Cosa avremmo potuto fare e non abbiamofatto: il modello ERA 2010 Modello bibliometrico puro basato su ranking delle riviste Ranking di tipo peer con consultazione durata 2 anni (!)  http://www.arc.gov.au/era/journal_list_dev.htm  20.712 riviste divise in 4 livelli (5:10:30:50)  Lista universalmente e totalmente nota prima  http://www.arc.gov.au/era/era_2010/archive/era_journal_list.htm#1  Profili disciplinari  http://www.arc.gov.au/pdf/ERA_s2.pdf Alberto Baccini, Valutare la ricerca scientifica
  • Cosa avremmo potuto fare e non abbiamofatto: il modello ERA 2012 Abbandono ranking riviste  “I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way we do things in this country” (David Sweeney)  (Vanclay 2011)  Why are ranks no longer being used? http://www.arc.gov.au/era/faq.htm Copertura universale: analisi delle citazioni (Scopus) 30% dei prodotti soggetti a peer review (su indicazione delle università) per settori selezionati Struttura della rilevazione  http://www.arc.gov.au/xls/era12/ERA_2012_Discipline_Matrix.xls Alberto Baccini, Valutare la ricerca scientifica
  • Cosa sta facendo l’ANVUR Aree 1-9  Valutazione singolo prodotto (REF-like)  Con strumenti bibliometrici (inedito)  Bibliometria differenziata per GEV (inedito)  Siccome l’informazione di base è “rozza”  Si “corregge” con informazione “rozza” (ranking riviste)  Quadrati magici (inediti)  Impossibilità di scelta informata  189 pagine di simulazionehttp://www.crui.it/HomePage.aspx?ref=2071# Alberto Baccini, Valutare la ricerca scientifica
  • Cosa sta facendo l’ANVUR Aree 10-12 e 14  Informed peer review  Con classificazioni delle riviste messe a punto in modo completamente opaco:  Distribuzioni di riviste molto diverse per ambito disciplinare  Ci sono indizi che i GEV siano stati catturati dai valutandi! (Sociologia, filosofia?, diritto, economia)  Peer review a punteggio guidato che rende a priori improbabile l’attribuzione di un prodotto alla classe A:  A. Banfi http://www.roars.it/online/?p=5757  Perché non si sono adottate le guidelines europee per la peer review?  http://www.scribd.com/doc/63421310/European-Peer-Review-Guide Alberto Baccini, Valutare la ricerca scientifica
  • Cosa sta facendo l’ANVUR Area 13  Classifica riviste non nota:  fatta ex post su criteri non noti (IF o IF5Y)  Alle riviste non presenti in WoS sarà imputato (come?) l’IF sulla base dei dati di GoogleScholar  Saranno riammesse riviste italiane (?)  Si potrà passare di categoria in presenza di articolo con “numero significativo di citazioni” (?)  Prodotti diversi da articoli andranno a peer review  Il porto delle nebbie Alberto Baccini, Valutare la ricerca scientifica
  • Alcune proposte La VQR è un esercizio sperimentale vincolato da regole mal disegnate (dall’ex ministro)  Ridurre l’enfasi punitiva (scorporare dalla formula ammazza-atenei i silenti!)  Serve per progettare la prossima VQR  Il ministro sia cauto nell’usare i risultati della VQR per l’FFO Trasparenza:  pubblicità delle procedure adottate per nomina GEV;  nomina referees: elenchi pubblici ex post, con indicazione del numero dei prodotti valutati (Lincei)  Completa disclosure dei dati elementari finali Sterilizzare completamente l’uso delle classifiche di riviste per i GEV 10-12 e 14; GEV 13: classifica deve essere pubblicata Alberto Baccini, Valutare la ricerca scientifica
  • Conclusioni Banksy, Mayfair Alberto Baccini, Valutare la ricerca scientifica