Seminario di Alberto Baccini

1,088 views

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,088
On SlideShare
0
From Embeds
0
Number of Embeds
356
Actions
Shares
0
Downloads
20
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Seminario di Alberto Baccini

  1. 1. La valutazione della ricerca in un paeseritardatario: modelli a confronto Alberto Baccini (DEPS Unisi) ANVUR e politiche di sistema Roma, 17 maggio 2012 Alberto Baccini, Valutare la ricerca scientifica
  2. 2. Alcune riflessioni introduttive A che serve valutare la ricerca? Separazione tra obiettivi della valutazione e sua realizzazione Chi valuta la ricerca? Struttura istituzionale della valutazione Come si valuta la ricerca? Peer review vs. bibliometria? Quanto costa valutare la ricerca?  RAE £100M; VQR 300M€ (Sirilli); ERA 2012 diretti 35,8 mAU$; 27,90m€) Accuratezza vs. costi della valutazione: boiling frog syndrome  Are we creating a Frankenstein monster? (Ben R. Martin 2012) Il vantaggio di arrivare in ritardo … Alberto Baccini, Valutare la ricerca scientifica
  3. 3. Cosa si fa in giro per il mondo Diane Hicks (2009) ha contato 20 esercizi nazionali di valutazione  19 sono condotti da una agenzia indipendente.  In Italia l’ANVUR, nata in origine come agenzia indipendente (Mussi/ Modica), è stata trasformata da Gelmini/Giavazzi in executive agency del MIUR  C. Pinelli, Rivista AIC http://www.roars.it/online/?p=4351 10/20 usano bibliometria 18/20 si valuta università/disciplina/dipartimento In Messico e Sud Africa si valutano gli individui  http://www.nrf.ac.za/projects.php?pid=34 Alberto Baccini, Valutare la ricerca scientifica
  4. 4. In Italia In Italia si valutano i singoli prodotti (come in UK)  Il giudizio sarà comunicato riservatamente a ciascun ricercatore Si chiamano “soggetti valutati” i ricercatori  Nel bando pre-Gelmini/ANVUR si chiamavano correttamente “soggetti interessati” Classifiche di Università/Dipartimenti Il Ministro (davvero!) ha definito la griglia di valutazione dei singoli prodotti (50:10:20:20), i punteggi (1:0,8;0,5;0), le penalizzazioni -0,5 per ogni prodotto mancante  Confusione di ruoli istituzionali  Origini di molti problemi tecnici del VQR (valutazione a due stadi; G. De Nicolao: Nonna Papera e formula Ammazzatenei) Alberto Baccini, Valutare la ricerca scientifica
  5. 5. Cosa avremmo potuto fare e non abbiamofatto: il modello REF Peer review universale su 4 prodotti di un (sottoinsieme) di ricercatori di ogni istituzione Peer review condotta da 4 main panel e 36 sub-panel David Sweeney, direttore dell’HEFCE,  “With regard to our assessment of research previously through the Research Assessment Exercise and the Research Excellence Framework, we are very clear that we do not use our journal Impact Factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all.  He added that “the [REF] panels are meeting now to develop their detailed criteria, but it is an underpinning element in the exercise that journal Impact Factors will not be used”.  http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf Schema guidato di valutazione con metrica unica Alberto Baccini, Valutare la ricerca scientifica
  6. 6. Cosa avremmo potuto fare e non abbiamofatto: il modello ERA 2010 Modello bibliometrico puro basato su ranking delle riviste Ranking di tipo peer con consultazione durata 2 anni (!)  http://www.arc.gov.au/era/journal_list_dev.htm  20.712 riviste divise in 4 livelli (5:10:30:50)  Lista universalmente e totalmente nota prima  http://www.arc.gov.au/era/era_2010/archive/era_journal_list.htm#1  Profili disciplinari  http://www.arc.gov.au/pdf/ERA_s2.pdf Alberto Baccini, Valutare la ricerca scientifica
  7. 7. Cosa avremmo potuto fare e non abbiamofatto: il modello ERA 2012 Abbandono ranking riviste  “I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way we do things in this country” (David Sweeney)  (Vanclay 2011)  Why are ranks no longer being used? http://www.arc.gov.au/era/faq.htm Copertura universale: analisi delle citazioni (Scopus) 30% dei prodotti soggetti a peer review (su indicazione delle università) per settori selezionati Struttura della rilevazione  http://www.arc.gov.au/xls/era12/ERA_2012_Discipline_Matrix.xls Alberto Baccini, Valutare la ricerca scientifica
  8. 8. Cosa sta facendo l’ANVUR Aree 1-9  Valutazione singolo prodotto (REF-like)  Con strumenti bibliometrici (inedito)  Bibliometria differenziata per GEV (inedito)  Siccome l’informazione di base è “rozza”  Si “corregge” con informazione “rozza” (ranking riviste)  Quadrati magici (inediti)  Impossibilità di scelta informata  189 pagine di simulazionehttp://www.crui.it/HomePage.aspx?ref=2071# Alberto Baccini, Valutare la ricerca scientifica
  9. 9. Cosa sta facendo l’ANVUR Aree 10-12 e 14  Informed peer review  Con classificazioni delle riviste messe a punto in modo completamente opaco:  Distribuzioni di riviste molto diverse per ambito disciplinare  Ci sono indizi che i GEV siano stati catturati dai valutandi! (Sociologia, filosofia?, diritto, economia)  Peer review a punteggio guidato che rende a priori improbabile l’attribuzione di un prodotto alla classe A:  A. Banfi http://www.roars.it/online/?p=5757  Perché non si sono adottate le guidelines europee per la peer review?  http://www.scribd.com/doc/63421310/European-Peer-Review-Guide Alberto Baccini, Valutare la ricerca scientifica
  10. 10. Cosa sta facendo l’ANVUR Area 13  Classifica riviste non nota:  fatta ex post su criteri non noti (IF o IF5Y)  Alle riviste non presenti in WoS sarà imputato (come?) l’IF sulla base dei dati di GoogleScholar  Saranno riammesse riviste italiane (?)  Si potrà passare di categoria in presenza di articolo con “numero significativo di citazioni” (?)  Prodotti diversi da articoli andranno a peer review  Il porto delle nebbie Alberto Baccini, Valutare la ricerca scientifica
  11. 11. Alcune proposte La VQR è un esercizio sperimentale vincolato da regole mal disegnate (dall’ex ministro)  Ridurre l’enfasi punitiva (scorporare dalla formula ammazza-atenei i silenti!)  Serve per progettare la prossima VQR  Il ministro sia cauto nell’usare i risultati della VQR per l’FFO Trasparenza:  pubblicità delle procedure adottate per nomina GEV;  nomina referees: elenchi pubblici ex post, con indicazione del numero dei prodotti valutati (Lincei)  Completa disclosure dei dati elementari finali Sterilizzare completamente l’uso delle classifiche di riviste per i GEV 10-12 e 14; GEV 13: classifica deve essere pubblicata Alberto Baccini, Valutare la ricerca scientifica
  12. 12. Conclusioni Banksy, Mayfair Alberto Baccini, Valutare la ricerca scientifica

×