Alberto Baccini: Il futuro della valutazione in un paese latecomer.

Il futuro della ricerca in un paese latecomer

Alberto Baccini (DEPS Unisi e ROARS)

IL sistema dell’Università e della ricerca
ROARS
Roma, 15 novembre 2012

Schema

  Cosa significa latecomer? (UK RAE 1986; VTR 2001)
  A che serve valutare la ricerca scientifica?
  Quanto costa valutare la ricerca?
  Chi valuta la ricerca scientifica?
  Come si valuta la ricerca scientifica?
  Perché abbiamo combinato questo disastro?
  C’è un futuro per la valutazione in Italia?

Alberto Baccini, Valutare la ricerca scientifica

A che serve valutare la ricerca scientifica?

  Performance-based Research Funding
  14 esercizi nazionali
  Sistemi nazionali di valutazione non utilizzati per la
distribuzione delle risorse di funzionamento
  7 esercizi nazionali
  (Francia, Germania, Giappone, Korea, Olanda, Portogallo, Sud
Africa)

Fonte: OECD: 2010


Hicks 2012

Quanti soldi si distribuiscono sulla base dei
risultati della valutazione?

FFO 2009: 7.500m€ FFO 2011: 6.911m€
FFO premiale 7%: 525m€ FFO premiale 12%: 832m€
FFO su base CIVR: 175m€ FFO su base CIVR: 109m€ 1,58%

)
Nota: (0,5*2/3 FFO Premiale )
Nota: (0,20*2/3 FFO Premiale


A che serve valutare la ricerca scientifica?
  Performance-based Research Funding

“Through the REF, the UK funding bodies aim to
develop and sustain a dynamic and internationally
competitive research sector that makes a major
contribution to economic prosperity, national
wellbeing and the expansion and dissemination of
knowledge.” (HEFCE, 2011)


La valutazione in Italia secondo ANVUR 1/3

«Tutte le università dovranno ripartire da zero. E quando la valutazione
sarà conclusa, avremo la distinzione tra researching university e teaching
university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E
qualche sede dovrà essere chiusa. Ora rivedremo anche i corsi di dottorato,
con criteri che porteranno a una diminuzione molto netta»
«Da noi s´è cominciato a parlare della valutazione nel 2006, ma poi non
se n´è fatto nulla. In Parlamento hanno ampia rappresentanza i
professori universitari, che danno voce alle proprie resistenze. Come se l
´attitudine a giudicare gli altri li autorizzasse a considerarsi al di sopra di
ogni valutazione».



“la valutazione è un esperimento sociale e non può evitare
di produrre effetti non intenzionali, taluni anche perversi”

Andrea Bonaccorsi «La valutazione della ricerca come esperimento sociale» Scuola democratica 2012



pedagogica


Quanto costa valutare la ricerca scientifica?

  Costo accettabile: 1-2% del finanziamento distribuito (Martin 2012)
  Relazione diretta tra accuratezza e costi della valutazione
  Are we creating a Frankenstein monster? (Ben R. Martin 2012)

  Italia eccezione alla regola: spesa elevata e scarsa accuratezza
  RAE/REF e VTR/VQR sono gli esercizi più costosi
“The RAE and VTR incur heavy costs in faculty time because
they are peer-review exercises.” Hicks 2012
  Alcune stime dei costi
  RAE £100M;
  ERA 2010 diretti 35,8 mAU$-27,90m€
  VQR 300m€ (Sirilli)


Chi valuta la ricerca?

  Pluralità di modelli istituzionali
  Italia:
  da due agenzie ministeriali CIVR-CNVSU
  ad ANVUR
  ANVUR è una «agenzia amministrativa»
«SOTTOPOSTA ALLA VIGILANZA DEL
MINISTRO» (art. 1, comma 3, del D.P.R. 76/2010)
  Non è una agenzia indipendente come l’AERES


Chi valuta la ricerca? Il ministro stabilisce le
regole tecniche della valutazione!
  Confusione di ruoli istituzionali (i valutatori dettano le policy, il
ministro le regole per la valutazione)
  Per la VQR il Ministro (davvero!) ha definito:
  la griglia di valutazione per la VQR (50:10:20:20)
  i punteggi per i singoli prodotti (1:0,8;0,5;0)
  le penalizzazioni (-0,5) per ogni prodotto mancante
  Origini di molti problemi tecnici del VQR
  http://www.roars.it/online/il-vqr-ed-il-vino-a-due-stadi/
  http://www.roars.it/online/vqr-gli-errori-della-formula-ammazza-atenei-dellanvur/

  A chi la paternità delle mediane?


E chi nomina i valutatori
  I 7 membri del consiglio direttivo sono nominati dal
ministro da una rosa scelta da un comitato di selezione
  I 7 membri hanno nominato i presidenti dei GEV
  I 7 membri ed il presidente di ogni GEV hanno
nominato i membri dei GEV
  Il presidente di ogni GEV con i membri dei GEV
hanno nominato i revisori della VQR
  I 7 membri hanno nominato i GDL per le liste di riviste
delle abilitazioni


Nomine autoreferenziali

http://www.roars.it/online/gli-esperti-di-valutazione-allitaliana/


Come si valuta la ricerca?
E la VQR dove la mettiamo?

Fonte OECD


Il modello REF

  Peer review universale su 4 prodotti di un (sottoinsieme) di
ricercatori di ogni istituzione
  Peer review condotta da 4 main panel e 36 sub-panel
  David Sweeney, direttore dell’HEFCE,
  “With regard to our assessment of research previously through the Research Assessment Exercise and
the Research Excellence Framework, we are very clear that we do not use our journal Impact Factors
as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is
not a contentious issue at all.
  He added that “the [REF] panels are meeting now to develop their detailed criteria, but it is an
underpinning element in the exercise that journal Impact Factors will not be used”.
  http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf

  Schema guidato di valutazione con metrica unica
  Regole per la scelta dei prodotti: ½ pagina


Il modello ERA 2010
  Modello bibliometrico puro basato su ranking delle
riviste
  Ranking di tipo peer con consultazione durata 2 anni (!)
  http://www.arc.gov.au/era/journal_list_dev.htm
  20.712 riviste divise in 4 livelli (5:10:30:50)
  Lista universalmente e totalmente nota prima
  http://www.arc.gov.au/era/era_2010/archive/era_journal_list.htm#1
  Profili disciplinari
  http://www.arc.gov.au/pdf/ERA_s2.pdf


Il modello ERA 2012
  Abbandono ranking riviste
  “I think we were very interested to see that in Australia, where they conceived an
exercise that was heavily dependent on journal rankings, after carrying out the first
exercise, they decided that alternative ways of assessing quality, other than journal
rankings, were desirable in what is a very major change for them, which leaves them
far more aligned with the way we do things in this country” (David Sweeney)
  (Vanclay 2011)
  Why are ranks no longer being used? http://www.arc.gov.au/era/faq.htm

  Copertura universale: analisi delle citazioni (Scopus)
  30% dei prodotti soggetti a peer review (su indicazione delle
università) per settori selezionati
  Struttura della rilevazione
  http://www.arc.gov.au/xls/era12/ERA_2012_Discipline_Matrix.xls


Cosa ha inventanto l’ANVUR 1/3
  Bipartizione del mondo:
  Bibliometrico e non bibliometrico (INEDITO!)
  Aree 1-9
  Valutazione singolo prodotto (REF-like) con strumenti bibliometrici
(inedito!)
  Bibliometria differenziata per GEV (inedito!)
  Quadrati magici (inediti)
  Siccome l’informazione di base è “rozza” si “corregge” con informazione “più
rozza” (con ranking riviste)
  Regole per la scelta dei prodotti:
  189 pagine di simulazione
http://www.crui.it/HomePage.aspx?ref=2071#


  Aree 10-12 e 14
  Informed peer review (inedito)
  Con classificazioni delle riviste messe a punto in modo completamente
opaco:
  Distribuzioni di riviste molto diverse per ambito disciplinare
  Ci sono indizi che i GEV siano stati catturati dai valutandi! (Sociologia,
filosofia?, diritto)
  Peer review a punteggio guidato che rende a priori improbabile l’attribuzione
di un prodotto alla classe A:
  A. Banfi http://www.roars.it/online/?p=5757

  Perché non si sono adottate le guidelines europee per la peer
review?
  http://www.scribd.com/doc/63421310/European-Peer-Review-Guide


  Area 13
  Mix di classificazione delle riviste e peer review
  Lista di riviste con IF imputato (INEDITO)
  Uso di Google Scholar (INEDITO)
  Procedura di imputazione (INEDITA)
 «operazione interessante ma piuttosto debole dal punto di vista
metodologico» (lettera del presidente della Società Italiana di
Statistica! ad ANVUR) http://sis-statistica.it/files/pdf/2012/lettera_per_gev.pdf
  Lista di riviste resa noto DOPO la presentazione dei prodotti


E per le abilitazioni? Ribalta internazionale


E per le abilitazioni?


Cosa è una rivista scientifica secondo l’ANVUR?

http://www.anvur.org/sites/anvur-miur/files/documento_di_accompagnamento_mediane_settori_non_bibliometrici_0.pdf


Cosa è la ricerca scientifica?

  http://www.oecdbookshop.org/oecd/display.asp?
lang=EN&sf1=identifiers&st1=922002081p1


Accademia norvegese delle scienze
Cosa è una pubblicazione scientifica?

http://www.uhr.no/documents/
Rapport_fra_UHR_prosjektet_4_11_engCJS_endelig_versjon_av_hele_
oversettelsen.pdf

Perché questo disastro?
  Clima culturale avverso all’università ed ai baroni
  Assenza di «cultura della valutazione» nell’accademia italiana
  Creazione di una struttura di valutazione istituzionalmente inadeguata (perché
dipendente direttamente dalla politica)
  Struttura di valutazione organizzativamente inadeguata
  Consiglio direttivo direttamente operativo
  Consiglio direttivo «tecnicamente inadeguato»
Rivista Numero articoli di membri
del consiglio direttivo
Research Evaluation 2 (Bonaccorsi)
Research Policy 6 (Bonaccorsi)
Scientometrics 4 Bonaccorsi
Journal of Informetrics 0
JASIST 0


Ci sarà un futuro per la valutazione in Italia

  Il sistema attuale attribuisce ai politici e ad una
ristrettissima élite di consulenti un potere enorme e
senza contrappesi sul sistema della ricerca.
  La valutazione guidata da una lobby di accademici e
politici può devastare ciò che di buono è stato fatto
dal mondo della ricerca italiano.
  E' necessaria pertanto una modifica radicale
dell’assetto istituzionale del sistema di valutazione
della ricerca.
  Alberto Baccini, Valutare la ricerca scientifica

Ridisegno di ANVUR
  Ipotesi 1. Agenzia autonoma sul modello AERES.
  Consiglio direttivo ampio composto da personalità qualificate provenienti
anche dalla ricerca privata, da ricercatori (università ed EPR) ed esperti di
valutazione
  nominati su proposta delle università e degli EPR.
  Ipotesi 2. Agenzie separate per valutazione della ricerca e attività
di valutazione ed accreditamento delle università e dei corsi di
studio.
  Consigli direttivi meno ampi costituiti come sopra.

NB. I dipendenti di Università ed EPR nei consigli direttivi percepiscono indennità
aggiuntive a copertura delle spese e non sono assimilati nelle retribuzioni ai dirigenti del
ministero.


Il ruolo del CUN

  Il CUN assume la funzione di rappresentanza
istituzionale della comunità.
  Ad esso spetta di definire, in raccordo
trasparente e formalizzato con le comunità
scientifiche e con le agenzie di valutazione, i
criteri di massima da usare per la realizzazione
delle attività di valutazione (ad esempio le
classificazioni disciplinari, le denominazioni dei
CDS, le liste di riviste scientifiche etc.).
  Alberto Baccini, Valutare la ricerca scientifica

  Per realizzare una efficace e credibile attività di valutazione sono necessari due strumenti di base:

  l’anagrafe nazionale dei prodotti della ricerca (ANPREPS), già prevista da una norma del 2009 ma mai attuata, deve essere realizzata e
manutenuta dal MIUR (non dalla Agenzia di valutazione) secondo standard internazionali. I prodotti inseriti nell’anagrafe devono essere
classificati per tipologie. Le tipologie (ad es. articolo/libro scientifico, articolo/libro divulgativo) sono definite dalla comunità scientifica
(CUN) secondo standard classificatori internazionali;
  una lista di riviste scientifiche, realizzate anch’essa secondo le convenzioni internazionali sul modello di analoghe liste realizzate altrove
(Finlandia, Norvegia, Francia, Australia). I criteri per la realizzazione della lista sono costruiti attraverso una ampia consultazione delle
comunità scientifiche. La lista è realizzata e manutenuta dal MIUR. La lista è aggiornata annualmente. Una rivista, una volta ritenuta scientifica
resta tale per tutti i settori e per tutte le aree.

  L’Agenzia di valutazione realizza:
  indagini bibliometriche a cadenza annuale/biennale relative alla produttività del sistema della ricerca e impatto della produzione scientifica
italiana.
  un esercizio di valutazione della qualità della ricerca quadriennale, sulla base del modello REF britannico (peer review su un numero limitato di
prodotti);
  verifica ex post i risultati dei progetti di ricerca finanziati dal MIUR.


  Si pensi solo alle quasi 16mila riviste nelle aree umanistiche che risultano dai
curricula dei docenti italiani, per un totale di oltre 42mila titoli che compaiono
nei vari settori concorsuali, che l'Anvur ha dovuto valutare con il contributo di
oltre 100 società scientifiche, avvalendosi di un gruppo di esperti
qualificatissimi. In questo impegno l'Anvur ha goduto e gode del sostegno di
una maggioranza silenziosa che si alimenta delle speranze dei molti giovani
bravi che vedono nel riconoscimento del merito l'unico criterio in grado di
assic
  http://www.ilsole24ore.com/art/cultura/2012-10-14/professori-misura-
anvur-155755.shtml?uuid=AbbsZwsG&fromSearchurare giustizia ed
efficienza.


Alberto Baccini: Il futuro della valutazione in un paese latecomer.

Recommended

Recommended

More Related Content

Similar to Alberto Baccini: Il futuro della valutazione in un paese latecomer.

Similar to Alberto Baccini: Il futuro della valutazione in un paese latecomer. (20)

More from Giuseppe De Nicolao

More from Giuseppe De Nicolao (20)

Recently uploaded

Recently uploaded (8)

Alberto Baccini: Il futuro della valutazione in un paese latecomer.