Your SlideShare is downloading. ×
Alberto Baccini: Il futuro della valutazione in un paese latecomer.
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Alberto Baccini: Il futuro della valutazione in un paese latecomer.

2,476

Published on

Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)

Slides presentate nel convegno ROARS "Il sistema dell’Università e della Ricerca - Fatti leggende futuro" (Istituto della Enciclopedia Italiana, 15 novembre 2012)

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
2,476
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
8
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Il futuro della ricerca in un paese latecomer Alberto Baccini (DEPS Unisi e ROARS) IL sistema dell’Università e della ricerca ROARS Roma, 15 novembre 2012
  • 2. Schema  Cosa significa latecomer? (UK RAE 1986; VTR 2001)  A che serve valutare la ricerca scientifica?  Quanto costa valutare la ricerca?  Chi valuta la ricerca scientifica?  Come si valuta la ricerca scientifica?  Perché abbiamo combinato questo disastro?  C’è un futuro per la valutazione in Italia? Alberto Baccini, Valutare la ricerca scientifica
  • 3. A che serve valutare la ricerca scientifica?  Performance-based Research Funding   14 esercizi nazionali  Sistemi nazionali di valutazione non utilizzati per la distribuzione delle risorse di funzionamento   7 esercizi nazionali   (Francia, Germania, Giappone, Korea, Olanda, Portogallo, Sud Africa)Fonte: OECD: 2010 Alberto Baccini, Valutare la ricerca scientifica
  • 4. Hicks 2012 Alberto Baccini, Valutare la ricerca scientifica
  • 5. Quanti soldi si distribuiscono sulla base deirisultati della valutazione? FFO 2009: 7.500m€ FFO 2011: 6.911m€ FFO premiale 7%: 525m€ FFO premiale 12%: 832m€ FFO su base CIVR: 175m€ FFO su base CIVR: 109m€ 1,58% ) Nota: (0,5*2/3 FFO Premiale ) Nota: (0,20*2/3 FFO Premiale Alberto Baccini, Valutare la ricerca scientifica
  • 6. A che serve valutare la ricerca scientifica?  Performance-based Research Funding “Through the REF, the UK funding bodies aim to develop and sustain a dynamic and internationally competitive research sector that makes a major contribution to economic prosperity, national wellbeing and the expansion and dissemination of knowledge.” (HEFCE, 2011) Alberto Baccini, Valutare la ricerca scientifica
  • 7. La valutazione in Italia secondo ANVUR 1/3 «Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa. Ora rivedremo anche i corsi di dottorato, con criteri che porteranno a una diminuzione molto netta» «Da noi s´è cominciato a parlare della valutazione nel 2006, ma poi non se n´è fatto nulla. In Parlamento hanno ampia rappresentanza i professori universitari, che danno voce alle proprie resistenze. Come se l ´attitudine a giudicare gli altri li autorizzasse a considerarsi al di sopra di ogni valutazione». Alberto Baccini, Valutare la ricerca scientifica
  • 8. La valutazione in Italia secondo ANVUR 2/3“la valutazione è un esperimento sociale e non può evitaredi produrre effetti non intenzionali, taluni anche perversi”Andrea Bonaccorsi «La valutazione della ricerca come esperimento sociale» Scuola democratica 2012 Alberto Baccini, Valutare la ricerca scientifica
  • 9. La valutazione in Italia secondo ANVUR 3/3 pedagogica Alberto Baccini, Valutare la ricerca scientifica
  • 10. Quanto costa valutare la ricerca scientifica?  Costo accettabile: 1-2% del finanziamento distribuito (Martin 2012)  Relazione diretta tra accuratezza e costi della valutazione   Are we creating a Frankenstein monster? (Ben R. Martin 2012)  Italia eccezione alla regola: spesa elevata e scarsa accuratezza  RAE/REF e VTR/VQR sono gli esercizi più costosi “The RAE and VTR incur heavy costs in faculty time because they are peer-review exercises.” Hicks 2012  Alcune stime dei costi   RAE £100M;   ERA 2010 diretti 35,8 mAU$-27,90m€   VQR 300m€ (Sirilli) Alberto Baccini, Valutare la ricerca scientifica
  • 11. Chi valuta la ricerca?  Pluralità di modelli istituzionali  Italia:   da due agenzie ministeriali CIVR-CNVSU   ad ANVUR  ANVUR è una «agenzia amministrativa» «SOTTOPOSTA ALLA VIGILANZA DEL MINISTRO» (art. 1, comma 3, del D.P.R. 76/2010)  Non è una agenzia indipendente come l’AERES Alberto Baccini, Valutare la ricerca scientifica
  • 12. Chi valuta la ricerca? Il ministro stabilisce leregole tecniche della valutazione!  Confusione di ruoli istituzionali (i valutatori dettano le policy, il ministro le regole per la valutazione)  Per la VQR il Ministro (davvero!) ha definito:   la griglia di valutazione per la VQR (50:10:20:20)   i punteggi per i singoli prodotti (1:0,8;0,5;0)   le penalizzazioni (-0,5) per ogni prodotto mancante   Origini di molti problemi tecnici del VQR   http://www.roars.it/online/il-vqr-ed-il-vino-a-due-stadi/   http://www.roars.it/online/vqr-gli-errori-della-formula-ammazza-atenei-dellanvur/  A chi la paternità delle mediane? Alberto Baccini, Valutare la ricerca scientifica
  • 13. E chi nomina i valutatori  I 7 membri del consiglio direttivo sono nominati dal ministro da una rosa scelta da un comitato di selezione  I 7 membri hanno nominato i presidenti dei GEV  I 7 membri ed il presidente di ogni GEV hanno nominato i membri dei GEV  Il presidente di ogni GEV con i membri dei GEV hanno nominato i revisori della VQR  I 7 membri hanno nominato i GDL per le liste di riviste delle abilitazioni Alberto Baccini, Valutare la ricerca scientifica
  • 14. Nomine autoreferenzialihttp://www.roars.it/online/gli-esperti-di-valutazione-allitaliana/ Alberto Baccini, Valutare la ricerca scientifica
  • 15. Come si valuta la ricerca? E la VQR dove la mettiamo? Fonte OECD Alberto Baccini, Valutare la ricerca scientifica
  • 16. Il modello REF  Peer review universale su 4 prodotti di un (sottoinsieme) di ricercatori di ogni istituzione  Peer review condotta da 4 main panel e 36 sub-panel  David Sweeney, direttore dell’HEFCE,   “With regard to our assessment of research previously through the Research Assessment Exercise and the Research Excellence Framework, we are very clear that we do not use our journal Impact Factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all.   He added that “the [REF] panels are meeting now to develop their detailed criteria, but it is an underpinning element in the exercise that journal Impact Factors will not be used”.   http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf  Schema guidato di valutazione con metrica unica  Regole per la scelta dei prodotti: ½ pagina Alberto Baccini, Valutare la ricerca scientifica
  • 17. Il modello ERA 2010  Modello bibliometrico puro basato su ranking delle riviste  Ranking di tipo peer con consultazione durata 2 anni (!)   http://www.arc.gov.au/era/journal_list_dev.htm   20.712 riviste divise in 4 livelli (5:10:30:50)   Lista universalmente e totalmente nota prima   http://www.arc.gov.au/era/era_2010/archive/era_journal_list.htm#1   Profili disciplinari   http://www.arc.gov.au/pdf/ERA_s2.pdf Alberto Baccini, Valutare la ricerca scientifica
  • 18. Il modello ERA 2012  Abbandono ranking riviste   “I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way we do things in this country” (David Sweeney)   (Vanclay 2011)   Why are ranks no longer being used? http://www.arc.gov.au/era/faq.htm  Copertura universale: analisi delle citazioni (Scopus)  30% dei prodotti soggetti a peer review (su indicazione delle università) per settori selezionati  Struttura della rilevazione   http://www.arc.gov.au/xls/era12/ERA_2012_Discipline_Matrix.xls Alberto Baccini, Valutare la ricerca scientifica
  • 19. Cosa ha inventanto l’ANVUR 1/3  Bipartizione del mondo:   Bibliometrico e non bibliometrico (INEDITO!)  Aree 1-9   Valutazione singolo prodotto (REF-like) con strumenti bibliometrici (inedito!)   Bibliometria differenziata per GEV (inedito!)   Quadrati magici (inediti)   Siccome l’informazione di base è “rozza” si “corregge” con informazione “più rozza” (con ranking riviste)   Regole per la scelta dei prodotti:   189 pagine di simulazione http://www.crui.it/HomePage.aspx?ref=2071# Alberto Baccini, Valutare la ricerca scientifica
  • 20. Cosa ha inventanto l’ANVUR 2/3  Aree 10-12 e 14   Informed peer review (inedito)   Con classificazioni delle riviste messe a punto in modo completamente opaco:   Distribuzioni di riviste molto diverse per ambito disciplinare   Ci sono indizi che i GEV siano stati catturati dai valutandi! (Sociologia, filosofia?, diritto)   Peer review a punteggio guidato che rende a priori improbabile l’attribuzione di un prodotto alla classe A:   A. Banfi http://www.roars.it/online/?p=5757   Perché non si sono adottate le guidelines europee per la peer review?   http://www.scribd.com/doc/63421310/European-Peer-Review-Guide Alberto Baccini, Valutare la ricerca scientifica
  • 21. Cosa ha inventanto l’ANVUR 3/3  Area 13   Mix di classificazione delle riviste e peer review   Lista di riviste con IF imputato (INEDITO)   Uso di Google Scholar (INEDITO)   Procedura di imputazione (INEDITA)  «operazione interessante ma piuttosto debole dal punto di vista metodologico» (lettera del presidente della Società Italiana di Statistica! ad ANVUR) http://sis-statistica.it/files/pdf/2012/lettera_per_gev.pdf   Lista di riviste resa noto DOPO la presentazione dei prodotti Alberto Baccini, Valutare la ricerca scientifica
  • 22. E per le abilitazioni? Ribalta internazionale Alberto Baccini, Valutare la ricerca scientifica
  • 23. E per le abilitazioni? Alberto Baccini, Valutare la ricerca scientifica
  • 24. Cosa è una rivista scientifica secondo l’ANVUR? http://www.anvur.org/sites/anvur-miur/files/documento_di_accompagnamento_mediane_settori_non_bibliometrici_0.pdf Alberto Baccini, Valutare la ricerca scientifica
  • 25. Cosa è la ricerca scientifica?   http://www.oecdbookshop.org/oecd/display.asp? lang=EN&sf1=identifiers&st1=922002081p1 Alberto Baccini, Valutare la ricerca scientifica
  • 26. Accademia norvegese delle scienze Cosa è una pubblicazione scientifica? http://www.uhr.no/documents/ Rapport_fra_UHR_prosjektet_4_11_engCJS_endelig_versjon_av_hele_ oversettelsen.pdfAlberto Baccini, Valutare la ricerca scientifica
  • 27. Perché questo disastro?  Clima culturale avverso all’università ed ai baroni  Assenza di «cultura della valutazione» nell’accademia italiana  Creazione di una struttura di valutazione istituzionalmente inadeguata (perché dipendente direttamente dalla politica)  Struttura di valutazione organizzativamente inadeguata   Consiglio direttivo direttamente operativo  Consiglio direttivo «tecnicamente inadeguato» Rivista Numero articoli di membri del consiglio direttivo Research Evaluation 2 (Bonaccorsi) Research Policy 6 (Bonaccorsi) Scientometrics 4 Bonaccorsi Journal of Informetrics 0 JASIST 0 Alberto Baccini, Valutare la ricerca scientifica
  • 28. Ci sarà un futuro per la valutazione in Italia  Il sistema attuale attribuisce ai politici e ad una ristrettissima élite di consulenti un potere enorme e senza contrappesi sul sistema della ricerca.  La valutazione guidata da una lobby di accademici e politici può devastare ciò che di buono è stato fatto dal mondo della ricerca italiano.   E necessaria pertanto una modifica radicale dell’assetto istituzionale del sistema di valutazione della ricerca.    Alberto Baccini, Valutare la ricerca scientifica
  • 29. Ridisegno di ANVUR  Ipotesi 1. Agenzia autonoma sul modello AERES.   Consiglio direttivo ampio composto da personalità qualificate provenienti anche dalla ricerca privata, da ricercatori (università ed EPR) ed esperti di valutazione   nominati su proposta delle università e degli EPR.  Ipotesi 2. Agenzie separate per valutazione della ricerca e attività di valutazione ed accreditamento delle università e dei corsi di studio.   Consigli direttivi meno ampi costituiti come sopra.NB. I dipendenti di Università ed EPR nei consigli direttivi percepiscono indennitàaggiuntive a copertura delle spese e non sono assimilati nelle retribuzioni ai dirigenti delministero. Alberto Baccini, Valutare la ricerca scientifica
  • 30. Il ruolo del CUN   Il CUN assume la funzione di rappresentanza istituzionale della comunità.  Ad esso spetta di definire, in raccordo trasparente e formalizzato con le comunità scientifiche e con le agenzie di valutazione, i criteri di massima da usare per la realizzazione delle attività di valutazione (ad esempio le classificazioni disciplinari, le denominazioni dei CDS, le liste di riviste scientifiche etc.).    Alberto Baccini, Valutare la ricerca scientifica
  • 31.   Per realizzare una efficace e credibile attività di valutazione sono necessari due strumenti di base:  l’anagrafe nazionale dei prodotti della ricerca (ANPREPS), già prevista da una norma del 2009 ma mai attuata, deve essere realizzata e manutenuta dal MIUR (non dalla Agenzia di valutazione) secondo standard internazionali. I prodotti inseriti nell’anagrafe devono essere classificati per tipologie. Le tipologie (ad es. articolo/libro scientifico, articolo/libro divulgativo) sono definite dalla comunità scientifica (CUN) secondo standard classificatori internazionali;  una lista di riviste scientifiche, realizzate anch’essa secondo le convenzioni internazionali sul modello di analoghe liste realizzate altrove (Finlandia, Norvegia, Francia, Australia). I criteri per la realizzazione della lista sono costruiti attraverso una ampia consultazione delle comunità scientifiche. La lista è realizzata e manutenuta dal MIUR. La lista è aggiornata annualmente. Una rivista, una volta ritenuta scientifica resta tale per tutti i settori e per tutte le aree.  L’Agenzia di valutazione realizza:  indagini bibliometriche a cadenza annuale/biennale relative alla produttività del sistema della ricerca e impatto della produzione scientifica italiana.  un esercizio di valutazione della qualità della ricerca quadriennale, sulla base del modello REF britannico (peer review su un numero limitato di prodotti);  verifica ex post i risultati dei progetti di ricerca finanziati dal MIUR. Alberto Baccini, Valutare la ricerca scientifica
  • 32.    Si pensi solo alle quasi 16mila riviste nelle aree umanistiche che risultano dai curricula dei docenti italiani, per un totale di oltre 42mila titoli che compaiono nei vari settori concorsuali, che lAnvur ha dovuto valutare con il contributo di oltre 100 società scientifiche, avvalendosi di un gruppo di esperti qualificatissimi. In questo impegno lAnvur ha goduto e gode del sostegno di una maggioranza silenziosa che si alimenta delle speranze dei molti giovani bravi che vedono nel riconoscimento del merito lunico criterio in grado di assic  http://www.ilsole24ore.com/art/cultura/2012-10-14/professori-misura- anvur-155755.shtml?uuid=AbbsZwsG&fromSearchurare giustizia ed efficienza. Alberto Baccini, Valutare la ricerca scientifica
  • 33. Alberto Baccini, Valutare la ricerca scientifica

×