La VQR e oltre

Alberto Baccini (Università di Siena, ROARS)
«Evoluzione e valutazione della ricerca giuridica»
Università...
Costi e benefici della valutazione


“In primo luogo, il costo della valutazione (il termine “costo” va
inteso in senso l...
Quali sono i benefici?
«Non vi sono evidenze adeguate che stabiliscano se sia
meglio dare più risorse a pochi scienziati o...
Quanto costa valutare la ricerca?


Relazione diretta tra accuratezza e costi della valutazione





Are we creating a...
La VQR
Il metodo VQR non è classificabile

Alberto Baccini, La VQR e oltre
Le alternative


Peer review (RAE/REF)


«Bibliometrics are not sufficiently robust at this stage to be
used formulaical...
Varietà metodologiche

Fonte: A. Baccini, «Napoléon et l’évaluation bibliométrique de la recherche : le cas de l’Italie »,...
I quadrati magici bibliometrici della VQR

Alberto Baccini, La VQR e oltre
Comparabilità dei risultati: RAE vs. VQR

Alberto Baccini, La VQR e oltre
RAE national comparative data

Alberto Baccini, La VQR e oltre
Fonte: rapporto finale p. 7

VQR: dati non comparabili tra aree

Alberto Baccini, La VQR e oltre
20%
20%
10%

50%

Alberto Baccini, La VQR e oltre
Ma come sono fatti i bersagli VQR veri?
Ce lo dice l’ANVUR: infatti, la Tabella A1.1 ci fornisce proprio le
dimensioni deg...
I bersagli veri cambiano da area ad area e sono
molto diversi dal bersaglio teorico

Alberto Baccini, La VQR e oltre
«Vincere facile»

22%

40%
21%
13%

44%

25%
Scienze
Mediche

Ingegneria
Industriale e
dell’Informazione
Alberto Baccini, ...
Alberto Baccini, La VQR e oltre
Alberto Baccini, La VQR e oltre
Confronto tra prodotti eccellenti nella VTR e
nella VQR

Alberto Baccini, La VQR e oltre
Alberto Baccini, La VQR e oltre
Oltre la VQR
C’è stato un cattivo disegno delle
istituzioni …


Struttura napoleonica:





controllo ministeriale centralizzato
Bl...
In attesa della riforma di ANVUR, almeno
due strumenti di base


Per realizzare una credibile attività di valutazione son...
Cosa fa l’agenzia di valutazione per la
valutazione della ricerca:




indagini bibliometriche a cadenza annuale relativ...
Adozione di standard metodologici adeguati

http://am.ascb.org/dora/
9596 sottoscrittori individuali; 409 organizzazioni

...
Le raccomandazioni di DORA


«Non usare metriche riferite alle riviste, come i fattori di impatto della

rivista, come mi...
Non c’è correlazione tra IF della rivista e citazioni
agli articoli che vi sono contenuti

Alberto Baccini, La VQR e oltre
Quanti articoli apparsi su Nature non sono mai
stati citati?

h:-index: 734

Fonte: Scimago: 3 luglio 2013

Alberto Baccin...
Il contenuto è più importante del luogo di
pubblicazione (DORA)
1.

2.

rendere espliciti i criteri usati per valutare la ...
La bibliometria pedagogica dell’ANVUR

pedagogica

Alberto Baccini, La VQR e oltre
Alberto Baccini, La VQR e oltre

Kurmis, A. P. and T. P. Kurmis (2006). "Exploring the relationship between
impact factor ...
Ecco la rivista migliore!

Alberto Baccini, La VQR e oltre
La genesi delle istituzioni della scienza


«…se tra la confusione che serpeggia nella fila, un
soggetto intraprendente f...
Le regole della valutazione…





… sono in conflitto con le strutture di autoregolazione
della scienza
generano compor...
Upcoming SlideShare
Loading in...5
×

Oltre la VQR

171

Published on

Intervento al convegno Evoluzione e valutazione della scienza giuridica tenutosi al Dipartimento di Giurisprudenza dell'università di Firenze il 18 ottobre 2013.

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
171
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
11
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Oltre la VQR"

  1. 1. La VQR e oltre Alberto Baccini (Università di Siena, ROARS) «Evoluzione e valutazione della ricerca giuridica» Università di Firenze Centro di Studi per la storia del pensiero giuridico moderno Firenze, 18 ottobre 2013
  2. 2. Costi e benefici della valutazione  “In primo luogo, il costo della valutazione (il termine “costo” va inteso in senso lato, sì da includere tutte le conseguenze negative e tutti i costi diretti e indiretti) necessario per consentire un’adeguata rendicontazione della spesa pubblica (accountability) non dovrebbe mai rappresentare più di una quota minimale del costo delle attività da valutare (per esempio meno dell’1%). In secondo luogo, e più nello specifico, il costo totale dovrebbe essere inferiore ai benefici prodotti da questa più accurata rendicontazione”. (Ben Martin 2012) Alberto Baccini, La VQR e oltre
  3. 3. Quali sono i benefici? «Non vi sono evidenze adeguate che stabiliscano se sia meglio dare più risorse a pochi scienziati oppure distribuire finanziamenti più piccoli a un maggior numero di ricercatori. […] noi dovremo trovare il modo di stabilire quale approccio funzioni meglio. E’ uno scandalo che miliardi di dollari siano spesi per ricerca senza sapere quale sia il migliore modo per distribuire i finanziamenti» John P.A. Ioannidis, Nature (2011) Alberto Baccini, La VQR e oltre
  4. 4. Quanto costa valutare la ricerca?  Relazione diretta tra accuratezza e costi della valutazione    Are we creating a Frankenstein monster? (Ben R. Martin 2012) Costi diretti e costi indiretti RAE/REF e VTR/VQR sono gli esercizi più costosi “The RAE and VTR incur heavy costs in faculty time because they are peer-review exercises.” Hicks 2012  Alcune stime dei costi    RAE 100m£ ~126m€ (180.000 prodotti) ERA 2010 diretti 35,8 mAU$-27,90m€ VQR 300m€ (Sirilli) (99.000 prodotti valutati Fonte: rapporto finale vqr tab 3.3) Alberto Baccini, La VQR e oltre
  5. 5. La VQR
  6. 6. Il metodo VQR non è classificabile Alberto Baccini, La VQR e oltre
  7. 7. Le alternative  Peer review (RAE/REF)  «Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF» Report on the pilot exercise to develop bibliometric indicators for the REF, 11/2009   Bibliometria Bibliometria australiana (ERA)  «There is clear and consistent evidence that the rankings were being deployed inappropriately … in ways that could produce harmful outcomes». Ministro K. Carr, 30 Maggio 2011 Alberto Baccini, La VQR e oltre
  8. 8. Varietà metodologiche Fonte: A. Baccini, «Napoléon et l’évaluation bibliométrique de la recherche : le cas de l’Italie », Colloque Bibliométrie et indicateurs de la recherche: enjeux et perspectives, Toulouse, 11 giugno 2013 Alberto Baccini, La VQR e oltre
  9. 9. I quadrati magici bibliometrici della VQR Alberto Baccini, La VQR e oltre
  10. 10. Comparabilità dei risultati: RAE vs. VQR Alberto Baccini, La VQR e oltre
  11. 11. RAE national comparative data Alberto Baccini, La VQR e oltre
  12. 12. Fonte: rapporto finale p. 7 VQR: dati non comparabili tra aree Alberto Baccini, La VQR e oltre
  13. 13. 20% 20% 10% 50% Alberto Baccini, La VQR e oltre
  14. 14. Ma come sono fatti i bersagli VQR veri? Ce lo dice l’ANVUR: infatti, la Tabella A1.1 ci fornisce proprio le dimensioni degli anelli del bersaglio per ciascuna area CUN Alberto Baccini, La VQR e oltre
  15. 15. I bersagli veri cambiano da area ad area e sono molto diversi dal bersaglio teorico Alberto Baccini, La VQR e oltre
  16. 16. «Vincere facile» 22% 40% 21% 13% 44% 25% Scienze Mediche Ingegneria Industriale e dell’Informazione Alberto Baccini, La VQR e oltre 14% 21%
  17. 17. Alberto Baccini, La VQR e oltre
  18. 18. Alberto Baccini, La VQR e oltre
  19. 19. Confronto tra prodotti eccellenti nella VTR e nella VQR Alberto Baccini, La VQR e oltre
  20. 20. Alberto Baccini, La VQR e oltre
  21. 21. Oltre la VQR
  22. 22. C’è stato un cattivo disegno delle istituzioni …  Struttura napoleonica:    controllo ministeriale centralizzato Bleiklie, Ivar and Svein Michelsen. 2013. "Comparing He Policies in Europe." Higher Education, 65(1), 113-33 L’illusione delle istituzioni di first best      introduzione di elementi di modello competitivo autonomia come primo passo per la competizione riforma della governance (Gelmini) valutazione oggettiva (ANVUR) distribuzione premiale delle risorse Alberto Baccini, La VQR e oltre
  23. 23. In attesa della riforma di ANVUR, almeno due strumenti di base  Per realizzare una credibile attività di valutazione sono necessari due strumenti di base:  l’anagrafe nazionale dei prodotti della ricerca (ANPREPS)     già prevista da una norma del 2009 ma mai attuata, deve essere realizzata e manutenuta dal MIUR (non dalla Agenzia di valutazione) secondo standard internazionali. I prodotti inseriti nell’anagrafe devono essere classificati per tipologie. Le tipologie sono definite dalla comunità scientifica (CUN) secondo standard classificatori internazionali; una lista di riviste scientifiche      realizzata secondo le convenzioni internazionali sul modello di analoghe liste realizzate altrove (Finlandia, Norvegia, Francia, Australia). I criteri per la realizzazione della lista sono costruiti attraverso una ampia consultazione delle comunità scientifiche. La lista è realizzata e manutenuta dal MIUR. La lista è aggiornata annualmente. Una rivista, una volta ritenuta scientifica resta tale per tutti i settori e per tutte le aree. Alberto Baccini, La VQR e oltre
  24. 24. Cosa fa l’agenzia di valutazione per la valutazione della ricerca:   indagini bibliometriche a cadenza annuale relative alla produttività del sistema della ricerca e all’impatto della produzione scientifica italiana; (se utile) un esercizio di valutazione della qualità della ricerca quinquennale, sulla base del modello REF britannico:   (peer review su un numero limitato di prodotti); verifica ex post i risultati dei progetti di ricerca finanziati dal MIUR. Alberto Baccini, La VQR e oltre
  25. 25. Adozione di standard metodologici adeguati http://am.ascb.org/dora/ 9596 sottoscrittori individuali; 409 organizzazioni Alberto Baccini, La VQR e oltre
  26. 26. Le raccomandazioni di DORA  «Non usare metriche riferite alle riviste, come i fattori di impatto della rivista, come misura surrogata della qualità dei singoli articoli di ricerca, per valutare i contributi del singolo scienziato, o per decisioni relative ad assunzioni, promozioni e finanziamenti»  Tre i temi: 1. la necessità di valutare la ricerca per i suoi propri meriti e non sulla base della rivista su cui è pubblicata; 2. la necessità di sfruttare al meglio le opportunità fornite dalla pubblicazione on-line (riducendo per esempio i limiti non necessari imposti del numero di pagine, figure e riferimenti bibliografici negli articoli, e esplorando nuovi indicatori di importanza e impatto)” Alberto Baccini, La VQR e oltre
  27. 27. Non c’è correlazione tra IF della rivista e citazioni agli articoli che vi sono contenuti Alberto Baccini, La VQR e oltre
  28. 28. Quanti articoli apparsi su Nature non sono mai stati citati? h:-index: 734 Fonte: Scimago: 3 luglio 2013 Alberto Baccini, La VQR e oltre
  29. 29. Il contenuto è più importante del luogo di pubblicazione (DORA) 1. 2. rendere espliciti i criteri usati per valutare la produttività scientifica e per le decisioni di assunzione, tenure e promozione, e sottolineare chiaramente, specialmente per i giovani ricercatori, che il contenuto scientifico di un articolo è molto più importante delle metriche della pubblicazione e dell’identità della rivista nel quale è pubblicato. considerare, ai fini della valutazione della ricerca, il valore e l’impatto di tutti i prodotti della ricerca (inclusi i datasets e il software) in aggiunta alle pubblicazioni, e considerare un ampio insieme di misure di impatto che includono indicatori qualitativi dell’impatto della ricerca, come l’influenza sulle politiche e sulle pratiche. Alberto Baccini, La VQR e oltre
  30. 30. La bibliometria pedagogica dell’ANVUR pedagogica Alberto Baccini, La VQR e oltre
  31. 31. Alberto Baccini, La VQR e oltre Kurmis, A. P. and T. P. Kurmis (2006). "Exploring the relationship between impact factor and manuscript rejection rates in radiologic journals." Academic radiology 13(1): 77-83. Schultz, D. M. (2010). "Rejection Rates for Journals Publishing in the Atmospheric Sciences." Bulletin of the American Meteorological Society 91(2): 231-243.
  32. 32. Ecco la rivista migliore! Alberto Baccini, La VQR e oltre
  33. 33. La genesi delle istituzioni della scienza  «…se tra la confusione che serpeggia nella fila, un soggetto intraprendente fa sentire la sua voce, fa alcune proposte per organizzare meglio la fila tumultuosa, e tutti i componenti le ritengono buone e le osservano, ecco che … noi abbiamo avuto il miracolo della genesi del diritto» P. Grossi, Prima lezione di diritto, p. 14  Robert K. Merton: auto-organizzazione della repubblica della scienza; osservanza spontanea delle regole (1957) Alberto Baccini, La VQR e oltre
  34. 34. Le regole della valutazione…    … sono in conflitto con le strutture di autoregolazione della scienza generano comportamenti opportunistici con conseguenze negative prevedibili   Il caso australiano; retraction; predatory open access; false attribuzioni; salami slicing; mainstreaming La mia impressione è che gli effetti della VQR e dell’ASN non tarderanno a manifestarsi. Alberto Baccini, La VQR e oltre
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×