Problemi dell’ANVUR e della VQR               Francesco Sylos LabiniCentro Enrico Fermi & Istituto dei Sistemi Complessi, ...
www.roars.it          In un paese normale la valutazione      dell’università come dovrebbe procedere?•Ministro e Parlamen...
www.roars.it           In un paese normale la valutazione       dell’università come dovrebbe procedere?•il Ministro utili...
www.roars.it             Cosa fa (dovrebbe fare)             l’agenzia di valutazione ?•Sceglie opportunamente le metodolo...
www.roars.it            Cosa fa (dovrebbe fare)            l’agenzia di valutazione ?•Nel caso in cui preveda di utilizzar...
www.roars.it              E in Italia come funziona?•Il ministro (Gelmini) decide di svolgere un nuovo esercizio divalutaz...
www.roars.it           E in Italia come funziona?•Il ministro ha previsto che si possa usare anche lapeer review; l’ANVUR ...
www.roars.it            E in Italia come funziona?•Poi l’ANVUR attribuisce ai GEV la possibilità di crearsi leclassifiche ...
www.roars.it             E in Italia come funziona?•Secondo il coordinatore della VQR il compito dell’ANVUR èquello di cre...
www.roars.it        Anomalie che hanno caratterizzato          la fase preparatoria della VQR:Tutte le università dovranno...
www.roars.it            Anomalie che hannocaratterizzato la fase preparatoria della VQR:
www.roars.it            Anomalie che hannocaratterizzato la fase preparatoria della VQR:"Per capire meglio cosa è accaduto...
www.roars.it                  In estrema sintesi        quali sono le critiche principali al VQR?• la confusione tra proge...
www.roars.it        Anomalie che hanno caratterizzato          la fase preparatoria della VQR:•La proposta di una procedur...
www.roars.it        Anomalie che hanno caratterizzato          la fase preparatoria della VQR:• Una formula per ripartire ...
www.roars.it           Anomalie che hanno caratterizzato             la fase preparatoria della VQR:6. Il pregiudizio nega...
Upcoming SlideShare
Loading in …5
×

Valutazione ANVUR e VQR

2,110 views

Published on

seminario al cnr sulla valutazione 24.04.2012

Published in: Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,110
On SlideShare
0
From Embeds
0
Number of Embeds
654
Actions
Shares
0
Downloads
20
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Valutazione ANVUR e VQR

  1. 1. Problemi dell’ANVUR e della VQR Francesco Sylos LabiniCentro Enrico Fermi & Istituto dei Sistemi Complessi, CNR, Roma www.roars.it
  2. 2. www.roars.it In un paese normale la valutazione dell’università come dovrebbe procedere?•Ministro e Parlamento decidono come distribuire in modoefficiente le risorse per l’Università.•Agenzia indipendente di valutazione responsabile delleprocedure di valutazione.•Il Ministro richiede all’agenzia di procedere ad un esercizio divalutazione, stanziando le risorse necessarie (1-2% totalerisorse per la ricerca).•L’Agenzia organizza l’esercizio di valutazione.
  3. 3. www.roars.it In un paese normale la valutazione dell’università come dovrebbe procedere?•il Ministro utilizza i dati della valutazione per decidere gliinterventi di finanziamento.•Questo modo di procedere separa nettamente leresponsabilità della politica (distribuzione delle risorse,ecc ),da quelle dell’Agenzia che ha il compito di per sé assaicomplesso di svolgere un esercizio di valutazione i cui risultatisiano giudicati credibili dalla comunità dei valutati.•Questo schema è adottato senza varianti degne di nota nelRegno Unito, in Francia, in Australia, ovvero in tutti queipaesi che hanno deciso di dotarsi di sistemi di valutazione.
  4. 4. www.roars.it Cosa fa (dovrebbe fare) l’agenzia di valutazione ?•Sceglie opportunamente le metodologie e le tecnichedella valutazione tra quelle disponibili a livellointernazionale, adattandole al contesto.•Nel caso in cui preveda di utilizzare estesamente lapeer review, nomina dei gruppi di esperti cheorganizzano e verificano le procedure di peer review.•Nel caso in cui preveda di utilizzare strumentibibliometrici, li testa e li discute con esperti di settore.
  5. 5. www.roars.it Cosa fa (dovrebbe fare) l’agenzia di valutazione ?•Nel caso in cui preveda di utilizzare classifiche diriviste e sedi editoriali di pubblicazione, costruisceinsieme alle comunità scientifiche classifiche di riviste.•Poiché l’Agenzia sa benissimo che ogni processo divalutazione modifica i comportamenti dei valutati, stamolto attenta ad adottare tecniche di valutazione chenon creino danni comportamentali o che spingano ilsistema della ricerca ad adottare comportamentiindesiderabili, avvisando il ministro e la comunitàaccademica di ciò.
  6. 6. www.roars.it E in Italia come funziona?•Il ministro (Gelmini) decide di svolgere un nuovo esercizio divalutazione.•Il ministro scrive un decreto che dà il via all’esercizio divalutazione.•Inserisce nel decreto le modalità operative ed i criteri dellavalutazione, scrive cioè quali sono le metodologie divalutazione e gli strumenti.•L’ ANVUR, anziché far notare al ministro che in nessun paesedel mondo il Ministro dice all’agenzia come si valuta, dà il viaall’esercizio di valutazione
  7. 7. www.roars.it E in Italia come funziona?•Il ministro ha previsto che si possa usare anche lapeer review; l’ANVUR allora specifica che almeno il50% dei prodotti sarà soggetto a peer review.•Il ministro ha previsto (art. 3 commi 3 e 4) che cidebbano essere dei gruppi di esperti di valutazionenominati dall’ANVUR e che ognuno di questi gruppiabbia un presidente scelto dall’ANVUR tra i membri.•L’ANVUR nomina prima i presidenti dei GEV e poi,evidentemente con l’aiuto di questi ultimi, i 450membri.
  8. 8. www.roars.it E in Italia come funziona?•Poi l’ANVUR attribuisce ai GEV la possibilità di crearsi leclassifiche delle riviste da utilizzare nella valutazione, esollecita anche la loro fantasia bibliometrica: quindipersone scelte perché esperte e competenti in medicina,chimica, ingegneria, filosofia, letteratura, scienzegiuridiche, medicina, etc. sono invitati a crearebibliometria fai da te.•L’ANVUR sollecita informalmente le società scientifiche afar pervenire classifiche delle riviste. Quindi, sottoponequeste classifiche a peer review. Procedura sconosciuta inqualsiasi altra procedura di valutazione.
  9. 9. www.roars.it E in Italia come funziona?•Secondo il coordinatore della VQR il compito dell’ANVUR èquello di creare una classifica delle strutture accademiche: “Tutte le università dovranno ripartire da zero. E quandola valutazione sarà conclusa, avremo la distinzione traresearching universities e teaching universities. Ad alcune sipotrà dire: tu fai solo il corso di laurea triennale. E qualchesede dovrà essere chiusa•Dunque, in Italia il Ministro ha fatto il mestiere dell’agenziadi valutazione; l’ANVUR vuole fare il mestiere del Ministro; iGEV fanno i bibliometrici e svolgono i compiti che altrovesono appannaggio delle comunità scientifiche.
  10. 10. www.roars.it Anomalie che hanno caratterizzato la fase preparatoria della VQR:Tutte le università dovranno ripartire da zero. E quando la valutazionesarà conclusa, avremo la distinzione tra researching university eteaching university. Ad alcune si potrà dire: tu fai solo il corso di laureatriennale. E qualche sede dovrà essere chiusa. Ora rivedremo anche icorsi di dottorato, con criteri che porteranno a una diminuzione moltonetta.
  11. 11. www.roars.it Anomalie che hannocaratterizzato la fase preparatoria della VQR:
  12. 12. www.roars.it Anomalie che hannocaratterizzato la fase preparatoria della VQR:"Per capire meglio cosa è accaduto, ho interpellato unesperto australiano che ha avuto ruoli importantinell’Australian Research Council (ARC), che conoscedal di dentro la vicenda e che, per comprensibiliragioni, mi ha chiesto l’anonimato. Ecco la suaricostruzione dei …... Si è trattato quindi, a suogiudizio, non di debolezze metodologiche ma dipressioni politiche.”Andrea Bonaccorsi, Aprile 2012, Anvur
  13. 13. www.roars.it In estrema sintesi quali sono le critiche principali al VQR?• la confusione tra progettisti dei criteri e valutatori;• la confusione tra eccellenza scientifica e competenzanel gestire e condurre processi divalutazione;• la mancanza di tempo e trasparenza nella definizionedei criteri bibliometrici;• l’uso di punteggi negativi frutto di un’ossessionepunitiva talmente forte da sconfinare nella sciatteriamatematica.
  14. 14. www.roars.it Anomalie che hanno caratterizzato la fase preparatoria della VQR:•La proposta di una procedura di classificazionebibliometrica a due stadi, senza precedenti e senza basiscientifiche, che può dare esiti paradossali•La classifica bibliometrica delle riviste basata sullamedia di rankings di indicatori bibliometrici, una praticascientificamente screditata•La nuova proposta di usare una classifica basata sullaPCA che può dar luogo ad una “classifica di Pinocchio”che preferisce le riviste peggiori a quelle migliori
  15. 15. www.roars.it Anomalie che hanno caratterizzato la fase preparatoria della VQR:• Una formula per ripartire la quota premiale tra le strutture basata su una una combinazione “convessa” con pesi negativi, non solo gravida di paradossi, ma capace di instaurare meccanismi di punizione collettiva, in contrasto con i criteri usati all’estero.5. L’annuncio da parte del coordinatore della VQR della chiusura di sedi sulla base delle future classifiche della VQR, quando le agenzie di valutazione straniere (UK e Australia,ecc.) producono solo “quality profiles”, rifiutandosi in modo assoluto di fornire classifiche
  16. 16. www.roars.it Anomalie che hanno caratterizzato la fase preparatoria della VQR:6. Il pregiudizio negativo del coordinatore della VQR nei confronti dellaqualità della produzione scientifica italiana, a dispetto dei datibibliometrici che mostrano che l’impatto scientifico della quasi totalitàdegli atenei statali sta sopra la media mondiale7. I criteri punitivi nei confronti degli enti di ricerca come il CNR, i cuiricercatori devono presentare un numero doppio di prodotti di ricerca(sei, invece che tre, come per gli universitari), quando non sembraesistere evidenza bibliometrica, né nazionale né internazionale, che la“produttività bibliometrica” degli enti di ricerca non universitari debbaessere doppia di quella degli universitari8. L’anomala composizione del GEV13, in cui almeno il 75% deimembri sono strettamente legati tra di loro, come dimostrato dalla“network analysis”

×