La dignità della docenza e la valutazione
della ricerca
Alberto Baccini
Dipartimento di economia politica e statistica, Università di Siena; Redazione Roars
Ruolo e dignità dell’università. Stato e prospettive
Pisa, 10 maggio 2017
Dalla dignità al value for (taxpayers) money
G. Manfredi (Presidente CRUI): «Solo
attraverso una rigorosa politica del merito e
della qualità potremo contemporaneamente
stimolare le eccellenze ed elevare il livello
medio del nostro sistema ... D’altra parte,
l’università italiana è l’unico comparto della
PA ad essersi già sottoposto alla valutazione
dell’ANVUR, un’agenzia terza»
discorso
di insediamento
23.09.2015
Gli argomenti per giustificare la valutazione sono
stati digeriti dalla comunità accademica
 Argomento 1. Così fan tutti
 Argomento 2. I benefici della valutazione superano
sicuramente i suoi costi
 Argomento 3. I professori devono rendere conto al
contribuente del loro lavoro
 Argomento 4. La valutazione serve ad individuare le
«code basse» (i.e. i fannulloni)
 Argomento 5. La valutazione spinge comunque a
comportamenti desiderabili
Precedenti storici recenti
Precedenti storici recenti
 La politica universitaria di Margareth Thatcher
 UK: RAE 1986
 «it was Leninism» (S. Jenkins, Thatcher and Sons)
La valutazione massiva ex post della ricerca è
adottata da molti paesi?
 No. Solo da UK e Italia
«The UK and Italy are the only countries that have implemented a Peer
Review Based Research Assessment system that (potentially) evaluate all
academic staff in order to allocate research funding» (Aldo Geuna and
Matteo Piolatto, 2016)
(L’Italia è l’unico paese a concentrare in una unica agenzia ANVUR tutte le
funzioni di valutazione (didattica, ricerca, amministrazione, trasparenza).
ANVUR ha il consiglio direttivo più costoso del mondo) (Baccini 2013,
2015)
E’ vero che i benefici della valutazione sono
superiori ai costi?
Quanto costa la valutazione?
 «Stiamo lavorando con 10 milioni di euro, dei quali
in questo momento stiamo usando solo quelli che ci
sono stati assegnati che sono 6,4 milioni. Questa
cifra rappresenta l'1,2% della distribuzione
premiale»
Stefano Fantoni, ex-presidente ANVUR
http://www.flcgil.it/web-cronache/2012/05-17-tavola-rotonda-anvur-e-
politiche-di-sistema/15.00.00
Quanto costa davvero la valutazione?
 La VQR1 è costata tra 150 e 300 milioni di €
 Stima del tutto in linea con i costi del REF
britannico
REF2014: technopolis UK £246m
Geuna-Piolatto 2015 max 164m/€!
VQR1: Sirilli: €300m Sirilli
Geuna Piolatto 2014: €182m
Geuna-Piolatto 2015: €71m
Stime a confronto
La valutazione serve a distribuire risorse
per evitare sprechi
Quanto pesa la VQR nella distribuzione dell’FFO
premiale?
€ 725,1 milioni
€ 57,5 milioni
Daniele Checchi (ANVUR): «Ma da
noi c’era il problema che una parte
dell’Accademia non scrive proprio. La
prima edizione della valutazione della
ricerca è servita a rendere trasparente il
fatto che nelle università c’era un 8 per
cento di inattivi, vale a dire di ricercatori
che non producevano nemmeno un
lavoro all’anno»
Corriere della Sera 1 marzo 2017
Quanti erano gli inattivi nella VQR1?
Fonte:mieelaborazionisudatiANVUR
certosinamenteraccoltidaFrancesco
Prota
Quanto è costato scovare i fannulloni?
Per scovare ogni fannullone si sono spesi tra:
82.465€ - 135.931€
Ma gli inattivi ci sono solo in Italia?
(MichaelKeating,2011)
Ma gli inattivi ci sono solo in Italia?
 NO. Sono «connaturati» al lavoro scientifico
La valutazione serve per ridurre gli inattivi?
INATTIVI
La valutazione fa bene?
 La valutazione fornisce incentivi individuali e collettivi
per l’adozione di comportamenti che spingono al
miglioramento dei risultati della ricerca?
 Se credete all’autorità, allora…
Andrea Bonaccorsi: «Non esiste
una evidenza empirica robusta sul
fatto che la valutazione o anche i
sistemi di publish or perish, inducano
nel lungo periodo effetti distorsivi
permanenti sulla ricerca»
La valutazione possibile, p. 170
Se la parola dell’autorità non vi basta…
Se invece non credete all’autorità…
http://www.ecns.cn/2017/05-02/255644.shtml
Ma una valutazione massiva ex post della
ricerca serve davvero?
In summary, the evidence indicates that
performance-informed (with or without a formal link
between perfomance and funding) does indeed increase the
pressure on researchers and institutions to meet the
performence criteria, irrespective of wheteher the
latter are based on peer review or on citations. This
is clearly an intended effect. […] The research
community respond strategically, and this may in
turn create unintended effects, either through the
mechanism of goal dispacement or through more
structural changes in research priorities, publication
activities, or research capacities and organization» (P.
Wouters, 2014)
Gaming
Cosa resta degli argomenti digeriti dall’accademia
per giustificare la valutazione?
 Argomento 1. Così fan tutti
 Argomento 2. I benefici della valutazione superano
sicuramente i suoi costi
 Argomento 3. I professori devono rendere conto al
contribuente del loro lavoro
 Argomento 4. La valutazione serve ad individuare le
«code basse» (i.e. i fannulloni)
 Argomento 5. La valutazione spinge comunque a
comportamenti desiderabili
Q1. A che serve davvero la valutazione massiva della
ricerca?
1. Per placare «semi-outsiders: funders, governements,
university administrators a suspicious general public» in
cambio di risorse
2. Come strumento di controllo dei comportamenti
accademici da parte dei governi (Foucault)
3. Come screening device del capitale all’epoca della
«società della conoscenza» (Cognitive capitalism)
Q2. Perché i ricercatori accettano di giocare
al gioco della valutazione?
«assessment seduces» (Coin 2014)
Q3. Cosa c’entra la dignità con la valutazione
della ricerca?
 La dignità abbiamo cominciato a perderla
 quando abbiamo accettato di essere valutati da un agenzia governativa in
mano a un gruppo di colleghi scelti dal ministro
 quando non abbiamo protestato perché ANVUR usa metodi di
valutazione che hanno di fatto estromesso dalla valutazione la comunità
scientifica
 quando abbiamo accettato di essere valutati con metodi che non sono stati
passati al vaglio della comunità scientifica
 quando abbiamo accettato di discutere con i valutatori come fossero nostri
pari. Sono nostri pari, ma non agiscono come tali. Perché hanno la spada
dalla loro parte
 quando abbiamo accettato e abbiamo anche giustificato l’idea che fosse
nostro dovere sottoporsi ad una valutazione autoritaria
La dignità del nostro lavoro
 La perdita di dignità e l’accettazione passiva delle regole del gioco
sta trasformando il nostro lavoro
 E la trasformazione è già nelle parole
 Non siamo più professori e ricercatori che fanno ricerca ed
insegnano agli studenti
 Ma siamo addetti alla ricerca che producono prodotti della ricerca,
anzi che sottomettono prodotti di ricerca ai valutatori.
 E gli studenti sono i nostri clienti che dobbiamo soddisfare
Grazie per l’attenzione…

La dignità della docenza e la valutazione della ricerca

  • 1.
    La dignità delladocenza e la valutazione della ricerca Alberto Baccini Dipartimento di economia politica e statistica, Università di Siena; Redazione Roars Ruolo e dignità dell’università. Stato e prospettive Pisa, 10 maggio 2017
  • 3.
    Dalla dignità alvalue for (taxpayers) money
  • 4.
    G. Manfredi (PresidenteCRUI): «Solo attraverso una rigorosa politica del merito e della qualità potremo contemporaneamente stimolare le eccellenze ed elevare il livello medio del nostro sistema ... D’altra parte, l’università italiana è l’unico comparto della PA ad essersi già sottoposto alla valutazione dell’ANVUR, un’agenzia terza» discorso di insediamento 23.09.2015
  • 5.
    Gli argomenti pergiustificare la valutazione sono stati digeriti dalla comunità accademica  Argomento 1. Così fan tutti  Argomento 2. I benefici della valutazione superano sicuramente i suoi costi  Argomento 3. I professori devono rendere conto al contribuente del loro lavoro  Argomento 4. La valutazione serve ad individuare le «code basse» (i.e. i fannulloni)  Argomento 5. La valutazione spinge comunque a comportamenti desiderabili
  • 6.
  • 7.
    Precedenti storici recenti La politica universitaria di Margareth Thatcher  UK: RAE 1986  «it was Leninism» (S. Jenkins, Thatcher and Sons)
  • 9.
    La valutazione massivaex post della ricerca è adottata da molti paesi?  No. Solo da UK e Italia «The UK and Italy are the only countries that have implemented a Peer Review Based Research Assessment system that (potentially) evaluate all academic staff in order to allocate research funding» (Aldo Geuna and Matteo Piolatto, 2016) (L’Italia è l’unico paese a concentrare in una unica agenzia ANVUR tutte le funzioni di valutazione (didattica, ricerca, amministrazione, trasparenza). ANVUR ha il consiglio direttivo più costoso del mondo) (Baccini 2013, 2015)
  • 10.
    E’ vero chei benefici della valutazione sono superiori ai costi?
  • 11.
    Quanto costa lavalutazione?  «Stiamo lavorando con 10 milioni di euro, dei quali in questo momento stiamo usando solo quelli che ci sono stati assegnati che sono 6,4 milioni. Questa cifra rappresenta l'1,2% della distribuzione premiale» Stefano Fantoni, ex-presidente ANVUR http://www.flcgil.it/web-cronache/2012/05-17-tavola-rotonda-anvur-e- politiche-di-sistema/15.00.00
  • 12.
    Quanto costa davverola valutazione?  La VQR1 è costata tra 150 e 300 milioni di €  Stima del tutto in linea con i costi del REF britannico REF2014: technopolis UK £246m Geuna-Piolatto 2015 max 164m/€! VQR1: Sirilli: €300m Sirilli Geuna Piolatto 2014: €182m Geuna-Piolatto 2015: €71m Stime a confronto
  • 13.
    La valutazione servea distribuire risorse per evitare sprechi
  • 14.
    Quanto pesa laVQR nella distribuzione dell’FFO premiale? € 725,1 milioni € 57,5 milioni
  • 16.
    Daniele Checchi (ANVUR):«Ma da noi c’era il problema che una parte dell’Accademia non scrive proprio. La prima edizione della valutazione della ricerca è servita a rendere trasparente il fatto che nelle università c’era un 8 per cento di inattivi, vale a dire di ricercatori che non producevano nemmeno un lavoro all’anno» Corriere della Sera 1 marzo 2017
  • 17.
    Quanti erano gliinattivi nella VQR1? Fonte:mieelaborazionisudatiANVUR certosinamenteraccoltidaFrancesco Prota
  • 18.
    Quanto è costatoscovare i fannulloni? Per scovare ogni fannullone si sono spesi tra: 82.465€ - 135.931€
  • 19.
    Ma gli inattivici sono solo in Italia? (MichaelKeating,2011)
  • 20.
    Ma gli inattivici sono solo in Italia?  NO. Sono «connaturati» al lavoro scientifico
  • 21.
    La valutazione serveper ridurre gli inattivi? INATTIVI
  • 22.
    La valutazione fabene?  La valutazione fornisce incentivi individuali e collettivi per l’adozione di comportamenti che spingono al miglioramento dei risultati della ricerca?  Se credete all’autorità, allora…
  • 23.
    Andrea Bonaccorsi: «Nonesiste una evidenza empirica robusta sul fatto che la valutazione o anche i sistemi di publish or perish, inducano nel lungo periodo effetti distorsivi permanenti sulla ricerca» La valutazione possibile, p. 170
  • 24.
    Se la paroladell’autorità non vi basta…
  • 25.
    Se invece noncredete all’autorità… http://www.ecns.cn/2017/05-02/255644.shtml
  • 31.
    Ma una valutazionemassiva ex post della ricerca serve davvero? In summary, the evidence indicates that performance-informed (with or without a formal link between perfomance and funding) does indeed increase the pressure on researchers and institutions to meet the performence criteria, irrespective of wheteher the latter are based on peer review or on citations. This is clearly an intended effect. […] The research community respond strategically, and this may in turn create unintended effects, either through the mechanism of goal dispacement or through more structural changes in research priorities, publication activities, or research capacities and organization» (P. Wouters, 2014)
  • 33.
  • 35.
    Cosa resta degliargomenti digeriti dall’accademia per giustificare la valutazione?  Argomento 1. Così fan tutti  Argomento 2. I benefici della valutazione superano sicuramente i suoi costi  Argomento 3. I professori devono rendere conto al contribuente del loro lavoro  Argomento 4. La valutazione serve ad individuare le «code basse» (i.e. i fannulloni)  Argomento 5. La valutazione spinge comunque a comportamenti desiderabili
  • 36.
    Q1. A cheserve davvero la valutazione massiva della ricerca? 1. Per placare «semi-outsiders: funders, governements, university administrators a suspicious general public» in cambio di risorse 2. Come strumento di controllo dei comportamenti accademici da parte dei governi (Foucault) 3. Come screening device del capitale all’epoca della «società della conoscenza» (Cognitive capitalism)
  • 37.
    Q2. Perché iricercatori accettano di giocare al gioco della valutazione? «assessment seduces» (Coin 2014)
  • 38.
    Q3. Cosa c’entrala dignità con la valutazione della ricerca?  La dignità abbiamo cominciato a perderla  quando abbiamo accettato di essere valutati da un agenzia governativa in mano a un gruppo di colleghi scelti dal ministro  quando non abbiamo protestato perché ANVUR usa metodi di valutazione che hanno di fatto estromesso dalla valutazione la comunità scientifica  quando abbiamo accettato di essere valutati con metodi che non sono stati passati al vaglio della comunità scientifica  quando abbiamo accettato di discutere con i valutatori come fossero nostri pari. Sono nostri pari, ma non agiscono come tali. Perché hanno la spada dalla loro parte  quando abbiamo accettato e abbiamo anche giustificato l’idea che fosse nostro dovere sottoporsi ad una valutazione autoritaria
  • 39.
    La dignità delnostro lavoro  La perdita di dignità e l’accettazione passiva delle regole del gioco sta trasformando il nostro lavoro  E la trasformazione è già nelle parole  Non siamo più professori e ricercatori che fanno ricerca ed insegnano agli studenti  Ma siamo addetti alla ricerca che producono prodotti della ricerca, anzi che sottomettono prodotti di ricerca ai valutatori.  E gli studenti sono i nostri clienti che dobbiamo soddisfare
  • 40.