La valutazione impossibile

Una valutazione (della ricerca) dal
volto umano: la missione
impossibile di Andrea Bonaccorsi

Roberto Caso

Università di Trento
AISA

Andrea Bonaccorsi, 2015
Caso - Valutazione impossibile - 2017 2

Valutazione=Innovazione [=Progresso]
•  “Da alcuni anni la valutazione della ricerca è
entrata nella vita ordinaria delle università
italiane. Come spesso accade nel nostro
paese, l’innovazione arriva in ritardo rispeQo
ad altri sistemi nazionali, e con eccessi di
aspeQaRve” [p. 7]

Fulminato sulla via…

Serenamente, pacatamente

Bonaccorsi mertoniano
•  “Per quanto mi riguarda, non ho diﬃcoltà a
parRre dal principale modello normaRvo della
scienza moderna dovuto a Robert K. Merton.
Nella formulazione più nota, gli scienziaR sono
universalisR, comunitari, disinteressaR e
sce`ci” [p. 19].

Esplicitazione, formalizzazione e
aggregazione
•  “Nella mia concezione, quindi, la valutazione è
un esercizio di esplicitazione, formalizzazione
e aggregazione di giudizi già presenR nelle
comunità dei competenR” [p. 89].

Bonaccorsi democraRco
•  “E’ inoltre una teoria adeguata alle società
democraRche, nelle quali la ricerca scienRﬁca
gode di uno statuto di autonomia,
cosRtuzionale o di faQo, e si richiede che ogni
procedura pubblica sia giusRﬁcabile
razionalmente”.
•  “[…] un disegno isRtuzionale della valutazione
di Rpo fallibilista e aperto, non burocraRco,
non tecnocraRco”

Ohhh!!!

Un universo teorico parallelo
•  Teoria: tradimento del pensiero mertoniano,
assenza di un ragionamento giuridico sulla
diﬀerenza tra norme informali e formali
•  PraRca: la realtà italiana dell’ANVUR racconta
una storia diversa

L’ordine del ragionamento
1.  Merton preso sul serio
2.  Commercializzazione e valutazione
3.  Una piccola (e molto incompleta) galleria degli
orrori giuridici dell’ANVUR
4.  Dalla scienza pubblica alla scienza aperta: un
esempio di robustezza

1

Bonaccorsi paladino di Merton?

1938-1942

Merton, 1938
•  La scienza pura
•  “La scienza non può tollerare di entrare al
servizio della teologia, dell’economia o dello
Stato”.

Merton, 1942
•  “L’ethos della scienza è quel complesso di
valori e norme a cui si riRene sia impegnato,
anche emoRvamente, l’uomo della scienza. Le
norme sono espresse in forma di prescrizioni,
proibizioni, preferenze e permessi e sono
legi`mate in termini di valori isRtuzionali. […]
Sebbene l’ethos scienRﬁco non sia codiﬁcato,
esso può dedursi dal consenso morale degli
scienziaR […]”. [p. 1057]

Merton, 1942: Universalismo
•  “Per quanto imperfeQamente possa essere
praRcato l’universalismo è compreso
nell’ethos della democrazia ed è uno dei suoi
principi dire`vi fondamentali. […]
•  Sono i criteri impersonali delle realizzazioni e
non la considerazione delle caraQerisRche di
status aQribuite dalla nascita ciò che qualiﬁca
la società democraRca”. […] [p. 1064]

Merton, 1942: Comunismo
•  “Il conceQo isRtuzionale della scienza come
parte del patrimonio comune è legato
all’imperaRvo della comunicazione dei
risultaR. La segretezza è l’anRtesi di questa
norma, la comunicazione completa e senza
vincoli è la sua aQuazione praRca”. […] [p.
1067]

Merton, 1942 contro i breve`
•  “Il comunismo dell’ethos scienRfico è
incompaRbile con la concezione dell’economia
capitalisRca che la tecnologia sia «proprietà
privata». Scri` correnR sulla «frustrazione della
scienza» rifleQono questo confliQo. I breve`
proclamano diri` esclusivi di uso e, spesso, di
non uso. […] [p. 1068]
•  Come misura difensiva alcuni scienziaR sono
giunR a far breveQare il loro lavoro per poterlo
rendere accessibile al pubblico” […] [p.1069]

Merton, 1942: Disinteresse
•  “La scienza, come in generale le professioni,
include fra le sue esigenze isRtuzionali
fondamentali il disinteresse. […] [p. 1069]
•  L’esigenza del disinteresse ha un fondamento
solido nel caraQere pubblico e controllabile
della scienza e possiamo supporre che questa
circostanza abbia contribuito all’integrità degli
uomini di scienza”. [p. 1070]

2

Monsters University: be compeRRve!


Bonaccorsi, 2015, p. 164
•  “[…] la valutazione è asservita al processo più
generale di privaRzzazione della scienza,
iniziato con il Bayh-Dole Act e proseguito negli
ulRmi tre decenni allo scopo di trasformare la
conoscenza pubblica in bene privato. A me
sembra che la tesi della priva6zzazione
comme7a una sempliﬁcazione storica.”

•  “Il punto essenziale è che la valutazione in Italia non
è al servizio di un disegno di privaRzzazione, ma al
contrario di una concezione pubblica e democra6ca
della scienza e della istruzione superiore, che
intende preservare ad ogni costo le buone ragioni
del lavoro accademico. L’uso di argomenR sviluppaR
nei paesi anglosassoni, in parRcolare Inghilterra e
Australia, o per ragioni diverse in Francia, per
aQaccare la valutazione in Italia, sono fuorvian6.”

Concezione pubblica, argomenR
fuorvianR, davvero?
•  Bando VQR 2011-2014 – 15/11/2015
•  La calibrazione degli algoritmi di valutazione
bibliometrica sarà basata sul rispeQo delle
percentuali indicate nelle definizioni dei livelli
di qualità, idenRficando “la produzione
scienRfica dell’area” con il contenuto dei data
base bibliometrici uRlizzaR a livello di subject
category (ISIWoS) e ASJC (Scopus).

Il faQurato dei 6 più grandi editori
commerciali

L’origine del male: ISI, impact factor e
core journals
•  Figà Talamanca: “Nonostante il nome
alRsonante, l’ISI non è una fondazione o
un’associazione senza ﬁni di lucro, non ha
come scopo la promozione della scienza o
dell’informazione scienRﬁca, ma è invece
un’azienda privata che, come tuQe le aziende,
ha come dovere principale e scopo ulRmo
quello di arricchire i soci”.

ArgomenR fuorvianR, davvero?
•  Bando VQR 2011-2014 – 15/11/2015
•  Breve` concessi nel quadriennio della VQR
(dal 1/1/2011 al 31/12/2014)
•  Il breveQo è una pubblicazione scienRﬁca? Da
chi viene valutata la concessione di un
breveQo, da pari (professori universitari) che
operano in base alle norme mertoniane?

•  “La compeRzione non è quindi uRle perché
imita il mercato, ma perché consente di
correggere gli errori e di migliorare la propria
a=vità prima e meglio di altri meccanismi. E
si potrebbe dire la stessa cosa della
valutazione: essa serve a fornire elemen6
u6li per migliorare”

Vocabolario Treccani
compeRzióne s. f. [dal lat. tardo compeRRo -onis
(der. di competĕre «competere»), aQrav. l’ingl.
compeRRon]. – 1. a. Gara, loQa, contrasto fra
persone o gruppi che cercano di superarsi, di
conquistare un primato e sim.: c. sporRve,
poliRche; entrare in c.; senza determinazione,
s’intende per lo più compeRzione atleRca o
sporRva: c. individuali, a squadre. b. Nel
linguaggio econ., talora sinon. di concorrenza.
[…]

CompeRzione?

CompeRzione?
•  Esistono parRte di calcio (oneste) dove non sono le
squadre a segnare ma l’arbitro ad aQribuire i goal, o
a meQere la palla in rete?
•  Ed esistono parRte di calcio in cui ci sono giocatori
che fanno anche da arbitri?
•  Ed esistono parRte di calcio in cui le regole del gioco
vengono ﬁssate a compeRzione iniziata?

3

Ancora Bonaccorsi, 2015, p. 168
•  “Il punto essenziale è che la valutazione in Italia non
è al servizio di un disegno di privaRzzazione, ma al
contrario di una concezione pubblica e democra6ca
della scienza e della istruzione superiore, che
intende preservare ad ogni costo le buone ragioni
del lavoro accademico. L’uso di argomenR sviluppaR
nei paesi anglosassoni, in parRcolare Inghilterra e
Australia, o per ragioni diverse in Francia, per
aQaccare la valutazione in Italia, sono fuorvian6.”

•  “La ricerca scienRﬁca appare resiliente non
solo rispeQo alle intromissione del mondo
esterno (poliRca, imprese) ma anche alle
distorsioni dei comportamenR all’interno”.

Democrazia, davvero?

•  Bando VQR 2011-2014 – 15/11/2015
•  Per ognuna delle 16 Aree il Consiglio Dire`vo dell’ANVUR
nomina un Gruppo di EsperR della Valutazione (GEV nel
seguito), anche a`vi all’estero, composto da studiosi di
elevata qualiﬁcazione scelR sulla base dell’esperienza
internazionale nel campo della ricerca e alle esperienze di
valutazione già compiute. La selezione sarà eﬀeQuata tra
quanR hanno risposto, nelle modalità ed entro i termini
previsR, all’avviso per la manifestazione d’interesse a far
parte dei GEV emanato dal Consiglio Dire`vo medesimo.

D.P.R. 01/02/2010, n. 76, Regolamento concernente
la struQura ed il funzionamento dell’ANVUR

Art. 13
1. L'Agenzia assicura la pubblicità, anche mediante il proprio sito
web isRtuzionale, delle informazioni relaRve:
a) alla struQura e alla dotazione organica dell'Agenzia;
b) ai criteri e alle metodologie per la valutazione deﬁniR
dall'Agenzia;
c) ai risultaR delle proprie analisi e valutazioni;
d) al Rapporto sullo stato del sistema universitario e della ricerca
di cui all'arRcolo 4, nonché ai rapporR annuali, alle relazioni e
alle pubblicazioni predisposte dall'Agenzia;
e) ad ogni altro aspeQo della propria a`vità isRtuzionale in
conformità alla normaRva vigente.

Intervista di Roars a Onida

Valerio Onida
“Rispondo invitando i criRci a entrare nel merito della quesRone
che noi abbiamo posto col nostro ricorso. Che non è aﬀaQo
volto a contestare la necessità di a`vare serie procedure di
selezione dei docenR a livello nazionale, basate su valutazioni
essenzialmente qualitaRve: ma contestare l’uso, per la selezione,
di un criterio “quanRtaRvo” (il numero di arRcoli pubblicaR
nell’ulRmo decennio in riviste collocate nella classe A) applicato
“retroa=vamente”. Infa` la classiﬁcazione delle riviste
avverrebbe ora, ma su di essa si baserebbe la valutazione degli
scri` pubblicaR nello scorso decennio”

Valerio Onida
•  “Quello che secondo noi è violato è l’elementare
principio dell’aﬃdamento legi=mo nei confron6
delle norme che cos6tuiscono il quadro nel cui
ambito il ci7adino agisce. La legge non può
liberamente disporre in modo retroa`vo (ora per
allora): è un principio generale dell’ordinamento
(“La legge non dispone che per l’avvenire: essa non
ha eﬀeQo retroa`vo”: art. 11 delle disposizioni
preliminari al codice civile)”.

4

Bonaccorsi, 2015, p. 155: la scienza
aperta non è robusta
•  “La proposta di sosRtuire la revisione dei pari
ex ante con la pubblicazione libera dei
manoscri`, da soQoporre a valutazione ex
post da parte delle comunità scienRﬁche, pure
suggesRva, non sembra avere le proprietà di
robustezza necessarie per essere
generalizzabile”
•  In nota: “Si traQa comunque di una
prospe`va da monitorare aQentamente […]”

Bonaccorsi et al., F1000, 2015

Concorso pubblico di Idee di Ricerca (bando del 15 Luglio
2014): Graduatoria dei
proge` idonei approvata con delibera del Consiglio Dire`vo
n.107 del 15/10/2014.
•  Tre revisori su quaQro sono in gruppi di ricerca
che hanno vinto nel 2014 proge` ﬁnanziaR da
ANVUR
•  Hanno tu` dichiarato di non avere conﬂi` di
interessi
•  La norma mertoniana del disinteresse era
sospesa?

Chiara Faggiolani [una tra i tre revisori],
AIB studi, 2016, recensisce (con perﬁda
ironia) il libro di Bonaccorsi
•  “Alla luce di questa prospe`va la valutazione
non appare più tanto piccola (o meschina) ma
diviene importante perché ﬁnalizzata al
miglioramento della ricerca stessa. Non è più
una praRca da sbrigare per dovere, un male
necessario o un obie`vo cui tendere
opportunisRcamente, ma torna ad essere un
mezzo uRle, per amore della ricerca. La
valutazione torna ad essere per la ricerca oltre
che della ricerca”.

Chiara Faggiolani
•  “Alla ﬁne del libro abbiamo quasi dimenRcato le
vicende della VQR, siamo staR capaci di vedere l'astro
dimenRcando il dito, per usare un'altra metafora nota.
Pensiamo che sarebbe stato bello leggere questo libro
qualche anno fa, perché forse ci avrebbe aiutato a
interpretare quanto stava accadendo e sarebbe
accaduto, riportandoci su un piano diverso da quello
delle procedure amministraRve e della
rendicontazione: il piano epistemico della ricerca, dello
studio che necessariamente i ricercatori (i valutaR!)
amano e sentono proprio. Il processo è appena
iniziato e c'è tanta strada da fare ma la valutazione è
possibile, come il 6tolo del libro ci ricorda”.

E gli autori?
•  Bonaccorsi, Cicero, Ferrara e Malgarini tu`
aﬃliaR ad ANVUR
•  Vigeva una sospensione della norma
mertoniana del disinteresse?
•  Gli autori parlano per amore della scienza o
per difendere la razionalità della procedura
dell’ANVUR da cui ricevono lo sRpendio?

ANVUR: un dio onnipotente
•  Legislatore
•  Giudice
•  Interprete (doQore)

Valutatori su Marte?

Aaron Swartz
“Legacy” 2006

Legacy, 2006
“So what jobs do leave a real legacy? […]
But one good source of them is trying to do things that change
the system instead of following it. For example, the university
system encourages people to become professors who do
research in certain areas (and thus many people do this); it
discourages people from trying to change the nature of the
university itself.
Naturally, doing things like changing the university are much
harder than simply becoming yet another professor. But for
those who genuinely care about their legacies, it doesn’t seem
like there’s much choice”.


RiferimenR bibliograﬁci
•  R. Caso, La scienza aperta contro la merciﬁcazione della ricerca
accademica?, The Trento Law and Technology Research Group. Research
Papers Series; nr. 28. Trento: Università degli Studi di Trento. 2016:
hQps://iris.unitn.it/retrieve/handle/11572/142760/76403/
Caso__LTRP_28_def.pdf


E-mail:
roberto.caso@unitn.it
presidente@aisascienzaperta.org

Web:
hQp://www.lawtech.jus.unitn.it/index.php/people/
roberto-caso


LawTech Trento

AISA: aisascienzaperta.org

Copyright
Copyright by Roberto Caso

Licenza CreaRve Commons
Quest'opera è distribuita con
Licenza CreaRve Commons AQribuzione -
Condividi allo stesso modo 4.0 Internazionale

La valutazione impossibile

Recommended

Recommended

More Related Content

Featured

Featured (20)

La valutazione impossibile