Slides preparate in occasione dell'incontro "La ricerca umanistica: i risultati della VQR 2004-2010" Milano 23 ottobre 2013, Università Statale di Milano La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati I risultati della valutazione del nucleo / i risultati della VQR

2. Programma
• 10.30
Inizio
dei
lavori
• prof.
Emilia
Perassi,
membro
del
Senato
Accademico:
salu?
e
presentazione
dell’inizia?va
• prof.
Chiara
Tonelli,
proreAore
alla
ricerca
UNIMI:
salu?
delle
Autorità
accademiche
• 10.45
relazione
I:
prof.
Massimo
Florio,
presidente
del
Nucleo
di
Valutazione
UNIMI
-­‐
La
ricerca
umanis?ca:
i
risulta?
del
Nucleo
di
Valutazione
• 11.15
relazione
II:
do=.ssa
Paola
Galimber@,
Ufficio
pianificazione
organizza?va
e
valutazione
UNIMI
–
La
ricerca
umanis?ca:
i
risulta?
della
VQR
• 11.45
Interven?
– Interven@
dei
Dire=ori
dei
Dipar@men@
della
Facoltà
di
Studi
Umanis@ci
– Interven@
brevi
programma@
– Domande
dei
presen@
e
dibaJto
• Conclusioni:
prof.
Chiara
Tonelli,
proreAore
alla
ricerca
UNIMI

3. La
valutazione
della
ricerca
umanis@ca:
appun@
Giuseppe
De
Nicolao
Dip.
Ingegneria
Industriale
e
dell’Informazione
Università
di
Pavia

4. La
valutazione:
scienza
o
stregoneria?

5. Scienza
o
stregoneria?
(1/2)
1. Bibliometria
e
valutazione:
esiste
una
vasta
le4eratura
scien6fica
internazionale
a) La
produzione
scien?fica
e
la
sua
valutazione
è
un
oggeAo
di
studio
scien?fico
che
per
la
sua
interdisciplinarietà
u?lizza
metodologie
traAe
da
diverse
discipline
sia
delle
scienze
dure
che
delle
HSS
(Human
and
Social
Sciences).
b) Valgono
le
regole
del
metodo
scien?fico.
c) Inu?le
re-­‐inventare
la
ruota
...
magari
quadrata
o
triangolare.

6. Scienza
o
stregoneria?
(2/2)
2.
In
Italia
non
esiste
uno
specifico
SSD
a) La
valutazione
è
appannaggio
di
esper?
di
altre
aree
che
si
muovono
da
dileAan?
più
o
meno
coscien?
dei
risvol?
scien?fici.
b) Pregiudizio:
essere
un
buono/omo
scienziato
è
sufficiente
per
essere
un
buon
valutatore
senza
documentarsi
sulla
leAeratura
specifica.
c) Non
essendoci
esper?
accredita?,
le
chiacchiere
da
“Bar
Sport”
ed
il
“fai-­‐da-­‐te”
hanno
libera
circolazione
a
tu
i
livelli.
d) Che
fare?
Cercare
di
essere
degli
“ones?
dileAan?”
che
imparano
il
mes?ere
documentandosi
coscienzosamente
sullo
stato
dell’arte
e
le
esperienze
internazionali.
D’altronde,
la
capacità
di
studiare
e
il
metodo
scien?fico
non
dovrebbero
esserci
del
tuAo
estranei.

7. VQR:
Confron?
e
proporzioni

8. Valutazione
=
classifiche?
“Ogni
valutazione
deve
me4ere
capo
a
una
classifica.
Questa
è
la
logica
della
valutazione.
Se
non
c'
è
una
classifica,
non
c'
è
neanche
una
reale
valutazione”
Giulio
Tremon?,
“Il
passato
e
il
buon
senso”
CdS
22-­‐08-­‐08
vediamo
come
fanno
gli
inglesi
...

9. NO RANKINGS PLEASE!
WE’RE BRITISH!!
“RAE2008 results are in the form of a
quality profile for each submission made
by an HEI [Higher Education Institution].
We have not produced any ranked lists of
single scores for institutions or Units of
Assessment, and nor do we intend to.”

10. Quante
sono
le
VQR?
Non
è
stata
svolta
una
VQR
ma
ce
ne
sono
state
16,
perché
due
delle
14
aree
CUN
sono
state
sdoppiate
in
so4o-­‐area
bibliometrica
e
non
bibliometrica.
Cosa
dice
l’ANVUR
rela6vamente
alla
comparabilità
dei
risulta6
VQR
delle
diverse
aree?

12. Ma
allora
come
si
fa
a
ripar@re
la
quota
premiale
del
FFO?
• È
necessario
a4ribuire
un
peso
a
ciascuna
delle
16
aree
tenendo
conto
anche
dei
diversi
cos6
della
ricerca.
• Una
volta
no6
i
pesi
diventa
possibile
anche
ripar6re
la
quota
premiale
tra
le
diverse
aree
di
un
ateneo
• A
chi
spe4a
questa
decisione?
Vediamo
cosa
dice
l’ANVUR
...

13. L’Appendice
D
della
Relazione
VQR
Per
la
natura
stessa
del
problema,
osservazioni
più
tecniche
e
metodologiche
si
fondono
necessariamente
con
valutazioni
di
indirizzo
poli6co
generale
che
esulano
dal
compito
dell’ANVUR
e
rimangono
pienamente
in
capo
al
MIUR,
in
par6colare
nel
momento
in
cui
vi
si
facesse
riferimento
per
la
ripar6zione
di
risorse
finanziarie.

14. Altra
ques@one:
come
usare
la
VQR
per
valutare
i
singoli
ricercatori?
Vediamo
cosa
dice
l’ANVUR
...

15. Valutazione
intra-­‐dipar@mentale
Last
but
not
least,
l’ANVUR
so4olinea
che
i
risulta<
della
VQR
non
possono
e
non
devono
essere
u<lizza<
per
valutare
i
singoli
soggeY.
I
mo6vi
sono
molteplici,
e
qui
ne
ci6amo
alcuni
rilevan6:
la
scelta
dell’associazione
prodoY-­‐soggeY
valuta6,
de4ata
dall’oYmizzazione
del
risultato
di
stru4ura
e
non
del
singolo
sogge4o,
la
richiesta
di
conferire
solo
tre
prodoY
di
ricerca
pubblica6
in
se4e
anni,
che
cos6tuiscono
in
mol6
se4ori
della
scienza
un’immagine
della
produzione
complessiva
dei
singoli
soggeY
molto
parziale,
la
non
considerazione
del
contributo
individuale
al
prodo4o
nel
caso
di
presenza
di
coautori,
e,
infine,
l’u6lizzo
di
metodi
di
valutazione
la
cui
validità
dipende
fortemente
dalla
dimensione
del
gruppo
di
ricerca
cui
sono
applica6.
Relazione
Finale
VQR
–
Parte
Prima,
pag.
9

16. Il
leAo
di
Procuste
del
paradigma
“hard
sciences”

17. Il
paradigma
“hard
sciences”
• Risulta?
della
ricerca
diffusi
prevalentemente
su
riviste
internazionali
con
citazioni
indicizzate
dai
database
bibliometrici.
• Indici
bibliometrici
(Impact
Factor,
citazioni,
h-­‐index,
etc)
associa?
a
pubblicazioni,
ar?coli
e
ricercatori.
• Idea:
la
valutazione
automa?ca
è
a
portata
di
mano
(IF
per
le
riviste,
citazioni
e
h-­‐index
per
i
ricercatori).
Esempi:
VQR
nei
seAori
bibliometrici,
mediane
ASN.
• DORA
-­‐
San
Francisco
Declara?on
on
Research
Assessment
(hAp://am.ascb.org/dora/):
la
comunità
scien?fica
e
le
esperienze
internazionali
mostrano
diffidenza
crescente
nei
confron?
delle
valutazioni
automa?che.

18. Bri@sh
REF
(Research
Excellence
Framework)
Bibliometrics
are
not
sufficiently
robust
at
this
stage
to
be
used
formulaically
or
to
replace
expert
review
in
the
REF
Report
on
the
pilot
exercise
to
develop
bibliometric
indicators
for
the
Research
Excellence
Framework,
September
2009

19. Australian
ERA
(Excellence
of
Research
in
Australia)
There
is
clear
and
consistent
evidence
that
the
[journal]
rankings
were
being
deployed
inappropriately
…
in
ways
that
could
produce
harmful
outcomes
Ministro
K.
Carr,
30
Maggio
2011

20. La
valutazione
delle
scienze
dure:
un
paradigma
da
esportare?
1.
Esempi
del
paradigma:
a)
Gli
scienzia?
italiani
e
in
par?colare
gli
umanis?
non
sono
adeguatamente
produvi
perché
hanno
pochi
lavori
sul
Web
of
Science
della
Thomson-­‐Reuters.
La
scheda
di
valutazione
calibrata
sulle
scienze
dure
(vedi
giudizio
sulla
internazionalizzazione).
In
mol?
SeAori
Concorsuali
un
ar?colo
pubblicato
su
rivista
di
fascia
A
vale
quanto
una
monografia
di
ricerca.
b)
c)
2.
Cosa
dice
la
le4eratura
per
le
HSS?
a)
b)
c)
One
size
does
not
fit
all
(D.
Hicks,
hAp://www.confero.ep.liu.se/issues/2013/v1/i1/121207b/).
Ci
sono
quaAro
“dis?nct,
yet
par?ally
overlapping
worlds
each
serving
a
different
purpose”:
interna?onal
journals
literature,
books,
na?onal
journals,
non
scholarly
press
Distorsioni
(i
dieci
lavori
di
sociologia
spagnoli
più
cita?
sono
sulla
rivista
Annals
of
tourism
research)
Pericoli:
•
•
•
inaridire
seAori
di
studio
di
interesse
nazionale
pubblica?
in
sedi
non
indicizzate;
scoraggiare
la
scriAura
di
lavori
di
enlightenment
(divulgazione)
rivol?
a
pubblico
non
accademico;
scoraggiare
la
scriAura
di
monografie.
3.
Cosa
dicono
i
rappor6
d’area
della
VQR?
a)
b)
Impossibile
sos?tuire
la
peer
review
con
le
classifiche
delle
riviste
Specificità
delle
HSS
(monografie
per
es.)
che
esigono
modelli
di
valutazione
adegua?
(no
le
di
Procuste)

21. Programma
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
10.30
Inizio
dei
lavori
prof.
Emilia
Perassi,
membro
del
Senato
Accademico:
salu?
e
presentazione
dell’inizia?va
prof.
Chiara
Tonelli,
proreAore
alla
ricerca
UNIMI:
salu?
delle
Autorità
accademiche
10.45
relazione
I:
prof.
Massimo
Florio,
presidente
del
Nucleo
di
Valutazione
UNIMI
-­‐
La
ricerca
umanis?ca:
i
risulta?
del
Nucleo
di
Valutazione
11.15
relazione
II:
do=.ssa
Paola
Galimber@,
Ufficio
pianificazione
organizza?va
e
valutazione
UNIMI
–
La
ricerca
umanis?ca:
i
risulta?
della
VQR
11.45
Interven?
a)
Interven@
dei
Dire=ori
dei
Dipar@men@
della
Facoltà
di
Studi
Umanis@ci
Dipar?mento
di
Beni
culturali
e
ambientali:
prof.
Paolo
Inghilleri
Dipar?mento
di
Filosofia:
prof.
Guido
Canziani
Dipar?mento
di
Lingue
e
LeAerature
straniere:
prof.
Marco
Modenesi
Dipar?mento
di
Scienze
della
Mediazione
Linguis?ca
e
di
Studi
interculturali:
prof.
Marie
Chris?ne
Jullion
Dipar?mento
di
Studi
LeAerari,
Filologici
e
Linguis?ci:
prof.
Fabrizio
Conca
Dipar?mento
di
Studi
Storici:
prof.
Grado
Merlo
(membro
del
Senato
Accademico)
b)
Interven?
brevi
programma?
c)
Domande
dei
presen?
e
dibato
Conclusioni:
prof.
Chiara
Tonelli,
proreAore
alla
ricerca
UNIMI