Intervento di Claudio Bosio, Presidente della Conferenza della Psicologia Accademica, in occasione del terzo Seminario organizzato dall’Interconferenza, dal titolo “La valutazione nel sistema universitario. Elementi per un bilancio”, che si è tenuto mercoledì 25 marzo 2015 presso l’Aula degli Organi Collegiali della Sapienza – Università di Roma. http://www.radiosapienza.net/2013/news/dalla-sapienza/2311-terzoseminario.html

1. VALUTATE I VALUTATORI:
L’ESPERIENZA DELL’ANVUR NELLA
PROSPETTIVA DELLA CONFERENZA
DELLA PSICOLOGIA ACCADEMICA
A. CLAUDIO BOSIO
Conferenza Psicologia Accademica - CPA
Roma, 25 Marzo 2015

2. 2
1 OBIETTIVI E METODOLOGIA
Obiettivi
 Valutare l’«esperienza ANVUR» nella prospettiva della Psicologia Accademica
italiana (ancoraggio: propria organizzazione di appartenenza)
in generale
con riferimento a specifiche azioni ANVUR:  AVA (didattica/annuale)
 VQR (2011)
 SUA-RD (2014)
 ASN (2012)
 ASN (2013)
Metodologia
 Questionario on-line autocompilato
 Valutatore: rappresentante di sede (+ team di lavoro)
 Popolazione: 51 sedi (100%)
 Rispondenti: 35 sedi (68,7%)

3. Rispondenti (N=35)
2
Tasso di
risposta:
68,7%
MAPPATURA DEI RISPONDENTI
RISPONDENTI: X TIPOLOGIA DI APPARTENENZA CPA (CFR. ART. 3 COMMA A)

4. I principali risultati
4

5. 5
ANVUR: VALUTAZIONE COMPLESSIVA (scala 0-10)
N Minimo Massimo Media Deviazione std.
34 0 10 5,7 2,6
--
61,8
- +
Nota
-- : (punteggi 0-3)
- : (punteggi 4-5)
+ : (punteggi 6-7)
++ : (punteggi 8-10)
++
38,2
1

6. 6
ANVUR: VALUTAZIONE COMPLESSIVA - PER SEGMENTI
Media
Globale (n=34) 5,7
Dipartimento di Psicologia o assimilabili (n=18) 5,7
CdS in Psicologia (n=9) 5,9
Aggregazione di docenti di Psicologia (n=7) 5,4
1.1

7. 7
VALUTAZIONE SU AVA (scala 0-10)
N Minimo Massimo Media Deviazione std.
33 1 10 5,7 2,236
-- - + ++
Nota
-- : (punteggi 0-3)
- : (punteggi 4-5)
+ : (punteggi 6-7)
++ : (punteggi 8-10)
63,636,4
2

8. 8
AVA: VALUTAZIONE ANALITICA - PER SEGMENTI
Media
Globale (n=33) 5,7
Dipartimento di Psicologia o assimilabili (n=17) 5,0*
CdS in Psicologia (n=9) 6,8*
Aggregazione di docenti di Psicologia (n=7) 5,4
2.1
* = Differenze (positive/negative) significative (+/-) rispetto al totale al livello di significatività del 5% (p< .05).

9. 9
VALUTAZIONE VQR-2011 (scala 0-10)
N Minimo Massimo Media Deviazione std.
33 1 10 5,1 2,8
-- - + ++
42,457,6
Nota
-- : (punteggi 0-3)
- : (punteggi 4-5)
+ : (punteggi 6-7)
++ : (punteggi 8-10)
3

10. 10
VQR-2011: VALUTAZIONE ANALITICA - PER SEGMENTI
Media
Globale (n=33) 5,1
Dipartimento di Psicologia o assimilabili (n=18) 5,8
CdS in Psicologia (n=10) 3,9*
Aggregazione di docenti di Psicologia (n=6) 5,8
3.1
* = Differenze (positive/negative) significative (+/-) rispetto al totale al livello di significatività del 5% (p< .05).

11. 11
VALUTAZIONE SUA-RD (2014) (scala 0-10)
N Minimo Massimo Media Deviazione std.
29 1 10 5,9 2,5
-- - + ++
69,031,0
Nota
-- : (punteggi 0-3)
- : (punteggi 4-5)
+ : (punteggi 6-7)
++ : (punteggi 8-10)
4

12. 12
SUA-RD 2014: VALUTAZIONE ANALITICA - PER SEGMENTI
Media
Globale (n=29) 5,9
Dipartimento di Psicologia o assimilabili (n=15) 5,3
CdS in Psicologia (n=10) 6,1
Aggregazione di docenti di Psicologia (n=4) 6,5*
4.1
* = Differenze (positive/negative) significative (+/-) rispetto al totale al livello di significatività del 5% (p< .05).

13. 13
VALUTAZIONE ASN 2012 (scala 0-10)
N Minimo Massimo Media Deviazione std.
33 2 10 5,7 2,4
-- - + ++
Nota
-- : (punteggi 0-3)
- : (punteggi 4-5)
+ : (punteggi 6-7)
++ : (punteggi 8-10)
51,548,5
5

14. 14
ASN 2012: VALUTAZIONE ANALITICA - PER SEGMENTI
Media
Globale (n=33) 5,7
Dipartimento di Psicologia o assimilabili (n=18) 6,0
CdS in Psicologia (n=9) 4,9*
Aggregazione di docenti di Psicologia (n=7) 6,0
5.1
* = Differenze (positive/negative) significative (+/-) rispetto al totale al livello di significatività del 5% (p< .05).

15. 15
VALUTAZIONE ASN 2013 (scala 0-10)
N Minimo Massimo Media Deviazione std.
27 2 10 5,3 2,478
-- - + ++
44,455,6
Nota
-- : (punteggi 0-3)
- : (punteggi 4-5)
+ : (punteggi 6-7)
++ : (punteggi 8-10)
6

16. 16
ASN 2013: VALUTAZIONE ANALITICA - PER SEGMENTI
Media
Globale (n=27) 5,3
Dipartimento di Psicologia o assimilabili (n=18) 6,2*
CdS in Psicologia (n=4) 4,6*
Aggregazione di docenti di Psicologia (n=5) 5,2
6.1
* = Differenze (positive/negative) significative (+/-) rispetto al totale al livello di significatività del 5% (p< .05).

17. 17
VALUTAZIONI ANALITICHE: UN QUADRO DI SINTESI
(scala 0-10)
7
AVA
ASN (2013)
VQR (2011)
SUA-RD (2014)
ASN (2012)
5.7 5.46.8*5.0*
5.1 5.83.9*5.8
5.9 6.5*6.15.3
5.7 6.04.9*6.0
5.3 5.24.6*6.2*
Agg.CdSDip.
* = Differenze (positive/negative) significative (+/-) rispetto al totale al livello di significatività del 5% (p< .05).
MEDIA

18. 18
 Oggettività e trasparenza (N=19)
 Cultura della valutazione (N=13)
 Premio alla qualità (N=8)
 Apertura all’internazionalizzazione/
superamento logiche localistiche (N=7)
I MOTIVI DELLA VALUTAZIONE8
- +
Eccesso di burocrazia (N=25)
Criteri poco chiari e arbitrari (N=23)
Rigidità (N=5)

19. 19
 MAGGIORE CHIAREZZA/MENO ARBITRARIETA’
PROCEDURE (N=16)
 SNELLIMENTO BUROCRAZIA/SEMPLIFICAZIONE
PROCEDURE (N=11)
 INTRODUZIONE BANCHE DATI «FREE ACCESS» (es.
google scholar) (N=6)
 PIU’ COLLABORAZIONE CON ISTITUZIONI DI
RIFERIMENTO (MIUR, CUN, CPA, AIP) (N=4)
VALUTAZIONE COMPLESSIVA: I MIGLIORAMENTI PIU’ URGENTI e
IMPORTANTI
9

20. 20
UN TWEET ALL’ANVUR (*)10
«Il giudizio complessivo concordato è stato
sufficiente nonostante i numerosi elementi di criticità,
perché si ritiene utile sostenere e promuovere la
cultura della valutazione all’Università»
(*) Per una ricognizione analitica: cfr. appendice

21. 21
UNA POSTILLA PERSONALE (come «portatore privilegiato» di
esperienza): ALCUNI SUGGERIMENTI
1 RIDURRE L’EFFETTO «FATICA»
 SNELLIRE PROCEDURE
 RIVEDERE CALENDARI (AVA ANNUALE?)
 EVITARE DOPPIONI (VQR e SUA-RD 2015)
 FACILITARE I PERCORSI E L’INSERIMENTO DATI
2 SOSTENERE IL PASSAGGIO
 DA UNA CULTURA DELLA QUALITA’ PER «ADEGUATEZZA FORMALE»…
 …AD UNA «PER RISULTATI»

22. 22
(…segue)
3 ATTENZIONE AI MICRO-PROCESSI ATTUATIVI (fra questi: SSD «ecologici»)
4 RIPENSARE LE «REGOLAZIONI IMPLICITE» DEL «TAVOLO DI LAVORO»
 REGOLAZIONE ORIZZONTALE (ANVUR, MIUR, CUN…)
 REGOLAZIONE VERTICALE (ANVUR ↔ SEDE)

23. Appendice -
un messaggio finale
all’ANVUR
23

24. 24
UN TWEET ALL’ANVUR (a)
«Il livello di complessità è tale da ostacolare lo svolgimento delle attività oggetto di valutazione. La valutazione deve
basarsi su criteri semplici e sul lavoro del valutatore, non valutato; la SUA RD annuale perché deve essere gestita
dall'ANVUR? Credo sia sufficiente la VQR; le altre valutazioni non potrebbero essere a carico del CUN, CRUI o degli
atenei?; in generale c'è la sensazione che essere valutati in qualsiasi ambito non porti a nulla in termini di azioni da
parte di ANVUR/MIUR»
«Includere esperti universitari (es di statistica) nel panel di chi definisce regole e metodi: anche se l'ANVUR è privato,
non può non considerare che le migliori menti stiano solo FUORI dall'università!»
«Francamente non vedo la necessità di una agenzia permanente, costosa qual è oggi l’ANVUR; gli adempimenti
burocratici sono aumentati a dismisura (vedi AVA, TECO, SUA RD) senza che a questi oneri per le strutture siano poi
seguiti risultati significativi in termini di politiche di indirizzo o di allocazione di risorse; gran parte delle funzioni svolte oggi
dall’ANVUR potrebbero tranquillamente, senza costi aggiuntivi, essere svolte dal CUN»
«La legge 240/2010 ha introdotto alcuni aspetti potenzialmente positivi in relazione ai processi di valutazione, primo tra
tutti l’Abilitazione Scientifica Nazionale. Il modo in cui l’ANVUR ha implementato il mandato del legislatore in relazione
all’ASN è risultato ampiamente insoddisfacente. Simili considerazioni possono essere fatte in relazione ai processi di
valutazione della didattica e della ricerca. I punteggi qui attributi nelle sezioni da 1 a 6 fanno specifico riferimento alle azioni
intraprese dall’ANVUR piuttosto che all’idea che processi di valutazione in ambito accademico siano necessari, idea
condivisibile e per sviluppare la quale è auspicabile un deciso cambiamento nelle politiche ministeriali. Intervento prioritario
è snellire e accorpare le procedure (è davvero necessaria la contemporanea esistenza della VQR e della SUA-RD?)
acquisendo solo le informazioni davvero rilevanti e rinunciando al controllo centralizzato di aspetti non rilevanti nella
definizione degli standard qualitativi»

25. 25
UN TWEET ALL’ANVUR (b)
«Credo che lo sforzo dell’ANVUR sia motivato da intenzioni condivisibili. Tuttavia i compromessi che hanno caratterizzato
l’applicazione pratica dei necessari processi di valutazione esterna dei risultati della ricerca, a mio parere, hanno prodotto
effetti di segno opposto a quelle che potevano essere le intenzioni originarie. All’Università è stato imposto uno strumento
di ‘valutazione’ che non è nato all’interno del mondo accademico (e dunque tiene poco in considerazione le sue reali regole
di funzionamento), che è estremamente diverso da quelli utilizzati dalle università che figurano in posizioni alte nei ranking
internazionali, e che si sta dimostrando uno strumento, ancora più potente di quelli disponibili in passato, per umiliare i
meriti dei docenti e per rafforzare le baronie locali».
«E’ indispensabile un maggiore investimento negli atenei pubblici. Dal punto di vista dei ranking internazionali, c’è
sicuramente spazio per un miglioramento. I dati disponibili indicano che in termini di efficienza (pubblicazioni per spesa) i
risultati sono positivi. Se questo è vero, il problema dei ranking non si risolve diminuendo i finanziamenti alla ricerca, ma
aumentandoli. Inoltre, gli indici bibliometrici sono utili ma non esclusivi. Tuttavia le commissioni dell’ASN li hanno usati (o
non usati) in assenza di criteri omogenei e condivisi. Esercitare azioni di controllo sulle diverse fasi di valutazione
affinché i processi siano adeguati e non destino critiche. Portare a regime le procedure valutative per favorire una maggiore
accettazione da parte dei docenti e iniziare un processo di miglioramento».

26. 26
UN TWEET ALL’ANVUR (c)
«Scegliere valutatori ANVUR/VQR competenti. Inoltre i criteri di valutazione dovrebbero essere pubblicati a priori.
Come i referee per gli articoli inviati alle riviste, anche i valutatori ANVUR/VQR potrebbero specificare quali criteri
definiscono un lavoro eccellente, accettabile o limitato. Nella nostra esperienza, per esempio, non è apparso chiaro in che
modo la valutazione abbia considerato la collocazione editoriale (livello locale/nazionale), la tipologia di prodotto (teorico o di
ricerca)».
«Sia per la VQR sia per l’ASN, i problemi più rilevanti e con ricadute più gravi, si sono verificati per il comportamento
disomogeneo dei colleghi del nostro macro-‐settore M-‐PSI impegnati a vario titolo nelle valutazioni».
«L’aspetto più significativo, in termini politici generali, delle politiche ANVUR e della correlata aggregazione dei settori
concorsuali e adozioni del sistema bibliometrico per la psicologia e la “separazione” dell’area CUN 11B. Per la prima volta,
dopo anni di richieste la psicologia ha di fatto un’area CUN indipendente e riconoscibile. Sia in termini politici che di
immagine pubblica, crediamo che questo possa essere di estrema importanza e si debbano mettere in atto tutte le iniziative
possibile per rafforzare questa separazione dagli altri settori dell’area 11».