Seminario Invalsi "Verso il Sistema Nazionale di Valutazione: indicazioni dal Progetto VALES" - Roma, 25 giugno 2014

1. QUALE COERENZA FRA
AUTOVALUTAZIONE E
VALUTAZIONE ESTERNA?
Francesca Fortini, Paola Muzzioli - INVALSI
Verso il Sistema Nazionale di
Valutazione: indicazioni dal progetto
VALES
Roma , 25 giugno 2014

2. Il percorso di autovalutazione e
valutazione nelle scuole Vales
 Scuole coinvolte
286 scuole
compilato RA
Autovalutazione
Vales I e II ciclo
Valutazione esterna - Team
Vales e VM
722 scuole
con rubriche
di valutazione
282 scuole
confrontate

3. Il percorso di autovalutazione e
valutazione nelle scuole Vales
 Sono state poste a confronto le valutazioni degli Esiti e
dei Processi
Le scuole in fase di autovalutazione e i Team in
fase di valutazione esterna hanno espresso,
per ciascuna area, un giudizio su una scala
quattro livelli.

4. Aree di valutazione - Processi e Esiti
 Selezione saperi
 Progettazione e valutazione
 Relazione educativa
 Inclusione
 Continuità e orientamento
 Capacità di direzione
 Gestione risorse
 Sviluppo professionale risorse
 Territorio e famiglie
 Autovalutazione
 Risultati

5. Le analisi
 Esplorare le differenze rispetto ad alcune
caratteristiche delle scuole (es. gruppi individuati
tramite la cluster, livello)
 Confrontare i punteggi espressi dai Team in fase di valutazione
esterna e dalle scuole in fase di autovalutazione sugli stessi ambiti:
 correlazione tra i punteggi;
 analisi delle differenze di punteggio;
 creazione di un indicatore per sintetizzare le differenze.

6. Autovalutazione e Valutazione esterna
L’analisi della correlazione tra i punteggi espressi dalle
scuole e dai Team mostra sempre valori positivi:
 Vales I ciclo da 0.2 a 0.6
 Vales II ciclo da 0.2 a 0.7

7. 0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,37
0,29
0,37
0,39
0,43
0,36
0,26
0,24
0,36 0,35
0,55
0,51
0,45
0,38
0,44
0,17
0,40
0,43
0,33
0,47
0,54
0,65
Correlazione Vales I e II ciclo per processi e risultati
Vales I ciclo Vales II ciclo
Autovalutazione e Valutazione esterna

8. Autovalutazione e Valutazione esterna
le differenze
 Primo confronto tra punteggi grezzi ambito processi:
Per la sola Autovalutazione nell’ambito dei risultati, i 4 giudizi sono stati sintetizzati
con la media per poter essere confrontati con i giudizi espressi sullo stesso ambito in
fase di valutazione esterna. Il confronto in termini di differenze è avvenuto attraverso
l’individuazione di punteggio soglia.
entità differenza % media
differenza nulla 0 56,04
1 punto 1 39,96
2 punti 2 3,74
3 punti 3 0,25

9. Autovalutazione e Valutazione esterna
 Per approfondire la descrizione della distribuzione delle
differenze nei punteggi tra Autovalutazione e Valutazione dei
Team, le differenze sono riportate graficamente insieme alle
statistiche di sintesi della distribuzione dei possibili valori (da -
3 a +3)

10. Autovalutazione e Valutazione esterna
confronto e distribuzione differenze
Vales I ciclo Vales II ciclo
La forma della scatola (rispetto alla mediana) ed il modo in cui si allungano i
tratti laterali (“baffi”) danno un’indicazione sia della tendenza centrale, sia della
variabilità (“intensità” della dispersione) sia della simmetria della distribuzione

11. Autovalutazione e Valutazione esterna
un indice sintetico
 Per sintetizzare le differenze tra punteggi e studiarne
l’andamento è stato creato un indicatore delle differenze:
 Autovalutazione uguale alla Valutazione dei Team
 nessuna differenza nei punteggi;
 Autovalutazione maggiore della Valutazione dei Team
 differenza di punteggi positiva;
 Autovalutazione minore della Valutazione dei Team
 differenza di punteggi negativa;

12. Autovalutazione e Valutazione esterna
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Risultati
Selezione saperi
Progettazione e valutazione
Relazione educativa
Inclusione
Continuità e orientamento
Capacità di direzione
Gestione risorse
Sviluppo professionale risorse
Territorio e famiglie
Autovalutazione
Risultati
Selezione saperi
Progettazione e valutazione
Relazione educativa
Inclusione
Continuità e orientamento
Capacità di direzione
Gestione risorse
Sviluppo professionale risorse
Territorio e famiglie
Autovalutazione
ValesIcicloValesIIciclo
54,0
24,9
26,4
7,5
20,1
37,1
17,4
36,6
33,3
22,7
29,7
45,4
26,9
27,8
6,5
26,9
39,8
24,1
25,0
25,0
19,4
20,6
36,2
61,3
57,5
55,5
62,1
52,9
49,4
51,7
48,3
59,3
58,1
38,9
60,2
50,9
56,5
60,2
47,2
51,9
56,5
59,3
58,3
66,4
9,8
13,9
16,1
37,0
17,8
10,0
33,1
11,6
18,4
18,0
12,2
15,7
13,0
21,3
37,0
13,0
13,0
24,1
18,5
15,7
22,2
13,1
Distribuzione percentuale delle differenze nei Processi e Risultati
Autovalutazione > Valutazione esterna Nessuna differenza Autovalutazione < Valutazione esterna

13. Autovalutazione e Valutazione esterna
-2,00
-1,50
-1,00
-0,50
0,00
0,50
1,00
1,50
2,00
RISULTATI
SELEZIONESAPERI
PROGETTAZIONEEVALUTAZIONE
RELAZIONEEDUCATIVA
INCLUSIONE
CONTINUITÀEORIENTAMENTO
CAPACITÀDIDIREZIONE
GESTIONERISORSE
SVILUPPOPROFESSIONALERISORSE
TERRITORIOEFAMIGLIE
AUTOVALUTAZIONE
RISULTATI
SELEZIONESAPERI
PROGETTAZIONEEVALUTAZIONE
RELAZIONEEDUCATIVA
INCLUSIONE
CONTINUITÀEORIENTAMENTO
CAPACITÀDIDIREZIONE
GESTIONERISORSE
SVILUPPOPROFESSIONALERISORSE
TERRITORIOEFAMIGLIE
AUTOVALUTAZIONE
VALES I CICLO VALES II CICLO
Differenza media nei Processi e Risultati
Autovalutazione > Valutazione est. Autovalutazione < Valutazione est. Autovalutazione > Valutazione est. Autovalutazione < Valutazione est.

14. Autovalutazione e Valutazione esterna
approfondimenti per tipologie di scuole
-2,00
-1,50
-1,00
-0,50
0,00
0,50
1,00
1,50
2,00
RISULTATI
SELEZIONESAPERI
PROGETTAZIONEEVALUTAZIONE
RELAZIONEEDUCATIVA
INCLUSIONE
CONTINUITÀEORIENTAMENTO
CAPACITÀDIDIREZIONE
GESTIONERISORSE
SVILUPPOPROFESSIONALERISORSE
TERRITORIOEFAMIGLIE
AUTOVALUTAZIONE
RISULTATI
SELEZIONESAPERI
PROGETTAZIONEEVALUTAZIONE
RELAZIONEEDUCATIVA
INCLUSIONE
CONTINUITÀEORIENTAMENTO
CAPACITÀDIDIREZIONE
GESTIONERISORSE
SVILUPPOPROFESSIONALERISORSE
TERRITORIOEFAMIGLIE
AUTOVALUTAZIONE
RISULTATI
SELEZIONESAPERI
PROGETTAZIONEEVALUTAZIONE
RELAZIONEEDUCATIVA
INCLUSIONE
CONTINUITÀEORIENTAMENTO
CAPACITÀDIDIREZIONE
GESTIONERISORSE
SVILUPPOPROFESSIONALERISORSE
TERRITORIOEFAMIGLIE
AUTOVALUTAZIONE
1 - LEADERSHIP DIFFUSA NON COORDINATA 2 - LEADERSHIP ORGANIZZATIVA APERTA 3 - LEARNING ORGANIZATION INSTABILI
Differenza media nei Processi e Risultati
Vales I e II ciclo per tipologie di scuole
Autovalutazione > Valutazione est. Autovalutazione < Valutazione est. Autovalutazione > Valutazione est.
Autovalutazione < Valutazione est. Autovalutazione > Valutazione est. Autovalutazione < Valutazione est.
Struttura non coordinata con leadership diffusa Struttura aperta con leadership organizzativa Learning organization instabile

15. Verso il Sistema Nazionale di
Valutazione
 Continuare con il confronto tra Autovalutazione e
Valutazione dei Team:
 introducendo un Team indipendenti di controllo per la
valutazione esterna
 migliorare gli strumenti rispetto alle differenze di ciclo
e tipologia (es. elementi per approfondire il tema
dell’inclusione)

16. Grazie per l’attenzione!