1. Seminario F.A.R.O
Autoanalisi e processi nazionali
di sperimentazione in ambito valutativo
Donatella Poliandri
Palermo 4 maggio 2012
2. I quattro ambiti della valutazione
Efficacia del sistema nel suo
complesso (anche in confronto con altri
paesi)
Qualità delle singole scuole
Apprendimenti degli studenti
Professionalità degli operatori
scolastici
Forte integrazione
Donatella Poliandri
3. Analisi delle esperienze straniere
Elementi comuni:
Elaborazione di un quadro di riferimento teorico che integra la
prospettiva di sistema con quella di scuola
Individuazione di indicatori/aspetti/criteri
Definizione di standard/benchmark
Legame tra valutazione degli apprendimenti e valutazione delle
scuole
Relazione tra valutazione esterna e valutazione interna
Donatella Poliandri
4. Segue - Analisi delle esperienze straniere
Ritorno dell’informazione agli operatori scolastici
Team/azioni per il miglioramento
Integrazione di tecniche qualitative e quantitative per la
rilevazione delle informazioni
Sperimentazione sul campo
Aggiornamento continuo dei sistemi di indicatori
Donatella Poliandri
5. Le esperienze in corso
Valutazione e Miglioramento
Osservazione in classe
specificità
Percorsi di autovalutazione
VSQ (Valutazione Sviluppo Qualità
scuola)
specificità Premialità
VALES (Valutazione e Sviluppo
Scuola)
Integrazione con la Valutazione
specificità del DS
Donatella Poliandri
7. Domande di valutazione
Progetto Valutazione e Miglioramento
La qualità progettuale e l’efficienza organizzativo - gestionale delle
scuole nell’utilizzo dei fondi PON è adeguata?
L’offerta formativa e l’organizzazione complessiva delle scuole
destinatarie dei fondi PON è adeguata?
Quali risposte dare alle scuole che si rivelano inadeguate per uno
più aspetti?
Ipotesi di lavoro
Costruire un percorso di valutazione esterna delle scuole che, integrato
con una riflessione interna, possa sviluppare la capacità delle scuole di
migliorare la qualità complessiva del servizio e avere come
conseguenza un innalzamento dei livelli di apprendimento degli
studenti.
Donatella Poliandri
8. Obiettivi del progetto
Valutare la qualità progettuale e l’efficienza organizzativo -
gestionale della scuola in merito all’utilizzo dei fondi PON
Fare una diagnosi complessiva dell’offerta formativa e
dell’organizzazione della scuola volta a individuare punti di forza e di
debolezza del servizio offerto
Restituire alle scuole coinvolte un rapporto di valutazione che serva
come punto di partenza per la realizzazione di azioni di
miglioramento
Sperimentare un modello di valutazione esterna delle istituzioni
scolastiche (elaborazione di un prototipo)
Donatella Poliandri
9. Il progetto PON Valutazione e Miglioramento
È articolato in fasi distinte che si svolgono in modo
progressivo in più anni scolastici:
Fase 1: valutare la qualità progettuale, l’efficienza organizzativa e
quella gestionale delle singole istituzioni scolastiche nell’attuazione
dei PON Istruzione (FSE e FESR) Circa 450 scuole
Fase 2: identificare i punti di forza e i nodi critici del servizio
scolastico offerto in un’ottica di valutazione sistemica Circa 140 scuole
Fase 3: sostenere azioni di miglioramento Circa 140 scuole
Il Progetto ha avviato inoltre un’estensione fino al termine del 2014 per un
campione di ulteriori 400 scuole del I ciclo, con il coinvolgimento di
istituzioni scolastiche del Centro e del Nord Italia
Donatella Poliandri
10. Il quadro di riferimento teorico
L’intera struttura del progetto si basa su un vasto studio
condotto dall’INVALSI VALSIS
(Valutazione del sistema scolastico e delle scuole)
A partire dall’esplorazione e classificazione degli indicatori
utilizzati da molti paesi per valutare i propri sistemi
scolastici, il Quadro di riferimento teorico per la valutazione
del sistema scolastico e delle scuole formula una proposta
articolata in aree e sottoaree descritte da specifici indicatori.
Il modello è riconducibile alle 4 dimensioni del CIPP (CIPP:
Context, Input, Process, Product)
Donatella Poliandri
11. Aspetti innovativi del progetto
La formazione degli osservatori
Per la valutazione delle istituzioni scolastiche, sono stati selezionati e
formati 40 osservatori, riconducibili a due profili professionali:
Profilo metodologico esperto nelle procedure e nell’utilizzo
degli strumenti di rilevazione
Profilo pedagogico esperto delle problematiche relative alla
didattica e all’organizzazione scolastica
Donatella Poliandri
12. Aspetti innovativi del progetto
Una pluralità di strumenti
Scheda di osservazione
in classe e in laboratorio
Intervista strutturata
al Dirigente Scolastico Interviste di gruppo a
insegnanti, genitori e studenti
Valutazione (Nominal Group Technique)
Rubriche di
esterna
valutazione
Questionari per
Foto documentazione scuole, genitori, studenti
e insegnanti
Analisi della
documentazione
Donatella Poliandri
13. Aspetti innovativi del progetto
La restituzione alle scuole
Gli osservatori hanno elaborato un rapporto di valutazione per
scuola, che presenta in modo analitico le elaborazioni delle
informazioni raccolte, evidenzia i punti di forza e di debolezza del
servizio scolastico offerto, e suggerisce piste di miglioramento.
Restituzione delle informazioni personalizzate per scuola
Confronto tra la singola scuola e i dati medi delle scuole coinvolte
Presentazione di elementi per un percorso di autovalutazione
Individuazione di piste di miglioramento avvio di un percorso di
miglioramento supportato da esperti
Donatella Poliandri
14. Aspetti innovativi del progetto
L’esperto per il miglioramento
Un esperto nella progettazione e realizzazione di interventi a scuola
supporta le scuole in presenza (2-3 visite) e a distanza
Supporto iniziale per la stesura
del progetto di miglioramento
Funzioni
Supporto in itinere per
consulenza di processo
Supporto finale per fare un primo
bilancio dell’azione
L’INVALSI ha costituito una banca dati esperti articolata in aree
tematiche, selezionando circa 100 figure sul territorio nazionale 14
Donatella Poliandri
15. I risultati raggiunti
L’utilizzo dei fondi PON da parte delle scuole
I dati raccolti:
forniscono elementi conoscitivi validi all’Autorità di gestione per orientare le
proprie decisioni
descrivono i processi attuati dalle scuole rispetto ad alcuni nodi critici (es.
coerenza tra piano integrato e autodiagnosi iniziale, integrazione del piano
integrato nel piano dell’offerta formativa, l’integrazione tra attività
progettuali e attività ordinarie, ricadute sui risultati curriculari)
danno indicazioni per migliorare la capacità progettuale delle scuole e
l’attuazione del programma stesso
Rispetto alle precedenti modalità di audit, l’impostazione adottata ha permesso
di leggere la progettualità delle scuole non solo in termini di
adeguatezza/mancanza di adeguatezza alle procedure, ma anche in termini
qualitativi, dettagliando maggiormente il giudizio. Le scuole sono state
classificate a partire da alcuni criteri di qualità individuati.
15
Donatella Poliandri
16. I risultati raggiunti
La valutazione esterna delle scuole
I risultati raggiunti riguardano la prospettiva della singola scuola:
ciascuna scuola osservata ha ricevuto un rapporto di valutazione
che permette il confronto con le altre scuole
i rapporti di valutazione hanno evidenziato i punti di forza e i punti
di debolezza del servizio scolastico offerto e alcune piste
miglioramento
le scuole hanno avviato un percorso di riflessione interna /
autovalutazione e scelto la pista di miglioramento più rispondente
alle proprie esigenze
le scuole hanno avuto la possibilità di dialogare con la valutazione
esterna inviando note, integrazioni, precisazioni
Donatella Poliandri
17. I risultati attesi
Supporto nei percorsi di miglioramento
I risultati attesi a conclusione degli interventi di miglioramento sono:
accrescere la capacità delle scuole di realizzare azioni di
miglioramento concentrandosi sulla risoluzione di specifici punti di
debolezza
consolidare il ruolo degli esperti per rispondere alle esigenze di
supporto delle scuole (tematiche, metodologiche)
accrescere la capacità delle scuole di condurre percorsi di
riflessione interna / autovalutazione
I percorsi di miglioramento sono in corso di realizzazione.
Donatella Poliandri
19. Innovazioni in VSQ
Il progetto VSQ rappresenta
lo sforzo di una esemplificazione del merito in criteri valutabili
la scelta di una prospettiva di tipo multicriteriale
l’integrazione dei due sistemi premianti individuati da Sen in
Merit and Justice (2000), ossia il compenso sulla base dei risultati
(incentivo) e quello sulla correttezza/adeguatezza delle azioni
ricompensate di per sé, a prescindere dai risultati ottenuti
l’integrazione fra il sistema premiale e quello della
‘discriminazione positiva’ con lo scopo di misurarsi concretamente
con gli esiti di processi che hanno a che fare con la competizione,
ma anche con le pari opportunità
Donatella Poliandri
20. Obiettivi del progetto VSQ
VSQ è un progetto sperimentale per un sistema di
valutazione finalizzato all’erogazione di premi e di azioni
di supporto agli istituti scolastici
Gli obiettivi specifici sono
disegnare un modello per la valutazione delle
istituzioni scolastiche autonomo, chiaro, affidabile,
condiviso;
individuare e premiare le migliori performance;
introdurre meccanismi di stimolo a intraprendere
percorsi di miglioramento nelle scuole.
Donatella Poliandri
21. Progetto VSQ: integrazione di due prospettive
a) la prospettiva della premialità attraverso
l’individuazione di aree di valutazione tali da permettere
di stilare una graduatoria (nello specifico: il valore
aggiunto contestualizzato – italiano e matematica;
l’inclusione – studenti con disabilità, studenti stranieri; il
recupero e il potenziamento; l’orientamento; la
valutazione – programmazione e valutazione degli
studenti, valutazione interna / autovalutazione);
b) la prospettiva del miglioramento, ossia un
accertamento diagnostico complessivo sull’istituzione
scolastica, attraverso l’utilizzo di una pluralità di fonti e di
strumenti di rilevazione, con l’obiettivo di delineare punti
di forza e di debolezza del servizio offerto
Donatella Poliandri
22. Quali sono le scuole premiate dal
progetto VSQ? Quelle che …
aggiunto
fanno maggiormente crescere la qualità degli apprendimenti:
Valore
in italiano in matematica
favoriscono l’inclusione degli studenti con disabilità
favoriscono l’inclusione degli studenti stranieri
Visite di osservazione
non lasciano indietro gli studenti con maggiori difficoltà
costruiscono percorsi pensati per gli studenti con ottimi risultati
orientano gli studenti a scegliere i percorsi di studio
più adatti alle loro inclinazioni
utilizzano criteri e strumenti condivisi di programmazione
e di valutazione degli studenti
sono capaci di riflettere su se stesse e di autovalutarsi per migliorare
23. Il valore aggiunto
una misura del miglioramento degli apprendimenti
Il livello degli apprendimenti degli studenti dipende, oltre che dal contributo delle
scuole, dalle caratteristiche degli allievi e dal contesto nel quale si svolge l’azione
educativa
valore aggiunto: è una misura di quanto ciascuna scuola aggiunge
al livello degli apprendimenti conseguito dai propri allievi, tenendo
conto della preparazione pregressa degli studenti in entrata e delle
loro caratteristiche (es. background socio‐economico‐culturale). Il
valore aggiunto è inoltre calcolato tenendo conto degli effetti
(positivi o negativi) del contesto in cui la scuola opera
i modelli di valore aggiunto consentono di confrontare le scuole a
parità di condizioni. Infatti, gli esiti delle scuole sono comparati
evitando che queste si avvantaggino ‐ o siano penalizzate ‐ da
quanto non è sotto il loro diretto controllo
Donatella Poliandri
24. Le aree di valutazione
le azioni ‘positive’ che le scuole mettono in campo
il miglioramento dei livelli di apprendimento non esaurisce il compito della
scuola; esistono infatti altri ambiti su cui una scuola può operare e sui quali è
possibile esprimere un giudizio, a prescindere dai risultati ottenuti
la seconda parte della valutazione (nella prospettiva premiale) è stata affidata a
Team di valutazione inviati presso le scuole
sono stati considerati rilevanti alcuni ambiti che è possibile esaminare attraverso
le azioni ‘positive’ che ciascuna istituzione scolastica intraprende, e che possono
essere giudicati per la loro qualità in quanto normati e/o valorialmente condivisi
Donatella Poliandri
25. Il peso di ciascun indicatore di valore aggiunto
il peso totale del miglioramento degli apprendimenti nel
giudizio complessivo è pari al 60%, così articolato:
• valore aggiunto di Italiano: 35%
• valore aggiunto di Matematica: 25%
il maggiore peso attribuito al valore aggiunto di Italiano si
giustifica poiché esso è in grado di cogliere, anche se in modo
indiretto, altre dimensioni di miglioramento legate ad ambiti
disciplinari differenti a quelli di osservazione delle prove
«cognitive» INVALSI. Ad esempio, la comprensione dei processi
scientifici, a differenza della matematica, richiede la padronanza
della lingua italiana
Donatella Poliandri
26. Le aree e gli ambiti della valutazione
Giudizio
Inclusione studenti con disabilità Giudizio
di Team
di Team
Inclusione
Giudizio
Giudizio
Inclusione studenti stranieri di Team
di Team
Giudizio
Recupero Recupero Giudizio
di Team
di Team
e
potenziamento Giudizio
Potenziamento Giudizio
di Team Indice
di Team Indice
sintetico
sintetico
Giudizio
Orientamento Orientamento Giudizio
di Team
di Team
Valutazione interna / Giudizio
Giudizio
di Team
autovalutazione di Team
Valutazione
Programmazione e valutazione Giudizio
Giudizio
di Team
di Team
degli studenti
Donatella Poliandri
27. La Rubrica di valutazione
gli elementi che la compongono
Lo strumento utilizzato per la valutazione delle azioni positive della scuola per
ognuno dei sette ambiti considerati è la Rubrica di valutazione, caratterizzata da:
criteri di qualità definiti attraverso proposizioni
per ciascun criterio di qualità si predispongono delle scale di
valutazione a quattro livelli:
INDADEGUATO, ACCETTABILE, BUONO, ECCELLENTE
ogni livello è descritto in modo analitico in relazione al criterio di
qualità corrispondente
la descrizione del livello contiene gli elementi o le evidenze
empiriche da prendere in considerazione prima di esprimere un
giudizio, e una check list di passi da compiere, da utilizzare come
‘guida al giudizio’
Donatella Poliandri
28. Le visite di osservazione
i Team
Le visite di osservazione per la
compilazione delle Rubriche di
valutazione sono state condotte
da 16 Team, ciascuno dei quali ha
osservato in media 4 scuole.
Ciascun Team era composto da 3
componenti, ognuno dei quali
aveva specifici compiti da
svolgere.
Donatella Poliandri
29. Le visite di osservazione
articolazione dell’intervento
30. I giudizi di Team, l’Indice sintetico e il peso attribuito
espressione del giudizio di Team per ogni Rubrica di valutazione
scala:
1 – inadeguato 2 – accettabile 3 – buono 4 – eccellente
calcolo dell’Indice sintetico per ogni scuola (pari alla media dei giudizi)
n.b. per alcune scuole non è stato possibile esprimere il giudizio relativo all’inclusione
degli studenti stranieri, in quanto non presenti nella scuola per l’a.s. considerato.
In tal caso la media è stata calcolata su 6 giudizi, e non su 7
attribuzione all’Indice sintetico del peso relativo del 40% per il calcolo
della media ponderata
Donatella Poliandri
31. Punteggi sugli apprendimenti e giudizi di Team
confluiscono in un unico valore finale
Calcolo del Giudizio finale unione delle informazioni relative a:
a) apprendimenti di italiano (peso relativo del 35% sul Giudizio finale)
b) apprendimenti di matematica (peso relativo del 25% sul Giudizio finale)
c) indice sintetico dei giudizi di Team (peso relativo del 40% sul Giudizio finale)
Ambiti: Apprendimenti Giudizi Team
I II III IV
Giudizio
Items: Ita Mate Integraz Integraz Autoval. Valutaz. Potenz. Recup. Orient. Media
finale
.Disabili . studenti G.T.
Stranieri
Prov. Peso: 35% 25% 40% 100%
Scuola X 4 4 4 4 3 4 3 4 3 3,57 3,83
Scuola Y 4 4 4 3 3 4 3 3 3 3,29 3,71
Donatella Poliandri
32. I punteggi sugli apprendimenti e i giudizi di Team
sono tra loro ortogonali
l’idea teorica di due ambiti (valore aggiunto, visite di osservazione) che guardino
ad aspetti differenti della qualità del processo educativo è validata dall’analisi
empirica
la correlazione tra i punteggi del valore aggiunto e i giudizi dei Team è positiva
ma bassa: 10‐16%
il segno positivo della correlazione ci dice che i due ambiti non sono tra loro
antitetici. Il valore basso della correlazione ci dice che i due ambiti sono tra loro
complementari e capaci di rendere una valutazione complessiva della qualità
della scuola
Donatella Poliandri
33. Il rapporto di valutazione
Il Rapporto di valutazione del progetto VSQ
presenta il giudizio finale ottenuto dalla scuola e,
suddivise in sette aree tematiche, tutte quelle
informazioni che sono state ritenute rilevanti per
la diagnosi della scuola volta al miglioramento.
In ciascuna area tematica è presente una parte
iniziale comune a tutti i rapporti che ne introduce
i contenuti, seguita da quella specifica per la
scuola osservata.
Donatella Poliandri
34. Le fonti dei dati
Servizio Statistico MIUR – INVALSI – Rapporto dal
Dati di sintesi dell’istituzione Questionario scuola
scolastica
Università di Roma “Sapienza” – INVALSI - Rubriche di valutazione
Analisi del contesto scolastico :
INVALSI - Il valore aggiunto
Donatella Poliandri
36. Impianto complessivo
Il progetto partirà con l’a.s. 2012-13.
Il primo anno sarà dedicato a una valutazione
diagnostica complessiva sulla singola scuola e
all’identificazione del ruolo e del contributo del
DS.
La valutazione complessiva servirà a supportare
la definizione di un piano di iniziative di
miglioramento per la scuola e di impegni
contrattuali da siglare tra USR e singolo DS.
Donatella Poliandri
37. Problematiche aperte e spunti di riflessione
È possibile estendere l’esperienza di valutazione esterna a un
numero più ampio di scuole?
Ipotesi di applicazione del modello di valutazione a livello
nazionale (ad es. su campioni ruotati)
Necessità di ulteriore formazione di figure professionali qualificate:
osservatori – valutazione esterna
esperti per il miglioramento
37
38. Piano operativo
Autovalutazione
(settembre 2012-gennaio 2013)
Piano operativo:
I annualità
Visite valutative
(febbraio – aprile 2013)
Prove SNV
(maggio 2013)
Definizione degli interventi
Triangolazione Team val. – scuola- USR
(giugno - agosto 2013)
Donatella Poliandri
39. Segue - Piano operativo
Piano operativo:
Interventi differenziati
II e III annualità
Monitoraggio
Valutazione finale
Donatella Poliandri
