Seminario sistema nazionale di valutazione del 24 settembre 019 prof. Lucisano

1. Quale sistema di valutazione
per apprezzare la scuola
Pietro Lucisano
Ordinario di Pedagogia sperimentale
Università degli Studi di Roma La Sapienza

2. Un fantasma si aggira
per le scuole l’Europa:
l’idea che misurare abbia
un valore in sé.

3. e che misurare e valutare
tutto aiuti a migliorare le
cose.
Parliamone

4. RAV
Invalsi
Ptof
A monte di questa smania
di misure c’è un assunto
antipedagogico che
l’autonomia possa essere
concessa solo in presenza
di forme di controllo.
A valle in genere troviamo
poca autonomia e molti
controlli.
Ovviamente i controlli servono
ad aiutarci a migliorare e
dunque sono per il nostro
bene.
Oculus domini saginat
equum.
E dunque si pensa di sostituire la
biada con i controlli
Scrutini
VDS
NEV
Standard
Ranking
Piano di miglioramentoDescrittori di Dublino
Anvur
La valutazione come forma di governo e controllo

5. “Troppo spesso, ci chiediamo
come misurare qualcosa
senza affrontare la questione di
che cosa potremmo fare con le
misura una volta ottenute.
Noi vogliamo sapere come, senza
porci il problema del perché.
Io spero di poter dire senza
irriverenza:
“cercate prima ciò che serve ai
vostri bisogni e tutte le altre cose
vi saranno date di conseguenza”

6. Teoria della valutazione
John Dewey
L’indagine conoscitiva
nasce da un giudizio, dalla
valutazione della
problematicità della
situazione presente e si
conclude con un giudizio
che ne rappresenta il
risultato ordinato
La parola valore ed i
termini ad essa
collegati sono usati in
ambiti diversi con
significati diversi.
Stimare, apprezzare,
avere caro…
La necessità di una teoria di riferimento

7. Abbiamo bisogno di una idea di scuola
Aiutare tutti gli studenti e le
studentesse a crescere e collaborare
Investire risorse in modo efficace
Valorizzare le differenze individuali
Migliorare i risultati
Dare risorse a chi ne ha più bisogno
Rendere il sistema scolastico equo
Favorire un lavoro collaborativo fra gli
insegnanti
Individuare e incentivare le scuole
migliori
Standardizzare gli apprendimenti
Favorire la competizione fra gli
insegnanti
Risparmiare risorse
Ottenere i risultati migliori degli altri
Dare risorse a chi ha migliori condizioni
di partenza
Selezionare le studentesse e gli studenti
più capaci e competitivi
Modello educativo Modello Competitivo

8. E di un idea di docenti: educatori della Costituzione o impiegati del
MIUR?
ProcedureDipendenza
Attenzione ai risultati
CertificatoreCompetizione
Sperimentazione
Allenatore
Autonomia
Attenzione ai ragazzi
Cooperazione
Certezza
Curiosità
Insegnante educatore
responsabilità
Insegnante impiegato
adempimenti
Educatori/Uomini Impiegati/Caporali
L’atteggiamento che guida l’educatore
è la fiducia, è aperto a nuove soluzioni,
sperimenta, si assume responsabilità
L’atteggiamento che guida il caporale è la
sfiducia, l’insicurezza, cerca procedure
certe, teme i superiori e svaluta gli
inferiori. Non si assume responsabilità.
L’educatore cerca di comprendere il
mondo che lo circonda, ne è curioso,
Il caporale cerca di controllare il mondo
che lo circonda, ne ha paura, ha paura di
provare cose nuove e di sbagliare

9. Oggi siamo immersi in una confusa cultura della valutazione
Perseverare è sublime
Negli ultimi anni in Italia
si è fatto di tutto per
evitare di disporre di un
sistema di valutazione
rigoroso e impostato in
modo scientifico
che aiutasse la scuola a
crescere e i decisori politici
a sostenerne la crescita

10. Anche in tempi di Tecnocrazia la Storia serve per capire
I Ricercatori di cose
educative da oltre 40 anni
chiedono
Istituto Nazionale per la
ricerca educativa
perché a fronte di una spesa
considerevole per i sistemi formativi
scolastico, universitario e della
formazione professionale in sostanza
non ci sono pari investimenti in ricerca
Istituto Nazionale per la
Valutazione
come istituzione autonoma dal
ministero preposta alla valutazione del
sistema scolastico nel suo complesso
e ovviamente non solo degli esiti, ma
anche delle politiche e delle risorse
rese disponibili

11. Un istituto di valutazione autonomo dal MIUR
in grado di valutare non solo scuola insegnanti e studenti
ma anche le politiche e gli adempimenti del ministero
Il CEDE era un ente
strumentale del Ministero e
tuttavia era gestito in
modo assai più
democratico e partecipato.
Negli anni è stato sempre diretto
da professori universitari di
Pedagogia: Giovanni Gozzer,
Mauro Laeng, Aldo Visalberghi,
Umberto Magiotta, Benedetto
Vertecchi
Il Ministro Moratti invita il
presidente Vertecchi ad
andarsene.
Da allora l’INVALSI è stato
diretto da varie competenze
fisici, bancari, psicologi
La trasformazione del CEDE
in INVALSI avviene ad
opera di Tullio De Mauro che
ci confessa di non essere
riuscito a sganciare del tutto
l’INVALSI dal Ministero

12. Non sempre servono servitori
Non è facile servire due
padroni: la scuola da un
lato e il Miur e la politica
dall’altro.
L’INVALSI Arlecchino ha
una mano china verso la
politica e un bastone
nascosto.
Quando la politica
chiede cose che per la
ricerca non sono fattibili
in modo serio Arlecchino
si inchina e esegue
In privato si lamenta
delle condizioni in cui
lavora.
Si insegue il fare a
prescindere e si ignorano
i consigli.
Il dibattito su come
costruire un Ente per la
valutazione viene ignorato
Così come vengono
ignorati i problemi che
emergono dalle varie
rilevazioni INVALSI.
C’è continuità tra la
meritocrazia della Moratti
e della Gelmini e il
bastone e la carota di
Profumo… anche se in
realtà il bastone è solo
una minaccia e della
carota c’è solo il profumo

13. La valutazione amministrativa mira al controllo della popolazione
“… In quell'Impero, l'Arte della Cartografia giunse
a una tal Perfezione che la Mappa di una sola
Provincia occupava tutta una Città, e la mappa
dell'impero tutta una Provincia. Col tempo, queste
Mappe smisurate non bastarono più.
Jorge Luis Borges Del rigore della
scienza, Il Saggiatore, 1961
Umberto Eco, Dell’impossibilità di costruire la carta
dell’impero 1 a 1. Secondo diario
minimo (Bompiani, 1992)
Non mi interessa cos’è la scuola adesso, mi interessa sapere che cosa potrebbe
fare se fosse messa nelle condizioni ottimali per realizzare la sua missione

14. La smania per le misure e l’interpretazione del proverbio
«l’occhio del padrone ingrassa il cavallo»
Nessuno
cresce
perché lo
misuriamo
spesso
Nessuno
dimagrisce
perché si pesa
spesso
Non si diventa
più ricchi
contando i soldi

15. Misurare con misura
La parola misura ha due significati principali,
che non sono scollegati come taluni aspetti
della vita moderna potrebbero far temere.
Non c’è nessuna ragione di fondo per cui la
misura intesa come operazione di conteggio o
confronto non debba accompagnarsi alla
misura intesa come abito di equilibrio e di
discrezione.
[…]’abito stesso del misurare, implicando
l’attitudine a vedere un più ed un meno dove
il giudizio affrettato scorge qualità assolute, è
esso stesso un abito di riflessività, di
moderazione e di prudenza.
Come si spiega allora che la tendenza contemporanea a
misurare tutto si accompagni spesso con atteggiamenti
completamente opposti ?

16. Esame scuola media
Ricerca sui valori
Ricerca sullo scritto
«L’INVALSI misura non valuta»
Test amministrativi
(INVALSI, TECO)
RAV, AVA, VQR
Studenti in regola,
Promozioni, voti,
assenze, citazioni,
graduatorie,
risorse attratte
Contratto, stipendi,
condizioni di lavoro,
strutture disponibili
Organizzazione, organici,
Spazi, Regole
Riconoscimento sociale
Contesto, Motivazioni
Esistono cose
che scegliamo
di far contare e contiamo
e cose che
non misuriamo
ma che contano ai fini di
risultati attesi
«Di tutte le cose è misura l’uomo; di quelle che esistono perché esistono, di quelle
che non esistono perché non esistono»
Protagora (cit Platone Teeteto, 151

17. Ma anche a misurare bisognerebbe misurare bene
Dal 2003 avevamo avvertito della necessità di
ancoraggi tra le popolazioni e tra gli anni
Il modello in uso è pieno di problemi tecnici
dovuti a un uso non adeguato degli strumenti
Problemi di validità delle prove
Somministrazioni gestite in modo
approssimativo
Restituzioni di relativa utilità
Cheating
Teaching to the test
Algoritmi inadeguati
Miglioramenti minimi
La grande maggioranza dei pedagogisti
sperimentali e degli psicometristi italiani
sottoscrive una lettera alla Ministra Carrozza
proponendo una collaborazione per evitare
che l’uso inappropriato di strumenti di
rilevazione generi sfiducia nella ricerca

18. I dati sono determinati dal contesto e determinano il contesto
da un lato collaborando a
determinare i “fatti del caso”, i
cosiddetti “dati del problema”
La situazione problematica
controlla la ricerca;
I fatti del caso, cioè i dati, prima di esser
DATI sono PRESI.
Non possono essere DATI se prima non
vengono PRESI. E una volta PRESI
possono essere considerati DATI,
ma solo nella loro relazione con la
situazione che stiamo esaminando.
La scelta dei «fatti del
caso» comporta una
riduzione
L’operazionalizzazione dei
concetti comporta una
riduzione.
L’assunzione di indicatori
comporta una riduzione.
L’uso di statistiche comporta
una riduzione
A forza di ridurre non si legge più niente

19. I dati sono relativi, dipendono
fortemente da COME E PERCHE’
SONO PRESI e dall’uso che se ne
vuole fare come DATI.
E cioè da “a chi li vogliamo DARE
AD INTENDERE”
Inoltre è rischioso assumere il dato
come dato una volta per tutte perché
esso si riferisce a un qui ed ora che è
passato e non è qui ed ora.
Come ad esempio succede se si imputa
a una scuola l’esito del lavoro di
insegnanti che non ci sono più, come se
la scuola fosse responsabile della scelta
degli insegnanti e del loro turn over
I dati sono determinati dal contesto e determinano il contesto

20. Ovviamente sono possibili modelli diversi
2017 2018 2019 2020 2021 2022 2023 2024
Italiano studio ricerca rilascio ricerca rilascio ricerca rilascio
Storia studio ricerca rilascio ricerca rilascio
Ed. Civica studio ricerca rilascio ricerca rilascio
Geografia studio ricerca rilascio ricerca rilascio
Diritto studio ricerca rilascio ricerca rilascio
Matematica studio ricerca rilascio ricerca rilascio
Scienze studio ricerca rilascio ricerca rilascio
Ed. Artistica studio ricerca rilascio
Filosofia studio ricerca rilascio ricerca rilascio
Educaz. fisica studio ricerca rilascio
Disegno studio ricerca rilascio
…..

21. MANIFESTO PER LA RICERCA EDUCATIVA E L’INNOVAZIONE DIDATTICA
MANIFESTO FOR EDUCATIONAL RESEARCH AND THEACHING INNOVATION
La prima emergenza educativa è relativa al fatto che l’educazione richiede
fiducia: fiducia nei bambini e nei giovani, fiducia negli operatori e negli insegnanti,
fiducia nella ricerca e ancora fiducia nelle istituzioni che governano e nel
funzionamento corretto del sistema sociale e economico del paese.
Questa fiducia oggi appare incrinata, e il danno che questa situazione costituisce
condiziona negativamente ogni azione educativa. Il tentativo di sostituire a un patto
di fiducia meccanismi di controllo, premi e punizioni, è sempre risultato inefficace.
Il danno di un modello economico e sociale incapace di dare speranza e prospettive
lede la motivazione.
Una comunità educativa può crescere solo con una forte motivazione capace di
integrare, aiutare, costruire una rete e valorizzare ciascuno secondo le sue
capacità, sia esso bambino, giovane, insegnante o ricercatore.
Fiducia vuol dire ascolto, non c’è formazione e ricerca educativa senza un attento
ascolto degli insegnanti e degli allievi, delle famiglie e delle comunità sociali.

22. Basta poco per trasformare
la Death valley in un giardino fiorito
Ricordare il ruolo che la
Costituzione assegna a scuola
e insegnanti.
Ristabilire la fiducia.
Fare in modo che tra scuola e
ricerca esista un solido
raccordo.
Curare la formazione iniziale
Fare ricerca e sperimentazioni
Investire dove necessario
Identificare gli obiettivi
prioritari
Non proporre fini ulteriori
senza fornire mezzi adeguati.
Non assegnare responsabilità
senza il potere necessario per
esercitarle.
Basta poco per trasformare
la Death valley in un giardino fiorito

23. SEDE Nazionale
Struttura tecnico-scientifica
competente
Comitato scientifico
Coordinamento operativo
SCUOLE
Definizione obiettivi
e criteri
Definizione ipotesi di ricerca
Costruzione del quadro di riferimento
Operazionalizzazione obiettivi
Costruzione e taratura degli strumenti Collaudo e validazione delle
prove
Disegno del campione
Somministrazione strumenti Collaborazione alla ricerca
Presa in carico dei
risultati
Decisioni politiche
Analisi dei dati
Definizione di standard
Stesura rapporto scientifico
Rilascio prove per le scuole Uso delle prove per
l’autovalutazione
Assistenza all’autovalutazione Esame dei dati
Decisioni organizzative
Decisioni didattiche
• Basta poco per trasformare
la Death valley in un giardino fioritoUn diverso modello di lavoro e le stesse risorse

24. Per ciascuna area di abilità da misurare
Popolazione di
riferimento
Ancoraggi Forma da riutilizzare
per la somministrazione
successiva
Forma per il
rilascio
A (V elem.) A forma1
A forma2
Forma2 Forma1
B (III media) Ancoraggio anno prec.
B forma1 50 item
B forma2 50 item
ancoraggioA 10 item
ancoraggioC 10 item
Forma2 Forma1
C (II sec. Sup) Ancoraggio anno prec.
B forma2 10 item
C forma1 50 item
C forma2 50 item
ancoraggioD (10
Forma2 Forma1
D (IV sup.) ecc
Un sistema in grado di fare confronti diacronici e di confronti tra realtà territoriali
• Basta poco per trasformare
la Death valley in un giardino fiorito
Un sistema in grado di fare confronti diacronici e di confronti tra
realtà territoriali

25. Che cosa serve ai nostri bisogni
La differenza tra ricerca
teorica e ricerca empirica e
sperimentale ha scarso
fondamento
Ogni ricerca è empirica a meno che non
si consideri metafisica leggere un libro
Ogni ricerca è teorica a meno che non
si consideri che i fatti significhino a
prescindere dalla loro percezione e
interpretazione
Parimenti ogni ricerca che si apre e si
conclude senza portare contributi alla
realtà è a suo modo metafisica
La riduzione della ricerca
alla tecnica dà risultati privi
di senso e di utilità
Non mi interessa cos’è la scuola adesso, mi interessa sapere che cosa potrebbe
fare se fosse messa nelle condizioni ottimali per realizzare la sua missione

26. La pretesa di lavorare sull’intera popolazione
La pretesa di lavorare sull’intera popolazione sposta sulle scuole la
responsabilità delle somministrazioni.
Ma se il rapporto di fiducia con le scuole è incrinato ne emergono risultati
poco credibili.
La costruzione del sistema sulla base dei modelli internazionali non tiene
conto della ricchezza delle azioni della scuola e riduce la valutazione a poche
abilità: sostanzialmente leggere e far di conto (Teens’ voice).
La ricerca su popolazione ha prodotto malessere, cheating, teaching to the
test e rende i risultati poco affidabili.
Le prove sono povere composte da poche domande e spesso poco coerenti
con gli stessi modelli a cui si riferiscono (vedi Corsini, in Rivista SIRD)
A distanza di 15 anni gli effetti sul sistema risultano irrisori

27. Scartando il modello PISA
Nella vita del signor Palomar
c'è stata un'epoca in cui la
sua regola era questa: primo,
costruire nella sua mente un
modello, il più perfetto, logico,
geometrico possibile;
secondo, verificare se il
modello s'adatta ai casi pratici
osservabili nell'esperienza;
terzo, apportare le correzioni
necessarie perché modello e
realtà coincidano

28. Esopo favola 42
Un contadino essendo sul punto di
morire e volendo che i suoi figli fossero
pratici dell'agricoltura, avendoli mandati
a chiamare disse: "Figlioli, in una delle
mie vigne è nascosto un tesoro". Ed
essi dopo la sua morte, avendo preso
aratri e zappe, scavarono tutta la
propria campagna. E il tesoro non lo
trovarono, ma la vigna diede loro molte
volte più abbondantemente il prodotto.
Il racconto dimostra che il lavoro è un
tesoro per gli uomini.
Contadini critici
Comprensione
Conoscenza
L’educazione
come imbroglio e
il tesoro
«capitale
umano»

29. In principio era l’interazione
da un lato collaborando a determinare i “fatti del caso”, i
cosiddetti “dati del problema”
La situazione problematica
controlla la ricerca;
Una situazione problematica è qualcosa
di variamente esteso nel tempo e nello
spazio, ed è comprensiva di organismo e
ambiente;
ogni attività di ricerca scaturisce
da una situazione problematica;
Ogni conoscenza scaturisce
da un’attività di ricerca,

30. Visalberghi, Esperienza e Valutazione, 1958, p.3
La ricerca si conclude con
la realizzazione di una
situazione più ordinata e
armonica. (????NdR)
La distinzione di cui ai due punti precedenti, ed
ogni altra distinzione (soggetto-oggetto, pratico-
conoscitivo, razionale-empirico, ecc.) sono
istituite nel corso della ricerca e per la ricerca
ed hanno pertanto valore relativo e funzionale;
dall’altro mettendo in moto lo sviluppo
di ipotesi relative a soluzioni possibili,
vale a dire il materiale concettuale

31. Il dato di fatto è una porzione di interazione
“La parola dato è posta
fra virgolette perché
Dewey la considera
impropria, in quanto il
dato è in realtà
qualcosa che si è
assunto ad indice
significativo nel corso
dell’indagine”.
Visalberghi,1958, p. 4
La scelta dei «fatti del caso»
comporta una riduzione
L’operazionalizzazione dei
concetti comporta una riduzione.
L’assunzione di indicatori comporta
una riduzione.
L’uso di statistiche comporta una
riduzione
A forza di ridurre non si legge più niente

32. La riduzione del fatto (dell’interazione) al dato
I fatti del caso, cioè i dati, prima di esser
DATI sono PRESI.
Non possono essere DATI se prima non
vengono PRESI. E una volta PRESI
possono essere considerati DATI, ma
solo nella loro relazione con l’affare.
I dati sono relativi, dipendono fortemente da COME E PERCHE’ SONO
PRESI e dall’uso che se ne vuole fare come DATI.
E cioè da “a chi li vogliamo DARE AD INTENDERE”
Inoltre è rischioso assumere il dato come dato una volta per tutte perché
esso si riferisce a un qui ed ora che è passato e non è qui ed ora.
Lucisano, 2016, qui ed ora

33. Ma soprattutto è necessario usare con cautela i concetti
Qualità: specie, stato naturale,
bontà. All’opposto della
quantità questa non è
misurabile.
(Lalande)
Si parte da una definizione
soggettiva della qualità alla
quale si applicano indicatori
quantitativi che poi vengono
composti in modo abbastanza
arbitrario per rappresentare
entità qualitative
Qualità nell'accezione più usata,
nell'ambito dell'ingegneria,
dell'economia e della produzione indica
una misura delle caratteristiche o
delle proprietà di una entità (una
persona, un prodotto, un processo, un
progetto) in confronto a quanto ci si
attende da tale entità, per un
determinato impiego.

34. Qualità e quantità: qualità qualificata
La qualità dunque è costantemente in
bilico tra una dimensione soggettiva
«romantica» che ne coglie la
dimensione profonda e una dimensione
razionale «classica» che cerca di
realizzare la quadratura del cerchio per
approssimazioni successive.
Il problema che abbiamo di fronte oggi
è tuttavia una via tecnologica alla
definizione e alla misura della qualità
che procede senza cautele scientifiche.
Che da i numeri alle cose e applica alle
cose le proprietà dei numeri senza
rispetto né per i numeri né per le cose
o le persone.

35. Un Ente nazionale per la Ricerca Educativa
Autonomo dal Ministero
Con un Consiglio composto da Rappresentanti della
Comunità Scientifica, degli insegnanti dei dirigenti
scolastici e delle parti sociali
Finanziato con lo 0,0x % della spesa educativa
Per promuovere ricerca educativa e didattica
Formare ricercatori
Fare ricerca assieme alle scuole
Una modesta proposta

36. John Dewey Per insegnare
l'inglese a John
è necessario
amare l'inglese
amare
insegnare l'inglese
e amare John
f