La presentazione di Mauro Palumbo e Valeria Pandolfini del Dipartimento di scienze della formazione dell'Università di Genova relativa al loro intervento "Progettare il miglioramento: dalla scelta delle priorità alla realizzazione delle azioni" al convegno internazionale "Migliorare la scuola", organizzato dall'Indire a Napoli dal 14 al 15 maggio 2015.

1. Progettare il miglioramento:Progettare il miglioramento:
dalla scelta delle prioritàdalla scelta delle priorità
alla realizzazione delle azionialla realizzazione delle azioni
Università degli Studi di Genova – Scuola di Scienze Sociali
Dipartimento di Scienze della Formazione
alla realizzazione delle azionialla realizzazione delle azioni
Mauro Palumbo e Valeria Pandolfini
Dipartimento di Scienze della Formazione (Di.Sfor.)
Università di Genova
Convegno internazionale “Migliorare le scuola” - Napoli 14-15 maggio 2015

2. Il contestoIl contesto
• Sistema Nazionale di Valutazione (SNVSNV); Direttiva 11/2014;
La Buona Scuola”;
• Sistemi di valutazionevalutazione ee accountabilityaccountability e miglioramento del
servizio scolastico e della qualità dell’istruzione (Faggioli, 2014;
FGA, 2014; Allulli, Farinelli, Petrolino, 2013; Castoldi, 2014; Palumbo,
2
FGA, 2014; Allulli, Farinelli, Petrolino, 2013; Castoldi, 2014; Palumbo,
2013; Paletta, 2011; Scheerens, Mosca, Bolletta, 2011; Palumbo e
Pandolfini, in press a, b);
• Le due facce della valutazione: accountabilityaccountability ee learninglearning.

3. AccountabilityAccountability
dovere che un soggetto responsabile di
un’organizzazione (o di una politica, di un progetto) ha di
“render conto” a particolari interlocutori esterni delle
scelte fatte, delle attività e dei risultati di cui è autore o
responsabile
3
responsabile
il rapporto di accountability contropartita di un rapporto di
delega di responsabilità (dall’alto o dal basso)

4. è la prima funzione della valutazione ad essere
sottolineata
rischia lo sconfinamento nella concezione di “controllo”
AccountabilityAccountability
4
ha anche funzione di garanzia per il valutato
tipica dell’approccio obiettivi-risultati, non sempre è
compatibile con la funzione di learning

5. L’ambiguitàL’ambiguità dell’dell’accountabilityaccountability
Verso l’alto: risorgente neocentralismo? Mortificazione
delle autonomie? Es. SNV della scuola, ANVUR …
Verso il basso: partecipazione e responsabilizzazioneVerso il basso: partecipazione e responsabilizzazione
dei cittadini o creazione di mercato nel pubblico? I
servizi come imprese, gli utenti come clienti e il New
Public Management
5

6. LearningLearning
Connessa al principio del miglioramento continuo
Non imparano solo gli attuatori o i decisori
6
Anche le teorie (scientifiche o di senso comune) sottostanti
alla programmazione possono essere cambiate grazie alla
valutazione (vedi Evidence based politics di Pawson)

7. Le possibili “Le possibili “logichelogiche” di SNV” di SNV
a) Quasi-mercato: competizione fra scuole e scelta delle
famiglie => prospettiva NPM
b) Forte controllo centrale attraverso la valutazione (e il
DS?) => prospettiva neocentralisticaDS?) => prospettiva neocentralistica
c) Partecipazione consapevole dei diversi attori a migliorare
la scuola (secondo i diversi punti di vista) => prospettiva
partecipativa
7

8. EfficaciaEfficacia ee efficienzaefficienza
EfficaciaEfficacia
grado di conseguimento degli obiettivi previsti o dei risultati attesi
(efficacia interna (o gestionale ) – autovalutazione?
grado di assolvimento dei bisogni che costituiscono la ragion
d’essere dell’intervento o del servizio valutato (efficacia esterna (o
sociale) valutazione esterna?
8
EfficienzaEfficienza
• grado di ottimizzazione dell’uso delle risorse e quindi la possibilità
di risparmiare risorse lasciando stabili gli obiettivi, ovvero di
conseguire risultati migliori con le stesse risorse
• NON «ottenere i migliori risultati con le minori risorse possibili»

9. Rinvio a obiettivi e bisogni …Rinvio a obiettivi e bisogni …
“gli obiettivi sono multipli (poiché vogliamo svariate cose e
non una sola)
contraddittori (perché vogliamo cose differenti)
e vaghi (perché è così che riusciamo a trovare un accordo
sull'opportunità di procedere senza che sia necessario
anche un accordo su che cosa fare esattamente)”
(Majone e Wildavsky, 1978)
9

10. Obiettivi e valoriObiettivi e valori
La pluralità degli obiettivi si sovrappone alla pluralità dei valori
I loro nessi non sono sempre chiari, per i diversi attori
implicati
I valori possono chiarire gli obiettivi ma anche complicarli
Tutto ciò che il valutatore non chiarirà potrà costituire
problema nelle fasi successive
10

11. I valori permettono (ad es.) diI valori permettono (ad es.) di
Gerarchizzare obiettivi
– In termini logici
– In termini di importanza
Gerarchizzare indicatori
Esplicitare obiettivi
Argomentare e legittimare i giudizi valutativi
11

12. Rinvio al dibattito del 14/5/15Rinvio al dibattito del 14/5/15
Risultati
Processi
Contesto
Valutazione Realista: M + C = O
(meccanismo più contesto = Outcome)
12

13. Obiettivi dell’indagineObiettivi dell’indagine
• Fornire contributi teorici e metodologici volti ad approfondire il
rapportorapporto frafra autonomiaautonomia scolastica,scolastica, valutazionevalutazione ee miglioramentomiglioramento e su
come questi elementi possano interagire in maniera virtuosa per
migliorare la perfomance di ciascuna scuola, sia nel campo degli
esiti dell’apprendimento, sia nell’ambito educativo più ampio.
13
• Fornire strumentistrumenti didi supportosupporto ai Consulenti e alle scuole nella
complessa e delicata fase in cui le scuole stesse sono chiamate a
predisporre e realizzare i Piani di Miglioramento (PdM) alla luce del
Rapporto di Autovalutazione (R.A.V.) e del Rapporto di Valutazione
esterna (R.V.), declinando obiettivi e azioni da realizzare per
raggiungerli, nonché modalità di valutazione in itinere e finale.

14. Predisporre strumenti e metodologie di analisiPredisporre strumenti e metodologie di analisi
• Ricognizione e analisi critica della letteraturaletteratura scientificascientifica
• indagare le modalità con le quali le scuole utilizzano i dati
dell’autovalutazione, della valutazione esterna e i relativi indicatori e indici
per progettare i PianiPiani didi MiglioramentoMiglioramento;;
• predisporre un percorso di ricercaricerca--azione,azione, coinvolgendo i Consulenti e le
scuole in una ricercaricerca partecipatapartecipata, volta a far emergere “dal basso” le
dimensioni ritenute prioritarie da ciascun Istituto per migliorare il proprio
14
dimensioni ritenute prioritarie da ciascun Istituto per migliorare il proprio
servizio;
• definire e condividere metodi e strumenti per supportare le scuole
nell’analisi e nell’impiego efficace dei dati emersi dall’autovalutazione e
dalla valutazione esterna per progettareprogettare ee realizzarerealizzare lele attivitàattività didi
miglioramentomiglioramento;
• considerare attentamente e valorizzare le specificità di ciascuna scuola in
relazione a esiti,esiti, processiprocessi ee contestocontesto didi riferimentoriferimento.

15. Le scuole coinvolteLe scuole coinvolte
Regione Denominazione scuola Città Tipo istituto
PON IPSIA SANTARELLA BARI
Odontotecnico - abbigliamento e moda -
meccanico - elettrotecnico
PON I.C. BOCCONE SILVIO PALERMO Istituto Comprensivo
PON L.CLAS.UMBERTO I-NAPOLI- NAPOLI Liceo classico
PON IC LAMEZIA T S. EUFEMIA LAMEZIA LAMEZIA TERME Istituto Comprensivo
15
PON IC LAMEZIA T S. EUFEMIA LAMEZIA LAMEZIA TERME Istituto Comprensivo
NORD I.C. - TORINO-C.SO REGIO PARCO TORINO Istituto Comprensivo
NORD GIOSUE' CARDUCCI PISA Istituto magistrale

16. Le fasi della ricerca (I)Le fasi della ricerca (I)
Strutturazione di strumentistrumenti da proporre alle scuole selezionate volti
a supportarle nel passaggio dalla valutazione (auto ed etero) al
miglioramento:
• identificazione delle specifiche problematiche dell’Istituto;
• conseguente declinazione di obiettivi di miglioramento;
• identificazione delle modalità con cui realizzare il miglioramento desiderato,
attraverso la definizione di specifiche attività da realizzare;
• misurazione del livello di conseguimento degli obiettivi di miglioramento
16
• misurazione del livello di conseguimento degli obiettivi di miglioramento
intermedi e finali attraverso la costruzione di indicatori valutativi (autovalutazione
delle azioni di miglioramento da parte della scuola).
Prime visitevisite nellenelle scuolescuole (novembre-dicembre 2014):
• condivisione di finalità, metodi, strumenti e risultati attesi della ricerca con il
Consulente e il Team per il Miglioramento (TpM);
• osservazione “sul campo” dei processi con cui le scuole predispongono i Piani
di Miglioramento;
• compilazione assistita degli strumenti di indagine.

17. Le fasi della ricerca (II)Le fasi della ricerca (II)
Seconde visitevisite nellenelle scuolescuole (aprile-maggio 2015 ):
• focus group con i Team per il Miglioramento;
• intervista al Consulente;
• approfondimenti qualitativi su: a) valutazione complessiva progetto Vales; b)
valutazione degli strumenti di ricerca proposti da UniGe.
Somministrazione di un questionarioquestionario onlineonline rivolto ai TeamTeam perper ilil
MiglioramentoMiglioramento di tutte le scuole coinvolte in Vales (maggio-giugno
17
MiglioramentoMiglioramento di tutte le scuole coinvolte in Vales (maggio-giugno
2015):
• cogliere il percorso compiuto da ciascuna scuola, a partire dalla progettazione
del miglioramento (definizione degli obiettivi) fino alla valutazione (auto-
valutazione) della sua realizzazione;
• focus specifico sul processo;
• valutazione complessiva del progetto Vales.
Domande online a tutti gli insegnantiinsegnanti Vales:
• rilevare concordanze/discordanze fra risposte TpM e insegnanti.

18. Gli strumenti forniti alle scuoleGli strumenti forniti alle scuole
• Modello del QuadroQuadro LogicoLogico (Logical Framework)
albero dei problemi
albero degli obiettivi
strategia di intervento
azioni di miglioramento (nessi causali)
costruzione di indicatori (di processo e di risultato)
rendere misurabili gli esiti degli interventi
18
• Favorire una riflessioneriflessione condivisacondivisa su obiettivi e priorità della scuola
• Sollecitare una lettura in chiave di learninglearning
• Favorire una riflessione che assuma una concezioneconcezione generativagenerativa didi
causalitàcausalità, ovvero ragionare in termini di concause che, a loro volta,
influenzano solo parzialmente gli effetti che ci si prefigge di
ottenere come risultato

19. Prime evidenze emersePrime evidenze emerse
Significative difficoltà nella definizionedefinizione deglidegli obiettiviobiettivi di
miglioramento e di attività concretamente realizzabili
FormulazioneFormulazione PianoPiano didi MiglioramentoMiglioramento: parafrasi della valutazione?
Fase del rispecchiamentorispecchiamento R.A.V. e R.V.
“Ulteriori elementi significativi integrati dalla scuola stessa”: nella
19
“Ulteriori elementi significativi integrati dalla scuola stessa”: nella
definizionedefinizione deglidegli interventiinterventi migliorativimigliorativi prende corpo e vigore
l’autonomiaautonomia della scuola, apparentemente compressa nelle due fasi
dell’autovalutazione e della valutazione esterna
Strumenti di monitoraggiomonitoraggio ee valutazionevalutazione
Figura chiave del DSDS
Cosa accadrà dopo?

20. Il progettoIl progetto ValesVales: punti di forza: punti di forza
• Opportunità di riflessioneriflessione condivisacondivisa sulla nostra realtà scolastica:
“chi siamo? Dove siamo? Dove vogliamo andare?”
“Vales ci ha costretto a riflettere e a confrontarci”
“Vales ci ha fatto mettere in discussione”
• ValutazioneValutazione esternaesterna:: ulteriore opportunità per riflettere su noi stessi
“abbiamo bisogno di qualcuno che ci guardi dall’esterno, che
20
“abbiamo bisogno di qualcuno che ci guardi dall’esterno, che
ci faccia sapere qualcosa su di noi ‘guardandoci da fuori’”
• Occasione per creare un maggior collegamentocollegamento fra i diversi ordini di
scuola (Istituti Comprensivi e curricolo verticale per es.)
• “è stato un ottimo stimolo, punto di partenza”, “ha dato il ‘la’ a
processi di cambiamento che non sappiamo se porteranno o meno al
miglioramento”

21. Il progettoIl progetto ValesVales: criticità: criticità
• Mancanza di coinvolgimento/motivazionecoinvolgimento/motivazione degli insegnanti non facenti parte
del TpM, “resistenza al cambiamento”, “c’è tanta indifferenza intorno a noi”;
• tempitempi troppo limitati e ritardi nel ricevere i fondi “abbiamo dovuto fare tutto in
tempi record, così impensabile!”;
• eccesso di documentidocumenti burocraticiburocratici da compilare (ricompilare il R.A.V.; bandi
per selezionare i formatori);
21
• definizione di indicatori – mancanza di un linguaggiolinguaggio condivisocondiviso “la maggior
parte erano per noi vocaboli nuovissimi”;
• insegnanti non adeguatamente preparati, necessità di formazioneformazione;
• “è tutto basato sulla nostra buona volontà, nulla è remunerato né
riconosciuto”;
• “siamo schiacciati da troppe cose...noi facciamo gli insegnanti!” – individuare
e formareformare adad hochoc unauna risorsarisorsa internainterna allaalla scuolascuola

22. Osservazioni conclusive (I)Osservazioni conclusive (I)
Dalla valutazione non emergono ricette, ma al più criticità
a) perché il valutatore non è (necessariamente) un progettista
b) perché se anche lo fosse non è detto che conosca per intero
finalità, vincoli e disponibilità all’azione del decisore
Dunque rinvio all’autonomia reale delle scuole e alla loro competenza
22
Dunque rinvio all’autonomia reale delle scuole e alla loro competenza
valutativa e migliorativa:
- Che si costruisce sul campo
- Non è data una volta per tutte
- Richiede dialogo e riflessione continua
- … e la costante connessione tra teoria e pratica, tra ricerca e azione

23. Partecipazione consapevole dei diversi attori a migliorare la scuolaPartecipazione consapevole dei diversi attori a migliorare la scuola
“Comprendere per migliorare” (Palumbo, 2014a; 2014b), “valutare per
migliorare” (Palumbo e Pandolfini, in press a), School Improvement
Valutare per migliorare/innovare o valutare per premiare?
Presunta automaticità del nesso virtuoso tra valutazione e miglioramento
Valutazione partecipata
Osservazioni conclusive (Osservazioni conclusive (IIII))
23
Valutazione partecipata
Concezione della valutazione in termini negoziali (Ajello, 2012)
International School Inspection Project (Ehren et al., 2013)
Gli attuatori sono “i migliori aiutanti del valutatore” (Pawson e Tilley, 1997)
Valutazione multidimensionale
“Valutare per l’apprendimento” (Graue e Johnson, 2011)
Oltre un accountability basata sui test
Approccio evidence based (Hattie, 2013)
“What works?”

24. Riferimenti bibliografici (Riferimenti bibliografici (II))
Ajello A.M. (2012). La valutazione tra controllo e accountability: una sperimentazione
a Trento. Scuola Democratica, N. 6 nuova serie, pp. 117-127.
Allulli G., Farinelli F., Petrolino A. (2013). L’autovalutazione di istituto. Modelli e
strumenti operativi. Milano: Guerini.
Castoldi M. (2014). Capire le prove INVALSI. Una guida intelligente. Roma: Carocci.
Ehren M.C.M., Altrichter G., Mcnamara G., O’hara J. (2013). Impact of Schools
Inspections on Improvement of Schools. Describing Assumptions on Casual
Mechanisms in six European Countries, Educational Assessment, Evaluation and
Accountability, 25 (1/2013), pp. 3-43.
24
Faggioli M. (a cura di). Migliorare la Scuola. Autovalutazione, valutazione e
miglioramento per lo sviluppo della qualità. Bergamo: Junior-Spaggiari.
Fondazione Giovanni Agnelli (2014). La valutazione della scuola. A cosa serve e
perché è necessaria all’Italia. Roma-Bari: Laterza.
Graue E. e Johnson E. (2011). Reclaiming Assessment Through Accountability That
Is “Just Right”. Teachers College Record, 113(8):1827-1862.
Majone G., Wildavsky A. (1978). Implementation as evolution, Policy Studies Review
Annual 1978, Sage, Beverly Hills, pp. 103-117.
Hattie J. (2013). Visible Learning: A Synthesis of over 800 Meta-analyses Relating to
Achievement. London: Routledge.

25. Riferimenti bibliografici (Riferimenti bibliografici (IIII))
Paletta A. (2011). Scuole responsabili dei risultati. Accountability e bilancio sociale. Il
Mulino, Bologna.
Palumbo M. (2013), “Istruzione e formazione come ‘motore’ principale dello sviluppo
del Paese. Quale identità e quali priorità?”, in A&D Autonomia e Dirigenza, XXI, 7-8-
9, pp. 4-9.
Palumbo M, Pandolfini V. (in press a). Valutare per migliorare tra retorica e ricerca.
Rassegna Italiana di Valutazione, 59.
Palumbo M, Pandolfini V. (in press b). Valutare e migliorare la scuola: il Sistema
Nazionale di Valutazione, in Landri P. e Maccarini A. (a cura di), Uno specchio per la
25
Nazionale di Valutazione, in Landri P. e Maccarini A. (a cura di), Uno specchio per la
valutazione della scuola: paradossi, controversie, vie di uscita. FrancoAngeli: Milano
Palumbo M. (2014 a). Come utilizzare i dati della valutazione esterna e
dell’autovalutazione per compiere scelte di miglioramento, in M. Faggioli (a cura di)
Migliorare la Scuola. Autovalutazione, valutazione e miglioramento per lo sviluppo
della qualità (pp. 93-111). Bergamo: Junior-Spaggiari.
Palumbo M. (2014). Valutare per migliorare: il contributo della valutazione alla scuola.
In Faggioli M., a cura di, Migliorare la Scuola. Autovalutazione, valutazione e
miglioramento per lo sviluppo della qualità (pp. 155-171). Bergamo: Junior-Spaggiari.
Pawson R. e Tilley N. (1997). Realistic evaluation. London: Sage.
Scheerens J., Mosca S., Bolletta R. (a cura di) (2011). Valutare per gestire la scuola,
Governance, leadership e qualità educativa. Milano: Mondadori.

26. Università degli Studi di Genova – Scuola di Scienze Sociali
Dipartimento di Scienze della Formazione
26
Mauro Palumbo e Valeria Pandolfini
Dipartimento di Scienze della Formazione (Di.Sfor.)
Università di Genova
Convegno internazionale “Migliorare le scuola” - Napoli 14-15 maggio 2015