• Like
Poliandri, seminario faro per invio
Upcoming SlideShare
Loading in...5
×

Poliandri, seminario faro per invio

  • 467 views
Uploaded on

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
467
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
5
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Seminario F.A.R.O Autoanalisi e processi nazionalidi sperimentazione in ambito valutativo Donatella Poliandri Palermo 4 maggio 2012
  • 2. I quattro ambiti della valutazione Efficacia del sistema nel suo complesso (anche in confronto con altri paesi) Qualità delle singole scuole Apprendimenti degli studenti Professionalità degli operatori scolastici Forte integrazione Donatella Poliandri
  • 3. Analisi delle esperienze straniereElementi comuni: Elaborazione di un quadro di riferimento teorico che integra la prospettiva di sistema con quella di scuola Individuazione di indicatori/aspetti/criteri Definizione di standard/benchmark Legame tra valutazione degli apprendimenti e valutazione delle scuole Relazione tra valutazione esterna e valutazione interna Donatella Poliandri
  • 4. Segue - Analisi delle esperienze straniere Ritorno dell’informazione agli operatori scolastici Team/azioni per il miglioramento Integrazione di tecniche qualitative e quantitative per la rilevazione delle informazioni Sperimentazione sul campo Aggiornamento continuo dei sistemi di indicatori Donatella Poliandri
  • 5. Le esperienze in corso Valutazione e Miglioramento Osservazione in classe specificità Percorsi di autovalutazione VSQ (Valutazione Sviluppo Qualità scuola) specificità Premialità VALES (Valutazione e Sviluppo Scuola) Integrazione con la Valutazione specificità del DS Donatella Poliandri
  • 6. VALUTAZIONE E MIGLIORAMENTO
  • 7. Domande di valutazione Progetto Valutazione e Miglioramento La qualità progettuale e l’efficienza organizzativo - gestionale delle scuole nell’utilizzo dei fondi PON è adeguata? L’offerta formativa e l’organizzazione complessiva delle scuole destinatarie dei fondi PON è adeguata? Quali risposte dare alle scuole che si rivelano inadeguate per uno più aspetti?Ipotesi di lavoroCostruire un percorso di valutazione esterna delle scuole che, integratocon una riflessione interna, possa sviluppare la capacità delle scuole dimigliorare la qualità complessiva del servizio e avere comeconseguenza un innalzamento dei livelli di apprendimento deglistudenti. Donatella Poliandri
  • 8. Obiettivi del progetto Valutare la qualità progettuale e l’efficienza organizzativo - gestionale della scuola in merito all’utilizzo dei fondi PON Fare una diagnosi complessiva dell’offerta formativa e dell’organizzazione della scuola volta a individuare punti di forza e di debolezza del servizio offerto Restituire alle scuole coinvolte un rapporto di valutazione che serva come punto di partenza per la realizzazione di azioni di miglioramento Sperimentare un modello di valutazione esterna delle istituzioni scolastiche (elaborazione di un prototipo) Donatella Poliandri
  • 9. Il progetto PON Valutazione e MiglioramentoÈ articolato in fasi distinte che si svolgono in modo progressivo in più anni scolastici: Fase 1: valutare la qualità progettuale, l’efficienza organizzativa e quella gestionale delle singole istituzioni scolastiche nell’attuazione dei PON Istruzione (FSE e FESR) Circa 450 scuole Fase 2: identificare i punti di forza e i nodi critici del servizio scolastico offerto in un’ottica di valutazione sistemica Circa 140 scuole Fase 3: sostenere azioni di miglioramento Circa 140 scuoleIl Progetto ha avviato inoltre un’estensione fino al termine del 2014 per uncampione di ulteriori 400 scuole del I ciclo, con il coinvolgimento diistituzioni scolastiche del Centro e del Nord Italia Donatella Poliandri
  • 10. Il quadro di riferimento teorico L’intera struttura del progetto si basa su un vasto studio condotto dall’INVALSI  VALSIS (Valutazione del sistema scolastico e delle scuole)A partire dall’esplorazione e classificazione degli indicatoriutilizzati da molti paesi per valutare i propri sistemiscolastici, il Quadro di riferimento teorico per la valutazionedel sistema scolastico e delle scuole formula una propostaarticolata in aree e sottoaree descritte da specifici indicatori.Il modello è riconducibile alle 4 dimensioni del CIPP (CIPP:Context, Input, Process, Product) Donatella Poliandri
  • 11. Aspetti innovativi del progetto La formazione degli osservatoriPer la valutazione delle istituzioni scolastiche, sono stati selezionati e formati 40 osservatori, riconducibili a due profili professionali: Profilo metodologico  esperto nelle procedure e nell’utilizzo degli strumenti di rilevazione Profilo pedagogico  esperto delle problematiche relative alla didattica e all’organizzazione scolastica Donatella Poliandri
  • 12. Aspetti innovativi del progetto Una pluralità di strumenti Scheda di osservazione in classe e in laboratorio Intervista strutturataal Dirigente Scolastico Interviste di gruppo a insegnanti, genitori e studenti Valutazione (Nominal Group Technique) Rubriche di esterna valutazione Questionari per Foto documentazione scuole, genitori, studenti e insegnanti Analisi della documentazione Donatella Poliandri
  • 13. Aspetti innovativi del progetto La restituzione alle scuole Gli osservatori hanno elaborato un rapporto di valutazione per scuola, che presenta in modo analitico le elaborazioni delle informazioni raccolte, evidenzia i punti di forza e di debolezza del servizio scolastico offerto, e suggerisce piste di miglioramento. Restituzione delle informazioni personalizzate per scuola Confronto tra la singola scuola e i dati medi delle scuole coinvolte Presentazione di elementi per un percorso di autovalutazione Individuazione di piste di miglioramento  avvio di un percorso di miglioramento supportato da esperti Donatella Poliandri
  • 14. Aspetti innovativi del progetto L’esperto per il miglioramentoUn esperto nella progettazione e realizzazione di interventi a scuolasupporta le scuole in presenza (2-3 visite) e a distanza Supporto iniziale per la stesura del progetto di miglioramentoFunzioni Supporto in itinere per consulenza di processo Supporto finale per fare un primo bilancio dell’azione L’INVALSI ha costituito una banca dati esperti articolata in aree tematiche, selezionando circa 100 figure sul territorio nazionale 14 Donatella Poliandri
  • 15. I risultati raggiunti L’utilizzo dei fondi PON da parte delle scuoleI dati raccolti: forniscono elementi conoscitivi validi all’Autorità di gestione per orientare le proprie decisioni descrivono i processi attuati dalle scuole rispetto ad alcuni nodi critici (es. coerenza tra piano integrato e autodiagnosi iniziale, integrazione del piano integrato nel piano dell’offerta formativa, l’integrazione tra attività progettuali e attività ordinarie, ricadute sui risultati curriculari) danno indicazioni per migliorare la capacità progettuale delle scuole e l’attuazione del programma stessoRispetto alle precedenti modalità di audit, l’impostazione adottata ha permessodi leggere la progettualità delle scuole non solo in termini diadeguatezza/mancanza di adeguatezza alle procedure, ma anche in terminiqualitativi, dettagliando maggiormente il giudizio. Le scuole sono stateclassificate a partire da alcuni criteri di qualità individuati. 15 Donatella Poliandri
  • 16. I risultati raggiunti La valutazione esterna delle scuoleI risultati raggiunti riguardano la prospettiva della singola scuola: ciascuna scuola osservata ha ricevuto un rapporto di valutazione che permette il confronto con le altre scuole i rapporti di valutazione hanno evidenziato i punti di forza e i punti di debolezza del servizio scolastico offerto e alcune piste miglioramento le scuole hanno avviato un percorso di riflessione interna / autovalutazione e scelto la pista di miglioramento più rispondente alle proprie esigenze le scuole hanno avuto la possibilità di dialogare con la valutazione esterna inviando note, integrazioni, precisazioni Donatella Poliandri
  • 17. I risultati attesi Supporto nei percorsi di miglioramentoI risultati attesi a conclusione degli interventi di miglioramento sono: accrescere la capacità delle scuole di realizzare azioni di miglioramento concentrandosi sulla risoluzione di specifici punti di debolezza consolidare il ruolo degli esperti per rispondere alle esigenze di supporto delle scuole (tematiche, metodologiche) accrescere la capacità delle scuole di condurre percorsi di riflessione interna / autovalutazioneI percorsi di miglioramento sono in corso di realizzazione. Donatella Poliandri
  • 18. VSQ(Valutazione Sviluppo Qualità Scuola)
  • 19. Innovazioni in VSQIl progetto VSQ rappresenta lo sforzo di una esemplificazione del merito in criteri valutabili la scelta di una prospettiva di tipo multicriteriale l’integrazione dei due sistemi premianti individuati da Sen in Merit and Justice (2000), ossia il compenso sulla base dei risultati (incentivo) e quello sulla correttezza/adeguatezza delle azioni ricompensate di per sé, a prescindere dai risultati ottenuti l’integrazione fra il sistema premiale e quello della ‘discriminazione positiva’ con lo scopo di misurarsi concretamente con gli esiti di processi che hanno a che fare con la competizione, ma anche con le pari opportunità Donatella Poliandri
  • 20. Obiettivi del progetto VSQ VSQ è un progetto sperimentale per un sistema di valutazione finalizzato all’erogazione di premi e di azioni di supporto agli istituti scolastici Gli obiettivi specifici sono  disegnare un modello per la valutazione delle istituzioni scolastiche autonomo, chiaro, affidabile, condiviso;  individuare e premiare le migliori performance;  introdurre meccanismi di stimolo a intraprendere percorsi di miglioramento nelle scuole. Donatella Poliandri
  • 21. Progetto VSQ: integrazione di due prospettivea) la prospettiva della premialità attraverso l’individuazione di aree di valutazione tali da permettere di stilare una graduatoria (nello specifico: il valore aggiunto contestualizzato – italiano e matematica; l’inclusione – studenti con disabilità, studenti stranieri; il recupero e il potenziamento; l’orientamento; la valutazione – programmazione e valutazione degli studenti, valutazione interna / autovalutazione);b) la prospettiva del miglioramento, ossia un accertamento diagnostico complessivo sull’istituzione scolastica, attraverso l’utilizzo di una pluralità di fonti e di strumenti di rilevazione, con l’obiettivo di delineare punti di forza e di debolezza del servizio offerto Donatella Poliandri
  • 22. Quali sono le scuole premiate dal progetto VSQ? Quelle che …aggiunto fanno maggiormente crescere la qualità degli apprendimenti: Valore in italiano in matematica favoriscono l’inclusione degli studenti con disabilità favoriscono l’inclusione degli studenti stranieri Visite di osservazione non lasciano indietro gli studenti con maggiori difficoltà costruiscono percorsi pensati per gli studenti con ottimi risultati orientano gli studenti a scegliere i percorsi di studio più adatti alle loro inclinazioni utilizzano criteri e strumenti condivisi di programmazione e di valutazione degli studenti sono capaci di riflettere su se stesse e di autovalutarsi per migliorare
  • 23. Il valore aggiunto una misura del miglioramento degli apprendimentiIl livello degli apprendimenti degli studenti dipende, oltre che dal contributo delle scuole, dalle caratteristiche degli allievi e dal contesto nel quale si svolge l’azione educativa valore aggiunto: è una misura di quanto ciascuna scuola aggiunge  al livello degli apprendimenti conseguito dai propri allievi, tenendo  conto della preparazione pregressa degli studenti in entrata e delle  loro caratteristiche (es. background socio‐economico‐culturale). Il  valore aggiunto è inoltre calcolato tenendo conto degli effetti  (positivi o negativi) del contesto in cui la scuola opera  i modelli di valore aggiunto consentono di confrontare le scuole a  parità di condizioni. Infatti, gli esiti delle scuole sono comparati  evitando che queste si avvantaggino ‐ o siano penalizzate ‐ da  quanto non è sotto il loro diretto controllo Donatella Poliandri
  • 24. Le aree di valutazione le azioni ‘positive’ che le scuole mettono in campoil miglioramento dei livelli di apprendimento non esaurisce il compito dellascuola; esistono infatti altri ambiti su cui una scuola può operare e sui quali èpossibile esprimere un giudizio, a prescindere dai risultati ottenutila seconda parte della valutazione (nella prospettiva premiale) è stata affidata a Team di valutazione inviati presso le scuolesono stati considerati rilevanti alcuni ambiti che è possibile esaminare attraverso le azioni ‘positive’ che ciascuna istituzione scolastica intraprende, e che possono essere giudicati per la loro qualità in quanto normati e/o valorialmente condivisi Donatella Poliandri
  • 25. Il peso di ciascun indicatore di valore aggiunto il peso totale del miglioramento degli apprendimenti nel  giudizio complessivo è pari al 60%, così articolato:• valore aggiunto di Italiano: 35%• valore aggiunto di Matematica: 25%  il maggiore peso attribuito al valore aggiunto di Italiano si  giustifica poiché esso è in grado di cogliere, anche se in modo  indiretto, altre dimensioni di miglioramento legate ad ambiti  disciplinari differenti a quelli di osservazione delle prove  «cognitive» INVALSI. Ad esempio, la comprensione dei processi  scientifici, a differenza della matematica, richiede la padronanza  della lingua italiana Donatella Poliandri
  • 26. Le aree e gli ambiti della valutazione Giudizio Inclusione studenti con disabilità Giudizio di Team di Team Inclusione Giudizio Giudizio Inclusione studenti stranieri di Team di Team Giudizio Recupero Recupero Giudizio di Team di Team epotenziamento Giudizio Potenziamento Giudizio di Team Indice di Team Indice sintetico sintetico GiudizioOrientamento Orientamento Giudizio di Team di Team Valutazione interna / Giudizio Giudizio di Team autovalutazione di Team Valutazione Programmazione e valutazione Giudizio Giudizio di Team di Team degli studenti Donatella Poliandri
  • 27. La Rubrica di valutazione gli elementi che la compongonoLo strumento utilizzato per la valutazione delle azioni positive della scuola per ognuno dei sette ambiti considerati è la Rubrica di valutazione, caratterizzata da: criteri di qualità definiti attraverso proposizioni  per ciascun criterio di qualità si predispongono delle scale di  valutazione a quattro livelli: INDADEGUATO, ACCETTABILE, BUONO, ECCELLENTE ogni livello è descritto in modo analitico in relazione al criterio di  qualità corrispondente la descrizione del livello contiene gli elementi o le evidenze  empiriche da prendere in considerazione prima di esprimere un  giudizio, e una check list di passi da compiere, da utilizzare come  ‘guida al giudizio’ Donatella Poliandri
  • 28. Le visite di osservazione i TeamLe visite di osservazione per la compilazione delle Rubriche di valutazione sono state condotte da 16 Team, ciascuno dei quali ha osservato in media 4 scuole.Ciascun Team era composto da 3 componenti, ognuno dei quali aveva specifici compiti da svolgere. Donatella Poliandri
  • 29. Le visite di osservazionearticolazione dell’intervento
  • 30. I giudizi di Team, l’Indice sintetico e il peso attribuito espressione del giudizio di Team per ogni Rubrica di valutazione scala: 1 – inadeguato 2 – accettabile 3 – buono 4 – eccellente calcolo dell’Indice sintetico per ogni scuola (pari alla media dei giudizi) n.b. per alcune scuole non è stato possibile esprimere il giudizio relativo all’inclusione degli studenti stranieri, in quanto non presenti nella scuola per l’a.s. considerato. In tal caso la media è stata calcolata su 6 giudizi, e non su 7 attribuzione all’Indice sintetico del peso relativo del 40% per il calcolo della media ponderataDonatella Poliandri
  • 31. Punteggi sugli apprendimenti e giudizi di Team confluiscono in un unico valore finale Calcolo del Giudizio finale  unione delle informazioni relative a: a) apprendimenti di italiano (peso relativo del 35% sul Giudizio finale) b) apprendimenti di matematica (peso relativo del 25% sul Giudizio finale) c) indice sintetico dei giudizi di Team (peso relativo del 40% sul Giudizio finale) Ambiti: Apprendimenti Giudizi Team I II III IV Giudizio  Items: Ita Mate Integraz Integraz Autoval. Valutaz.  Potenz. Recup. Orient. Media  finale .Disabili .  studenti G.T. Stranieri Prov. Peso: 35% 25% 40% 100%Scuola X 4 4 4 4 3 4 3 4 3 3,57 3,83Scuola Y 4 4 4 3 3 4 3 3 3 3,29 3,71 Donatella Poliandri
  • 32. I punteggi sugli apprendimenti e i giudizi di Team sono tra loro ortogonalil’idea teorica di due ambiti (valore aggiunto, visite di osservazione) che guardino ad aspetti differenti della qualità del processo educativo è validata dall’analisi empiricala correlazione tra i punteggi del valore aggiunto e i giudizi dei Team è positiva ma bassa: 10‐16%il segno positivo della correlazione ci dice che i due ambiti non sono tra loro antitetici. Il valore basso della correlazione ci dice che i due ambiti sono tra loro complementari e capaci di rendere una valutazione complessiva della qualitàdella scuola Donatella Poliandri
  • 33. Il rapporto di valutazione Il Rapporto di valutazione del progetto VSQ presenta il giudizio finale ottenuto dalla scuola e, suddivise in sette aree tematiche, tutte quelle informazioni che sono state ritenute rilevanti per la diagnosi della scuola volta al miglioramento. In ciascuna area tematica è presente una parte iniziale comune a tutti i rapporti che ne introduce i contenuti, seguita da quella specifica per la scuola osservata. Donatella Poliandri
  • 34. Le fonti dei dati Servizio Statistico MIUR – INVALSI – Rapporto dal Dati di sintesi dell’istituzione Questionario scuola scolasticaUniversità di Roma “Sapienza” – INVALSI - Rubriche di valutazione Analisi del contesto scolastico : INVALSI - Il valore aggiunto Donatella Poliandri
  • 35. VALES(Valutazione e Sviluppo Scuola)
  • 36. Impianto complessivoIl progetto partirà con l’a.s. 2012-13.Il primo anno sarà dedicato a una valutazionediagnostica complessiva sulla singola scuola eall’identificazione del ruolo e del contributo delDS.La valutazione complessiva servirà a supportarela definizione di un piano di iniziative dimiglioramento per la scuola e di impegnicontrattuali da siglare tra USR e singolo DS. Donatella Poliandri
  • 37. Problematiche aperte e spunti di riflessione È possibile estendere l’esperienza di valutazione esterna a un numero più ampio di scuole?  Ipotesi di applicazione del modello di valutazione a livello nazionale (ad es. su campioni ruotati) Necessità di ulteriore formazione di figure professionali qualificate:  osservatori – valutazione esterna  esperti per il miglioramento 37
  • 38. Piano operativo Autovalutazione (settembre 2012-gennaio 2013)Piano operativo: I annualità Visite valutative (febbraio – aprile 2013) Prove SNV (maggio 2013) Definizione degli interventi Triangolazione Team val. – scuola- USR (giugno - agosto 2013) Donatella Poliandri
  • 39. Segue - Piano operativoPiano operativo: Interventi differenziati II e III annualità Monitoraggio Valutazione finale Donatella Poliandri
  • 40. Grazie per l’attenzionePer contatti: valutazionescuole@invalsi.it