• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Seminario faro
 

Seminario faro

on

  • 658 views

 

Statistics

Views

Total Views
658
Views on SlideShare
658
Embed Views
0

Actions

Likes
0
Downloads
3
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Seminario faro Seminario faro Presentation Transcript

    • Seminario F.A.R.O Autoanalisi e processi nazionalidi sperimentazione in ambito valutativo Donatella Poliandri Palermo 4 maggio 2012
    • I quattro ambiti della valutazione  Efficacia del sistema nel suo complesso (anche in confronto con altri paesi)  Qualità delle singole scuole  Apprendimenti degli studenti  Professionalità degli operatori scolastici Forte integrazione Donatella Poliandri
    • Analisi delle esperienze straniereElementi comuni:  Elaborazione di un quadro di riferimento teorico che integra la prospettiva di sistema con quella di scuola  Individuazione di indicatori/aspetti/criteri  Definizione di standard/benchmark  Legame tra valutazione degli apprendimenti e valutazione delle scuole  Relazione tra valutazione esterna e valutazione interna Donatella Poliandri
    • Segue - Analisi delle esperienze straniere  Ritorno dell’informazione agli operatori scolastici  Team/azioni per il miglioramento  Integrazione di tecniche qualitative e quantitative per la rilevazione delle informazioni  Sperimentazione sul campo  Aggiornamento continuo dei sistemi di indicatori Donatella Poliandri
    • Le esperienze in corso  Valutazione e Miglioramento Osservazione in classe specificità Percorsi di autovalutazione  VSQ (Valutazione Sviluppo Qualità scuola) specificità Premialità  VALES (Valutazione e Sviluppo Scuola) Integrazione con la Valutazione specificità del DS Donatella Poliandri
    • VALUTAZIONE E MIGLIORAMENTO
    • Domande di valutazione Progetto Valutazione e Miglioramento  La qualità progettuale e l’efficienza organizzativo - gestionale delle scuole nell’utilizzo dei fondi PON è adeguata?  L’offerta formativa e l’organizzazione complessiva delle scuole destinatarie dei fondi PON è adeguata?  Quali risposte dare alle scuole che si rivelano inadeguate per uno più aspetti?Ipotesi di lavoroCostruire un percorso di valutazione esterna delle scuole che, integratocon una riflessione interna, possa sviluppare la capacità delle scuole dimigliorare la qualità complessiva del servizio e avere comeconseguenza un innalzamento dei livelli di apprendimento deglistudenti. Donatella Poliandri
    • Obiettivi del progetto  Valutare la qualità progettuale e l’efficienza organizzativo - gestionale della scuola in merito all’utilizzo dei fondi PON  Fare una diagnosi complessiva dell’offerta formativa e dell’organizzazione della scuola volta a individuare punti di forza e di debolezza del servizio offerto  Restituire alle scuole coinvolte un rapporto di valutazione che serva come punto di partenza per la realizzazione di azioni di miglioramento  Sperimentare un modello di valutazione esterna delle istituzioni scolastiche (elaborazione di un prototipo) Donatella Poliandri
    • Il progetto PON Valutazione e MiglioramentoÈ articolato in fasi distinte che si svolgono in modo progressivo in più anni scolastici:  Fase 1: valutare la qualità progettuale, l’efficienza organizzativa e quella gestionale delle singole istituzioni scolastiche nell’attuazione dei PON Istruzione (FSE e FESR) Circa 450 scuole  Fase 2: identificare i punti di forza e i nodi critici del servizio scolastico offerto in un’ottica di valutazione sistemica Circa 140 scuole  Fase 3: sostenere azioni di miglioramento Circa 140 scuoleIl Progetto ha avviato inoltre un’estensione fino al termine del 2014 per uncampione di ulteriori 400 scuole del I ciclo, con il coinvolgimento diistituzioni scolastiche del Centro e del Nord Italia Donatella Poliandri
    • Il quadro di riferimento teorico L’intera struttura del progetto si basa su un vasto studio condotto dall’INVALSI  VALSIS (Valutazione del sistema scolastico e delle scuole)A partire dall’esplorazione e classificazione degli indicatoriutilizzati da molti paesi per valutare i propri sistemiscolastici, il Quadro di riferimento teorico per la valutazionedel sistema scolastico e delle scuole formula una propostaarticolata in aree e sottoaree descritte da specifici indicatori.Il modello è riconducibile alle 4 dimensioni del CIPP (CIPP:Context, Input, Process, Product) Donatella Poliandri
    • Aspetti innovativi del progetto La formazione degli osservatoriPer la valutazione delle istituzioni scolastiche, sono stati selezionati e formati 40 osservatori, riconducibili a due profili professionali:  Profilo metodologico  esperto nelle procedure e nell’utilizzo degli strumenti di rilevazione  Profilo pedagogico  esperto delle problematiche relative alla didattica e all’organizzazione scolastica Donatella Poliandri
    • Aspetti innovativi del progetto Una pluralità di strumenti Scheda di osservazione in classe e in laboratorio Intervista strutturataal Dirigente Scolastico Interviste di gruppo a insegnanti, genitori e studenti Valutazione (Nominal Group Technique) Rubriche di esterna valutazione Questionari per Foto documentazione scuole, genitori, studenti e insegnanti Analisi della documentazione Donatella Poliandri
    • Aspetti innovativi del progetto La restituzione alle scuole Gli osservatori hanno elaborato un rapporto di valutazione per scuola, che presenta in modo analitico le elaborazioni delle informazioni raccolte, evidenzia i punti di forza e di debolezza del servizio scolastico offerto, e suggerisce piste di miglioramento.  Restituzione delle informazioni personalizzate per scuola  Confronto tra la singola scuola e i dati medi delle scuole coinvolte  Presentazione di elementi per un percorso di autovalutazione  Individuazione di piste di miglioramento  avvio di un percorso di miglioramento supportato da esperti Donatella Poliandri
    • Aspetti innovativi del progetto L’esperto per il miglioramentoUn esperto nella progettazione e realizzazione di interventi a scuolasupporta le scuole in presenza (2-3 visite) e a distanza Supporto iniziale per la stesura del progetto di miglioramentoFunzioni Supporto in itinere per consulenza di processo Supporto finale per fare un primo bilancio dell’azione  L’INVALSI ha costituito una banca dati esperti articolata in aree tematiche, selezionando circa 100 figure sul territorio nazionale 14 Donatella Poliandri
    • I risultati raggiunti L’utilizzo dei fondi PON da parte delle scuoleI dati raccolti:  forniscono elementi conoscitivi validi all’Autorità di gestione per orientare le proprie decisioni  descrivono i processi attuati dalle scuole rispetto ad alcuni nodi critici (es. coerenza tra piano integrato e autodiagnosi iniziale, integrazione del piano integrato nel piano dell’offerta formativa, l’integrazione tra attività progettuali e attività ordinarie, ricadute sui risultati curriculari)  danno indicazioni per migliorare la capacità progettuale delle scuole e l’attuazione del programma stessoRispetto alle precedenti modalità di audit, l’impostazione adottata ha permessodi leggere la progettualità delle scuole non solo in termini di adeguatezza/mancanza di adeguatezza alle procedure, ma anche in termini qualitativi,dettagliando maggiormente il giudizio. Le scuole sono state classificate apartire da alcuni criteri di qualità individuati. 15 Donatella Poliandri
    • I risultati raggiunti La valutazione esterna delle scuoleI risultati raggiunti riguardano la prospettiva della singola scuola:  ciascuna scuola osservata ha ricevuto un rapporto di valutazione che permette il confronto con le altre scuole  i rapporti di valutazione hanno evidenziato i punti di forza e i punti di debolezza del servizio scolastico offerto e alcune piste miglioramento  le scuole hanno avviato un percorso di riflessione interna / autovalutazione e scelto la pista di miglioramento più rispondente alle proprie esigenze  le scuole hanno avuto la possibilità di dialogare con la valutazione esterna inviando note, integrazioni, precisazioni Donatella Poliandri
    • I risultati attesi Supporto nei percorsi di miglioramentoI risultati attesi a conclusione degli interventi di miglioramento sono:  accrescere la capacità delle scuole di realizzare azioni di miglioramento concentrandosi sulla risoluzione di specifici punti di debolezza  consolidare il ruolo degli esperti per rispondere alle esigenze di supporto delle scuole (tematiche, metodologiche)  accrescere la capacità delle scuole di condurre percorsi di riflessione interna / autovalutazioneI percorsi di miglioramento sono in corso di realizzazione. Donatella Poliandri
    • VSQ(Valutazione Sviluppo Qualità Scuola)
    • Innovazioni in VSQIl progetto VSQ rappresenta  lo sforzo di una esemplificazione del merito in criteri valutabili  la scelta di una prospettiva di tipo multicriteriale  l’integrazione dei due sistemi premianti individuati da Sen in Merit and Justice (2000), ossia il compenso sulla base dei risultati (incentivo) e quello sulla correttezza/adeguatezza delle azioni ricompensate di per sé, a prescindere dai risultati ottenuti  l’integrazione fra il sistema premiale e quello della ‘discriminazione positiva’ con lo scopo di misurarsi concretamente con gli esiti di processi che hanno a che fare con la competizione, ma anche con le pari opportunità Donatella Poliandri
    • Obiettivi del progetto VSQ VSQ è un progetto sperimentale per un sistema di valutazione finalizzato all’erogazione di premi e di azioni di supporto agli istituti scolastici  Gli obiettivi specifici sono   disegnare un modello per la valutazione delle istituzioni scolastiche autonomo, chiaro, affidabile, condiviso;   individuare e premiare le migliori performance;   introdurre meccanismi di stimolo a intraprendere percorsi di miglioramento nelle scuole. Donatella Poliandri
    • Progetto VSQ: integrazione di due prospettivea)  la prospettiva della premialità attraverso l’individuazione di aree di valutazione tali da permettere di stilare una graduatoria (nello specifico: il valore aggiunto contestualizzato – italiano e matematica; l’inclusione – studenti con disabilità, studenti stranieri; il recupero e il potenziamento; l’orientamento; la valutazione – programmazione e valutazione degli studenti, valutazione interna / autovalutazione);b) la prospettiva del miglioramento, ossia un accertamento diagnostico complessivo sull’istituzione scolastica, attraverso l’utilizzo di una pluralità di fonti e di strumenti di rilevazione, con l’obiettivo di delineare punti di forza e di debolezza del servizio offerto Donatella Poliandri
    • Quali sono le scuole premiate dal progetto VSQ? Quelle che … fanno maggiormente crescere la qualità degli apprendimenti:aggiunto Valore in italiano in matematica favoriscono l’inclusione degli studenti con disabilità favoriscono l’inclusione degli studenti stranieri Visite di osservazione non lasciano indietro gli studenti con maggiori difficoltà costruiscono percorsi pensati per gli studenti con ottimi risultati orientano gli studenti a scegliere i percorsi di studio più adatti alle loro inclinazioni utilizzano criteri e strumenti condivisi di programmazione e di valutazione degli studenti sono capaci di riflettere su se stesse e di autovalutarsi per migliorare
    • Il valore aggiunto una misura del miglioramento degli apprendimentiIl  livello  degli  apprendimen4  degli  studen4  dipende,  oltre  che  dal  contributo  delle  scuole,  dalle  cara7eris4che  degli  allievi  e  dal  contesto  nel  quale  si  svolge  l’azione  educa4va   valore  aggiunto:  è  una  misura  di  quanto  ciascuna  scuola  aggiunge   al  livello  degli  apprendimen4  conseguito  dai  propri  allievi,  tenendo   conto  della  preparazione  pregressa  degli  studen4  in  entrata  e  delle   loro  cara7eris4che  (es.  background  socio-­‐economico-­‐culturale).  Il   valore  aggiunto  è  inoltre  calcolato  tenendo  conto  degli  effe?   (posi4vi  o  nega4vi)  del  contesto  in  cui  la  scuola  opera     i  modelli  di  valore  aggiunto  consentono  di  confrontare  le  scuole  a   parità  di  condizioni.  Infa?,  gli  esi4  delle  scuole  sono  compara4   evitando  che  queste  si  avvantaggino  -­‐  o  siano  penalizzate  -­‐  da   quanto  non  è  so7o  il  loro  dire7o  controllo   Donatella Poliandri
    • Le aree di valutazione le azioni ‘positive’ che le scuole mettono in campoil miglioramento dei livelli di apprendimento non esaurisce il compito dellascuola; esistono infatti altri ambiti su cui una scuola può operare e sui quali èpossibile esprimere un giudizio, a prescindere dai risultati ottenutila  seconda  parte  della  valutazione  (nella  prospe?va  premiale)  è  stata  affidata  a  Team  di  valutazione  invia4  presso  le  scuolesono  sta4  considera4  rilevan4  alcuni  ambi4  che  è  possibile  esaminare  a7raverso  le  azioni  ‘posi6ve’  che  ciascuna  is4tuzione  scolas4ca  intraprende,  e  che  possono  essere  giudica4  per  la  loro  qualità  in  quanto  norma6  e/o  valorialmente  condivisi   Donatella Poliandri
    • Il valore aggiunto in Italiano e Matematica Definizione e variabili utilizzate Livello  di   Cara>eri-­‐ Fa>ori   Contesto   VALORE   prepara-­‐ AGGIUNTO   Apprendimen6   zione  in   s6che   stru>u-­‐ territo-­‐ individuali   rali   riale   entrata   SNV 2010-11 SNV 2009-10 Fonte INVALSI Fonte MIUR, Fonte INVALSI (Esiti individuali (Esiti individuali INVALSI prove di I sec. di I prove di V grado) primaria)Cara7eris4che  individuali:  genere,  origine  immigrata,  background  socio-­‐economico-­‐      culturale,  pos4cipatario  (dalla  primaria)  Fa7ori  stru7urali:    numero  di  plessi,  Scuola  Media  o  Ist.  Comp.,  turnover          docen4,  età  media  docen4,  %  allievi  disabili  Contesto  territoriale:  %  stranieri,  background  socio-­‐economico-­‐culturale  medio,        scuola  nel  capoluogo  o  in  provincia,  altre  specificità          provinciali  (effe7o  fisso)  Tra  le  variabili  esplica4ve  non  sono  state  inserite  quelle  che  afferiscono  alle  scelte  autonome  delle  scuole.  
    • Il peso di ciascun indicatore di valore aggiunto il  peso  totale  del  miglioramento  degli  apprendimen4  nel  giudizio   complessivo  è  pari  al  60%,  così  ar4colato:  •  valore  aggiunto  di  Italiano:  35%  •  valore  aggiunto  di  Matema6ca:  25%     il  maggiore  peso  a>ribuito  al  valore  aggiunto  di  Italiano  si   gius4fica  poiché  esso  è  in  grado  di  cogliere,  anche  se  in  modo   indire7o,  altre  dimensioni  di  miglioramento  legate  ad  ambi6   disciplinari  differen6  a  quelli  di  osservazione  delle  prove   «cogni/ve»  INVALSI.  Ad  esempio,  la  comprensione  dei  processi   scien4fici,  a  differenza  della  matema4ca,  richiede  la  padronanza   della  lingua  italiana   Donatella Poliandri
    • Le aree e gli ambiti della valutazione Giudizio Inclusione studenti con disabilità di Team Inclusione Giudizio Inclusione studenti stranieri di Team Giudizio Recupero Recupero di Team epotenziamento Giudizio Potenziamento di Team Indice sintetico GiudizioOrientamento Orientamento di Team Valutazione interna / Giudizio di Team autovalutazione Valutazione Programmazione e valutazione Giudizio di Team degli studenti Donatella Poliandri
    • La Rubrica di valutazione gli elementi che la compongonoLo  strumento  u4lizzato  per  la  valutazione  delle  azioni  posi4ve  della  scuola  per  ognuno  dei  se7e  ambi4  considera4  è  la  Rubrica  di  valutazione,  cara7erizzata  da:   criteri  di  qualità  defini4  a7raverso  proposizioni     per  ciascun  criterio  di  qualità  si  predispongono  delle  scale  di   valutazione  a  qua7ro  livelli:    INDADEGUATO,  ACCETTABILE,  BUONO,  ECCELLENTE   ogni  livello  è  descri7o  in  modo  anali4co  in  relazione  al  criterio  di   qualità  corrispondente   la  descrizione  del  livello  con4ene  gli  elemen4  o  le  evidenze   empiriche  da  prendere  in  considerazione  prima  di  esprimere  un   giudizio,  e  una  check  list  di  passi  da  compiere,  da  u4lizzare  come   ‘guida  al  giudizio’   Donatella Poliandri
    • Le visite di osservazione i TeamLe  visite  di  osservazione  per  la  compilazione  delle  Rubriche  di  valutazione  sono  state  condo7e  da  16  Team,  ciascuno  dei  quali  ha  osservato  in  media  4  scuole.    Ciascun  Team  era  composto  da  3   componen6,  ognuno  dei  quali   aveva  specifici  compi4  da   svolgere.   Donatella Poliandri
    • Le visite di osservazionearticolazione dell’intervento
    • I giudizi di Team, l’Indice sintetico e il peso attribuito espressione del giudizio di Team per ogni Rubrica di valutazione scala: 1 – inadeguato 2 – accettabile 3 – buono 4 – eccellente calcolo dell’Indice sintetico per ogni scuola (pari alla media dei giudizi) n.b. per alcune scuole non è stato possibile esprimere il giudizio relativo all’inclusione degli studenti stranieri, in quanto non presenti nella scuola per l’a.s. considerato. In tal caso la media è stata calcolata su 6 giudizi, e non su 7 attribuzione all’Indice sintetico del peso relativo del 40% per il calcolo della media ponderataDonatella Poliandri
    • Punteggi sugli apprendimenti e giudizi di Team confluiscono in un unico valore finale Calcolo del Giudizio finale  unione delle informazioni relative a: a)  apprendimenti di italiano (peso relativo del 35% sul Giudizio finale) b)  apprendimenti di matematica (peso relativo del 25% sul Giudizio finale) c)  indice sintetico dei giudizi di Team (peso relativo del 40% sul Giudizio finale) Ambi4:   Apprendimen6   Giudizi  Team   I   II   III   IV   Items:   Ita   Mate   Integraz Integraz Autoval.  Valutaz.   Potenz.   Recup.   Orient.   Media   Giudizio   .Disabili   .   studen/   G.T.   finale   Stranieri   Prov.   Peso:   35%   25%   40%   100%  Scuola  X   4   4   4   4   3   4   3   4   3   3,57   3,83  Scuola  Y   4   4   4   3   3   4   3   3   3   3,29   3,71   Donatella Poliandri
    • I punteggi sugli apprendimenti e i giudizi di Team sono tra loro ortogonalil’idea  teorica  di  due  ambi4  (valore  aggiunto,  visite  di  osservazione)  che  guardino  ad  aspeV  differen6  della  qualità  del  processo  educa4vo  è  validata  dall’analisi  empirica  la  correlazione  tra  i  punteggi  del  valore  aggiunto  e  i  giudizi  dei  Team  è  posi6va  ma  bassa:  10-­‐16%  il  segno  posi4vo  della  correlazione  ci  dice  che  i  due  ambi4  non  sono  tra  loro  an6te6ci.  Il  valore  basso  della  correlazione  ci  dice  che  i  due  ambi4  sono  tra  loro  complementari  e  capaci  di  rendere  una  valutazione  complessiva  della  qualità  della  scuola   Donatella Poliandri
    • Il rapporto di valutazione  Il Rapporto di valutazione del progetto VSQ presenta il giudizio finale ottenuto dalla scuola e, suddivise in sette aree tematiche, tutte quelle informazioni che sono state ritenute rilevanti per la diagnosi della scuola volta al miglioramento.  In ciascuna area tematica è presente una parte iniziale comune a tutti i rapporti che ne introduce i contenuti, seguita da quella specifica per la scuola osservata. Donatella Poliandri
    • Le fonti dei dati Servizio Statistico MIUR – INVALSI – Rapporto dal Dati di sintesi dell’istituzione Questionario scuola scolasticaUniversità di Roma “Sapienza” – INVALSI - Rubriche di Analisi del contesto scolastico valutazione : INVALSI - Il valore aggiunto Donatella Poliandri
    • VALES(Valutazione e Sviluppo Scuola)
    • Impianto complessivoIl progetto partirà con l’a.s. 2012-13.Il primo anno sarà dedicato a una valutazionediagnostica complessiva sulla singola scuola eall’identificazione del ruolo e del contributo delDS.La valutazione complessiva servirà a supportarela definizione di un piano di iniziative dimiglioramento per la scuola e di impegnicontrattuali da siglare tra USR e singolo DS. Donatella Poliandri
    • Problematiche aperte e spunti di riflessione  È possibile estendere l’esperienza di valutazione esterna a un numero più ampio di scuole?   Ipotesi di applicazione del modello di valutazione a livello nazionale (ad es. su campioni ruotati)  Necessità di ulteriore formazione di figure professionali qualificate:   osservatori – valutazione esterna   esperti per il miglioramento 38
    • Piano operativo Autovalutazione (settembre 2012-gennaio 2013)Piano operativo: I annualità Visite valutative (febbraio – aprile 2013) Prove SNV (maggio 2013) Definizione degli interventi Triangolazione Team val. – scuola- USR (giugno - agosto 2013) Donatella Poliandri
    • Segue - Piano operativo Interventi differenziatiPiano operativo: II e III annualità Monitoraggio Valutazione finale Donatella Poliandri
    • Grazie per l’attenzionePer contatti: valutazionescuole@invalsi.it