SlideShare a Scribd company logo
progetto valutazione e miglioramento
l’osservazione in classe
Gerard Ferrer-Esteban, Lorenzo Mancini, Paola Muzzioli
Fondazione G. Agnelli - INVALSI
check list e scale di valutazione:
validità, attendibilità e primi risultati
osservazione in classe
• La checklist
• Gli indicatori delle scale di valutazioneScheda di
osservazione
• Accordo inter-codificatore
• Indici di Frequenza
• Analisi struttura latente
La checklist
• Accordo inter-codificatore - ICC
• I punteggi
• Analisi della struttura latente
Le scale di
valutazione
• Correlazioni
• RegressioniRelazione
azioni-valutazioni
scheda di osservazione
scheda di osservazione in classe
azioni e indicatori degli strumenti 1/2
Esempio 1 - Sostegno, guida e supporto
3.Sostegno,guidaesupporto
H.
Insegnamento
adattato ai
diversi bisogni
degli studenti
H.1. L’INSEGNANTE ADATTA LE ATTIVITÀ
IN BASE ALLE DIFFERENZE TRA STUDENTI
H1. L’insegnante adatta le attività in base
alle differenze tra studenti
H.2. L’INSEGNANTE SOSTIENE I BISOGNI
EMOTIVI DEGLI STUDENTI
H2.a L’insegnante riconosce i bisogni emotivi
degli studenti
H2.b L’insegnante supporta l’autostima degli
studenti
I.
Attenzione agli
studenti con
BES
I.1. L’INSEGNANTE DÀ AGLI STUDENTI CON
BES COMPITI ADATTATI RISPETTO AGLI
ALTRI
I1. L’insegnante dà agli studenti con BES
compiti adattati rispetto agli altri
I.2. L’INSEGNANTE MOSTRA ATTENZIONE
AGLI STUDENTI CON BES
I2. L’insegnante mostra attenzione agli
studenti con BES
scheda di osservazione in classe
checklist
Esempio 1: Checklist
Orario quarti d’ora effettivi osservati
Azioni – contenuti (Numero di quarti d’ora osservati: |__|__| ) 1 2 3 4 5 6 7 8 9 10
3.Sostegno,guidaesupporto
H.
Insegnamento adattato
ai diversi bisogni degli
studenti
H1. L’insegnante adatta le attività in base alle differenze tra
studenti
H2.a L’insegnante riconosce i bisogni emotivi degli studenti
H2.b L’insegnante supporta l’autostima degli studenti
I.
Attenzione agli studenti
con BES
I1. L’insegnante dà agli studenti con BES compiti adattati
rispetto agli altri
I2. L’insegnante mostra attenzione agli studenti con BES
checklist
checklist
indice per la valutazione dell’attendibilità
 Creazione di una variabile dicotomica per ogni quarto d’ora di
osservazione e indicatore all’interno delle 4 MacroAree e
dell’Area relativa alle Attività Prevalenti:
 1 : I due osservatori concordano sull’aver visto (o no) l’azione.
 0 : Altrimenti.
 Grado di concordanza per tempo di osservazione espresso
come frequenza relativa dei casi di accordo.
 Sintesi globale sui tre tempi di osservazione.
Quarto d’ora
Unità
d’osservazione
Tempi
checklist
Accordo inter-codificatore per descrittore
0,81
0,74 0,75
0,84
0,76 0,75
0,73
0,77
0,71
0,86
0,75
0,73
0,92
0,78 0,79
0,90
0,76 0,77
0,72 0,70 0,70
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1,00
A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b
Accordo Inter-Codificatore medio
V Primaria : 0,80492 I Sec. Primo Grado: 0,80545
strategie sostegnogestione clima
checklist
attività prevalenti
 Registra l’attività prevalente realizzata in classe
nell’arco temporale di 15 minuti
 È un’informazione che serve per comprendere a
quale attività si riferiscono gli indicatori di qualità
del processo di insegnamento/apprendimento
osservati
 È utile anche per rilevare la scansione delle attività
realizzate dall’insegnante nelle due ore di
osservazione
checklist
grado di accordo sulle attività prevalenti
0,87 0,88
0,91
0,89
0,97
0,94
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1,00
L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il
discorso in classe
L4. Gli studenti lavorano
individualmente
L5. Gli studenti lavorano in
coppie o in gruppi
L6. Altro
Accordo Inter-Codificatore medio
checklist
Definizione degli Indici di frequenza
 Gli Indici di frequenze (IF) sono stati elaborati, per
ogni singolo indicatore, sintetizzando le azioni
rilevate dalla coppia di osservatori:
Sulla singola unità di osservazione.
Sui 3 tempi di osservazione.
checklist
Il calcolo degli Indici di frequenza – un esempio
QDO 1 QDO 2 QDO 3 QDO 4 QDO 5 QDO 6 QDO 7 QDO 8
H1. L’insegnante adatta le attività in base alle differenze tra studenti
Osservatore 1
Osservatore 2
QDO 1 QDO 2 QDO 3 QDO 4
Osservatore 1
Osservatore 2
QDO 1 QDO 2 QDO 3 QDO 4
Osservatore 1
Osservatore 2
QDO 1 QDO 2 QDO 3 QDO 4
Osservatore 1
Osservatore 2
T1 T2 T3
T1 T2 T3
checklist
Gli indici di Frequenza per i descrittori
0,41
0,65
0,57
0,31
0,45 0,46
0,68
0,57
0,61
0,24
0,42
0,59
0,11
0,38
0,35
0,16
0,52
0,87
0,71
0,73
0,68
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1,00
A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b
Indici di Frequenza
strategie sostegnogestione clima
checklist
Gli Indici di Frequenza per le attività prevalenti
0,34
0,37
0,17
0,32
0,11
0,13
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
0,40
L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il
discorso in classe
L4. Gli studenti lavorano
individualmente
L5. Gli studenti lavorano in
coppie o in gruppi
L6. Altro
Indici di Frequenza - Attività Prevalenti
checklist
Approfondimento: differenze tra livelli
 Tramite test non parametrici di Wilcoxon sono state
valutate eventuali differenze negli IF tra i due livelli
di classe osservati (V Primaria e I Sec. Di Primo
Grado).
 Ad un livello α = 0.05 risultano differenze non
significative per i costrutti:
 C1.a L'insegnante illustra il metodo o la procedura da usare.
 E1. L'insegnante fornisce indicazioni sui tempi.
 E2. L'insegnante gestisce i momenti di passaggio da una attività all'altra.
 H1. L'insegnante adatta le attività in base alle differenze tra studenti.
 H2.a L'insegnante riconosce i bisogni emotivi degli studenti.
 I1. L'insegnante dà agli studenti con BES compiti adattati rispetto agli altri.
 L3. L'insegnante guida il discorso in classe.
checklist
indici di fequenza per livello
0,35
0,69
0,53
0,30
0,46
0,50
0,63
0,65
0,62
0,24
0,42
0,57
0,11
0,39
0,36
0,17
0,55
0,89
0,75
0,75
0,69
0,48
0,60
0,60
0,32
0,44 0,42
0,72
0,50
0,60 0,60
0,37
0,33
0,15
0,48
0,84
0,67
0,71
0,66
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1,00
A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b
Indici di frequenza per livello classe - Indicatori
V Primaria I Sec. Primo grado
checklist
Indici di Frequenza dell’attività prevalente per livello
0,27
0,31
0,17
0,42
0,14
0,11
0,41
0,42
0,23
0,08
0,14
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
0,40
0,45
L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il
discorso in classe
L4. Gli studenti lavorano
individualmente
L5. Gli studenti lavorano in
coppie o in gruppi
L6. Altro
Indici di frequenza per livello classe - Attività prevalenti
V Primaria I Sec. Primo grado
checklist
Altri test
 Per la costruzione degli IF si è presupposta l’assenza
di un effetto dovuto al tempo di osservazione sul
costrutto.
 L’effetto del tempo è stato opportunamente valutato
tramite il test di Friedman per campioni correlati
(non rispettate assunzioni di normalità e
omoschedasticità).
checklist
Le differenze tra i tempi di osservazione degli Indici di Frequenza
IF p - value
B1 0
B2 0
E1 0
E2 0
H2.b 0
D1.a 0,001
F1 0,001
H1 0,001
I2 0,001
H2.a 0,003
I1 0,007
A1 0,02
D2 0,023
A2 0,035
K1.b 0,057
J1 0,193
J2 0,275
K1.a 0,307
C1.b 0,603
D1.b 0,627
C1.a 0,776
IF p-value
L3 0,000
L5 0,001
L1 0,004
L6 0,008
L4 0,102
L2 0,267
checklist
Analisi della struttura latente
Componenti
1 2 3 4 5
strategie didattiche
A1.L’insegnante spiega in modo strutturato -,070 ,733 ,176 -,026 -,019
A2.L’insegnante propone attività strutturate ,261 -,156 ,644 -,038 ,100
B1. L’insegnante fa domande che incoraggiano il ragionamento
,139 ,781 ,213 ,110 ,032
B2.L’insegnante dedica spazio alla discussione in classe ,293 ,658 -,217 ,026 ,099
C1. L’insegnante fornisce indicazioni sulle strategie e i metodi da seguire
,110 ,146 ,707 ,203 ,048
D1. L’insegnante monitora il lavoro degli studenti ,042 ,152 ,762 ,187 ,005
D2.L’insegnante fornisce feedback per aiutare gli studenti a migliorare
,347 ,294 ,469 ,133 ,164
gestione della classe
E1.L’insegnante fornisce indicazioni sui tempi ,301 ,108 ,107 ,088 ,587
E2.L’insegnante gestisce i momenti di passaggio da una attività all’altra
,341 ,258 ,333 -,028 ,429
F.1. L’insegnante trasmette regole di comportamento -,304 -,060 -,003 ,064 ,777
sostegno, guida supporto
H1. L’insegnante adatta le attività in base alle differenze tra studenti
,067 ,171 ,159 ,742 ,044
H2. L’insegnante sostiene i bisogni emotivi degli studenti ,513 ,448 ,070 ,282 ,260
I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri
,083 -,033 ,096 ,835 ,029
I2. L’insegnante mostra attenzione agli studenti con BES ,500 -,021 ,132 ,592 ,137
clima di apprendimento
J1. Gli studenti mostrano di impegnarsi nelle attività ,751 ,122 ,309 -,015 -,134
J2. Gli studenti con BES mostrano di partecipare alle attività ,774 -,045 ,149 ,205 ,025
K1. Gli studenti e l'insegnante mostrano rapporti che favoriscono l'apprendimento
,707 ,395 ,107 ,132 ,088
 le prime 5 dimensioni considerate spiegano il 61% della variabilità totale
 l’analisi riproduce tra il 47% e il 72% della variabilità delle variabili in analisi
Principal component analysis (varimax rotation)
scale di valutazione
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
A1
A2
B1
B2
C1
D1
D2
E1
E2
F1
G1
H1
H2
I1
I2
J1
J2
K1
Differenze tra punteggi nelle scale di valutazione
,00 Nessuna differenza 1,00 Differenza minima (scarti 1 e 2 punti)
2,00 Differenza media (scarti 3 e 4 punti) 3,00 Differenza elevata (scarti 5 e 6 punti)
scale di valutazione
attendibilità: accordo inter-codificatore
...
...
scale di valutazione
attendibilità: accordo inter-codificatore
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
H1 I1 E1 D1 J2 D2 C1 I2 H2 B2 A2 B1 A1 E2 F1 J1 K1 G1
individual rating
average of ratings over 6 raters in 3 times
Inter-rater reliability: intraclass correlation coefficients (ICC)
insufficiente
medio
buono
eccellente
Cutoffs ICC values (Cicchetti, 1994):
Poor - less than .40
Fair - between .40 and .59
Good - between .60 and .74
Excellent - between .75 and 1.0
scale di valutazione
effetto azione docente: un’altra misura di attendibilità
l’insegnante…
percentuale di varianza
insegn. osserv. scuola
tempo di
oss.
residuo
Reliability
1
osservatore
(1 lezione)
3 osservatori
(3 lezioni)
6 raters (3
lezioni)
A1. spiega in modo strutturato 39.6 11.3 5.4 0.1 43.6 41.8% 68.3% 81.1%
A2. propone attività strutturate 40.2 9.3 5.3 0.1 45.1 42.4% 68.8% 81.5%
B1. fa domande che incoraggiano il ragionamento 40.4 9.7 4.9 0.5 44.5 42.5% 68.9% 81.4%
B2. dedica spazio alla discussione in classe 39.4 11.7 4.4 0.3 44.2 41.2% 67.8% 80.7%
C1. fornisce indicazioni sulle strategie e i metodi 39.7 9.1 4.4 0.1 46.6 41.6% 68.1% 81.0%
D1. monitora il lavoro degli studenti 36.5 9.0 5.5 0.1 48.9 38.6% 65.3% 79.0%
D2. fornisce feedback 39.1 9.0 5.5 0.1 46.4 41.3% 67.9% 80.8%
E1. fornisce indicazioni sui tempi 35.2 11.8 4.9 0.0 48.0 37.0% 63.8% 77.9%
E2. gestisce i momenti di passaggio 42.1 8.5 7.0 0.0 42.3 45.3% 71.3% 83.2%
F1. trasmette regole di comportamento 45.2 8.2 6.7 0.1 39.8 48.4% 73.8% 84.9%
G1. organizzazione dello spazio 43.3 11.5 7.2 0.0 38.1 46.6% 72.3% 83.9%
H1. adatta le attività in base alle differenze 28.1 13.4 4.7 0.0 53.6 29.5% 55.7% 71.5%
H2. sostiene i bisogni emotivi 42.5 7.4 5.3 0.1 44.7 44.9% 70.9% 82.9%
I1. dà agli studenti con BES compiti adattati 36.6 8.6 6.3 0.2 48.4 39.0% 65.7% 79.2%
I2. mostra attenzione agli studenti con BES 44.1 6.1 7.1 0.2 42.5 47.5% 73.0% 84.3%
J1. studenti mostrano di impegnarsi 46.0 7.6 6.7 0.3 39.4 49.3% 74.4% 85.2%
J2. studenti con BES mostrano di partecipare 42.1 8.3 7.3 0.1 42.3 45.3% 71.3% 83.2%
K1. mostra rapporti che favoriscono l’apprend. 46.4 7.8 6.9 0.2 38.7 49.8% 74.8% 85.5%
scale di valutazione
punteggi medi
inadeguato eccellente
strategie
gestione
sostegno
clima
0 1 2 3 4 5 6 7
H1. adatta le attività in base alle differenze
E1. fornisce indicazioni sui tempi
I1. dà agli studenti con BES compiti adattati
B2. dedica spazio alla discussione in classe
I2. mostra attenzione agli studenti con BES
D2. fornisce feedback
H2. sostiene i bisogni emotivi
A1. spiega in modo strutturato
C1. fornisce indicazioni sulle strategie e i metodi
J2. studenti con BES mostrano di partecipare
E2. gestisce i momenti di passaggio
A2. propone attività strutturate
D1. monitora il lavoro degli studenti
B1. fa domande che incoraggiano il ragionamento
F1. trasmette regole di comportamento
G1. organizzazione dello spazio
J1. studenti mostrano di impegnarsi
K1. mostra rapporti che favoriscono l’apprend.
scale di valutazione
differenze tra livelli
4,15
4,51
2,42
3,06
3,38
4,59
3,17
4,19
4,54
4,01
4,30
4,52
5,13
4,80
4,52
4,63
5,08 5,00
4,30
4,61
2,35
2,98
3,27
4,48
3,03
4,02
4,34
3,80
4,05
4,26
4,82
4,44
4,15 4,25
4,56
4,18
0
1
2
3
4
5
6
A1 B1 H1 E1 B2 D1 I1 D2 E2 I2 H2 C1 K1 F1 J2 A2 J1 G1_b
V primaria I Sec. Primo grado
Gli indicatori con più differenza tra livelli sono favorevoli alla scuola primaria:
- L’organizzazione dello spazio
- L’impegno degli studenti nelle attività
- Lo svolgimento di attività strutturate
- La partecipazione degli studenti con BES nelle attività
- La gestione delle regole di comportamenti
L’unico indicatore favorevole alla scuola secondaria di I grado è il relativo alle spiegazioni strutturate
scale di valutazione
distribuzione dei punteggi medi
inadeguato eccellente
intervalli
47%
19%
27%
23%
10%
4%
3%
5%
32%
33%
30%
24%
16%
16%
17%
14%
10%
10%
9%
11%
9%
5%
8%
6%
4%
6%
15%
31%
22%
24%
28%
33%
26%
27%
29%
26%
23%
23%
21%
23%
20%
21%
18%
15%
5%
14%
15%
18%
30%
31%
30%
34%
30%
33%
37%
36%
33%
39%
38%
45%
33%
28%
3%
5%
10%
13%
15%
17%
20%
22%
24%
21%
24%
26%
25%
27%
25%
33%
30%
4%
3%
5%
3%
8%
5%
4%
4%
9%
6%
6%
10%
20%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
H1. Adatta le attività in base alle differenze tra studenti
I1. Dà compiti adattati agli studenti con BES
E1. Fornisce indicazioni sui tempi
B2. Spazio alla discussione in classe
I2. Mostra attenzione agli studenti con BES
D2. Fornisce feedback per aiutare gli studenti a migliorare
H2. Sostiene i bisogni emotivi degli studenti
A1. Spiega in modo strutturato
A2. Attività strutturate
C1. Indicazioni sulle strategie e i metodi da seguire
J2. Studenti con BES mostrano di partecipare alle attività
E2. Gestisce i momenti di passaggio da un'attività all'altra
B1. Domande che incoraggiano il ragionamento
F1. Trasmette regole di comportamento
G1. Organizzazione dello spazio
D1. Monitora il lavoro degli studenti
J1. Studenti mostrano di impegnarsi nelle attività
K1. Rapporti che favoriscono l'apprendimento
tra 1 e 2 tra 2 e 3 tra 3 e 4 tra 4 e 5 tra 5 e 6 tra 6 e 7
scale di valutazione
analisi della struttura latente
Principal component analysis (varimax rotation)
1. Strategie didattiche
A. Insegnamento strutturato A1.L’insegnante spiega in modo strutturato
A2.L’insegnante propone attività strutturate
B. Tecniche di interrogazione e discussione B1. L’insegnante fa domande che incoraggiano il ragionamento
B2.L’insegnante dedica spazio alla discussione in classe
C. Strategie per sostenere l’apprendimento C1. L’insegnante fornisce indicazioni sulle strategie e i metodi da seguire
D. Monitoraggio e valutazione D1. L’insegnante monitora il lavoro degli studenti
D2.L’insegnante fornisce feedback per aiutare gli studenti a migliorare
2. Gestione della classe
E. Gestione del tempo e delle attività E1.L’insegnante fornisce indicazioni sui tempi
E2.L’insegnante gestisce i momenti di passaggio da una attività all’altra
F. Gestione delle regole e dei comportamenti F.1. L’insegnante trasmette regole di comportamento
G. Organizzazione dello spazio G.1. Organizzazione dello spazio
3. Sostegno, guida e
supporto
H. Insegnamento adattato ai diversi bisogni degli studenti H1. L’insegnante adatta le attività in base alle differenze tra studenti
H2. L’insegnante sostiene i bisogni emotivi degli studenti
I. Attenzione agli studenti con BES I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri
I2. L’insegnante mostra attenzione agli studenti con BES
4. Clima di
Apprendimento
J. Coinvolgimento degli studenti J1. Gli studenti mostrano di impegnarsi nelle attività
J2. Gli studenti con BES mostrano di partecipare alle attività
K. Rapporti in classe K1. Gli studenti e l'insegnante mostrano rapporti che favoriscono l'apprendimento
La proporzione della varianza a livello insegnante nelle competenze analizzate per le prime tre componenti principali
è di circa il 70%. È un valore al di sotto di quelli osservati nell’ambito internazionale utilizzando strumenti di
osservazione basati sui video (UTOP: 82%; MQI: 87%; CLASS: 90%; FFT e PLATO: 97%).
Lo strumento utilizzato contiene una prima componente principale che riflette le competenze associate alle strategie
didattiche. Questa componente assorbe una gran parte della variazione dei punteggi (55%)
Una seconda componente riflette le pratiche svolte a personalizzare l’insegnamento e a coinvolgere gli studenti con
difficoltà di apprendimento. La terza comprende azioni di gestione delle procedure e del clima in classe (sostegno dei
bisogni emotivi e rapporti che favoriscono l’apprendimento)
comp 1
comp 3
comp 2
* considerando la dimensione del campione, sono stati considerati i
loading tra 0.2 e 0.3.
checklist - scale di valutazione
checklist e scale di valutazione
correlazione tra punteggi e indici di frequenza
Coefficienti di correlazione tra i punteggi delle scale di valutazione e gli indici di frequenza
0,18
0,30
0,38
0,29
0,40
0,50 0,50 0,50
0,55
0,52
0,63 0,62
0,66 0,65 0,66
0,63
0,68 0,68
0,72
0,74
0,77
0,16
0,28 0,29
0,35
0,32
0,43 0,43 0,45 0,46
0,48 0,49 0,50
0,56 0,56 0,58 0,59
0,61 0,62 0,62 0,63
0,70
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
D1_a D1_b E2 A2 F1 C1_b C1_a A1 D2 I1 J1 H2_b J2 H2_a B1 H1 E1 I2 K1_a K1_b B2
correlation coefficient (aggregato a livello di insegnante)
correlation coefficient (aggregato a livello di lezione)
checklist e scale di valutazione
punteggi e indici di frequenza (checklist)
in che misura la valutazione aumenta con l’incremento della frequenza?
*aumento dei punteggi associato all’incremento della frequenza del fenomeno osservato (in un 50%)
-0,5 0 0,5 1 1,5 2
F1. trasmette regole di comportamento
D1. monitora il lavoro degli studenti
E2. gestisce i momenti di passaggio
A2. propone attività strutturate
A1. spiega in modo strutturato
J1. studenti mostrano di impegnarsi
C1. fornisce indicazioni sulle strategie e i metodi
J2. studenti con BES mostrano di partecipare
D2. fornisce feedback
K1. mostra rapporti che favoriscono l’apprend.
B1. fa domande che incoraggiano il ragionamento
I1. dà agli studenti con BES compiti adattati
I2. mostra attenzione agli studenti con BES
H2. sostiene i bisogni emotivi
B2. dedica spazio alla discussione in classe
H1. adatta le attività in base alle differenze
E1. fornisce indicazioni sui tempi
[modelli di regressione con effetto fisso insegnante e osservatore]
* Tutti i coefficienti sono statisticamente significativi (5%) punteggi delle scale di valutazione
quantità
(indici di frequenza)
qualità
(punteggi delle scale di valutazione)
prospettive di analisi
• è stato raggiunto uno strumento attendibile in grado di individuare diverse
pratiche di insegnamento
• ma queste pratiche contribuiscono effettivamente all’apprendimento degli
studenti?
• quali sono le sfide da affrontare?
1. mettere in relazione dati e le misure a disposizione:
 fonti differenti (questionario studenti e insegnante)
 misure di outcome, come i risultati dei test standardizzati
 dati di contesto degli insegnanti (es. formazione)
 dati di contesto degli studenti (es. caratteristiche sociodemografiche)
2. validità predittiva: le pratiche di insegnamento sono associate agli outcome
di apprendimento?
 ottenere misure adeguate di efficacia docente isolando gli effetti
dell’azione di insegnamento: modelli “value-added”
3. dalla ricerca alla pratica: elaborare proposte di policy e formazione
prospettive di analisi
grazie per l’attenzione
progetto valutazione e miglioramento
l’osservazione in classe
seminario residenziale
Formia, 28 aprile 2015

More Related Content

What's hot

Pedagogia speciale
Pedagogia specialePedagogia speciale
Pedagogia speciale
Francesco Mario Pio Damiani
 
Autismo pars
Autismo parsAutismo pars
Autismo parsimartini
 
S. D'Agostino - IL QUADRO EUROPEO DELLE QUALIFICAZIONI (EQF)
S. D'Agostino - IL QUADRO EUROPEO DELLE QUALIFICAZIONI (EQF) S. D'Agostino - IL QUADRO EUROPEO DELLE QUALIFICAZIONI (EQF)
S. D'Agostino - IL QUADRO EUROPEO DELLE QUALIFICAZIONI (EQF)
Istituto nazionale di statistica
 
Progetto Valutazione e Miglioramento - La struttura della scheda ssgc e il co...
Progetto Valutazione e Miglioramento - La struttura della scheda ssgc e il co...Progetto Valutazione e Miglioramento - La struttura della scheda ssgc e il co...
Progetto Valutazione e Miglioramento - La struttura della scheda ssgc e il co...
Invalsi
 
Autismo metodologie-e-strategie-didattiche a
Autismo metodologie-e-strategie-didattiche aAutismo metodologie-e-strategie-didattiche a
Autismo metodologie-e-strategie-didattiche a
imartini
 
Il colloquio clinico
Il colloquio clinicoIl colloquio clinico
Il colloquio clinico
Antonia Casiero
 
Icf cy
Icf cyIcf cy
Icf cy
CTS Fano
 
Tecnologie didattiche per la disabilita uditiva-4
Tecnologie didattiche per la disabilita uditiva-4Tecnologie didattiche per la disabilita uditiva-4
Tecnologie didattiche per la disabilita uditiva-4
Chayn Italia
 
Specializzazione Sostegno
Specializzazione Sostegno Specializzazione Sostegno
Specializzazione Sostegno
Università di Catania
 
L'ICF-CY ed il suo utilizzo
L'ICF-CY ed il suo utilizzoL'ICF-CY ed il suo utilizzo
L'ICF-CY ed il suo utilizzo
Veronica Cavicchi
 
La relazione educativa e le tecnologie digitali
La relazione educativa e le tecnologie digitaliLa relazione educativa e le tecnologie digitali
La relazione educativa e le tecnologie digitali
doncarletto
 
BIA: Batteria Italiana per la valutazione dell'ADHD
BIA: Batteria Italiana per la valutazione dell'ADHDBIA: Batteria Italiana per la valutazione dell'ADHD
BIA: Batteria Italiana per la valutazione dell'ADHD
Ordine Psicologi della Lombardia
 
Orientarsi tra le modifiche del DLgs66/2017
Orientarsi tra le modifiche del DLgs66/2017Orientarsi tra le modifiche del DLgs66/2017
Orientarsi tra le modifiche del DLgs66/2017
Luca Salvini - MI
 
Il modello-comportamentale-aba
Il modello-comportamentale-abaIl modello-comportamentale-aba
Il modello-comportamentale-abaimartini
 
Autismo metodologie-strategie-didattiche
Autismo metodologie-strategie-didatticheAutismo metodologie-strategie-didattiche
Autismo metodologie-strategie-didattiche
imartini
 
Laboratorio CAA progetto autismo 2011/2012
Laboratorio CAA progetto autismo 2011/2012Laboratorio CAA progetto autismo 2011/2012
Laboratorio CAA progetto autismo 2011/2012
Portale Autismo
 
2021-01-15 formazione tutor raffaella biagioli
2021-01-15 formazione tutor raffaella biagioli2021-01-15 formazione tutor raffaella biagioli
2021-01-15 formazione tutor raffaella biagioli
Luca Salvini - MI
 
LA REGOLAZIONE DELLE EMOZIONI A SCUOLA Un progetto di intervento in una scuol...
LA REGOLAZIONE DELLE EMOZIONI A SCUOLA Un progetto di intervento in una scuol...LA REGOLAZIONE DELLE EMOZIONI A SCUOLA Un progetto di intervento in una scuol...
LA REGOLAZIONE DELLE EMOZIONI A SCUOLA Un progetto di intervento in una scuol...
RobertaMascioni
 
Programmazione per assi culturali pluridisciplinari o competenze
Programmazione per assi culturali pluridisciplinari o competenzeProgrammazione per assi culturali pluridisciplinari o competenze
Programmazione per assi culturali pluridisciplinari o competenze
Giuseppe Iaconis
 

What's hot (20)

Pedagogia speciale
Pedagogia specialePedagogia speciale
Pedagogia speciale
 
Autismo pars
Autismo parsAutismo pars
Autismo pars
 
S. D'Agostino - IL QUADRO EUROPEO DELLE QUALIFICAZIONI (EQF)
S. D'Agostino - IL QUADRO EUROPEO DELLE QUALIFICAZIONI (EQF) S. D'Agostino - IL QUADRO EUROPEO DELLE QUALIFICAZIONI (EQF)
S. D'Agostino - IL QUADRO EUROPEO DELLE QUALIFICAZIONI (EQF)
 
Progetto Valutazione e Miglioramento - La struttura della scheda ssgc e il co...
Progetto Valutazione e Miglioramento - La struttura della scheda ssgc e il co...Progetto Valutazione e Miglioramento - La struttura della scheda ssgc e il co...
Progetto Valutazione e Miglioramento - La struttura della scheda ssgc e il co...
 
Autismo metodologie-e-strategie-didattiche a
Autismo metodologie-e-strategie-didattiche aAutismo metodologie-e-strategie-didattiche a
Autismo metodologie-e-strategie-didattiche a
 
Il colloquio clinico
Il colloquio clinicoIl colloquio clinico
Il colloquio clinico
 
Icf cy
Icf cyIcf cy
Icf cy
 
Tecnologie didattiche per la disabilita uditiva-4
Tecnologie didattiche per la disabilita uditiva-4Tecnologie didattiche per la disabilita uditiva-4
Tecnologie didattiche per la disabilita uditiva-4
 
Memoria
MemoriaMemoria
Memoria
 
Specializzazione Sostegno
Specializzazione Sostegno Specializzazione Sostegno
Specializzazione Sostegno
 
L'ICF-CY ed il suo utilizzo
L'ICF-CY ed il suo utilizzoL'ICF-CY ed il suo utilizzo
L'ICF-CY ed il suo utilizzo
 
La relazione educativa e le tecnologie digitali
La relazione educativa e le tecnologie digitaliLa relazione educativa e le tecnologie digitali
La relazione educativa e le tecnologie digitali
 
BIA: Batteria Italiana per la valutazione dell'ADHD
BIA: Batteria Italiana per la valutazione dell'ADHDBIA: Batteria Italiana per la valutazione dell'ADHD
BIA: Batteria Italiana per la valutazione dell'ADHD
 
Orientarsi tra le modifiche del DLgs66/2017
Orientarsi tra le modifiche del DLgs66/2017Orientarsi tra le modifiche del DLgs66/2017
Orientarsi tra le modifiche del DLgs66/2017
 
Il modello-comportamentale-aba
Il modello-comportamentale-abaIl modello-comportamentale-aba
Il modello-comportamentale-aba
 
Autismo metodologie-strategie-didattiche
Autismo metodologie-strategie-didatticheAutismo metodologie-strategie-didattiche
Autismo metodologie-strategie-didattiche
 
Laboratorio CAA progetto autismo 2011/2012
Laboratorio CAA progetto autismo 2011/2012Laboratorio CAA progetto autismo 2011/2012
Laboratorio CAA progetto autismo 2011/2012
 
2021-01-15 formazione tutor raffaella biagioli
2021-01-15 formazione tutor raffaella biagioli2021-01-15 formazione tutor raffaella biagioli
2021-01-15 formazione tutor raffaella biagioli
 
LA REGOLAZIONE DELLE EMOZIONI A SCUOLA Un progetto di intervento in una scuol...
LA REGOLAZIONE DELLE EMOZIONI A SCUOLA Un progetto di intervento in una scuol...LA REGOLAZIONE DELLE EMOZIONI A SCUOLA Un progetto di intervento in una scuol...
LA REGOLAZIONE DELLE EMOZIONI A SCUOLA Un progetto di intervento in una scuol...
 
Programmazione per assi culturali pluridisciplinari o competenze
Programmazione per assi culturali pluridisciplinari o competenzeProgrammazione per assi culturali pluridisciplinari o competenze
Programmazione per assi culturali pluridisciplinari o competenze
 

Viewers also liked

didatticaspeciale
 didatticaspeciale didatticaspeciale
didatticaspecialeimartini
 
Come gli insegnanti hanno percepito l'osservazione in classe - Progetto Valut...
Come gli insegnanti hanno percepito l'osservazione in classe - Progetto Valut...Come gli insegnanti hanno percepito l'osservazione in classe - Progetto Valut...
Come gli insegnanti hanno percepito l'osservazione in classe - Progetto Valut...
Invalsi
 
Schede di osservazione
Schede di osservazioneSchede di osservazione
Schede di osservazioneElena Pezzi
 
Psicologia comunicazione m
Psicologia comunicazione mPsicologia comunicazione m
Psicologia comunicazione mimartini
 
didatticaspeciale[1]
 didatticaspeciale[1] didatticaspeciale[1]
didatticaspeciale[1]imartini
 
Griglia gioco
Griglia  giocoGriglia  gioco
Griglia giocoimartini
 
Griglia valutazione
Griglia valutazioneGriglia valutazione
Griglia valutazioneElena Pezzi
 
Griglia osservazione capacità
Griglia osservazione capacitàGriglia osservazione capacità
Griglia osservazione capacitàimartini
 

Viewers also liked (9)

didatticaspeciale
 didatticaspeciale didatticaspeciale
didatticaspeciale
 
Come gli insegnanti hanno percepito l'osservazione in classe - Progetto Valut...
Come gli insegnanti hanno percepito l'osservazione in classe - Progetto Valut...Come gli insegnanti hanno percepito l'osservazione in classe - Progetto Valut...
Come gli insegnanti hanno percepito l'osservazione in classe - Progetto Valut...
 
Schede di osservazione
Schede di osservazioneSchede di osservazione
Schede di osservazione
 
Psicologia comunicazione m
Psicologia comunicazione mPsicologia comunicazione m
Psicologia comunicazione m
 
didatticaspeciale[1]
 didatticaspeciale[1] didatticaspeciale[1]
didatticaspeciale[1]
 
Comportamento
ComportamentoComportamento
Comportamento
 
Griglia gioco
Griglia  giocoGriglia  gioco
Griglia gioco
 
Griglia valutazione
Griglia valutazioneGriglia valutazione
Griglia valutazione
 
Griglia osservazione capacità
Griglia osservazione capacitàGriglia osservazione capacità
Griglia osservazione capacità
 

More from Invalsi

Progetto Valutazione e Miglioramento - Il questionario studenti intervista in...
Progetto Valutazione e Miglioramento - Il questionario studenti intervista in...Progetto Valutazione e Miglioramento - Il questionario studenti intervista in...
Progetto Valutazione e Miglioramento - Il questionario studenti intervista in...
Invalsi
 
Il disegno della ricerca
Il disegno della ricercaIl disegno della ricerca
Il disegno della ricerca
Invalsi
 
Progetto Valutazione e Miglioramento - Classroom observation some comments
Progetto Valutazione e Miglioramento - Classroom observation some commentsProgetto Valutazione e Miglioramento - Classroom observation some comments
Progetto Valutazione e Miglioramento - Classroom observation some comments
Invalsi
 
Decennale Prove INVALSI - Laura Palmerio
Decennale Prove INVALSI - Laura PalmerioDecennale Prove INVALSI - Laura Palmerio
Decennale Prove INVALSI - Laura Palmerio
Invalsi
 
Decennale Prove INVALSI - Donatella Poliandri
Decennale Prove INVALSI - Donatella PoliandriDecennale Prove INVALSI - Donatella Poliandri
Decennale Prove INVALSI - Donatella Poliandri
Invalsi
 
Decennale Prove INVALSI - Paolo Sestito
Decennale Prove INVALSI - Paolo SestitoDecennale Prove INVALSI - Paolo Sestito
Decennale Prove INVALSI - Paolo Sestito
Invalsi
 
Decennale Prove INVALSI - Giancarlo Cerini
Decennale Prove INVALSI - Giancarlo CeriniDecennale Prove INVALSI - Giancarlo Cerini
Decennale Prove INVALSI - Giancarlo Cerini
Invalsi
 
Decennale Prove INVALSI - Giuseppe Giampaglia
Decennale Prove INVALSI - Giuseppe GiampagliaDecennale Prove INVALSI - Giuseppe Giampaglia
Decennale Prove INVALSI - Giuseppe Giampaglia
Invalsi
 
Documento Decennale Prove Invalsi
Documento Decennale Prove InvalsiDocumento Decennale Prove Invalsi
Documento Decennale Prove Invalsi
Invalsi
 
Decennale Prove INVALSI - Stefania Pozio
Decennale Prove INVALSI - Stefania PozioDecennale Prove INVALSI - Stefania Pozio
Decennale Prove INVALSI - Stefania Pozio
Invalsi
 
Decennale Prove INVALSI - Patrizia Falzetti
Decennale Prove INVALSI - Patrizia FalzettiDecennale Prove INVALSI - Patrizia Falzetti
Decennale Prove INVALSI - Patrizia Falzetti
Invalsi
 
Decennale Prove INVALSI - Carlo Barone
Decennale Prove INVALSI - Carlo BaroneDecennale Prove INVALSI - Carlo Barone
Decennale Prove INVALSI - Carlo Barone
Invalsi
 
Decennale Prove INVALSI - Maria Teresa Siniscalco
Decennale Prove INVALSI - Maria Teresa SiniscalcoDecennale Prove INVALSI - Maria Teresa Siniscalco
Decennale Prove INVALSI - Maria Teresa Siniscalco
Invalsi
 
Decennale Prove INVALSI - Paolo Boero
Decennale Prove INVALSI - Paolo BoeroDecennale Prove INVALSI - Paolo Boero
Decennale Prove INVALSI - Paolo Boero
Invalsi
 
Decennale Prove INVALSI - Giorgio Bolondi
Decennale Prove INVALSI - Giorgio BolondiDecennale Prove INVALSI - Giorgio Bolondi
Decennale Prove INVALSI - Giorgio Bolondi
Invalsi
 
Il Decennale delle Prove INVALSI- Roberto Ricci
Il Decennale delle Prove INVALSI- Roberto RicciIl Decennale delle Prove INVALSI- Roberto Ricci
Il Decennale delle Prove INVALSI- Roberto Ricci
Invalsi
 
Decennale Prove INVALSI- Anna Maria Ajello
Decennale Prove INVALSI- Anna Maria AjelloDecennale Prove INVALSI- Anna Maria Ajello
Decennale Prove INVALSI- Anna Maria Ajello
Invalsi
 
Progetto Vales: autovalutazione e valutazione esterna
Progetto Vales: autovalutazione e valutazione esternaProgetto Vales: autovalutazione e valutazione esterna
Progetto Vales: autovalutazione e valutazione esterna
Invalsi
 
Progetto Vales: Come sono valutate le scuole?
Progetto Vales: Come sono valutate le scuole?Progetto Vales: Come sono valutate le scuole?
Progetto Vales: Come sono valutate le scuole?
Invalsi
 
Progetto Vales: Come sono percepite le scuole?
Progetto Vales: Come sono percepite le scuole?Progetto Vales: Come sono percepite le scuole?
Progetto Vales: Come sono percepite le scuole?
Invalsi
 

More from Invalsi (20)

Progetto Valutazione e Miglioramento - Il questionario studenti intervista in...
Progetto Valutazione e Miglioramento - Il questionario studenti intervista in...Progetto Valutazione e Miglioramento - Il questionario studenti intervista in...
Progetto Valutazione e Miglioramento - Il questionario studenti intervista in...
 
Il disegno della ricerca
Il disegno della ricercaIl disegno della ricerca
Il disegno della ricerca
 
Progetto Valutazione e Miglioramento - Classroom observation some comments
Progetto Valutazione e Miglioramento - Classroom observation some commentsProgetto Valutazione e Miglioramento - Classroom observation some comments
Progetto Valutazione e Miglioramento - Classroom observation some comments
 
Decennale Prove INVALSI - Laura Palmerio
Decennale Prove INVALSI - Laura PalmerioDecennale Prove INVALSI - Laura Palmerio
Decennale Prove INVALSI - Laura Palmerio
 
Decennale Prove INVALSI - Donatella Poliandri
Decennale Prove INVALSI - Donatella PoliandriDecennale Prove INVALSI - Donatella Poliandri
Decennale Prove INVALSI - Donatella Poliandri
 
Decennale Prove INVALSI - Paolo Sestito
Decennale Prove INVALSI - Paolo SestitoDecennale Prove INVALSI - Paolo Sestito
Decennale Prove INVALSI - Paolo Sestito
 
Decennale Prove INVALSI - Giancarlo Cerini
Decennale Prove INVALSI - Giancarlo CeriniDecennale Prove INVALSI - Giancarlo Cerini
Decennale Prove INVALSI - Giancarlo Cerini
 
Decennale Prove INVALSI - Giuseppe Giampaglia
Decennale Prove INVALSI - Giuseppe GiampagliaDecennale Prove INVALSI - Giuseppe Giampaglia
Decennale Prove INVALSI - Giuseppe Giampaglia
 
Documento Decennale Prove Invalsi
Documento Decennale Prove InvalsiDocumento Decennale Prove Invalsi
Documento Decennale Prove Invalsi
 
Decennale Prove INVALSI - Stefania Pozio
Decennale Prove INVALSI - Stefania PozioDecennale Prove INVALSI - Stefania Pozio
Decennale Prove INVALSI - Stefania Pozio
 
Decennale Prove INVALSI - Patrizia Falzetti
Decennale Prove INVALSI - Patrizia FalzettiDecennale Prove INVALSI - Patrizia Falzetti
Decennale Prove INVALSI - Patrizia Falzetti
 
Decennale Prove INVALSI - Carlo Barone
Decennale Prove INVALSI - Carlo BaroneDecennale Prove INVALSI - Carlo Barone
Decennale Prove INVALSI - Carlo Barone
 
Decennale Prove INVALSI - Maria Teresa Siniscalco
Decennale Prove INVALSI - Maria Teresa SiniscalcoDecennale Prove INVALSI - Maria Teresa Siniscalco
Decennale Prove INVALSI - Maria Teresa Siniscalco
 
Decennale Prove INVALSI - Paolo Boero
Decennale Prove INVALSI - Paolo BoeroDecennale Prove INVALSI - Paolo Boero
Decennale Prove INVALSI - Paolo Boero
 
Decennale Prove INVALSI - Giorgio Bolondi
Decennale Prove INVALSI - Giorgio BolondiDecennale Prove INVALSI - Giorgio Bolondi
Decennale Prove INVALSI - Giorgio Bolondi
 
Il Decennale delle Prove INVALSI- Roberto Ricci
Il Decennale delle Prove INVALSI- Roberto RicciIl Decennale delle Prove INVALSI- Roberto Ricci
Il Decennale delle Prove INVALSI- Roberto Ricci
 
Decennale Prove INVALSI- Anna Maria Ajello
Decennale Prove INVALSI- Anna Maria AjelloDecennale Prove INVALSI- Anna Maria Ajello
Decennale Prove INVALSI- Anna Maria Ajello
 
Progetto Vales: autovalutazione e valutazione esterna
Progetto Vales: autovalutazione e valutazione esternaProgetto Vales: autovalutazione e valutazione esterna
Progetto Vales: autovalutazione e valutazione esterna
 
Progetto Vales: Come sono valutate le scuole?
Progetto Vales: Come sono valutate le scuole?Progetto Vales: Come sono valutate le scuole?
Progetto Vales: Come sono valutate le scuole?
 
Progetto Vales: Come sono percepite le scuole?
Progetto Vales: Come sono percepite le scuole?Progetto Vales: Come sono percepite le scuole?
Progetto Vales: Come sono percepite le scuole?
 

Progetto Valutazione e Miglioramento - Checklist e scale di valutazione validità, attendibilità, primi risultati

  • 1. progetto valutazione e miglioramento l’osservazione in classe Gerard Ferrer-Esteban, Lorenzo Mancini, Paola Muzzioli Fondazione G. Agnelli - INVALSI check list e scale di valutazione: validità, attendibilità e primi risultati
  • 2. osservazione in classe • La checklist • Gli indicatori delle scale di valutazioneScheda di osservazione • Accordo inter-codificatore • Indici di Frequenza • Analisi struttura latente La checklist • Accordo inter-codificatore - ICC • I punteggi • Analisi della struttura latente Le scale di valutazione • Correlazioni • RegressioniRelazione azioni-valutazioni
  • 4. scheda di osservazione in classe azioni e indicatori degli strumenti 1/2 Esempio 1 - Sostegno, guida e supporto 3.Sostegno,guidaesupporto H. Insegnamento adattato ai diversi bisogni degli studenti H.1. L’INSEGNANTE ADATTA LE ATTIVITÀ IN BASE ALLE DIFFERENZE TRA STUDENTI H1. L’insegnante adatta le attività in base alle differenze tra studenti H.2. L’INSEGNANTE SOSTIENE I BISOGNI EMOTIVI DEGLI STUDENTI H2.a L’insegnante riconosce i bisogni emotivi degli studenti H2.b L’insegnante supporta l’autostima degli studenti I. Attenzione agli studenti con BES I.1. L’INSEGNANTE DÀ AGLI STUDENTI CON BES COMPITI ADATTATI RISPETTO AGLI ALTRI I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri I.2. L’INSEGNANTE MOSTRA ATTENZIONE AGLI STUDENTI CON BES I2. L’insegnante mostra attenzione agli studenti con BES
  • 5. scheda di osservazione in classe checklist Esempio 1: Checklist Orario quarti d’ora effettivi osservati Azioni – contenuti (Numero di quarti d’ora osservati: |__|__| ) 1 2 3 4 5 6 7 8 9 10 3.Sostegno,guidaesupporto H. Insegnamento adattato ai diversi bisogni degli studenti H1. L’insegnante adatta le attività in base alle differenze tra studenti H2.a L’insegnante riconosce i bisogni emotivi degli studenti H2.b L’insegnante supporta l’autostima degli studenti I. Attenzione agli studenti con BES I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri I2. L’insegnante mostra attenzione agli studenti con BES
  • 7. checklist indice per la valutazione dell’attendibilità  Creazione di una variabile dicotomica per ogni quarto d’ora di osservazione e indicatore all’interno delle 4 MacroAree e dell’Area relativa alle Attività Prevalenti:  1 : I due osservatori concordano sull’aver visto (o no) l’azione.  0 : Altrimenti.  Grado di concordanza per tempo di osservazione espresso come frequenza relativa dei casi di accordo.  Sintesi globale sui tre tempi di osservazione. Quarto d’ora Unità d’osservazione Tempi
  • 8. checklist Accordo inter-codificatore per descrittore 0,81 0,74 0,75 0,84 0,76 0,75 0,73 0,77 0,71 0,86 0,75 0,73 0,92 0,78 0,79 0,90 0,76 0,77 0,72 0,70 0,70 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00 A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b Accordo Inter-Codificatore medio V Primaria : 0,80492 I Sec. Primo Grado: 0,80545 strategie sostegnogestione clima
  • 9. checklist attività prevalenti  Registra l’attività prevalente realizzata in classe nell’arco temporale di 15 minuti  È un’informazione che serve per comprendere a quale attività si riferiscono gli indicatori di qualità del processo di insegnamento/apprendimento osservati  È utile anche per rilevare la scansione delle attività realizzate dall’insegnante nelle due ore di osservazione
  • 10. checklist grado di accordo sulle attività prevalenti 0,87 0,88 0,91 0,89 0,97 0,94 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00 L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il discorso in classe L4. Gli studenti lavorano individualmente L5. Gli studenti lavorano in coppie o in gruppi L6. Altro Accordo Inter-Codificatore medio
  • 11. checklist Definizione degli Indici di frequenza  Gli Indici di frequenze (IF) sono stati elaborati, per ogni singolo indicatore, sintetizzando le azioni rilevate dalla coppia di osservatori: Sulla singola unità di osservazione. Sui 3 tempi di osservazione.
  • 12. checklist Il calcolo degli Indici di frequenza – un esempio QDO 1 QDO 2 QDO 3 QDO 4 QDO 5 QDO 6 QDO 7 QDO 8 H1. L’insegnante adatta le attività in base alle differenze tra studenti Osservatore 1 Osservatore 2 QDO 1 QDO 2 QDO 3 QDO 4 Osservatore 1 Osservatore 2 QDO 1 QDO 2 QDO 3 QDO 4 Osservatore 1 Osservatore 2 QDO 1 QDO 2 QDO 3 QDO 4 Osservatore 1 Osservatore 2 T1 T2 T3 T1 T2 T3
  • 13. checklist Gli indici di Frequenza per i descrittori 0,41 0,65 0,57 0,31 0,45 0,46 0,68 0,57 0,61 0,24 0,42 0,59 0,11 0,38 0,35 0,16 0,52 0,87 0,71 0,73 0,68 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00 A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b Indici di Frequenza strategie sostegnogestione clima
  • 14. checklist Gli Indici di Frequenza per le attività prevalenti 0,34 0,37 0,17 0,32 0,11 0,13 0,00 0,05 0,10 0,15 0,20 0,25 0,30 0,35 0,40 L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il discorso in classe L4. Gli studenti lavorano individualmente L5. Gli studenti lavorano in coppie o in gruppi L6. Altro Indici di Frequenza - Attività Prevalenti
  • 15. checklist Approfondimento: differenze tra livelli  Tramite test non parametrici di Wilcoxon sono state valutate eventuali differenze negli IF tra i due livelli di classe osservati (V Primaria e I Sec. Di Primo Grado).  Ad un livello α = 0.05 risultano differenze non significative per i costrutti:  C1.a L'insegnante illustra il metodo o la procedura da usare.  E1. L'insegnante fornisce indicazioni sui tempi.  E2. L'insegnante gestisce i momenti di passaggio da una attività all'altra.  H1. L'insegnante adatta le attività in base alle differenze tra studenti.  H2.a L'insegnante riconosce i bisogni emotivi degli studenti.  I1. L'insegnante dà agli studenti con BES compiti adattati rispetto agli altri.  L3. L'insegnante guida il discorso in classe.
  • 16. checklist indici di fequenza per livello 0,35 0,69 0,53 0,30 0,46 0,50 0,63 0,65 0,62 0,24 0,42 0,57 0,11 0,39 0,36 0,17 0,55 0,89 0,75 0,75 0,69 0,48 0,60 0,60 0,32 0,44 0,42 0,72 0,50 0,60 0,60 0,37 0,33 0,15 0,48 0,84 0,67 0,71 0,66 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00 A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b Indici di frequenza per livello classe - Indicatori V Primaria I Sec. Primo grado
  • 17. checklist Indici di Frequenza dell’attività prevalente per livello 0,27 0,31 0,17 0,42 0,14 0,11 0,41 0,42 0,23 0,08 0,14 0,00 0,05 0,10 0,15 0,20 0,25 0,30 0,35 0,40 0,45 L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il discorso in classe L4. Gli studenti lavorano individualmente L5. Gli studenti lavorano in coppie o in gruppi L6. Altro Indici di frequenza per livello classe - Attività prevalenti V Primaria I Sec. Primo grado
  • 18. checklist Altri test  Per la costruzione degli IF si è presupposta l’assenza di un effetto dovuto al tempo di osservazione sul costrutto.  L’effetto del tempo è stato opportunamente valutato tramite il test di Friedman per campioni correlati (non rispettate assunzioni di normalità e omoschedasticità).
  • 19. checklist Le differenze tra i tempi di osservazione degli Indici di Frequenza IF p - value B1 0 B2 0 E1 0 E2 0 H2.b 0 D1.a 0,001 F1 0,001 H1 0,001 I2 0,001 H2.a 0,003 I1 0,007 A1 0,02 D2 0,023 A2 0,035 K1.b 0,057 J1 0,193 J2 0,275 K1.a 0,307 C1.b 0,603 D1.b 0,627 C1.a 0,776 IF p-value L3 0,000 L5 0,001 L1 0,004 L6 0,008 L4 0,102 L2 0,267
  • 20. checklist Analisi della struttura latente Componenti 1 2 3 4 5 strategie didattiche A1.L’insegnante spiega in modo strutturato -,070 ,733 ,176 -,026 -,019 A2.L’insegnante propone attività strutturate ,261 -,156 ,644 -,038 ,100 B1. L’insegnante fa domande che incoraggiano il ragionamento ,139 ,781 ,213 ,110 ,032 B2.L’insegnante dedica spazio alla discussione in classe ,293 ,658 -,217 ,026 ,099 C1. L’insegnante fornisce indicazioni sulle strategie e i metodi da seguire ,110 ,146 ,707 ,203 ,048 D1. L’insegnante monitora il lavoro degli studenti ,042 ,152 ,762 ,187 ,005 D2.L’insegnante fornisce feedback per aiutare gli studenti a migliorare ,347 ,294 ,469 ,133 ,164 gestione della classe E1.L’insegnante fornisce indicazioni sui tempi ,301 ,108 ,107 ,088 ,587 E2.L’insegnante gestisce i momenti di passaggio da una attività all’altra ,341 ,258 ,333 -,028 ,429 F.1. L’insegnante trasmette regole di comportamento -,304 -,060 -,003 ,064 ,777 sostegno, guida supporto H1. L’insegnante adatta le attività in base alle differenze tra studenti ,067 ,171 ,159 ,742 ,044 H2. L’insegnante sostiene i bisogni emotivi degli studenti ,513 ,448 ,070 ,282 ,260 I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri ,083 -,033 ,096 ,835 ,029 I2. L’insegnante mostra attenzione agli studenti con BES ,500 -,021 ,132 ,592 ,137 clima di apprendimento J1. Gli studenti mostrano di impegnarsi nelle attività ,751 ,122 ,309 -,015 -,134 J2. Gli studenti con BES mostrano di partecipare alle attività ,774 -,045 ,149 ,205 ,025 K1. Gli studenti e l'insegnante mostrano rapporti che favoriscono l'apprendimento ,707 ,395 ,107 ,132 ,088  le prime 5 dimensioni considerate spiegano il 61% della variabilità totale  l’analisi riproduce tra il 47% e il 72% della variabilità delle variabili in analisi Principal component analysis (varimax rotation)
  • 22.
  • 23. 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% A1 A2 B1 B2 C1 D1 D2 E1 E2 F1 G1 H1 H2 I1 I2 J1 J2 K1 Differenze tra punteggi nelle scale di valutazione ,00 Nessuna differenza 1,00 Differenza minima (scarti 1 e 2 punti) 2,00 Differenza media (scarti 3 e 4 punti) 3,00 Differenza elevata (scarti 5 e 6 punti) scale di valutazione attendibilità: accordo inter-codificatore
  • 24. ... ... scale di valutazione attendibilità: accordo inter-codificatore 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 H1 I1 E1 D1 J2 D2 C1 I2 H2 B2 A2 B1 A1 E2 F1 J1 K1 G1 individual rating average of ratings over 6 raters in 3 times Inter-rater reliability: intraclass correlation coefficients (ICC) insufficiente medio buono eccellente Cutoffs ICC values (Cicchetti, 1994): Poor - less than .40 Fair - between .40 and .59 Good - between .60 and .74 Excellent - between .75 and 1.0
  • 25. scale di valutazione effetto azione docente: un’altra misura di attendibilità l’insegnante… percentuale di varianza insegn. osserv. scuola tempo di oss. residuo Reliability 1 osservatore (1 lezione) 3 osservatori (3 lezioni) 6 raters (3 lezioni) A1. spiega in modo strutturato 39.6 11.3 5.4 0.1 43.6 41.8% 68.3% 81.1% A2. propone attività strutturate 40.2 9.3 5.3 0.1 45.1 42.4% 68.8% 81.5% B1. fa domande che incoraggiano il ragionamento 40.4 9.7 4.9 0.5 44.5 42.5% 68.9% 81.4% B2. dedica spazio alla discussione in classe 39.4 11.7 4.4 0.3 44.2 41.2% 67.8% 80.7% C1. fornisce indicazioni sulle strategie e i metodi 39.7 9.1 4.4 0.1 46.6 41.6% 68.1% 81.0% D1. monitora il lavoro degli studenti 36.5 9.0 5.5 0.1 48.9 38.6% 65.3% 79.0% D2. fornisce feedback 39.1 9.0 5.5 0.1 46.4 41.3% 67.9% 80.8% E1. fornisce indicazioni sui tempi 35.2 11.8 4.9 0.0 48.0 37.0% 63.8% 77.9% E2. gestisce i momenti di passaggio 42.1 8.5 7.0 0.0 42.3 45.3% 71.3% 83.2% F1. trasmette regole di comportamento 45.2 8.2 6.7 0.1 39.8 48.4% 73.8% 84.9% G1. organizzazione dello spazio 43.3 11.5 7.2 0.0 38.1 46.6% 72.3% 83.9% H1. adatta le attività in base alle differenze 28.1 13.4 4.7 0.0 53.6 29.5% 55.7% 71.5% H2. sostiene i bisogni emotivi 42.5 7.4 5.3 0.1 44.7 44.9% 70.9% 82.9% I1. dà agli studenti con BES compiti adattati 36.6 8.6 6.3 0.2 48.4 39.0% 65.7% 79.2% I2. mostra attenzione agli studenti con BES 44.1 6.1 7.1 0.2 42.5 47.5% 73.0% 84.3% J1. studenti mostrano di impegnarsi 46.0 7.6 6.7 0.3 39.4 49.3% 74.4% 85.2% J2. studenti con BES mostrano di partecipare 42.1 8.3 7.3 0.1 42.3 45.3% 71.3% 83.2% K1. mostra rapporti che favoriscono l’apprend. 46.4 7.8 6.9 0.2 38.7 49.8% 74.8% 85.5%
  • 26. scale di valutazione punteggi medi inadeguato eccellente strategie gestione sostegno clima 0 1 2 3 4 5 6 7 H1. adatta le attività in base alle differenze E1. fornisce indicazioni sui tempi I1. dà agli studenti con BES compiti adattati B2. dedica spazio alla discussione in classe I2. mostra attenzione agli studenti con BES D2. fornisce feedback H2. sostiene i bisogni emotivi A1. spiega in modo strutturato C1. fornisce indicazioni sulle strategie e i metodi J2. studenti con BES mostrano di partecipare E2. gestisce i momenti di passaggio A2. propone attività strutturate D1. monitora il lavoro degli studenti B1. fa domande che incoraggiano il ragionamento F1. trasmette regole di comportamento G1. organizzazione dello spazio J1. studenti mostrano di impegnarsi K1. mostra rapporti che favoriscono l’apprend.
  • 27. scale di valutazione differenze tra livelli 4,15 4,51 2,42 3,06 3,38 4,59 3,17 4,19 4,54 4,01 4,30 4,52 5,13 4,80 4,52 4,63 5,08 5,00 4,30 4,61 2,35 2,98 3,27 4,48 3,03 4,02 4,34 3,80 4,05 4,26 4,82 4,44 4,15 4,25 4,56 4,18 0 1 2 3 4 5 6 A1 B1 H1 E1 B2 D1 I1 D2 E2 I2 H2 C1 K1 F1 J2 A2 J1 G1_b V primaria I Sec. Primo grado Gli indicatori con più differenza tra livelli sono favorevoli alla scuola primaria: - L’organizzazione dello spazio - L’impegno degli studenti nelle attività - Lo svolgimento di attività strutturate - La partecipazione degli studenti con BES nelle attività - La gestione delle regole di comportamenti L’unico indicatore favorevole alla scuola secondaria di I grado è il relativo alle spiegazioni strutturate
  • 28. scale di valutazione distribuzione dei punteggi medi inadeguato eccellente intervalli 47% 19% 27% 23% 10% 4% 3% 5% 32% 33% 30% 24% 16% 16% 17% 14% 10% 10% 9% 11% 9% 5% 8% 6% 4% 6% 15% 31% 22% 24% 28% 33% 26% 27% 29% 26% 23% 23% 21% 23% 20% 21% 18% 15% 5% 14% 15% 18% 30% 31% 30% 34% 30% 33% 37% 36% 33% 39% 38% 45% 33% 28% 3% 5% 10% 13% 15% 17% 20% 22% 24% 21% 24% 26% 25% 27% 25% 33% 30% 4% 3% 5% 3% 8% 5% 4% 4% 9% 6% 6% 10% 20% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% H1. Adatta le attività in base alle differenze tra studenti I1. Dà compiti adattati agli studenti con BES E1. Fornisce indicazioni sui tempi B2. Spazio alla discussione in classe I2. Mostra attenzione agli studenti con BES D2. Fornisce feedback per aiutare gli studenti a migliorare H2. Sostiene i bisogni emotivi degli studenti A1. Spiega in modo strutturato A2. Attività strutturate C1. Indicazioni sulle strategie e i metodi da seguire J2. Studenti con BES mostrano di partecipare alle attività E2. Gestisce i momenti di passaggio da un'attività all'altra B1. Domande che incoraggiano il ragionamento F1. Trasmette regole di comportamento G1. Organizzazione dello spazio D1. Monitora il lavoro degli studenti J1. Studenti mostrano di impegnarsi nelle attività K1. Rapporti che favoriscono l'apprendimento tra 1 e 2 tra 2 e 3 tra 3 e 4 tra 4 e 5 tra 5 e 6 tra 6 e 7
  • 29. scale di valutazione analisi della struttura latente Principal component analysis (varimax rotation) 1. Strategie didattiche A. Insegnamento strutturato A1.L’insegnante spiega in modo strutturato A2.L’insegnante propone attività strutturate B. Tecniche di interrogazione e discussione B1. L’insegnante fa domande che incoraggiano il ragionamento B2.L’insegnante dedica spazio alla discussione in classe C. Strategie per sostenere l’apprendimento C1. L’insegnante fornisce indicazioni sulle strategie e i metodi da seguire D. Monitoraggio e valutazione D1. L’insegnante monitora il lavoro degli studenti D2.L’insegnante fornisce feedback per aiutare gli studenti a migliorare 2. Gestione della classe E. Gestione del tempo e delle attività E1.L’insegnante fornisce indicazioni sui tempi E2.L’insegnante gestisce i momenti di passaggio da una attività all’altra F. Gestione delle regole e dei comportamenti F.1. L’insegnante trasmette regole di comportamento G. Organizzazione dello spazio G.1. Organizzazione dello spazio 3. Sostegno, guida e supporto H. Insegnamento adattato ai diversi bisogni degli studenti H1. L’insegnante adatta le attività in base alle differenze tra studenti H2. L’insegnante sostiene i bisogni emotivi degli studenti I. Attenzione agli studenti con BES I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri I2. L’insegnante mostra attenzione agli studenti con BES 4. Clima di Apprendimento J. Coinvolgimento degli studenti J1. Gli studenti mostrano di impegnarsi nelle attività J2. Gli studenti con BES mostrano di partecipare alle attività K. Rapporti in classe K1. Gli studenti e l'insegnante mostrano rapporti che favoriscono l'apprendimento La proporzione della varianza a livello insegnante nelle competenze analizzate per le prime tre componenti principali è di circa il 70%. È un valore al di sotto di quelli osservati nell’ambito internazionale utilizzando strumenti di osservazione basati sui video (UTOP: 82%; MQI: 87%; CLASS: 90%; FFT e PLATO: 97%). Lo strumento utilizzato contiene una prima componente principale che riflette le competenze associate alle strategie didattiche. Questa componente assorbe una gran parte della variazione dei punteggi (55%) Una seconda componente riflette le pratiche svolte a personalizzare l’insegnamento e a coinvolgere gli studenti con difficoltà di apprendimento. La terza comprende azioni di gestione delle procedure e del clima in classe (sostegno dei bisogni emotivi e rapporti che favoriscono l’apprendimento) comp 1 comp 3 comp 2 * considerando la dimensione del campione, sono stati considerati i loading tra 0.2 e 0.3.
  • 30. checklist - scale di valutazione
  • 31. checklist e scale di valutazione correlazione tra punteggi e indici di frequenza Coefficienti di correlazione tra i punteggi delle scale di valutazione e gli indici di frequenza 0,18 0,30 0,38 0,29 0,40 0,50 0,50 0,50 0,55 0,52 0,63 0,62 0,66 0,65 0,66 0,63 0,68 0,68 0,72 0,74 0,77 0,16 0,28 0,29 0,35 0,32 0,43 0,43 0,45 0,46 0,48 0,49 0,50 0,56 0,56 0,58 0,59 0,61 0,62 0,62 0,63 0,70 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 D1_a D1_b E2 A2 F1 C1_b C1_a A1 D2 I1 J1 H2_b J2 H2_a B1 H1 E1 I2 K1_a K1_b B2 correlation coefficient (aggregato a livello di insegnante) correlation coefficient (aggregato a livello di lezione)
  • 32. checklist e scale di valutazione punteggi e indici di frequenza (checklist) in che misura la valutazione aumenta con l’incremento della frequenza? *aumento dei punteggi associato all’incremento della frequenza del fenomeno osservato (in un 50%) -0,5 0 0,5 1 1,5 2 F1. trasmette regole di comportamento D1. monitora il lavoro degli studenti E2. gestisce i momenti di passaggio A2. propone attività strutturate A1. spiega in modo strutturato J1. studenti mostrano di impegnarsi C1. fornisce indicazioni sulle strategie e i metodi J2. studenti con BES mostrano di partecipare D2. fornisce feedback K1. mostra rapporti che favoriscono l’apprend. B1. fa domande che incoraggiano il ragionamento I1. dà agli studenti con BES compiti adattati I2. mostra attenzione agli studenti con BES H2. sostiene i bisogni emotivi B2. dedica spazio alla discussione in classe H1. adatta le attività in base alle differenze E1. fornisce indicazioni sui tempi [modelli di regressione con effetto fisso insegnante e osservatore] * Tutti i coefficienti sono statisticamente significativi (5%) punteggi delle scale di valutazione quantità (indici di frequenza) qualità (punteggi delle scale di valutazione)
  • 34. • è stato raggiunto uno strumento attendibile in grado di individuare diverse pratiche di insegnamento • ma queste pratiche contribuiscono effettivamente all’apprendimento degli studenti? • quali sono le sfide da affrontare? 1. mettere in relazione dati e le misure a disposizione:  fonti differenti (questionario studenti e insegnante)  misure di outcome, come i risultati dei test standardizzati  dati di contesto degli insegnanti (es. formazione)  dati di contesto degli studenti (es. caratteristiche sociodemografiche) 2. validità predittiva: le pratiche di insegnamento sono associate agli outcome di apprendimento?  ottenere misure adeguate di efficacia docente isolando gli effetti dell’azione di insegnamento: modelli “value-added” 3. dalla ricerca alla pratica: elaborare proposte di policy e formazione prospettive di analisi
  • 35. grazie per l’attenzione progetto valutazione e miglioramento l’osservazione in classe seminario residenziale Formia, 28 aprile 2015