Metavalutazione

Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
1
Metavalutazione
LEZIONE 8
1
2
3
4
5
UD 9. Metavalutazione

2
Il concetto di metavalutazione
Finalità del processo di progettazione:
• misurare sistemi di conoscenze
• predisporre adeguati strumenti di analisi
• certificare validità e attendibilità del sistema di valutazione
• verificare l’efficacia formativa
Metavalutazione
processo logico e coerente per garantire un intervento formativo efficace

3
Attività della fase di metavalutazione
Modulo 5. Metavalutazione
UD 1: Item analysis

4
Validità e attendibilità dei test
Metavalutazione  verifica validità e attendibilità
Errore sistematico ≠ Errore casuale
1. Validità  il test misura effettivamente ciò che si propone di misurare
Verifica:
• metodologia di costruzione degli item (albero obiettivi didattici)
• formulazione e validazione dei quesiti a priori (esperto di contenuti)
2. Attendibilità  il test, somministrato da persone diverse in contesti diversi allo stesso gruppo
di utenti, fornisce gli stessi risultati
Verifica:
• coerenza interna degli item
• concordanza tra le forme parallele dello stesso test (isomorfismo)

5
Item analysis
Controllo dell’attendibilità dell’item attraverso la misurazione di efficacia, validità, omogeneità
(calcolo indici di difficoltà, selettività e distrattività)
• differente gestione dei dati a seconda del tipo di test in esame (iniziale o finale)
Gli step:
a) registrare i punteggi analitici relativi ai singoli item di ciascun allievo
b) riportare in ordine crescente nelle prime due righe di un foglio elettronico i punteggi
complessivi di ciascun soggetto in corrispondenza del nome del soggetto stesso (per
visualizzare l’andamento progressivo della prova dai punteggi più bassi ai risultati migliori)
c) creare una colonna con la sequenza ordinata dei vari item (secondo le tipologie)
d) comporre la griglia mediante una serie di celle che rappresentino l’intersezione tra il nome
del soggetto e l’esito relativo al singolo item
e) riportare all’interno delle varie celle alcune indicazioni relative solamente agli item cui è stata
fornita una risposta non esatta

6
Item analysis: esempio
Modulo 5. Metavalutazione UD 9. Metavalutazione

7
Indice di difficoltà
Verifica facilità/difficoltà dell’item
• Valore: 0/1
• Valore ottimale: 0,2/0,8
Calcolo indice di facilità (analisi a priori)
Calcolo indice di difficoltà (analisi a posteriori)

8
Indice di difficoltà: esempio

9
Indice di selettività
Verifica selettività (discriminazione) dell’item
• Valore: -1/+1
• Valore ottimale: 0,2-0,8
• Coerenza interna tra item di uno stesso test (confronto della performance del
soggetto in un item e nel test generale)
Calcolo:
1. Ordinamento in ordine crescente della graduatoria dei punteggi
2. Suddivisione del campione in “peggiori” e “migliori”
3. Sottrazione n° risposte esatte “migliori”- risposte esatte “peggiori”
4. Divisione per la numerosità dei subcampioni

10
Indice di selettività: esempio

11
Indice di distrattività
Verifica distrattività alternative di risposta di un item
• Controllo a livello delle opzioni di risposta
• Definizione della potenza dei distrattori
• Regola dell’equiattrattività
UD 1: Item analysis

12
Indice di distrattività: esempio
UD 1: Item analysis

13
Item Analysis: esempio

14

15

16

17

18

19
Item Analysis: esercitazione

20
Validità e attendibilità

21
Misurare e verificare

22
Parametri di valutazione e indicatori di qualità

23
Parametri di valutazione e indicatori di qualità

24
Efficacia formativa

25
Efficacia formativa di 1°livello
Qual è il grado di incremento delle conoscenze/competenze alla fine
dell’intervento formativo?

26
Qual è il grado di incremento di omogeneità delle conoscenze/competenze alla fine
dell’intervento formativo?
Obiettivo: ponderare l’efficacia generica di I livello  incremento del livello di
omogeneità delle conoscenze/competenze finali rispetto al livello di dispersione
registrato all’inizio dell’intervento stesso.

27
Qual è il grado di corrispondenza tra i tempi di apprendimento previsti in fase di
progettazione e il tempo di apprendimento reale?
Indice composto  rappresentazione sintetica:
• apprendimento
• fabbisogno formativo
• omogeneità delle competenze acquisite
• aderenza ai vincoli temporali stimati in fase di macroprogettazione del corso.
Tempo di apprendimento
reale
Tempo di apprendimento previsto

28
Efficacia formativa composta
Qual è il grado di correlazione tra efficacia oggettiva dell’intervento e qualità
percepita?
Efficacia formativa Qualità percepita
Dimensione oggettiva Dimensione soggettiva

29
Efficienza

30
Costo/efficacia
M.Loi, La dimensione economica della progettazione
didattica, in Ronsivalle, Carta, Metus (a cura di), L’arte
della progettazione didattica, FrancoAngeli, 2009, V,
Cap.3
Qual è il grado di efficienza dell’intervento formativo?
L’indice di efficienza “costo/efficacia” è dato dal rapporto tra il valore del
Costo Totale dell’intervento formativo (CT) e l’indice di Efficacia generale
(E), dove:
CT = somma di costi fissi e costi variabili
E = somma ponderata dei vari indici di efficacia delle attività didattiche
con

31
Riferimenti bibliografici
Ronsivalle G.B., Carta S., Metus V.
“L’arte della progettazione didattica”
Franco Angeli, Milano, 2009
Ronsivalle G.B.
“Docimologia. Ars magna lucis et umbrae”
in FOR Rivista per la formazione. Tendenze, Pratiche,
Strumenti, AIF, Anno XXIII n. 80, luglio-settembre
Franco Angeli, Milano, 2009.

Metavalutazione

Recommended

Recommended

More Related Content

Similar to Metavalutazione

Similar to Metavalutazione (20)

More from Gaetano Bruno Ronsivalle

More from Gaetano Bruno Ronsivalle (12)

Metavalutazione