1. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
1
Come valutare la
qualità di un
processo/prodotto
formativo?
LEZIONE 2
UD 3. Come valutare la qualità di un processo/prodotto formativo?
1
2
3
4
5

2. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
2
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione

3. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
3
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione ex ante

4. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
4
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione ex post

5. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
5
Indicatori di qualità della formazione ex post: efficacia formativa
UD 3. Come valutare la qualità di un processo/prodotto formativo?

6. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
6
Efficacia formativa in termini di acquisizione conoscenze e abilità
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Qual è il grado di incremento delle conoscenze/competenze
alla fine dell’intervento formativo?

7. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
7
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?

8. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
8
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?

9. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
9
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?

10. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
10
Efficacia formativa in termini di omogeneità dei risultati
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Qual è il grado di incremento di omogeneità delle conoscenze/competenze
alla fine dell’intervento formativo?
Obiettivo: ponderare l’efficacia generica di I livello 
incremento del livello di omogeneità delle
conoscenze/competenze finali rispetto al livello di dispersione
registrato all’inizio dell’intervento stesso.

11. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
11
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Test ingresso (0 - 45) Test finale (0 - 45) EFFICACIA (0 - 1)
Punteggio
medio
Deviazione
standard
Punteggio
medio
Deviazione
standard
1°livell
o
2°
livello
DELT
A
11,34 2,32 38,50 3,02 0,81 0,80 27,16

12. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
12
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Test ingresso (0 - 45) Test finale (0 - 45) EFFICACIA (0 - 1)
Punteggio
medio
Deviazione
standard
Punteggio
medio
Deviazione
standard
1°livell
o
2°
livello
DELT
A
12,13 2,79 41,70 2,05 0,90 0,90 29,57

13. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
13
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Test ingresso (0 - 45) Test finale (0 - 45) EFFICACIA (0 - 1)
Punteggio
medio
Deviazione
standard
Punteggio
medio
Deviazione
standard
1°livell
o
2°
livello
DELT
A
12,11 2,46 42,73 2,06 0,93 0,93 30,62

14. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
14
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Test ingresso (0 - 45) Test finale (0 - 45) EFFICACIA (0 - 1)
Punteggio
medio
Deviazione
standard
Punteggio
medio
Deviazione
standard
1°livell
o
2°
livello
DELT
A
17,11 6,68 42,83 2,54 0,92 0,94 25,72

15. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
15
Efficacia formativa in termini di pianificazione del tempo della formazione
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Qual è il grado di corrispondenza tra i tempi di apprendimento previsti in fase di
progettazione e il tempo di apprendimento reale?
Indice composto  rappresentazione sintetica:
• apprendimento
• fabbisogno formativo
• omogeneità delle competenze acquisite
• aderenza ai vincoli temporali stimati in fase di
macroprogettazione del corso.
Tempo di apprendimento
reale
Tempo di apprendimento previsto

16. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
16
Esempio
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Edizione Modulo
EFFICACIA (0 - 1)
1°livello 2° livello 3° livello
11 1 M1 - E11 0,73 0,69 0,42
12 1 M1 - E12 0,76 0,71 0,38
11 2 M2 - E11 0,83 0,86 0,76
12 2 M2 - E12 0,76 0,81 0,78
11 3 M3 - E11 0,84 0,87 0,85
12 3 M3 - E12 0,85 0,88 0,85
10 4 M4 - E10 0,90 0,92 0,87
11 4 M4 - E11 0,90 0,90 0,77
11 5 M5 - E11 0,92 0,94 0,82
11 6 M6 - E11 0,75 0,82 0,68
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1,00
M1 - E11 M1 - E12 M2 - E11 M2 - E12 M3 - E11 M3 - E12 M4 - E10 M4 - E11 M5 - E11 M6 - E11
Efficacia 1° Efficacia di 2° Efficacia di 3°

17. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
17
Demarcazione tra efficacia formativa, professionale e organizzativa
UD 3. Come valutare la qualità di un processo/prodotto formativo?
t0 tf
Ottimizzazione di un processo organizzativo
“Efficacia formativa”: adeguatezza metodologica e operativa del
piano formativo in termini di apprendimento e incremento delle
conoscenze e abilità dei lavoratori in formazione.
“Efficacia professionale”: adeguatezza metodologica e operativa
del piano formativo in termini di sviluppo delle competenze
agite dei lavoratori in formazione.
“Efficacia organizzativa”: adeguatezza metodologica e operativa
del piano formativo in funzione degli obiettivi e delle strategie
dell’organizzazione.

18. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
18
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione ex post

19. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
19
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione ex post

20. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
20
Dimensione oggettiva e soggettiva della qualità
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Qual è il grado di correlazione tra qualità effettiva
dell’intervento e qualità percepita?
Qualità effettiva Qualità percepita
Dimensione oggettiva Dimensione soggettiva

21. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
21
Esempio: Dimensione oggettiva e soggettiva
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Edizion
e
Modulo
EFFICACIA (0 - 1)
1°livell
o
2°
livello
Qualità
percepita
8 1 M1 - E8 0,66 0,63 0,68
9 1 M1 - E9 0,73 0,69 0,66
11 1
M1 -
E11
0,73 0,69 0,70
12 1
M1 -
E12
0,76 0,71 0,76
8 2 M2 - E8 0,74 0,76 0,65
9 2 M2 - E9 0,71 0,77 0,69
11 2
M2 -
E11
0,83 0,86 0,70
12 2
M2 -
E12
0,76 0,81 0,72
8 3 M3 - E8 0,85 0,88 0,42
9 3 M3 - E9 0,90 0,93 0,75
11 3
M3 -
E11
0,84 0,87 0,71
8 4 M4 - E8 0,80 0,83 0,41
9 4 M4 - E9 0,73 0,79 0,72
11 4
M4 -
E11
0,90 0,90 0,73
9 5 M5 - E9 0,90 0,90 0,63
11 5
M5 -
E11
0,92 0,94 0,72
9 6 M6 - E9 0,93 0,95 0,70
Indice composto
0,35
0,45
0,55
0,65
0,75
0,85
0,95
M 1E8 M 1E9 M 1E11 M 1E12 M 2E8 M2E9 M2E11 M2E12 M 3E8 M 3E9 M 3E11 M 4E8 M4E9 M4E11 M5E9 M5E11 M6E9
ModuliValori
Efficacia 1° livello Efficacia 2° livello Qualità percepita
Indice di correlazione
Efficacia 1 vs.
Gradimento
Indice di correlazione
Efficacia 2 vs.
Gradimento
-0,015541264 -0,063599768

22. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
22
UD 3. Come valutare la qualità di un processo/prodotto formativo?
Indicatori di qualità della formazione

23. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
23
Cosa si intende per
“oggettività” di un
sistema di
valutazione?
LEZIONE 2
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
1
2
3
4
5

24. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
24
Oggettività dei sistemi di valutazione
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?

25. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
25
Misurare - Verificare - Valutare
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?

26. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
26
Misurare: l’ontologia di riferimento
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?

27. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
27
Le scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?

28. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
28
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?

29. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
29
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?

30. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
30
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?

31. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
31
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?

32. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
32
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?

33. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
33
Scale di misura: qualità percepita
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Qual è il suo livello di interesse in relazioneQual è il suo livello di interesse in relazione
ai contenuti trattati dal Modulo?ai contenuti trattati dal Modulo?
24%
51%
21%
4%
a) Molto elevato
b) Elevato
c) Medio
d) Basso

34. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
34
Scale di misura: questionari
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
Domanda……………………………………………?
• Opzione A  (“Corretta!”)  +2
• Opzione B  (“Parz. corretta!”)  +1
• Opzione C  (“Non corretta”)  0
• Opzione D  (“Inverosimile!”)  -1

35. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
35
Domanda……………………………………………?
• Opzione A  +2
• Opzione B  +1
• Opzione C  0
• Opzione D  -1
Scale di misura
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
!!!!!!!!!!!!!!

36. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
36
Dilemmi della misurazione: gradi di competenze
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?

37. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
37
Dilemmi della misurazione: voti scolastici
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
0
1
2
3
4
5
6
7
8
9
10

38. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
38
Dilemmi della misurazione
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
109876543210

39. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
39
Dilemmi della misurazione
UD 4. Cosa si intende per “oggettività” di un sistema di valutazione?
109876543210
4 =
5 -
4+
6 1/2
7 +
+
6 -5 +
8
=

40. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010
© G.B. Ronsivalle 2010
40
Come valutare la
qualità di un
processo/prodotto
formativo?
LEZIONE 2
UD 3. Come valutare la qualità di un processo/prodotto formativo?
1
2
3
4
5