Università degli Studi “Aldo Moro” di Bari
Dott.ssa Picucci Luciana




                        Psicometria

            Attendibilità
  Errore Standard di Misurazione
Attendibilità
Il concetto di attendibilità rimanda al grado di
accuratezza e precisione di una procedura di
misurazione. Un test si definisce affidabile o
attendibile quando riporta punteggi stabili nel
tempo, quando cioè mostra risultati coerenti
in seguito a somministrazioni differenti.
Come si misura? I
• 2 somministrazioni
Test-retest: Si correlano* i punteggi del test al
  tempo 1 e al tempo 2
Forme parallele: Si correlano* i punteggi ottenuti
  al test con quelli ottenuti alla sua forma
  equivalente (o parallela)
Vantaggi e Limiti delle diverse modalità
* Coefficiente di correlazione r di Pearson
Esercitazione r di Pearson
Come si misura? II
• 1 somministrazione
Split-half: Si correlano* i punteggi nelle 2 metà
  del test
Per test omogenei.
Divisione casuale degli item/ pari-dispari
• Coefficiente di Pearson e formula profetica di
  Spearman-Brown
Utile per predire il coefficiente di
attendibilità di un test allungato o accorciato




Utile per predire la numerosità del test in
funzione di un desiderato coefficiente di
attendibilità
Esercitazione
• Predire il coefficiente di attendibilità di un test
  volendolo allungare di 15 item. Il test è
  attualmente composto da 30 item (r= 0.75)
• Predire la numerosità appropriata volendo
  giungere ad un coefficiente di r= 0.80
  partendo da un test che ha numerosità 28 e
  r=0.66
Attendibilità come coerenza interna
Indice di omogeneità degli item di una scala. Tanto più gli
  item sono omogenei, tanto più il coefficiente di
  attendibilità è alto.
Test con item dicotomici (V/F)- KR20




Test con più alternative (e.g. scala likert) alfa di
  Cronbach
Esercitazione KR20
Esercitazione alfa di Cronbach
Calcolo Puntuale KR 20

     p= proporzione di soggetti che rispondono in maniera corretta ad ogni
        item
     q= proporzione di soggetti che rispondono in maniera sbagliata ad ogni
        item


                 Item 1             Item 2            Item 3      Item 4    Item 5   tot        p (Nsogg.corrette/Ntot)            q= (1-p)
S1                 0                  0                 1           0         0      1     p1       (1/4)=0,25            q1   (1-0,25)= 0,75
S2                 0                  0                 0           1         1      2     p2        (2/4)=0,5            q2     (1-0,5)= 0,5
S3                 0                  1                 1           0         0      2     p3       (3/4)= 0,75           q3   (1-0,75)=0,25
S4                 1                  1                 1           1         0      4     p4        (2/4)=0,5            q4     (1-0,5)= 0,5
                                                                                           p5       (1/4)= 0,25           q5    (1-0,25)=0,75
   p*q          0,19                 0,25              0,19       0,25      0,19
Somma p*q       1,07
Vx        (1-2,25)2+ (2-2,25)2+(2-2,25)2+(4-2,25)2 / 4         Vx= 1,17
KR20      5/4 * (1- (1,07/1,17)                                KR20= 0,11 pessimo
Approfondimento: Correzione per
effetto delle Risposte Casuali
  Può capitare nei questionari di profitto (performance
  massima) che i rispondenti, non sapendo rispondere,
  non avendo più tempo, o per scarsa motivazione al
  compito, decidano di segnare totalmente a caso una
  risposta. Si può introdurre una correzione per le
  risposte casuali utilizzando la seguente formula:

       αc =   α – (β/k – 1)

 αc = numero di risposte con correzione
 α = numero di risposte corrette grezze
 β = numero di risposte sbagliate
 K = numero di alternative di risposta
Attendibilità come Errore
      Standard della Misura
L’ Errore standard è utile per valutare
   l’attendibilità della singola somministrazione
È una stima della deviazione standard (Varianza
   di errore) dei punteggi osservati intorno al
   punteggio vero del soggetto.
Consente di individuare i limiti dell’intervallo di
   fiducia all’interno del quale cade il punteggio
   vero del soggetto con una certa probabilità
Attendibilità come Errore
 Standard della Misura




   Scegliere il livello di probabilità
      * Riepilogo curva normale
         68% ± 1DS ; p= 0,32
  95% ± 2DS ; p=0.05 (significativo)
  99% ± 3DS; p=0.01 (significativo)
Media= 5.35
Dev. St= 2.89
Rxx=0.80
Un soggetto 2 test
La formula per il calcolo dell’errore standard
   della differenza tra i punteggi è il medesimo.
I due test però hanno deviazioni standard
   differenti.

Prima di applicare la regola è opportuno quindi
  modificare in punti Z o T per ottenere una DS
  comune.
Psicometria

  Validità
Validità
Un test è valido se misura ciò che dichiara di misurare (Klein)
Un test è valido quando è idoneo a valutare la specifica
  caratteristica psicologica per cui è stato costruito e non altro
  (Celani)
VALIDITA’ DI CONTENUTO
VALIDITA’ DI COSTRUTTO
• Validità convergente
• Validità discriminante
VALIDITA’ RISPETTO AD UN CRITERIO
• Validità concorrente
• Validità predittiva
Validità di contenuto (riferita agli Item)
Un test ha una buona validità di contenuto quando gli
   elementi di cui si compone sono rappresentativi e idonei a
   valutare il costrutto teorico a cui il test si riferisce
Quanto quell’Item è rappresentativo del costrutto che
   intende indagare?
Es: Quanto l’item “Pensieri Intrusivo” è rappresentativo del
   disturbo ossessivo-compulsivo?
-Fase di creazione dello strumento
Selezione Item                       Comprensione Item
Focus-group                          Evitare le negazioni
                                     Doppie Valutazioni
L’item in considerazione
È:
a) Essenziale
b) Utile ma non
     Essenziale
c) Non necessario



VC è un valore negativo: NE è
minore della metà
VC è un valore positivo : NE è
maggiore della metà
VC è uguale a 0: la metà dei giudici
ha considerato ESSENZIALE l’item
0< VC ≤1 indicano che la validità di
contenuto è rispettata.                                  1       2          3         4
                                       RILEVANZA    Per nulla   Poco    Abbastanza   Molto

                                                                        G.1
                                                                Bassa         Alta
                                                      Bassa       A            B
                                              G.2
                                                       Alta       C            D
Validità di Costrutto
Connessione del test con la struttura teorica e
  concettuale delle funzioni da esso misurate.
-ANALISI FATTORIALE-
Misura il raggruppamento degli item (fattore)
indice di un costrutto ipotetico sottostante
Quanto più gli item sono correlati tra loro, tanto
  più si riferiscono ad uno stesso fattore.
Validità rispetto ad un Criterio
 La validità di criterio esprime il grado di
  concordanza di un test psicologico
  (predittore) con un’altra valutazione esterna,
  che è in genere, ma non necessariamente un
  altro test (criterio)
• Validità concorrente: se la rilevazione per i
  due test è contemporanea
• Validità predittiva : il punteggio del test
  (predittore) è rilevato prima del test (criterio)

Dott.ssa picucci psicometria parte III

  • 1.
    Università degli Studi“Aldo Moro” di Bari Dott.ssa Picucci Luciana Psicometria Attendibilità Errore Standard di Misurazione
  • 2.
    Attendibilità Il concetto diattendibilità rimanda al grado di accuratezza e precisione di una procedura di misurazione. Un test si definisce affidabile o attendibile quando riporta punteggi stabili nel tempo, quando cioè mostra risultati coerenti in seguito a somministrazioni differenti.
  • 3.
    Come si misura?I • 2 somministrazioni Test-retest: Si correlano* i punteggi del test al tempo 1 e al tempo 2 Forme parallele: Si correlano* i punteggi ottenuti al test con quelli ottenuti alla sua forma equivalente (o parallela) Vantaggi e Limiti delle diverse modalità * Coefficiente di correlazione r di Pearson
  • 4.
  • 5.
    Come si misura?II • 1 somministrazione Split-half: Si correlano* i punteggi nelle 2 metà del test Per test omogenei. Divisione casuale degli item/ pari-dispari • Coefficiente di Pearson e formula profetica di Spearman-Brown
  • 6.
    Utile per predireil coefficiente di attendibilità di un test allungato o accorciato Utile per predire la numerosità del test in funzione di un desiderato coefficiente di attendibilità
  • 7.
    Esercitazione • Predire ilcoefficiente di attendibilità di un test volendolo allungare di 15 item. Il test è attualmente composto da 30 item (r= 0.75) • Predire la numerosità appropriata volendo giungere ad un coefficiente di r= 0.80 partendo da un test che ha numerosità 28 e r=0.66
  • 8.
    Attendibilità come coerenzainterna Indice di omogeneità degli item di una scala. Tanto più gli item sono omogenei, tanto più il coefficiente di attendibilità è alto. Test con item dicotomici (V/F)- KR20 Test con più alternative (e.g. scala likert) alfa di Cronbach
  • 9.
  • 10.
  • 12.
    Calcolo Puntuale KR20 p= proporzione di soggetti che rispondono in maniera corretta ad ogni item q= proporzione di soggetti che rispondono in maniera sbagliata ad ogni item Item 1 Item 2 Item 3 Item 4 Item 5 tot p (Nsogg.corrette/Ntot) q= (1-p) S1 0 0 1 0 0 1 p1 (1/4)=0,25 q1 (1-0,25)= 0,75 S2 0 0 0 1 1 2 p2 (2/4)=0,5 q2 (1-0,5)= 0,5 S3 0 1 1 0 0 2 p3 (3/4)= 0,75 q3 (1-0,75)=0,25 S4 1 1 1 1 0 4 p4 (2/4)=0,5 q4 (1-0,5)= 0,5 p5 (1/4)= 0,25 q5 (1-0,25)=0,75 p*q 0,19 0,25 0,19 0,25 0,19 Somma p*q 1,07 Vx (1-2,25)2+ (2-2,25)2+(2-2,25)2+(4-2,25)2 / 4 Vx= 1,17 KR20 5/4 * (1- (1,07/1,17) KR20= 0,11 pessimo
  • 13.
    Approfondimento: Correzione per effettodelle Risposte Casuali Può capitare nei questionari di profitto (performance massima) che i rispondenti, non sapendo rispondere, non avendo più tempo, o per scarsa motivazione al compito, decidano di segnare totalmente a caso una risposta. Si può introdurre una correzione per le risposte casuali utilizzando la seguente formula: αc = α – (β/k – 1) αc = numero di risposte con correzione α = numero di risposte corrette grezze β = numero di risposte sbagliate K = numero di alternative di risposta
  • 14.
    Attendibilità come Errore Standard della Misura L’ Errore standard è utile per valutare l’attendibilità della singola somministrazione È una stima della deviazione standard (Varianza di errore) dei punteggi osservati intorno al punteggio vero del soggetto. Consente di individuare i limiti dell’intervallo di fiducia all’interno del quale cade il punteggio vero del soggetto con una certa probabilità
  • 15.
    Attendibilità come Errore Standard della Misura Scegliere il livello di probabilità * Riepilogo curva normale 68% ± 1DS ; p= 0,32 95% ± 2DS ; p=0.05 (significativo) 99% ± 3DS; p=0.01 (significativo)
  • 17.
    Media= 5.35 Dev. St=2.89 Rxx=0.80
  • 20.
    Un soggetto 2test La formula per il calcolo dell’errore standard della differenza tra i punteggi è il medesimo. I due test però hanno deviazioni standard differenti. Prima di applicare la regola è opportuno quindi modificare in punti Z o T per ottenere una DS comune.
  • 24.
  • 25.
    Validità Un test èvalido se misura ciò che dichiara di misurare (Klein) Un test è valido quando è idoneo a valutare la specifica caratteristica psicologica per cui è stato costruito e non altro (Celani) VALIDITA’ DI CONTENUTO VALIDITA’ DI COSTRUTTO • Validità convergente • Validità discriminante VALIDITA’ RISPETTO AD UN CRITERIO • Validità concorrente • Validità predittiva
  • 26.
    Validità di contenuto(riferita agli Item) Un test ha una buona validità di contenuto quando gli elementi di cui si compone sono rappresentativi e idonei a valutare il costrutto teorico a cui il test si riferisce Quanto quell’Item è rappresentativo del costrutto che intende indagare? Es: Quanto l’item “Pensieri Intrusivo” è rappresentativo del disturbo ossessivo-compulsivo? -Fase di creazione dello strumento Selezione Item Comprensione Item Focus-group Evitare le negazioni Doppie Valutazioni
  • 27.
    L’item in considerazione È: a)Essenziale b) Utile ma non Essenziale c) Non necessario VC è un valore negativo: NE è minore della metà VC è un valore positivo : NE è maggiore della metà VC è uguale a 0: la metà dei giudici ha considerato ESSENZIALE l’item 0< VC ≤1 indicano che la validità di contenuto è rispettata. 1 2 3 4 RILEVANZA Per nulla Poco Abbastanza Molto G.1 Bassa Alta Bassa A B G.2 Alta C D
  • 28.
    Validità di Costrutto Connessionedel test con la struttura teorica e concettuale delle funzioni da esso misurate. -ANALISI FATTORIALE- Misura il raggruppamento degli item (fattore) indice di un costrutto ipotetico sottostante Quanto più gli item sono correlati tra loro, tanto più si riferiscono ad uno stesso fattore.
  • 31.
    Validità rispetto adun Criterio La validità di criterio esprime il grado di concordanza di un test psicologico (predittore) con un’altra valutazione esterna, che è in genere, ma non necessariamente un altro test (criterio) • Validità concorrente: se la rilevazione per i due test è contemporanea • Validità predittiva : il punteggio del test (predittore) è rilevato prima del test (criterio)