2. Co to jest test?
• „zbiory pytań lub sytuacje, służące do badania
własności jednostek lub grup ludzkich przez
wywołanie u nich określonych
obserwowalnych reakcji werbalnych lub
niewerbalnych, będących w miarę możliwości
reprezentatywnymi próbkami ich zachowania
się” (Choynowski, 1971 za Brzeziński, 2004)
3. Dwa najważniejsze kryteria dobrego
testu
• Rzetelność
– Jak dobrze test mierzy to co powinien mierzyć?
• Trafność
– Czy test mierzy to co powinien mierzyć?
4. Rzetelność – podstawy teoretyczne –
klasyczna teoria testu
• Podejście Gulliksena
• 𝑋 𝑡 = 𝑋∞ + 𝑋 𝑒
• 𝑋∞ - wynik prawdziwy
• 𝑋 𝑒 - składnik błędy
• 𝑋 𝑡 - wynik otrzymany
5. Rzetelność – podstawy teoretyczne –
klasyczna teoria testu
• Co to jest 𝑋∞
– Wynik osoby badanej uzyskany w idealnych
warunkach lub za pomocą idealnego narzędzia
– Średni wynik danej osoby uzyskany w
nieskończenie wielu niezależnych badaniach tym
samym testem
– „granica do jakiej zmierza przeciętna wyników i-tej
osoby w danej liczbie testów, jeżeli liczba testów
równoległych (K) wzrasta nieograniczenie”
(Gulliksen)
6. Rzetelność – podstawy teoretyczne –
klasyczna teoria testu
• Założenia
– Średnia arytmetyczna błędów wynosi 𝑋 𝑒 = 0
– Korelacja wyniku prawdziwego i składnika błędu
𝑟∞ 𝑒 = 0
– Korelacja składników błędu dwóch równoległych
testów 𝑟e1𝑒2 = 0
7. Rzetelność – podstawy teoretyczne –
klasyczna teoria testu
• 𝑋 𝑡 = 𝑋∞ + 𝑋 𝑒 = 𝑋∞
• W przypadku małej ilości pomiarów często
będzie jednak:
– 𝑋𝑒 ≠ 0
– 𝑋 𝑡 ≠ 𝑋∞
8. Rzetelność – podstawy teoretyczne –
klasyczna teoria testu
• 𝑣𝑎𝑟 𝑡 = 𝑣𝑎𝑟∞ + 𝑣𝑎𝑟 𝑒
• Rzetelność to stosunek wariancji prawdziwej
do wariancji otrzymanej
𝑣𝑎𝑟∞
• 𝑟 =
𝑡𝑡 𝑣𝑎𝑟 𝑒
• Czyli
𝑣𝑎𝑟 𝑒
• 𝑟 𝑡𝑡 = 1 −
𝑣𝑎𝑟 𝑡
• 𝑣𝑎𝑟 𝑡 max oraz 𝑣𝑎𝑟 𝑒 min
9. Rzetelność – podstawy teoretyczne –
klasyczna teoria testu
• Standardowy błąd pomiary
• 𝑆𝐸𝑀 = 𝑆𝐷 𝑡 1 − 𝑟 𝑡𝑡
– 𝑆𝐷 𝑡 – odchylenie standardowe wyników
testowych w danej próbie
– 𝑟 𝑡𝑡 - współczynnik rzetelności
10. Estymacja wyniku prawdziwego
• Punktowa
– Przeprowadzamy ją z wykorzystaniem modelu
regresji liniowej, aby jej dokonać musimy znać:
• Wynik otrzymany 𝑋 𝑡
• Współczynnik rzetelności 𝑟 𝑡𝑡
• Średnią wyników w danej próbie 𝑋 𝑡
– 𝑋′∞ = 𝑋 𝑡 + 𝑟 𝑡𝑡 𝑋 𝑡 − 𝑋 𝑡 = 𝑟 𝑡𝑡 𝑋 𝑡 + (1 − 𝑟 𝑡𝑡 )𝑋 𝑡
11. Estymacja wyniku prawdziwego
• Gdy 𝑟 𝑡𝑡 = 1to 𝑋′∞ = 𝑋 𝑡
• Gdy 𝑟 𝑡𝑡 = 0to 𝑋′∞ = 𝑋 𝑡
• Niestety stosując tę metodę w praktyce nie
wiemy czy estymowany wynik jest równy,
niższy czy wyższy od wyniku prawdziwego
• Dlatego porzucamy ją bez wstydu…i…
12. Estymacja wyniku prawdziwego
• Przedziałowa
• 𝑋∞ ∊< 𝑋 𝑡 − 𝑧 𝛼/2 𝑆𝐸𝑀; 𝑋 𝑡 + 𝑧 𝛼/2 𝑆𝐸𝑀 >
• 𝑧 𝛼/2 - wartość statystyki z dla danego poziomu
ufności (1-α)100%
• Np.. α=0,05 mamy 95% przedział ufności i
𝑧0,05/2 = 1,96𝑆𝐸𝑀
13. Estymacja wyniku prawdziwego
• Przedziałowa
– Zatem jeśli chcemy uzyskać większą pewność
musimy za to zapłacić szerszym przedziałem
ufności
– Jeśli chcemy uzyskać węższy przedział ufności to
niestety nasze zaufanie do estymacji wyniku
prawdziwego będzie mniejsze
15. SEM
• 𝑆𝐸𝑀 = 𝑆𝐷 𝑡 1 − 𝑟 𝑡𝑡
– Standardowy błąd pomiaru – błąd pomiaru wyniku
otrzymanego
• Najczęściej stosowany, ale nie jedyny
16. Błąd estymacji wyniku prawdziwego -
SEE
• SEE= 𝑟𝑡𝑡𝑆𝐸𝑀
– SEE – jest różnicą między estymowaną przez
badacza wielkością wyniku prawdziwego a jego
wartością rzeczywistą
– Jest to błąd powstały wskutek niedokładności
odtworzenia faktycznej wartości wyniku
prawdziwego
– Jest to odchylenie standardowe rozkłady z próby
różnicy: 𝑋′∞ − 𝑋′′∞
17. Błąd pomiaru wyniku prawdziwego
• 𝑆𝐸𝑀∞ = 𝑟 𝑡𝑡 𝑆𝐸𝑀
– 𝑆𝐸𝑀∞ - błąd pomiaru wyniku prawdziwego
– Wyraża rozbieżność pomiędzy oszacowanymi
wynikami prawdziwymi a wynikami prawdziwymi
dla osób, które uzyskały identyczne wyniki
prawdziwe
18. Błąd prognozy - SEP
• 𝑆𝐸𝑃 = 𝑆𝐸𝑀 1 + 𝑟 𝑡𝑡
– SEP związany jest z formułowaniem prognozy
wyniku testu równoległego na podstawie wyniku
danego testu.
– Wyraża on różnicę tych dwóch wyników
19. Błąd zastąpienia - SES
• 𝑆𝐸𝑆 = 𝑆𝐸𝑀 2
– Związany jest z prognozą wyniku otrzymanego w
jednym teście równoległym na podstawie
drugiego testu
– Wyraża on odchylenie losowego rozkładu z próby
tych różnic 𝑋 𝑡 − 𝑋′ 𝑡
22. Estymacja rzetelności
• Metody oparte na porównaniu dwukrotnego
badania tym samym testem (metoda test -
retest)
– między badaniem pierwszym (test) a badaniem
drugim (retest) mija jakiś czas - estymacja
stabilności bezwzględnej
– badanie drugie (retest) następuje zaraz po
zakończeniu badania pierwszego (test) - estymacja
wiarygodności testu
23. Estymacja rzetelności
• Metody oparte na porównaniu form
alternatywnych (równoległych) testu
– między badaniem pierwszą wersją testu a
badaniem drugą wersją testu mija jakiś czas -
estymacja stabilności względnej
– badanie drugą formą testu następuje zaraz po
zakończeniu badania pierwszą formą testu -
estymacja równoważności międzytestowej
24. Estymacja rzetelności
• Testy równoległe to testy mierzące tę samą
właściwość psychologiczną i dokładnie w ten
sam sposób, tzn.
– 𝑋𝐴 = 𝑋 𝐵
– 𝑣𝑎𝑟 𝐴 = 𝑣𝑎𝑟 𝐵
– 𝑟 𝐴𝑍 = 𝑟 𝐵𝑍
25. Estymacja rzetelności
• Metody oparte na porównywaniu połówek
tego samego testu (analiza równoważności
międzypołówkowej - metoda split-half)
– szacowanie rzetelności całego testu na podstawie
rzetelności połówki wzór Spearmana – Browna
26. Estymacja rzetelności
• Wzór z poprzedniego slajdu jest szczególnym
przypadkiem wzoru Spearmana-Browna
opisującego relację pomiędzy rzetelnością a
długością testu
𝑛𝑟 𝑡𝑡𝑖
– 𝑟 𝑡𝑡𝑛 =
1+(𝑛−1)𝑟 𝑡𝑡𝑖
• 𝑟 𝑡𝑡𝑛 - rzetelność testu po jego przedłużeniu
• 𝑛𝑟 𝑡𝑡𝑖 - rzetelność przed przedłużeniem
• n – współczynnik przedłużenia (ile razy przedłużono
test)
27. Estymacja rzetelności – zgodność
wewnętrzna
• Założenia:
– Pozycje w teście są równoległe: równe średnie i wariancje
– Wszystkie pytania mierzą ten sam czynnik
– Tylko do pytań 0-1
28. Estymacja rzetelności – zgodność
wewnętrzna
• KR20 jest równy średniej współczynników
połówkowych ze wszystkich możliwych
połówek w danym teście
29. Estymacja rzetelności – Alfa Cronbacha
• Metody oparte na analizie właściwości
statystycznych pozycji testowych (analiza
zgodności wewnętrznej)
– Podejście Cronbacha
