Bab ini membahas tentang ketidakwajaran skor yang terjadi karena ketidakcocokan antara kemampuan responden dengan skor yang diperoleh. Dijelaskan beberapa metode untuk mengukur ketidakwajaran skor seperti metode Ghiselli, Jacob, dan Donlon-Fisher yang memanfaatkan tingkat kesulitan butir dan frekuensi jawaban yang benar.
2. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Bab 29
KETIDAKWAJARAN SEKOR
A. Pendahuluan
1. Ketimpangan Sekor
• Seharusnya terdapat kecocokan di antara
kemampuan atau keberhasilan dengan
sekor yang diperoleh
• Ketidakcocokan di antara sekor dengan
kemampuan atau keberhasian responden
menghasilkan ketimpangan sekor
3. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
2. Hakikat Ketimpangan Sekor
Ketimpangan sekor dapat bersumber pada
• Responden yang cemas, tidak hati-hati, atau
sebab lain
• Butir yang tidak cocok dengan sebagian
responden tetapi cocok dengan sebagian
responden lainnya
3. Ketidakwajaran Sekor (Inappropriateness)
• Ketidakwajaran sekor adalah ketimpangan
sekor yang bersumber pada responden
• Responden yang biasanya mampu ternyata
memperoleh sekor rendah
• Responden yang biasanya kurang mampu
ternyata memperoleh sekor tinggi
4. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
B. Indeks Ketidakwajaran Sekor Klasik
1. Pendahuluan
• Ketidakwajaran sekor biasanya disebabkan
oleh beberapa hal
Kecemasan responden ketika mengerjakan
soal ujian
Ketidakhati-hatian responden ketika
mengerjakan soal ujian
Belum terbiasa dengan cara ukur baru,
misalnya, menjawab di komputer
Kondisi fisik dan mental responden ketika
mengerjakan soal ujian
• Ketidakwajaran sekor ini dinyatakan dalam
bentuk indeks melalui sejumlah cara, klasik
maupun modern
5. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
2. Metoda Ghiselli
• Mencari sekor pada masa lalu, misalnya, ujian
saringan masuk atau prestasi masa lalu yang
sudah dikenal
Dengan sekor masa lalu ini dilakukan prediksi sekor
melalui regresi linier
• Ketidakwajaran terjadi pada selisih yang besar di
antara sekor ujian masa lalu dan sekor prediksi
Untuk responden ke-g dengan sekor Ag dan sekor
prediksi Âg, selisih itu adalah
dg = |Ag – Âg|
• Responden dengan selisih sekor yang besar
menunjukkan ketidakwajaran pada sekor
responden itu
6. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
• Pada pelaksanaannya, Ghiselli menarik sampel
responden
• Sampel ini dibagi ke dalam dua subsampel
Subsampel derivasi
Subsampel validasi silang
• Pada sampel derivasi, dihitung d dari setiap
responden dan mereka dikelompokkan lagi ke
dalam
d rendah (terprediksi)
d tinggi (tidak terprediksi)
• Melalui analisis butir dicari kelompok butir yang
menyebabkan d rendah dan tinggi
Dengan butir itu dicari ketidakwajaran sekor pada
subkelompok validasi silang
7. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
3. Metoda Jacob
• Berdasarkan banyaknya jawaban betul, butir diurut
dari mudah ke sukar
• Butir dibagi ke dalam 5 peringkat kesukaran dari
peringkat 1 termudah dan peringkat 5 tersukar
• Peringkat butir diberi bobot dari 0 pada peringkat 1
sampai 4 pada peringkat 5
Peringkat 1 2 3 4 5
Bobot 0 1 2 3 4
Frek jawaban betul f1 f2 f3 f4 f5
• Indeks kewajaran Jacob
J = f + f + f +
f
2 3 4
2 3 4 5 f + f + f + f +
f
1 2 3 4 5
8. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
• Ketidakwajaran terjadi jika responden menjawab
salah butir mudah dan menjawab betul butir sukar
• Dengan bobot makin besar pada butir sukar,
ketidawajaran ini meningkatkan nilai J
Jika jawaban betul pada semua peringkat adalah
sama banyaknya
f1 = f2 = f3 = f4 = f5 = X
maka indeks kewajaran Jacob menjadi
J = X + X + X +
X
X X X X X
10
5
2
2 3 4
=
=
+ + + +
X
X
• Sekor responden dengan J> 2 dianggap kurang
wajar
9. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Contoh 1
Sepuluh butir ujian dengan taraf sukar berbeda
dijawab oleh responden A, B, C, D, dan E sebagai
berikut
Pering- Bu- p Jawaban responden
kat tir A B C D E
1 1 0,90 1 1 0 1 0
2 0,75 1 1 1 1 0
2 3 0,70 0 1 1 1 0
4 0,65 0 1 0 1 1
3 5 0,60 0 1 1 1 0
6 0,55 0 1 1 1 0
4 7 0,50 0 0 1 1 0
8 0,40 0 1 0 1 1
5 9 0,30 0 0 1 1 1
10 0,20 0 0 1 1 1
10. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Contoh 1
Sepuluh butir ujian dengan taraf sukar berbeda
dijawab oleh responden A, B, C, D, dan E sebagai
berikut
Memeriksa kewajaran sekor responden
Jawaban responden A, B, C, D, E
betul = 1 salah = 0
Peringkat 1 2 3 4 5
Butir 1 2 3 4 5 6 7 8 9 10
P 0,90 0,75 0,70 0,65 0,60 0,55 0,50 0,40 0,30
0,20
A 1 1 0 0 0 0 0 0 0 0
B 1 1 1 1 1 1 0 1 0 0
C 0 1 1 0 1 1 1 0 1 1
D 1 1 1 1 1 1 1 1 1 1
E 0 0 0 1 0 0 0 1 1 1
12. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Responden f1 f2 f3 f4 f5 J
A 2 0 0 0 0 0,00
B 2 2 2 1 0 1,29
C 1 1 2 1 2 2,29
D 2 2 2 2 2 2,00
E 0 1 0 1 2 3,00
Tampak bahwa responden C dan E lebih banyak
menjawab betul butir sukar daripada butir mudah
sehingga J menjadi besar
Responden A dan B lebih banyak menjawab betul
butir mudah daripada butir sukar sehingga J
menjadi kecil
13. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
4. Metoda Donlon dan Fisher
• Metoda ini menggunakan taraf sukar butir dalam
skala D sebagai dasar
Taraf sukar butir dalam skala D bagi seluruh
responden dianggap berdistribusi probabilitas
normal
• Rerata dan simpangan baku taraf sukar butir dalam
skala D adalah
mD dan sD
• Taraf sukar butir untuk responden ke-g sebesar pg
menghasilkan rerata taraf sukar butir dalam skala D
sebesar mDg (untuk jawaban betul)
• Indeks kewajaran untuk responden ke-g adalah
koefisien korelasi biserial pada taraf sukar butir
dalam skala D
14. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
• Indeks kewajaran Donlon-Fisher untuk
responden ke-g adalah
dengan
p
g g
m m
D D
mD = rerata taraf sukar butir D pada
semua butir
mDg = rerata taraf sukar butir D pada
butir yang dijawab betul oleh
responden ke-g
sD = simpangan baku taraf sukar butir
D pada semua butir
yzg = densitas pada distribusi proba-bilitas
normal baku di titik z yang
dicapai pada pg
zg
g bis y
D
-
-
=
s
r
20. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Contoh 2
Menentukan kewajaran sekor responden A dan B
apabila taraf sukar butir telah diketahui sebagai
berikut
Butir p D A B
1 0,80 9,64 1 0
2 0,75 10,32 1 1
3 0,65 11,44 1 1
4 0,60 11,96 1 0
5 0,50 13,00 1 1
6 0,40 14,04 1 1
7 0,35 14,56 0 1
8 0,30 15,08 1 0
9 0,25 15,68 0 1
10 0,20 16,36 0 1
mD = 13,21 sD = 2,19
21. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Contoh 2
Menentukan kewajaran sekor responden A dan B
apabila taraf sukar butir telah diketahui sebagai
berikut
Jawaban responden A dan B
betul =1 salah = 0
Butir 1 2 3 4 5 6 7 8 9 10
p 0,80 0,75 0,65 0,60 0,50 0,40 0,35 0,30 0,25 0,20
D 9,64 10,32 11,44 11,96 13,00 14,04 14,56 15,08 15,68 16,36
A 1 1 1 1 1 1 0 1 0 0
B 0 1 1 0 1 1 1 0 1 1
mD = 13,21 sD = 2,19
22. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Proporsi jawaban betul
pA = 0,7 zA = – 0,524 yzA = 0,349
pB = 0,7 zB = – 0,524 yzB = 0,349
DA DB
9,64 10,32 mDA = 12,226
10,32 11,44 mDB = 13,629
11,44 13,00
11,96 14,04
13,00 14,56
14,04 15,68
15,08 16,36
0 38
p
r m m
= - = - 0 7
=
0 7
0 349
, ,
13 21 12 23
, ,
13 21 13 63
2 19
0 90
0 349
2 19
,
,
,
,
,
,
,
,
A A
D D
y
p
s
r m m
= - - D D
B B
= = -
D
-
D
-
ZB
B bis
ZA
A bis
y
s
23. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
5. Metoda SHL
• SHL adalah Sato dengan modifikasi oleh Harnisch
dan Linn
Ukuran kewajaran dinamakan indeks kehati-hatian
(caution index)
Responden yang berhati-hati akan menjawab betul
butir mudah dan menjawab salah butir sukar
• Di antara butir mudah dan butir sukar diberi batas
sehingga di bawah batas jawaban betul dan di atas
batas jawaban salah
Jawaban salah di bawah batas dan jawaban betul
di atas batas merupakan ketidakhati-hatian
• Makin jauh letaknya dari batas makin tinggi
ketidakhati-hatian responden (ketidakwajaran)
24. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Misalkan 10 butir diurut dari mudah ke sukar dan
responden menjawab betul 6 butir
Jika responden berhati-hati maka garis batas
terletak di butir ke-6, di bawah 6 betul dan di atas 6
salah
mudah sukar
1 1 1 1 1 1 0 0 0 0 hati-hati
1 1 1 1 1 0 1 0 0 0
1 1 1 1 0 1 0 1 0 0
1 1 1 0 1 1 0 0 1 0
1 1 0 1 1 1 0 0 0 1 tidak hati-hati
Makin jauh dari batas pertukaran 0 dan 1 makin
tidak hati-hati responden
25. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Beberapa notasi untuk rumus indeks kehati-hatian
t = batas di antara jawaban salah dan jawaban
betul jika responden berhati-hati
fgi = sekor butir pada indeks kehati-hatian untuk
responden ke-g
ft = banyaknya butir di bawah batas t
N = banyaknya butir
Xgi = sekor butir oleh responden ke-g
= 1 untuk jawaban betul
= 0 untuk jawaban salah
26. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Indeks kehati-hatian SHL untuk responden ke-g
dengan
A -
B
c g g
g -
C D
=
A sekor jawaban salah
ft
å=
=
= -
i
gi gi
g
X f
1
(1 )
B sekor jawaban betul
å
= +
=
=
N
i f
gi gi
g
t
X f
1
å å
= = - +
= =
N
i N f
gi
f
i
gi
t
t
C f D f
1 1
28. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Indeks kehati-hatian untuk responden ke-5 (g = 5)
Responden 1 2 3 4 5 A5
5 1 1 0 0 1 3
A5 B5
f5i 12 10 7 6 3
C D
t
ft = 3 N = 5 ft + 1 = 4 N – ft + 1 = 3
A5 = (1 – 1)(12) + (1 – 1)(10) + (1 – 0)(7) = 3
B5 = (0)(6) + (1)(3) = 3
C = 12 + 10 + 7 = 29
D = 7 + 6 + 3 = 16
c5 = (7 – 3) / (29 – 16) = 0,31
29. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Indeks kehati-hatian untuk responden ke-12 (g = 12)
Responden 1 2 3 4 5 A12
12 0 1 0 1 0 2
A12 B12
f12i 12 10 7 6 3
C D
t
ft = 2 N = 5 ft + 1 = 3 N – ft + 1 = 4
A12 = (1 – 0)(12) + (1 – 1)(10) = 12
B12 = (0)(7) + (1)(6) + (0)(3) = 6
C = 12 + 10 = 29
D = 6 + 3 = 9
c5 = (12 – 6) / (22 – 9) = 0,46
30. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
C. Indeks Ketidakwajaran Sekor Modern
1. Kewajaran Melalui Kebolehjadian
• Indeks kewajaran sekor ditentukan melalui teori
responsi butir
• Karena estimasi parameter dilakukan melalui
kebolehjadian maksimum, maka indeks
kewajaran dihitung melalui kebolehjadian
• Tingginya nilai kebolehjadian dijadikan indeks
kewajaran; makin tinggi kebolehjadian makin
wajar sekor responden
• Di dalam proses perhitungan digunakan
logaritma, mencakup
Indeks kewajaran l0
Indeks kewajaran lg
Indeks kewajaran lz
31. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
(a) Indeks Kewajaran Kebolehjadian l0
Indeks kewajaran ini menggunakan logaritma dari
kebolehjadian
Kebolehjadian pada q yang diestimasi melalui
kebolehjadian maksimum
Õ=
= -
( |q ) (q ) (q )1
L X P i Q i
dengan jawaban betul Xi = 1
jawaban salah Xi = 0
l =
L X
ln ( | )
Indeks kewajaran l0
N
dengan nilai l0 £ 0
N
i
X
i
X
i
1
[ ] å=
= + -
i
i i i i X P X Q
1
0
ln ( q ) (1 )ln ( q
)
q
32. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
• Karena telah digunakan q yang diperoleh
melalui kebolehjadian maksimum, maka pada
sekor wajar seharusnya
makin tinggi l0 makin baik
Nilai l0 yang rendah sekali menunjukkan
ketidakwajaran sekor
• Jika butir mudah dijawab betul dan butir sukar
dijawab salah, maka indeks kewajaran akan tinggi
• Jika butir mudah dijawab salah dan butir sukar
dijawab betul, maka indeks kewajaan akan rendah
36. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
• Tampak bahwa responden B memperoleh indeks
kewajaran lebih rendah dari responden A
Responden A lebih wajar daripada responden B
karena responden B menjawab salah butir mudah
tetapi menjawab betul butir sukar
• Responden C dan E tidak menjawab beberapa butir
sehingga indeks kewajaran lebih tinggi daripada
responden yang menjawab semua butir
Jawaban responden C dan D praktis sama kecuali
responden D menjawab semua butir dan responden
C tidak
• Untuk mengatasi kasus tidak menjawab butir, agar
terjadi keseragaman, maka indeks kewajaran
direratakan secara ukur, menjadi lg
37. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
(b) Indeks Kewajaran Kebolehjadian lg
Indeks kewajaran lg mereratakan indeks
kewajaran berdasarkan butir yang dijawab,
sehingga menjadi
l
0
N
lg =
e
dengan N = banyaknya butir yang dijawab
Karena perhitungan didasarkan pada indeks per
butir yang dijawab, maka terdapat perlakuan
sama di antara responden yang menjawab
banyak butir dan yang sedikit butir
Pada contoh 4 misalnya, indeks pada responden
C dibagi 5 dan indeks pada responden D dibagi 7
Makin tinggi nilai indeks kewajaran makin wajar
sekor responden
38. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Contoh 5
Diterapkan pada contoh 4, indeks kewajaran
menjadi
,
0 573
,
0 306
,
0 611
,
0 611
,
0 311
,
-
3 900
l
A
l e e
= = 7
=
,
8 295
-
l
N
g
B
A
l e e
= = 7
=
,
2 465
-
l
N
g
C
B
l e e
= = 5
=
,
3 453
-
N
l
g
D
C
l e e
= = 7
=
,
3 500
-
l
N
g
E
D
l e e
= = 3
=
0
0
0
0
0
N
g
E
Tampak di sini bahwa indeks kewajaran
responden C dan D menjadi sama (karena
jawaban mereka sangat mirip satu dan lainnya)
39. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
(c). Indeks Kewajaran Kebolenjadian Nilai Baku lz
Apabila kemampuan responden q berbeda,
maka indeks kewajaran lg menjadi kurang
memadai
Untuk mengatasi hal ini, digunakan indeks
kewajaran nilai baku
-m
0 0
Perhitungan indeks kewajaran memerlukan nilai
rerata dan simpangan baku pada l0
• Rerata
0
l
l
z
l
l
s
=
N
å[ ]
å
l i
= = = P P +
Q Q
l =
i
i i i i
N
i
N
1
1
0
0 m (q )ln (q ) (q )ln (q )
40. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Melalui substitusi
(q ) (q )ln (q ) (q )ln (q ) i i i i i m = P P +Q Q
maka rerata menjadi
N
m å=
=
m
(q ) l i i
1
0
• Simpangan baku
N
N
å å
N l l i i
å
=
i
= =
ù
ú ú
û
i
é
ê ê
ë
ö
÷ ÷ø
æ
P Q P
( q ) ( q ) ln ( q
)
ç çè
=
ö
÷ ÷ø
ç çè- æ
=
N
i
i i
i i
l
Q
N
1
2
2
2
1
0
1
2
0
0
( q
)
s
41. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Contoh 6
Jawaban seorang responden C adalah
sebagai berikut (betul = 1 dan salah = 0)
Memeriksa kewajaran sekor responden C
Butir 1 2 3 4 5
Pi(q) 0,90 0,70 0,50 0,30 0,10
Qi(q) 0,10 0,30 0,50 0,70 0,90
C 1 1 0 1 0
Kebolehjadian
[ 0 90 0 70 0 50 0 30 0 90 ] 2 645 0 = ln ( , )( , )( , )( , )( , ) = - , C l
43. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Indeks kewajaran
ml0 = – 2,566 sl0 = √(1,170) = 1,082
sehingga
0 0
, ( , )
= - - -
2 465 2 565
Sebagai perbandingan
Indeks kewajaran responden ini adalah
l0 = – 2,645
lg = 0,611
lz = 0,092
0 092
1 082
0
,
,
=
=
-
=
l
l
z
A
A
l
l
s
m
44. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
2. Indeks Kewajaran Residu Bakuan Terkuadrat
Responden menghasilkan jawaban berupa
jawaban betul Xi = 1
jawaban salah Xi = 0
Model (misalnya logistik) menghasilkan
probabilitas betul Pi(q)
probabilitas salah Qi(q)
Selisih di antara mereka adalah residu Ri
Ri = Xi – Pi(q)
Residu menjadi dasar untuk menunjukkan
kewajaran sekor responden
45. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Rerata dan simpangan baku
Rerata
Simpangan baku
m (q ) X i P i =
s (q ) (q ) X i i P Q i =
Nilai baku selisih atau residu
X X P
R P Q
Pada saat Xi = 0
Pada saat Xi = 1
( q
)
i i
( q ) ( q
)
i X
s
m
i i
X
S
i
i
i
= -
-
=
S X P i = 0 = -
( ) ( )
q
i
( q
)
i
R i Q
S X Q i =1 =
( ) ( )
q
i
( q
)
i
R i P
46. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Indeks kewajaran sekor terkuadrat untuk N butir
N
N
W S X Q i
å å
= =
é
( ) ( )
( q
)
2 1
= = - -
êë
X P
i
R i
Q
i
i
P
( q
)
i i
i
1 1
Pada model logistik L1P
Q = - q - = q -
e P
( q
) q
i D bi
i e
( )
P
i
q
sehingga
ù
úû
i
q
( q
)
( )
D b i
( ) ( )
( )
i
Q
q
N
[ D (q b
) (1 ) D (q b
)
] å=
= - - - - -
W X e i X e i
i
i
i
1
W diturunkan dari residu sehingga makin besar
W makin besar residu dan makin tidak wajar
sekor responden
47. ------------------------------------------------------------------------------
Ketidakwajaran Sekor
------------------------------------------------------------------------------
Contoh 7
Indeks kewajaran pada sekor responden A dan B
apabila q = 1 untuk butir dengan taraf sukar
sebagai berikut
Jawaban responden A dan B terhadap 5 butir
(betul =1 dan salah = 0
Butir 1 2 3 4 5
b –1,0 0,0 1,0 2,0 3,0
e-D(q-b) 0,03 0,18 1,00 5,48 30,08
eD(q-b) 30,08 5,48 1,00 0,18 0,03
A 1 1 1 0 0
B 0 0 1 1 1
WA = 1,42 WB = 72,12
Sekor responden B tidak wajar