교육평가: 평가도구의 질 판단기준(신뢰도) 권진희 담당교수 정민수 (엠디랑 http://mdrang.net)

4.  타당도(validity)와 신뢰도(reliability)의 비
교

5.  타당도와 신뢰도의 관계 (성태제, 2005)
ㄴ 관찰점수
타당한 점수 타당하지 않은 점수 오차 점수
타당도
신뢰도
신뢰도←타당도 (O) : 타당도가 높기 위해서 신뢰도
가 높아야 하므로 신뢰도는 타당도 확보를 위한 필요조건
BUT!!!!!!!!
신뢰도가 높다고 타당도가 높은 건 아니므로 충분조건은 아니
다.

6.  2-1 검사 관련 신뢰
도
1)재검사 신뢰도
2)동형검사 신뢰도
3)내적일관성 신뢰도
①반분검사 신뢰도
②KR-20/KR-21
③Crombach α
 2-2 채점 관련 신
 뢰도
1)채점자 내 신뢰도
2)채점자 간 신뢰도

7.  하나의 측정도구를 동일한 대상에게 두 번 실시
해여 두 점수 사이의 상관계수 이용
 Karl Pearson의 단순적률상관계수 추정 공식
 시간간격으로 인한 오차 ∴실시간격 설정 주의
(너무 짧으면 신뢰도 높아짐. 길면 낮아짐.)
 장점: 간단하다
 단점:기억이나 연습의 효과 발생, 시간에 따라 신
뢰도 변함.

9.  문항들 간의 내적 일치도 검사:2개의 부분
검사 간의 유사성으로 추정
 검사반분 방법- 전후반분(속도검사에서는 사용하면 사용X),기
우반분(짝홀),난수표이용, 내용이나 난이도
 Spearman-Brown(1910)의 공식 응용
 ρjj´는 반분 검사의 신뢰도, ρXX´는 전체 검사의 신뢰도를
 장점: 2번 검사 하지 않음
 단점: 검사를 반분하는 방법에 따라 신뢰도 달리 추정될 수
있음. 따라서 문항 특성에 의하여 두 부분 검사가 동형이 되
도록!

10.  Kuder와 Richardson, 문항 점수의 분산과 공분산
개념 이용
 문항내적 합치도
 단일한 특성을 평가하는 문항으로 구성, 난이도
일정하게 유지할 것
 KR-20:맞으면 1, 틀리면 0
KR-21: 문항점수가 연속일 때 사용
 장점: 2번 검사 하지 않음, 반분검사신뢰에서의
난제 해결

11.  문항내적 일관성 신뢰도:
하나의 검사의 문항 간의 일관성 정도를 추정한다.
문항들이 동질적일수록 Crombach α계수 커짐
 관찰점수 분산과 진점수 분산 비율에 근거
 오차 점수의 분량이 적을수록 계수 증가
 장점: 검사 양분하지 않고
단일한 신뢰도 추정 결과 얻음
 단점: 검사도구의 질 엄격성이
요구되므로 과소추정되는 정보가 더 바람직.

13. 검사도구(‘문항
내적 일관성
‘권장)
포괄범위
(넓을수록)
문항의
변별도와
난이도
많을수록/
절대적이지
는 않음)
시간
문항의수
(역량검사
권장)

14. BETTER SCHOOL TOGETHER!!!!!!!