제2장p66_평가도구질판단기준(신뢰도)_4박대현 교육평가 담당교수 정민수 수석교사 엠디랑 http://mdrang.net

1. 평가도구의 질 판단 기준
(신뢰도)
20130263 영어교육과 박대현

2. 1. 신뢰도의 정의
타당도 • 평가의 내용(what)
신뢰도 • 평가의 방법(how)

3. 타당도 ⊂ 신뢰도

4. 2. 신뢰도의 종류
(1) 검사관련신뢰도
• 검사 점수에 영향을 미치는 오차를 최소화할 수 있는가
• 신뢰도 측정 방법, 그의 장단점 파악 필요
(2) 채점관련신뢰도
• 평가자의 평가가 얼마나 신뢰와 일관성이 있게 이루어지는가
• 서답형 평가에서 특히 중요

5. (1)-1 재검사 신뢰도
⇒ 하나의 검사를 시간 간격을 두고 동일한 대상
에게 두 번 실시
⇒ 처음에 얻어진 점수와 두 번째로 얻어진 점수
와
의 상관계수를 통해 신뢰도를 구함

6.  시간 간격이 너무 짧을 경우
 시간 간격이 너무 길 경우

7. (1)-2 동형검사 신뢰도
⇒ 신뢰도를 알아보고자 하는 검사와 내용, 난이도 면에서
동일한 동형의 검사를 제작
⇒ 두 개의 검사를 동일한 대상에게 시행하여 두 시험 결
과의 일치하는 정도를 상관계수로 추정

8. (1)-3 내적일관성 신뢰도
Ⅰ. 반분검사 신뢰도
⇒ 평가를 구성하고 있는 문항들 간의 내적 일치도를 검사
⇒ 하나의 검사를 제작한 후 한 피험자 집단에 실시
평가 문항을 특정한 방법으로 두 부분으로 분할
반분된 두 개의 검사 점수 간의 상관을 통해 신뢰도를 구함
※ 반분된 검사가 서로 동형에 가까울 수록 신뢰도가 높아짐

9. ⇒ 반분된 검사의 전체 신뢰도를 구하기 위해
Spearman-Brown 공식 사용
 검사를 반분하는 방법에 따라 신뢰도가 달리 추정될 수 있음

10. Ⅱ. KR-20/KR-21(문항 내적 합치도)
⇒ 문항 점수의 분산과 공분산 개념 이용
⇒ 한 검사에 있는 문항을 각각 독립된 검사로 간주
문항 내의 정답과 오답 사이의 관계를 상관계수로 표시
K : 검사 내의 문항 수
S2 : 검사점수의 변량
x
pi
: i라는 문항을 정답한
사람의 비율
qi: : 1- pi
M : 검사점수의 평균

11. Ⅲ. Cronbach α(문항내적 일관성 신뢰도)
⇒ 하나의 검사에 포함되어 있는 문항들이 얼마나 서로 일치하는가
⇒ 관찰점수 분산과 진점수 분산 비율에 근거하여 신뢰도를 추정
진점수의 변량이 차지하는 비율이 커질수록 계수 커짐
 검사를 양분할 필요 없이 단일한 신뢰도 추정 결과를 얻을 수 있음
 검사도구의 신뢰도를 과소 추정하는 경향이 있지만 검사 도구의 질을 분석함에 있
어 어느 정도의
엄격성이 요구되기 때문에 과소추정되는 정보가 오히려 바람직

12. (2) 채점 관련 신뢰도
채점자 내 신뢰도
• 동일한 평가자가 시간에 관계없이
얼마나 일관되게 평가하고 있는가
채점자 간 신뢰도
• 두 명 이상의 평가자가 평가할 때
서로 일치하는 정도 측정
• 평가자 사이의 양적, 질적변수에
따라 측정 방법이 달라짐

13. (3) 신뢰도에 영향을 주는 요인
검사 방법
문항 내적일관성 신뢰도
가 가장 과학적이고 낮
은 신뢰도 지수를 제공
문항의 수
문항의 수가 많아져 표
본이 커질수록 신뢰도
증가
내용의 범위
범위가 좁을 때 신뢰도
증가
주어진 시간
시간이 충분할 수록 신
뢰도 증가
난이도와 변별도
쉬운 문제를 앞에 배열하는
것이 신뢰도를 높임
변별력이 높을수록 신뢰도
가 증가