3. 타당도 검사도구가 무엇(What)을 측정하고 있는가?
전통적
관점
통합적
관점
논리적 타당도
예측 타당도
공인 타당도
구인 타당도 등
1980년대
기존의 타당도 유형들을 하나의
증거로 보고 가능한 모든 증거들을
통해 이루어 내려는 통합적 개념
4. 1.전통적 관점 – 내용 타당도
정의 : 평가 도구가 그것이 평가하려고 하는 내용(교육 목표)를 어느 정도로 충실히
측정하고 있는지를 분석.
추정 : 검사내용에 대한 전문가의 판단에 기초
준거 : 내적 준거인 교육목표
타당도를 높이는 필요조건 : 교육목표의 세분화와 이원분류표의 작성
때문에 수치로 나타낼 수 없다.
5. 1.전통적 관점 – 예측 타당도
정의 : 어떤 평가도구가 목적하는 준거를 정확히 예언하는지 분석
추정 : 선행검사(점수)X와 준거(미래행동특성)Y와의 상관계수
준거 : 외적 준거인 검사가 예언하고자 하는 미래의 행동 특성
타당도를 높이는 필요조건 : 두 평가도구의 신뢰도가 높아야 함
6. 1.전통적 관점 - 공인 타당도
정의 : 다른 검사와의 공통요인이 어느 정도인지 분석
추정 : 예측 타당도와 마찬가지로 검사X와 준거 검사Y의 상관계수
준거 : 공통된 요인이 있는지 여부
장점 : 평가도구의 실제적 의미를 풍부히 해주고 새로운 연구의 아이디어를 제공
예측 타당도와 달리 행동의 준거가 현재에 있다.
7. 1.전통적 관점 – 구인 타당도
정의 : 아직 조작적으로 정의되지 않고, 과학적으로 이론이 제대로 정립되지 않은 새로
운 개념 혹은 구인을 측정하는 검사에 과학적 이론과 타당화를 부여하는 과정
추정 : ‘이 특성을 가진 사람은 X라는 상황에서 Y의 행동을 보일 것이다’ 라는 법칙 정
립
법칙 정립 과정이기 때문에 검사자체 > 준거의 확인과 이론형성
구인이란 검사 성취에 반영되
어 있다고 짐작되는 인간의
가정적 속성 = 개념
8. 1.전통적 관점 – 구인 타당도
절차 :
1. 검사점수 혹은 검사결과의 원인이 될 구인이 무엇인지 시사
구인이란 검사 성취에 반영되
어 있다고 짐작되는 인간의
가정적 속성 = 개념
2. 구인에 관련된 이론의 상정과 이 이론에서 추리할 수 있는 가설 추출
3. 이 가설을 검증하기 위해 경험적 연구 실행
9. 2. 통합적 관점
배경
1970년대 초부터 학자들은 한 검사의 타당도 검
증의 대상은 그 검사 자체가 아니라 검사 점수로
부터 유추되는 해석과 추론이라는 것을 인식
새로운 인식은 각 유형이 독립된 타당도로 인정
되었던 기존의 전통적 관점의 한계를 노출
1. 이론적 적합성을 추구하는 구인 타당도의 개념이
모든 검사의 타당화 과정에서 핵심적 역할로 변화
2. 타당도의 영역을 검사활용으로 확대시키는 계기
3. 타당화 과정에서 가치를 명시적으로 고려
10. 2. 통합적 관점
특성
구인 타당도에 내재된 원리를 모든 타당화의 원
리로 확대함으로써 사실상 구인 타당도를 타당도
자체를 의미하게 된다.
타당화 과정에서 가치와 검사 활용의 결과를 명
시적으로 고려.
Messick은 검사타당도의 결과적 기초를 타당도
개념 안에 공식적으로 도입.
타당도는 관련된 모든 증거들을 활용해 검사 점
수의 해석에 대해 내린 종합적이고 평가적인 판
단
타당화 과정은 사실상 평가
11. 2. 통합적 관점
타당도 증거 : 통합적 관점에서 타당도 증거에 대한 분류는 1999년 Standards에서 제시한 다섯 가지 타
당도 증거로 수렴함.
1. 검사내용에 기초한 증거 - 검사의 내용과 측정하려는 구인, 검사 제작자에 의해 제시된 검사 점수의 해석 간 관
계의 적절성
2. 반응 과정에 기초한 증거 - 측정하려는 구인과 수험자의 반응과의 적절성
3. 내적 구조에 기초한 증거 – 검사문항과 검사 구성요소간의 관계가 검사 점수 해석의 기반이 되는 구인과 일치하
는 정도
4. 다른 변수와의 관계에 기초한 증거 – 판별적 증거, 검사〮준거 관련성, 타당도 일반화로 구
만약 검사결과에 기초한 증거가 구인에 대한 대표성의 부족
이나 구인과 관련이 없는 요소와 같은 비타당도에 기인한 것
이라면 이러한 증거는 타당도와 직접적으로 관련이 있게 된
다.
12. 2. 통합적 관점
결론 :
모든 증거들이 검사를 측정하려는 구인과의 일관성 or 관련성을 그 판단 준거로 하
고 있다.
타당도 연구에서 가장 중요한 것은 타당도 증거들의 총망라성이 아니라 수집 가능한
증거들을 통해 검사 점수해석과 활용을 정당화 할 수 있는 설득력 있는 주장을 하는
것이다.
13. 신뢰도 어떻게(How) 측정하고 있는가?
재야 할 것을 얼마나 오차 없이 일관되게 재고 있는
가 하는 것이 문제
신뢰도 타당도
필요조건
충분조건
14. 2. 신뢰도의 종류
①검사 관련 신뢰도 :
- 검사점수에 영향을 미치는 오차를 최소화 할 수 있는지와 관련된 문제
- 각각의 신뢰도가 어떠한 방법에 의해 보고되고 있으며, 각 방법의 특징 및
장단점은 무엇인지를 파악하는 것이 중요
②채점 관련 신뢰도 :
-평가자의 평정이 얼마나 신뢰롭고 일관성 있게 이루어졌는지와 관련된 문제
-서답형 문항, 지필검사, 수행평가에서 중요하게 고려
15. 2-1. 검사 관련 신뢰도
A. 재검사 신뢰도
- 정의 : 동일한 검사를 두 번 실시하여 두 저수의 상관계수를 통해 신뢰도를
구하는 방법
- 특성 : 시험 실시 간격 설정이 중요
검사 도구의 특성이나 측정 내용에 따라 그 기간을 달리 해야 함
- 단점 : 두 번 시행하는 어려움
기억이나 연습의 효과가 발생할 수 있음
실시하는 간격에 따라 신뢰도가 달라질 수 있음
16. 2-1. 검사 관련 신뢰도
B. 동형검사 신뢰도
- 정의 : 신뢰도를 알고자 하는 검사와 동형의 검사를 제작해 동일한 대상에게
시행하여 두 시험의 결과 일치 정도를 상관계수로 추정하는 방법
- 특성 : 두 검사가 동일한 내용에 대해 측정해야 함
문항의 변별도나 난이도가 비슷하거나 같아야 함
재검사 신뢰도의 문제를 해결할 수 있음
- 단점 : 시험을 두 번 실시해야 하는 어려움
피험자가 두 번의 검사 수행에서 동일한 동기와 태도를 유지해야 한다
는 어려움
17. 2-1. 검사 관련 신뢰도
C. 내적일관성 신뢰도 - 반분검사 신뢰도
- 정의 : 검사를 양분하여 하나의 검사를 구성하는 두 개의 부분 검사 간의 유
사성에 의해 신뢰도를 추정하는 것
- 방법 :
- 장점 : 검사를 두 번 실시하지 않고 하나의 검사로 신뢰도를 구할 수 있다.
- 단점 : 검사를 반분하는 방법에 따라 신뢰도가 달리 추정될 수 있다.
Ρjj 는 반분검사 신
뢰도,
ρXX 는 전체 검사
의 신뢰도
18. 2-1. 검사 관련 신뢰도
C. 내적일관성 신뢰도 - KR-20/KR-21
- 정의 : 문항 점수의 분산과 공분산 개념을 이용하여 신뢰도를 추정하는 것
- 방법 :
- 특성 : 검사가 단일할 특성을 평가하는 문항들로 구성되어야 함
문항 난이도가 일정할 때 신뢰도가 높아짐
kr20은 이분 문항일 경우, kr21은 문항점수가 연속점수일 경우 사용
k : 검사 속의 문항 수
p : 각 문항에 정답을 한 학
생의 비율
q : 각 문항에 오답을 한 학
생의 비율 (q=1-p)
Sx
2 : 전체 검사 점수의 변량
: 전체 검사 점수의 평균
19. 2-1. 검사 관련 신뢰도
C. 내적일관성 신뢰도 - Cronbach a
- 정의 : 하나의 검사에 포함되어 있는 문항들이 얼마나 서로 일치하는지 문항
간의 일관성 정도를 통해 신뢰도를 추정하는 것
- 방법 :
- 특성 : 구성 문항의 동질성이 커질수록 계수가 커진다.
다른 신뢰도 추정 방법에 비해 과소 추정하는 경향이 있다.
- 장점 : 검사를 양분하지 않아도 되고, 문항 간의 일관성에 의해 단일한 신뢰
20. 2-2. 채점 관련 신뢰도
A. 채점자 내 신뢰도
- 정의 : 동일한 평가자가 시간이 지난 후에도 평가 기준이 변하지 않고 얼마나 일
관되게 모든 평가 대상을 측정하는 지를 의미
- 의의 : 채점자 내 신뢰도가 확보되지 못한다면 채점자 간 신뢰도를 구하는 것은
무의미한 작업이 되기 때문
B. 채점자 간 신뢰도
- 정의 : 두 명 이상의 채점자가 평가를 하였을 때 채점 결과가 채점자 간에 일치하
는 정도를 확인하는 것
-방법 :
양
적
변
수
질
적
변
상관계수법 or 일반
화 기능 이론
일치도 통계 or
Kappa계수
21. 3. 신뢰도에 영향을 주는 요인
① 신뢰도 검사 도구 : 신뢰도 추정치를 비교해보면 신뢰도 추정 방법에 따라 다르게 나온다.
(높은 신뢰도 지수) 재검사 신뢰도 > 동형검사 신뢰도 > 반분검사 신뢰도 > 문항 내적 일관성 신뢰
도 (낮은 신뢰도 지수, 가장 과학적)
② 문항의 수 : 문항이란 인간의 속성을 측정하기 위해 모집단에서 표집한 표본이며, 여기서 나온
점수는 모집단의 추정치를 의미한다.
(문항의 수가 많아질수록 표본이 커져 오차는 적어진다. 문항의 수를 늘일 땐 반드시 양질의 문항을
검사 제작 원리에 따라 개발해야 한다.)
③ 검사 내용이 포괄하는 범위 : 검사 구성 내용의 범위가 넓을수록 문항내용의 동질성을 유지하
기 어려워 신뢰도가 낮아진다.
④ 주어진 시간 : 주어진 시간이 충분할수록 피험자가 능력을 충분히 발휘하게 되어 신뢰도가 높아
진다.
