3. 1. 타당도(validity)란?
• 검사도구가 측정하려고 하는 능력이나 특성을
충실하게 재고 있는지를 나타내는 지표
• 검사도구가 ‘무엇(What)’을 측정하고 있는가와
관련된 개념
Ex) 국어고사가 ‘국어능력’을 측정해야 하는데 만약
‘사회생활능력’을 측정하고 있다면 이 시험은
‘타당도(validity)’가 낮은 시험이다.
5. 2. 타당도에 대한 전통적 관점
전통적 관점의 여러 유형
① 내용타당도(content validity)
② 예측타당도(predictive validity)
③ 공인타당도(concurrent validity)
④ 구인타당도(construct validity)
⇒ 각 유형들은 일정한 영역에서 그 자체로서 역할을
가짐
6. 전통적 관점1 – 내용타당도
내용타당도(content validity)
⇒평가도구가 평가하려고 하는 내용을 어느 정도로
충실히 측정하고 있는지를 측정하려는 것
• 내용 타당도 ≒ 논리적 타당도, 안면타당도
• 주로 성적검사의 타당도를 확인하기 위해 쓰이
나 지능검사, 적성검사 등에도 쓰임
7. 전통적 관점1 – 내용타당도
• 검사도구의 타당성은 검사도구가 교육목표, 교
과 과정, 교재의 내용을 얼마나 잘 측정하고 있는
지에 달려있음
• 내용타당도의 판단기준
① 처음에 의도했던 교육목표에 비추어 보아 적절한가
② 문항내용이 교과내용의 중요한 것을 충분히 포괄하고 있는
가
③ 문항의 난이도가 학생 집단의 성질에 비추어 보아 적절한가
④ 문항의 표본이 전체적 내용을 잘 대표하고 있는가
8. 전통적 관점1 – 내용타당도
• 내용타당도의 추정은 검사 내용에 대한 전문가
의 판단에 기초 ∴ 수치로 나타낼 수 없음
• 내용타당도의 준거는 교육목표가 되므로
교육목표의 세분화와 이원분류표의 작성은 검
사의 타당성을 높이는데 도움이 된다.
9. 전통적 관점2 – 예측타당도
예측타당도(predictive validity)
⇒검사의 결과가 피험자의 미래를 어느 정도 예측하
는 가에 따라 표시되는 타당도
• 예측타당도의 준거
→ 검사가 예언하고자 하는 미래의 행동 특성
Ex) 입학성적이 높은 학생이 입학 후에도 학업성
적이 높다면 그 입학시험은 예측타당도가 높다.
10. 전통적 관점2 – 예측타당도
• 예측타당도의 추정
→ 선행검사(X)와 준거(Y)와의 상관계수로 표시
→ 상관계수가 크면 예언의 정확성이 크고 오차가 적다.
→ 예측타당도는 검사X와 준거Y의 신뢰도에 크게 영향
을 받는다.
→ 검사X와 준거Y가 모두 신뢰로우면 예측타당도는 높아진
다.
→ X와 Y 모두 신뢰도가 낮거나 둘 중 하나라도 신뢰도가
낮다면 예측타당도는 낮아진다.
11. 전통적 관점3 – 공인타당도
공인타당도(concurrent validity)
⇒평가도구에 의해 밝혀진 피험자의 행동특성이
행동 준거와 현재 어느 정도 일치하느냐를 말한
다.
• 공인타당도의 추정
→ 선행검사(X)와 준거검사(Y)의 상관계수로 표시
12. 전통적 관점3 – 공인타당도
• 공인타당도와 예측타당도의 차이
① 예측타당도의 행동의 준거는 ‘미래’지만 공인타당
도는 ‘현재’에 있음
→ 공인타당도는 검사X와 준거Y가 본질적으로 동시에 측정
② 공인타당도는 준거의 성질이 예언에 있는 것이 아닌
공통된 요인이 있느냐 없느냐에 있다.
ex) 작문검사를 독후감 과제로 대체할 수 있는가
→ 두 검사 사이에 공통된 요인이 있어 대체 가능한지,
그 사이의 상관을 알아보는 것은 공인타당도에 해당
13. 전통적 관점3 – 공인타당도
• 공인타당도의 중요성
① 평가도구의 실제적 의미를 풍부히 해줌
② 평가도구의 활용에 있어 유용한 정보를 제공
③ 새로운 연구의 아이디어를 제공
14. 전통적 관점4 – 구인타당도
구인타당도(construct validity)
⇒검사가 심리적 특성을 구성하고 있는 구인들을 얼
마나 잘 포함하였느냐의 정도
• 구인(construct)이란?
⇒검사 성취에 반영되어 있다고 짐작되는 인간의 가
정적 속성
ex) 자아개념, 사고력, 학습동기, 불안 등
15. 전통적 관점4 – 구인타당도
• 구인타당도의 검증
⇒측정하고자 하는 구인들을 정의하고, 그 구인들에
관해 논리적 가설을 뒷받침해 주는 경험적 자료들을
수집
• 구인타당도
⇒새로운 개념 혹은 구인을 측정하는 검사에 과학적
이론과 타당화를 부여하는 과정
16. 전통적 관점4 – 구인타당도
• 구인타당도 검증의 절차
① 검사점수 혹은 검사결과의 원인이 될 구인이 무엇인지
를 시사하는 과정
→ 관찰 및 검사의 이론적 분석을 기초로 한 상상적 행위로
이루어짐
② 이 구인에 관련된 이론의 상정과 이 이론에서 추리할
수 있는 가설을 추출하는 과정
→ 과학의 논리적 조작에 의존
③ 이 가설을 검증하기 위해 경험적 연구를 실행하는 과
정
17. 전통적 관점4 – 구인타당도
• 구인타당도의 핵심
⇒‘특성X를 가진 사람은 Y라는 상황에서 Z라는 행동
을 보일 것이다.’라는 법칙을 정립하는 것
• 구인타당도의 특성
→한 가지 형태의 연구만이 아닌 적절하다고 생각되
는 모든 형태의 연구 방법이 사용됨
→따라서 구인타당도는 어떤 단일한 지수로 표현할
수는 없음
18. 3. 타당도의 통합적 관점
• 통합적 관점의 대두배경
타당도 검증의 대상은 그 검사 자체가 아니라 검사 점수로부
터 유추되는 해석과 추론이라는 것을 인식하면서 시작
↓
이러한 인식은 독립된 타당도로 인정되었던 기존의 전통적
관점의 한계를 노출시키는 계기가 되며 타당도 이론의 발전
에 큰 영향을 줌
19. 3. 타당도의 통합적 관점
• 타당도에 대한 통합적 관점의 특성
① 모든 검사의 타당화 과정을 구인타당도에서 이용하는
과학적인 이론 검증의 과정과 동일하게 본다.
⇒ 통합적 관점에서 구인타당도 = 사실상 타당도 자체
② 타당화 과정에서 가치와 검사 활용의 결과를 명시적
으로 고려한다.
⇒ 검사 점수의 해석과 활용에 따른 가치와 결과를 고려해야
한다.
20. 3. 타당도의 통합적 관점
• 타당도에 대한 통합적 관점의 특성
③ 타당도는 관련된 모든 증거들을 활용하여 검사 점수
의 해석에 대해 내린 종합적이고 평가적인 판단이다.
⇒ 개별적인 타당도 유형은 존재하지 않는다.
④ 타당화 과정은 사실상 평가이다.
⇒ 타당도를 구한다는 것은 검사 점수의 해석과 그러한 검사
점수의 활용에 대한 평가를 수행하는 것이다.
21. 3. 타당도의 통합적 관점
• 타당도 증거
1) 검사내용에 기초한 증거
⇒ 검사의 내용과 측정하려는 구인(construct), 그리고 검사 제작
자에 의해 제시된 검사 점수의 해석 간 관계의 적절성에 관한 것
⇒ 검사의 내용 영역(domain)의 적절성이 검사 점수로부터 추론
되는 특정한 해석과 연결된다.
22. 3. 타당도의 통합적 관점
2) 반응 과정에 기초한 증거
⇒측정하려는 구인과 수험자의 반응과의 적절성에 관한것
⇒ ‘수험자들의 문항에 대한 반응 분석’
‘수험자들의 수행을 관찰하고 평가하는 과정이 의도된 점수 해석’
‘측정하려는 구인에 얼마나 부합하는지’
위와 같은 연구를 모두 포함한다.
23. 3. 타당도의 통합적 관점
3) 내적 구조에 기초한 증거
⇒ 검사문항과 검사 구성 요소간의 관계가 검사 점수 해석의 기반
이 되는 구인과 일치하는 정도를 나타냄
⇒ 검사의 문항들과 구성 요소들 사이의 내적 관련성이 의도한 구
인을 측정하기 위한 검사의 개념적 구조와 얼마나 잘 부합되는지
를 분석하는 것이 하나의 요소
24. 3. 타당도의 통합적 관점
4) 다른 변수와의 관계에 기초한 증거
⇒ 검사 점수와 외재적인 변수간의 관련성이 검사 점수를 해석하
는 데 기반이 되는 구인과 얼마나 일관성을 갖는지를 분석
⇒ 외재적 변수
‘검사 점수가 예측할 것으로 기대되는 변수’, ‘검수가 측정하려는 동일
or 관련된 구인’, ‘구별되는 구인을 측정하는 다른 검사 점수’ 등
⇒ ‘수렴적 또는 판별적 증거’ ‘검사-준거 관련성’
‘타당도 일반화’ 로 구분되어진다.
25. 3. 타당도의 통합적 관점
5) 검사결과에 기초한 증거
⇒ 의도하거나 의도하지 않은 검사 사용의 결과를 분석하는 것
⇒ 검사 사용의 결과가 직접적으로 타당도와 관련된 증거인지
타당도 영역 밖에 해당하는지를 구별하는 것이 중요
26. 3. 타당도의 통합적 관점
• 모든 타당도 증거들의 판단준거
⇒ 검사가 측정하려는 구인과의 일관성 또는 관련성
• 타당도 연구에서 중요한 것
⇒ 타당도 증거들의 총망라성(exhaustiveness)이 아닌, 수
집 가능한 증거들을 통해서 검사 점수 해석과 활용을 정당화
할 수 있는 설득력 있는 주장을 하는 것
27. 3. 타당도의 통합적 관점
결론적으로, 통합적 관점에서의 타당도란
수집된 여러 타당도 증거들을 이론적 논리 안에서 통합하여
얻어진 평가적 주장
