2. 1. 컴퓨터화 검사의 등장
• 컴퓨터화 검사란 간단히 말해, 컴퓨터를 활용한
검사를 가리킨다.
• 컴퓨터가 등장한 교육에서도 점점 보편적으로
사용되면서 이를 검사에서도 활용하려는 시도
또한 꾸준히 증가하고 있다.
3. ◆ 컴퓨터를 활용한 검사의 증가 이유
① 평가의 타당성이 증가할 수 있다.
─ 비언어적 정보를 해석하는 능력을 평가하는 시험의
경우
② 표준화를 통해 신뢰도가 증가할 수 있다.
─ 예를 들어, 대화능력을 평가하는 경우 역할극보다
대화형 프로그램을 이용한 검사가 표준화가 높아져 신뢰
가 증가할 수 있다.
③ 얻을 수 없던 정보를 얻을 수 있다.
─ 학생이 문제를 푸는 데 소요한 시간, 문제를 풀기 위
해 거친 과정 등
④ 검사의 시행이 편리해진다.
─ 일관성, 정확성, 신속성 등
5. (1) 컴퓨터보조검사(computer assisted testing)
▶초기에는 지필검사를 채점하거나 분석할 때
편의를 위해 보조적인 역할로 주로 사용됨
▶검사의 채점과 결과 통보에 걸리는 인력과
시간, 경비 등을 절약가능
▶결과의 저장도 매우 편리해짐
(2) 컴퓨터이용검사(computerized testing)
▶종이와 연필 대신 컴퓨터 사용
▶ 다양한 그래픽 자료와 음성, 동영상 등이 포
함된 새로운 유형의 문항이 등장 그 동안 측
정되지 못한 능력 측정 가능
6. (3) 컴퓨터 개별적응검사(computerized adaptive
testing)
단순매체로만 컴퓨터를 활용하는 것을 넘어서
피험자의 능력이나 특성 수준에 적합한 문항들
을 선별해서 이러한 문항들로만 구성된 검사를
개별적으로 실시하도록 해준다.
7. (4) 지속적 측정(Continuous Measurement: CM),
지능적 측정(intelligent Measurement: IM)
지속적 측정 교육측정
개인의 능력
측정, 관리
연구,
교수 통합적
학습자의
성장과정
프로파일링
자체로 수업 활동 후속적 학습, 수업 전개
8. 지능적 측정은 개인의 성장 과정과 학습 프로
파일에 근거하여 그에게 적응적이고 지적인 교
수-학습을 안내할 수 있게 할 것이다.
(5) 웹 기반 검사(Web-based testing) 또는
웹 기반 평가(Web-based evaluation)
위에서 언급한 검사들과 별개의 의미라기보다는 컴퓨
터화가 웹을 기반으로 활용되고 있는 것을 말한다.
장점
• 프로그램 수정이 용이
•원활한 의사소통을 가능하게 하
는 상호작용 시스템
•다양한 프로그램의 통합적 지원
가능
단점
• 시험 감독이 없는 상황에서 부
정행위 발생 가능
•제출된 평가 자료가 본인의 것이
아닐 수도 있음
9. 3. 컴퓨터이용검사
(1) 컴퓨터이용검사의 발달
▶ 검사에 이용되던 매체의 변화
연필과 시험지 모니터, 키보드, 마우스
▶ 전반적인 검사의 틀과 검사에서 얻을 수 있
는 정보의 변화
▶컴퓨터이용검사의 대표적인 예
CBT(computer based test)형태의 TOEFL검사
(미국 ETS에서 개발, 2000년부터 우리나라에서
도 적용)
10. (2) 컴퓨터이용검사의 장점
첫째, 다양한 그래픽 자료와 음성, 동영상 등이
포함된 새로운 유형의 문항이 등장 그 동안
측정되지 못한 능력 측정 가능
─ 검사의 정확도 증가, 피험자의 흥미 유발
둘째, 문항과 피험자에 대한 다양한 정보를 제
공해 줄 수 있게 되었다.
─ 문항을 푸는 데 소요한 시간, 전체적인 검사에 걸린
시간, 문제를 푼 양상, 검토한 횟수 등 피험자의 능력측정
에 중요한 정보
11. 셋째, 검사 시행에서의 편리를 가져다 주었다.
넷째, 장기적으로 경제적이다.
─ 전산장비 및 관련 소프트웨어 구입 등 초기 비용은
많이 들지만 시험지의 인쇄나 운반, 채점 등에 소요되는
비용이 없어짐으로써 장기적으로 비용절감의 효과가 있
다.
12. (3) 컴퓨터이용검사의 한계
첫째, 지필검사와의 동등성이 완전히 검증되지
않았다.
─ 특정 문항의 경우에는 양식효과(mode effect)가 있을
수 있다.
양식효과란, 지필이나 컴퓨터와 같이 검사를 제시하는
방식이 검사 자체에 미치는 영향을 의미한다.
둘째, 컴퓨터의 조작 능력이 검사 결과에 영향
을 미칠 수 있으며 이에 따라 새로운 측정오차가
발생할 수 있다.
13. 셋째, 컴퓨터의 시스템이 시행 가능한 문항의
형태를 제한하는 경우가 있으며 교과에 따라 적
합하지 않을 수도 있다.
─ 예를 들어, 복잡한 계산 과정이 요구되는 문항이나 집
중적인 독해를 요구하는 문항의 경우 컴퓨터로 제시할
경우 가시성이 떨어질 수 있다.
넷째, 검사 시행을 위한 초기 비용이 많이 든다.
─ 하지만 앞에서 말했듯이 장기적으로는 경제적이다.
14. 4. 컴퓨터 개별적응검사
(1) 컴퓨터 개별적응검사의 발달
컴퓨터 개별적응검사란, 지필검사와 같이 모든
피험자에게 동일한 순서로 동일한 문항을 제시
하는 것이 아니라, 사전에 구축된 문제은행에서
컴퓨터의 연산능력을 이용하여 피험자의 정답
여부에 따라 능력수준에 부합하는 난이도를 가
진 문항을 선택하여 제시하는 과정을 반복함으
로써 피험자의 능력을 추정하는 검사방법이다.
15. 개별적응검사에 사용되는 방식에는
◇ 초기- 2단계 또는 다단계 검사나 피라미드
식 검사와 같은 방법 사용
◇오늘날- 문항반응이론의 적용
(2) 컴퓨터 개별적응검사의 구성
첫째, 컴퓨터 개별적응검사에서는 지필검사보
다 많은 수의 양질의 문항을 필요로 한다. 따라
서 시험문제가 구비해야 할 필요조건을 충분히
갖춘 양질의 문제를 제작·정리·보관한 후 필요시
16. 사용할 수 있는 일련의 절차 내지 체제로서 문
제은행을 필요로 한다.
둘째, 문항반응이론은 문항의 난이도와 상관없
이 피험자의 능력을 안정적으로 추정하는 능력
모수 불변성을 지니고 있기 때문에 피험자 개인
의 능력을 안정적으로 추정해준다.
17. 셋째, 검사알고리즘은 검사 시행의 논리로서
컴퓨터 개별적응검사의 고유한 특성을 나타내는
부분이다. 이는 진행 과정에 따라 초기에 특정
문항을 제시하는 기준, 다음 문항을 선별하는 기
준, 검사를 종료하는 기준으로 구성되어 있다.
종료기준을 만족할 때까지 반복적으로 계속됨
18. (3) 컴퓨터 개별적응검사의 장점
첫째, 피험자의 능력 수준에서 크게 벗어나는
문항은 제공하지 않는다.
─ 자신의 능력 수준에 적합한 검사 상황 덕에 지루함과
불안함 감소, 검사 더욱 잘 몰입 가능
둘째, 보다 효율적인 검사를 실시할 수 있으며
시간과 경비가 절감되는 효과를 가져온다.
셋째, 인쇄된 검사지를 사용할 경우 인쇄 및 운
반 과정에서 나타날 수 있는 보안 문제와 시험
실시 중에 나타날 수 있는 부정행위를 막을 수
있다.
19. 넷째, 정답에 오류가 있더라도 전체 검사 결과
에는 큰 영향을 미치지 않는다.
컴퓨터 개별적응검사의 경우 잘못된 정답이 있
더라도 일부 피험자에게만 영향을 미치며, 이때
에도 자기교정적 특성상 합격과 불합격의 결정
에는 큰 영향을 미치지 않는다.
(4) 컴퓨터 개별적응검사의 한계
첫째, 한번 응답한 문항에 대해서 다시 돌아가
답을 검토하거나 수정하기가 어렵다.
─ 문항 수정을 가능하게 하는 경우, 피험자가 고의적으
로 오답을 한 후 뒤에 제시되는 난이도가 쉬운 문항에 대
20. 해 응답을 하고 검사 종료 직전 먼저 응답한 문항에 대해
다시 돌아가 이를 수정하는 전략을 쓸 수도 있다.
둘째, 피험자들에게 큰 부담과 스트레스를 주
는 경향이 있다.
─ 앞에서 말한 바와 같이 수정 불가능, 텍스트에 밑줄을
긋거나 답지에 표시하는 등의 검사 전략 사용 불가능 등
셋째, 맥락효과(context effect)를 지니는 문항
이 있는 경우 공정한 검사를 실시하는 데 방해가
되기도 한다.
─ 맥락효과란 먼저 풀었던 문항이 이후에 계속되는 문
항의 응답에 미치는 영향을 말한다.
21. 컴퓨터 개별적응검사에서는 문항이 제시되는 순서가 피
험자마다 모두 다르기 때문에 문제를 더 유리하게 푸는
사람도 있고 그렇지 못한 사람도 있게 된다.
넷째, 컴퓨터 개별적응검사가 여러 차례 실시
됨에 따라 특정 문항의 노출도가 지나치게 높아
질 우려가 있으며 새로운 보안의 문제가 제기될
우려가 있다.
─ 한정된 문제은행을 이용하여 검사를 반복적으로 실시
할 경우
다섯째, 지필검사와의 동등성이 완전히 검증되
지 않았다.
