2. Project HighLight
1. 시장조사 – 3p
2. 컨셉 설계 – 4,5p
(1)고객니즈에 맞춘 기능설계
(2)기능소개
3. 성능 검증 -6p
4. 결과 및 계획 -7p
목차
(1) 어떠한 객관식 시험에도 적용가능한 채점서비스
• 저희 서비스는 이용고객 입력답안 데이터의 최빈값 기준으로 채점을 하기에, 실제 문제 정보를
필요로 하지 않습니다. 이는 가답안반출이 가능한 모든 객관식 시험에 적용가능합니다.
• 최빈값기준의 채점은, 문제의 난이도나 유형, 모집된 표본의 수에 따라 정확하지 않을 수 있기에,
유효한 표본의 수를 검증하고, 채점의 신뢰도를 제공하며, 필터링을 통해 정확도를 향상시킵니다.
• 모 수학학원 모의고사의 실제 답안데이터 32Set를 대상으로 가채점서비스의 성능검증을 마쳤습니다.
• 필터링 기능 없이, 25명이하의 표본에 최빈값 기준 채점만으로 62.5% 데이터에 100% 채점정확도를 검증했으며,
표본을 늘리거나, 답안 필터링 기능을 활용하여 85%의 시험에 대해 100% 채점정확도를 검증했습니다.
• 가답안 데이터가 아닌, 제출답안 데이터인 만큼, 빠른 서비스 제공을 통한 가답안 데이터 확보가 필요합니다.
• 답안을 입력받아 CSV파일로 전환해주는 서버와, 채점기능과 정확도를 향상시키는 세 가지 필터링
기법의 검증을 마쳐, 6월 12일 투자자산운용사 수험생들 대상으로 MVP모델 배포 예정입니다.
• 성능검증이 가답안이 아닌 실제 제출답안을 기준으로 이루어졌기에, 해당 시험의 가답안 데이터를
확보하여, 배포된 가채점 서비스의 문제점을 해결하고, 성능향상을 시키려고 합니다.
(2) 성능검증 완료
(3) MVP제작 완료, 6월 12일 서비스 배포 예정
3. 시스템종합설계 | All-in-one 가채점서비스 3
841,300
5
6
7
8
9
2016 2017 2018 2019 2020 2021
십만
10
11
12%
15%
18%
2016 2017 2018 2019 2020
취업시험 준비경험(여부)
첫취업까지걸리는기간(개월)
취업준비생 추이 취업시험경험여부, 취업까지시간 출
처
:
경
제
활
동
인
구
조
사,
통
계
청
출
처
O
P
E
N
S
U
R
V
E
Y
취업/이직준비시 준비 내용
- 취준생의 지속적인 증가추세 : 84만명(,2021)
- 취업준비여부, 취업까지의 기간 또한 증가추세(21년은 코로나 특수)
취업/이직 준비 시, 일반 자격증 > 영어 > 직무관련 자기개발 순으로 준비
자격시험
시장현황
가채점
서비스
현황
가채점 서비스 주요 플레이어
- 수능시험, 공무원 시험을 제외하고는 채점 서비스 부재
- 이외의 일부 시험들은 수강생들에 한해 채점서비스 제공
- 나머지 시험은 커뮤니티를 통한 문제복원 형식의 가채점활용
한정된
취업문을
뚫기 위해
자격시험
시장은 더욱
더 활발해질
예정
“
”
이렇다 할
가채점
서비스 부재
커뮤니티
통한
문제복원 식
가채점이
대부분
“
”
가채점
서비스
수요
“ ”
23%
48%
0% 10% 20% 30% 40% 50%
1
2
3
4
5
81%
예
아니오
62%
예
아니오
가채점 경험(여부) 해당 서비스 사용의사(1~5) 실제 시험 시 가답안 작성의향 70% 이상의 해당 서비스 사용의사 확인
- 가채점 경험 및 실 서비스 사용의사 관련 설문(대학생120명, 3일)
- 가채점여부(예,62%) -> 가채점경험(4~5,71.2%),
해당서비스 사용의사(4~5,70%),가답안작성의향(예,80.7%)
- 서비스 미사용의사 이유(중복가능, 필요없어서:34.8%,
가답안작성의 애로사항:47.8%, 귀찮아서 : 47.8%
시장조사
4. 시스템종합설계 | All-in-one 가채점서비스 4
해당 서비스의 주요 기능은 1.답안 입력 2. 채점기능 3. 채점 신뢰도 제공 4. 채점정확도 향상 입니다
최소한의 필수기능들만 갖춰 빠르게 검증하고, 6월 12일 시험에 서비스를 제공하여 반응을 확보할 예정입니다
고객요구사항 – 실현가능한 기능 맵핑
객관식 가채점 (웹)서비스
채점
신뢰도
필터링
1
Bayes 정리
답안
입력
최빈값 기준 2 3
채점
BackEnd - Python
FrontEnd – HTML,CSS
가채점 서비스 주요기능
- 설문조사를 통한 의견과 수험생 인터뷰를 통해 고객요구사항 확보
주요 요구사항으로는 합불여부제공, 정확도 높은 채점, 응시자/시험 통계 등
- 실현가능한 요구사항을 분류하고, 실현가능한 기능의 구현부터가 목표
- 접근성 좋고 정확한 채점과, 채점신뢰도, 시험관련정보 제공부터 구현을 목표
- 시험문제와 관련된 정보제공은 우선 배제(시험문제정보 없이 채점서비스 제공)
- 초기서비스는 HTML&CSS(front-end)와 파이썬(back-end)으로 구성한 Web-Service
- 주요 기능으로는 1. 답안을 입력받는 기능, 2. 최빈값 기준으로 채점 기능
3. (부정확할 수 있는 채점 정확도를 위한) 채점 신뢰도 제공 기능,
4. (정확한 채점을 위한) 답안 필터링기능
- 실제 시험의 가답안을 입력받는 것이 중요하여, 최소한의 기능만 우선적으로 제공
“ ”
컨셉설계(1)
5. HTML과 CSS를 활용한
웹페이지 활성화
주요기능
- 사용자의 입력답안을
CSV파일로 변환
- 자격증 정보 확인
https://teamtrio.netlify.app/in
dex.html
시스템종합설계 | All-in-one 가채점서비스 5
답안입력 최빈값 기준의 채점 채점 신뢰도 제공 – 베이즈정리 (
최빈값 갯수
최빈값 갯수+두번째 최빈값갯수
)
필터링 1 – n회 이상 일렬로 입력한 답안 학습 제외
출처 : 평가원 수학 모의고사 가형 21번 정답률(=45% >20%)
가채점 서비스의 핵심 : 최빈값 이용한 채점
- 정답률 >
𝟏
선지수
활용 (𝑒𝑥)45% >
1
5
- Pandas DataFrame을 활용한 최빈값 도출 및 채점
- 모든 객관식 시험에 적용가능
Ex) 정답: 1번, 두번째로 채택이 많은 선지 : 2번
--> 거의 모든 객관식 문제는 두 선지 중에서 고민
A = 1번선지의 채택횟수 , B = 2번선지의 채택 횟수
C = 두 선지 중 하나가 헷갈리는 경우
= 1번선지의 채택횟수 + 2번선지의 채택횟수 = AUB
P(A|C) = 두 선지가 헷갈릴 때, A가 정답일 확률
=
𝑷 𝑨⊓𝑪
𝑷 𝑪
=
𝑷 𝑨⊓ 𝑨𝑼𝑩
𝑷 𝑪
=
𝑷 𝑨
𝑷 𝑪
=
𝟏번선택횟수
𝟏번채택횟수+𝟐번채택횟수
(*100)(%)
필터링 2 – n점 이하의 답안 학습 제외 필터링 3 – 상위 n% 학생 답안 기준 채점 제공
일렬로 입력한 답안을 학습에서 배제하여 채점 정확도 향상
슬라이싱을 활용한 조건문으로
N회이상 동일 값 입력 시 DataFrame에서 Drop
N점 이하의 답안을 학습에서 배제하여 채점 정확도 향상
(현재 최빈값 기준 채점점수가)
N점 이하일 시 DataFrame에서 Drop
정답률이 낮은 문항의 채점 정확도를 높일 방안
정답률 <
𝟏
선지수
인 문제를, 고득점자가
다른 수험생보다 맞출 확률이 높다는 가설을 세워,
상위 N% 학생의 답안을 추출하여 새로운 DataFrame 생성
컨셉설계(2)
6. 시스템종합설계 | All-in-one 가채점서비스
32회차의 실제 시험, 62.5% 에 100% 채점정확도(필터링 無)
85% 에 100% 채점정확도 (필터링 有) 를 검증했습니다.
성능검증
검증
DataSet
- 모 학원의 실제 응시답안 32set
- 응시자 200~300명대 17set
- 응시자 40~80명대 15set
- 객관식 15문항, 5지선다
- 정답률 20%이하 문제O
원본 데이터
전처리
입력 답안만 나오도록 처리
검증
가채점 검증 결과
(해당 DataSet들은 정답률 10~30%대의 문제 하나 이상
있음에도)
62.5% Data에 25명 이하의 표본과 최빈값기준 채점만으로
100% 채점정확도를 가짐
표본을 더 늘리거나, 필터링기능을 적용하면,
85%의 Data에 100% 정확도를 가짐(15% Data는 한 문제
오채점)
검증
결과
시험특성별로 필터링 기능에 대한 유연한 변경이 필요할 수 있습니다
해당 검증의 한계점
- 하나의 유형( 사설 수학 모의고사)에 대해서만 검증을 했다는 점
- 실제 가답안이 아닌, 실제 제출답안을 대상으로 검증을 했다는 점
- 해당시험의 특성에 맞추어 필터링을 개선했다는 점(한 문제로 만점자가 갈림)
: 상하위 N,n% 구간기준 채점으로 3개 회차 정확도 향상 과적합가능성
- 실제 가답안 데이터를 빠른시일 내로 확보하여, 가답안 데이터의 특성수집 필요
- 시험별 문제특성을 수집할 필요성 : 낚시문제나, 초고난이도 문제의 유무 등
이에 따라 해당 시험의 필터링기능 수정이 필요
“결국 빠른 서비스 제공으로 다양한 가답안 데이터 수집이 시급!”
“ ”
6
7. 시스템종합설계 | All-in-one 가채점서비스 7
“ 불편사항의 실제 수요를 검증하기위해 , 설문과 사용자 인터뷰 진행 ”
결과 및 계획
최빈값 기준의 채점 방식을 통해
어떠한 객관식시험에도
채점이 가능합니다.
85%의 데이터Set에
100% 채점정확도를 보였으며,
15% 데이터는 1 문항에 대해서만
오채점을 했습니다.
초기 가정사항이었던,
시험주관사와의 이해상충문제는
여전히 유효합니다.
서비스 실수요 신속한 입증필요
성능 검증에 사용된
DataSet이 한 가지 유형이며,
실 제출답안이라는 한계가있습니다
가채점 서비스의 현황 및 결과 차후 계획
6월 12일 MVP(Minimum Viable Product) 배포예정
- 6월 12일 투자자산운용사 수험생들
대상으로 해당 서비스의 최소기능모델
제공예정( 현재 홍보중 )
- 해당 시험은 문제복원방식의
가채점 수요가 상당히 많은 시험
서비스의 실제 수요 파악
&
가답안 데이터에 대한 성능평가와
서비스 기능 개선이 이루어질 예정!
9. Appendix
30
33
36
39
2016 2017 2018 2019 2020
십만 국가기술자격응시자
현황
서비스건의&불편사항
가답안 미작성 시 이용할 수 없다는 문제해결이 필요하겠다
해당 시험 + 이전시험의 평균점수도 제공해줬으면 좋겠다
각 시험의 시험별 유의사항이나 답안지 작성방식도 제공해줬으면 좋겠다
시험별로 가채점표를 제공해줬으면 좋겠다
답안별 정답선택률을 제공해줬으면 좋겠다
가채점시, 기준(비교할 정답지, 복원문제)이 없어 힘들었다
가채점 시, 실제 입력답안과 다른 경우가 있는데, 이는 시간적 여유가 없어 그런 것 같다.
이 문제도 해결 해 줬으면 좋겠다
문제복원을 하면서 해당 답이 불확실하다고 느꼈다.
현재 가채점 서비스의 너무 많은 광고
다른가채점서비스건의
문제에 대한 해설도 제공을 해줬으면 좋겠다.
가답안 미작성한 사람도 채점을 할 수 있도록,
문제 복원과 그에 대한 답안을 체크하며 채점하는 서비스를 제공했으면 좋겠다
해당서비스 미사용 이유
가채점 하는 것이 눈치가 보이고, 그 시간에 문제에 공을들이는게 낫다고 생각한다
해당 서비스 출시시 사용의향(1~5)
가채점 안하는 이유(중복가능)
2.대학생 120명 대상의 가채점 서비스 관련 설문 응답결과 4. MISSION STATEMENT
Assumption & Constraints
■ 저작권 문제
■ 양질의 데이터 확보 불확실성
■ 신속하고 정확한 가채점 기입방안 부재
■ 시험주관사와 이해상충 문제
■ 초기 고객 서비스 제공에 필요한 표본 확보 불확실
■ 제품 및 서비스를 이용한 고객이 정확한 정보를 확인 할 수 있도록 함
Stakeholders
■ 자격증 시험을 응시하는 취준생 및 이직준비생
■ 자기개발 및 커리어패스 관심 고객 및 기업
■ 시험 응시자 및 시험주관사
10. #Csv 이용하여 데이터 입력
Appendix
#일렬로 밀어버린 답안 삭제 함수
#최빈값 추출 함수 + 최초 최빈값으로 채점 후 정확도와 등수를 매김
13. Appendix
웹페이지 구성 방식
Index.html을 통한 웹페이지 홈화면 구현
Imgages폴더를 통한 각페이지 background image표시
Answers_A ~C.html를 통한 개별 메뉴 구현
Style.CSS를 통한 텍스트 글꼴 색상등 레이아웃을 각
html파일마다 입력해주지 않고 Load시켜 통일화.
14. Appendix
웹페이지 작동 방식
답안을 입력한 후 필수 제출요소인 “이름“,
“이메일＂를 입력해야지만 제출이 가능하도록 구현
제출버튼을 클릭시 사용자의 답안이 구글 스프레드
시트로 타임스탬프, 이름, 이메일, 답안을 실시간으로
저장 및 사이트 관리자는 수시로 확인이 가능함.
