SlideShare a Scribd company logo
1 of 40
실시간 통화내용 분석을 통한
보이스피싱 예방 애플리케이션
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
양지훈
2018104128
사범대학 컴퓨터교육과
Jeju National University
Department of Computer Education
jhy0787@gmail.com
이충훈
2020104136
사범대학 컴퓨터교육과
Jeju National University
Department of Computer Education
lchh2001@gmail.com
후니조
2022-1 캡스톤디자인 제안발표
Contents
1. 연구개발 배경 및 중요성 (Background and Significance)
2. 연구개발 목표 (Specific Aims)
3. 연구개발 내용 및 방법 (Research Design and Method)
4. 활용 기자재 및 재료 (Equipment Required)
5. 참여 연구원 현황 및 역할분담 (The Role of Researchers)
6. 참고문헌 (Reference)
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
1. 연구개발 배경 및 중요성
BackgroundandSignificance
2022-1 캡스톤디자인 제안발표
Source : 1) https://www.fss.or.kr/fss/main/contents.do?menuNo=200354, 2022.03.23. 인용
2) SBS NEWS
1. 연구개발 배경 및 중요성
• 보이스피싱이란?1)
• Phishing(피싱)에서 파생된 용어
• 전자통신수단 등을 이용하여 개인정보를 낚아 올린다는 뜻
• Private(개인정보)과 Fishing(낚시)의 합성어
• Voice(음성)와 Phishing(피싱)의 합성어
• 전화를 통해 불법적으로 개인정보를 이용하여 금전적 이득을 꾀하는 범죄
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
2)
1. 연구개발 배경 및 중요성
• 연구 개발 과제의 필요성 및 중요성
• 보이스피싱 범죄로 인한 피해는 지난 10년간 23만 2,287건, 피해액은 3조 2,333억원1)
• 일 평균 63건/8억 8,583만원 피해, 피해 건 당 1,400만원
• 보이스피싱 피해 대상이 주로 노년층이었던 과거와는 달리, 최근에는 20대 피해가 증가2)
• 전 연령층을 대상으로 피해가 발생하며 보이스피싱 예방에 대한 국민적 관심 증가
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
Source : 1) https://www.boannews.com/media/view.asp?idx=100557, 2022.03.23. 인용
2) https://www.donga.com/news/Society/article/all/20220105/111095788/1, 2022.03.23. 인용
1. 연구개발 배경 및 중요성
• 선행 연구 분석 (Literature review)
• 윤해성·곽대경의 연구(2009)1)
• 우리나라와 대만·일본·미국의 보이스피싱 사례를 분석
• 한국의 법률적·제도적·기술적 측면의 문제점을 지적
• 이기수의 연구(2018)2)
• 최근 보이스피싱의 범죄 수법 동향과 법적 대응방안을 분석하며 법적 개선방안을 모색
• 홍성삼의 연구(2019)3)
• 국가별 피싱 범죄 예방대책을 분석
• 한국의 법률적·제도적 측면의 문제점을 지적
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
Source : 1) 윤해성・곽대경 (2009). 보이스피싱의 예방과 대책마련을 위한 연구. 한국형사사 정책연구원.
2) 이기수(2018). 최근 보이스피싱의 범죄수법 동향과 법적 대응방안. 범죄수사학연구, 7, pp3-19.
3) 홍성삼(2019). 피싱 사기범죄에 대한 인터폴 및 국가별 대응정책 비교연구. 경찰학논총, 14(1), pp101-130.
1. 연구개발 배경 및 중요성
• 선행 연구 분석 (Literature review)
• 정고은·김영래·민윤기의 연구(2017)1)
• 보이스피싱과 심리적 트리거와의 연관성을 연구
• 기술적 측면의 연구뿐만 아니라 심리적 취약점에 대한 연구 필요성 주장
• 후후앤컴퍼니2)
• AI 기반의 실시간 보이스피싱, 스미싱 방지 시범서비스 개발
• 김민정·김은미의 연구(2021)3)
• 보이스피싱 피해 경험과 영향요인을 연구
• 금융사기 교육 여부와 보이스피싱 관련 경험이 연관성이 있음을 밝힘
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
Source : 1) 정고은,김영래,민윤기(2017). 심리적트리거를 적용한 보이스피싱 사례분석: 사회공학을 중심으로. 사회과학연구, 28(4), pp181-194.
2) 김준원(2020). AI 기반의 실시간 보이스피싱・스미싱 방지 시범 서비스. 2020 데이터 플래그십 사례집, pp64-73.
3) 김민정・김은미(2021). 보이스피싱 피해 경험 및 영향요인 분석. 소비자문제연구, 52(1), pp52-71.
2. 연구 개발 목표
SpecificAims
2022-1 캡스톤디자인 제안발표
2. 연구개발 목표
• 선행 연구 개발의 문제점과 개선 목표(1/3)
1) 보이스피싱 범죄 예방을 위한 기술적 해결방법 측면의 연구가 부족
• 문제 내용 : 보이스피싱 범죄 피해 사례 및 통계 분석 관련 연구 위주
• 개선 목표 : 통화내용 분석을 통한 보이스피싱 판별 모델 개발
• 세부 과제
• 보이스피싱 범죄 통화 녹음 데이터셋 수집
• 보이스피싱 범죄 통화를 판별할 수 있는 인공지능 모델 개발
• 실시간으로 음성 데이터를 처리할 수 있는 인공지능 모델 서버 구축
• 실시간으로 통화 내용을 서버로 전송할 수 있는 애플리케이션 개발
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
2. 연구개발 목표
• 선행 연구 개발의 문제점과 개선 목표(2/3)
2) 보이스피싱 범죄 예방 교육 기능의 부재
• 문제 내용 : 기 개발된 서비스에는 보이스피싱 범죄 예방 교육과 관련한 기능이 존재하지 않음
• 개선 목표 : 사용자가 보이스피싱을 스스로 예방할 수 있는 보이스피싱 예방교육 기능 제공
• 세부 과제 :
• 학습자 맞춤형 교육을 위한 사용자 유형 분석 기능 개발
• 보이스피싱 범죄 시나리오 체험 기능 구현
• 보이스피싱 범죄 통화 체험 기능 구현
• 보이스피싱 범죄 대처 방법 퀴즈 기능 구현
• 보이스피싱 예방 콘텐츠(웹툰, 동영상 등) 제공 기능 구현
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
2. 연구개발 목표
• 선행 연구 개발의 문제점과 개선 목표(3/3)
3) 보이스피싱 의심 통화 내용을 공유하기 어려움
• 문제 내용 : 보이스피싱 통화 내용을 타인과 공유하려면 복잡한 과정을 거쳐야 함
• 개선 목표 : 가족 및 지인 등을 사칭한 보이스피싱 통화내용을 빠르게 공유할 수 있는 기능 개발
• 세부 과제 :
• 통화 녹음 파일을 공유할 그룹을 내용을 생성하고 관리하는 기능 개발
• 통화 녹음 파일을 미리 지정한 그룹별로 손쉽게 공유할 수 있는 기능 개발
• 경찰 등 유관기관으로 통화 녹음 파일을 빠르게 제공할 수 있는 기능 개발
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
2. 연구개발 목표
• 기술개발 목표(1/2)
1) 보이스피싱 탐지 인공지능 모델 개발
• SK Tbrain KoBERT (한국어 BERT 모델)
• 통화 시작 후 2분 이내 70% 이상 탐지
• 금융감독원 보이스피싱 범죄 사례 데이터셋
• 60초 이상 음성파일 400건 이상 수집
• Train data(60%), Validation data(20%), Test data(20%)로 구성
• KoNLPy1)와 KSS2)를 이용하여 Tokenizing
• Py-hanspell3)을 이용하여 어법 오류 수정
• Soynlp4)를 이용하여 정규화
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
Source : 1) https://konlpy.org/en/latest/, 2022.04.05. 인용
2) https://github.com/hyunwoongko/kss, 2022.04.05. 인용
3) https://github.com/ssut/py-hanspell, 2022.04.05. 인용
4) https://github.com/lovit/soynlp, 2022.04.05. 인용
2. 연구개발 목표
• 기술개발 목표(2/2)
2) 보이스피싱 예방 어플리케이션 개발
• 실시간 통화 분석 기능
• 전화 수신 이벤트 발생 시 자동으로 활성화되어 기능 수행
• 서버 데이터 전송 시 공개키 암호화 알고리즘을 이용한 종단 간 암호화 적용
• 보이스피싱 범죄 예방 교육 기능
• 사용자 유형 분석을 통한 맞춤형 교육 제공(연령, 성별, 직업 등)
• 보이스피싱 통화 녹음 공유 기능
• 보이스피싱 의심 통화 종료 후 공유 여부를 묻는 팝업 발생
• 그룹 설정 지원으로 특정 그룹의 사람들에게 한번에 통화 녹음 공유 가능
• 카카오톡 메시지를 이용하여 통화 녹음 파일 전송
• 경찰 등 유관기관으로 통화 녹음 공유 및 신고 기능 지원
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
2. 연구개발 목표
• 목표 대상
• 스마트폰을 가지고 있는 모든 사람
• 2021년 기준 대한민국 성인의 스마트폰 사용률 95%1)
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
Source : 1) https://www.gallup.co.kr/gallupdb/reportContent.asp?seqNo=1217, 2022.04.05. 인용
2. 연구개발 목표
• 기대 효과
• 사용자가 보이스피싱을 판단하지 못하는 상황에서도 인지할 수 있음
• 보이스피싱 탐지 모델이 실시간으로 통화 내용을 분석하여 사용자에게 알림 제공
• 보이스피싱 전화가 실제 범죄 피해로 이어지는 것을 예방할 수 있음
• 사용자 스스로 보이스피싱 예방법과 대처방법을 학습할 수 있음
• 기술적 한계로 인공지능 모델이 보이스피싱을 탐지하지 못하는 상황에서도 사용자 스스로 인지하고
대처할 수 있음
• 보이스피싱 통화 내용을 손쉽게 공유할 수 있음
• 가족 및 지인 등을 사칭한 보이스피싱 전화를 받은 경우 통화 내용을 주변인에게 신속하게 전송하여
추가 피해 확산을 예방할 수 있음
• 경찰 등 유관기관에 신속한 신고 및 통화 내용 공유가 가능함
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
3. 연구개발 내용 및 방법
ResearchDesignandMethod
2022-1 캡스톤디자인 제안발표
3. 연구개발 내용 및 방법
• 연구개발 구조도
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
3. 연구개발 내용 및 방법
• 요구분석 방법
• 사용자 스스로 보이스피싱을 판별할 수 있는 돕는 예방교육 기능을 제공하지 않음
• 사용자가 애플리케이션에 의존하는 경향을 보일 수 있음
• 보이스피싱 의심 통화 내용을 공유하기 어려움
• 복잡하고 번거로운 과정을 거쳐야 타인과 통화 내용을 공유할 수 있음
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
3. 연구개발 내용 및 방법
• DFD
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
3. 연구개발 내용 및 방법
• 순서도
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
3. 연구개발 내용 및 방법
• 사용자 인터페이스(UI)
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
3. 연구개발 내용 및 방법
• 사용자 인터페이스(UI)
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
3. 연구개발 내용 및 방법
• 데이터셋(1/2)
• 금융감독원 보이스피싱 범죄 통화 녹음 데이터
• 지난 7년간(2015~) 실제로 발생한 보이스피싱 범죄 통화 녹음 데이터
• 전체 412건 중 수사기관 사칭형(227건), 대출사기형(185건)으로 구성
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
https://www.fss.or.kr/fss/bbs/B0000207/list.do?menuNo=200691, 2022.04.04. 인용
3. 연구개발 내용 및 방법
• 데이터셋(2/2)
• 활용 방안
• 각 유형별 데이터를 무작위로 6:2:2 비율로 나누어 사용
• Train data(60%), Validation data(20%), Test data(20%)
• Overfitting(과적합)방지를 위하여 Validation data와 Test data를 분리함
• 모델 학습 과정에서 데이터 부족으로 인한 Underfitting(과소적합) 발생 시 Cross Validation
(교차검증) 사용 예정
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
1)
Source : 1) https://blog.daum.net/dhlee-0915/87, 2022.04.05. 인용
3. 연구개발 내용 및 방법
• BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding)
• 2018년 구글의 Devlin이 제안한 자연어 처리 신경망 구조1)
• 위키피디아의 25억개, BookCorpus의 8억개 Unlabled 데이터를 이용하여 사전 훈련
• 전이 학습(Fine-tuning)방법을 사용하여 짧은 학습 시간으로 우수한 성능
• 양방향 자연어 처리 모델로, 문장의 앞과 뒤의 문맥을 고려할 수 있음
• 단방향 처리 방식을 사용하는 GPT, ELMo 등 다른 언어 모델보다 높은 성능
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
Source : 1) 2) Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova(2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
NAACL-HLT (1) 2019, pp4171-4186.
2)
3. 연구개발 내용 및 방법
• KoBERT(Korean BERT pre-trained cased)
• 2019년 SK Tbrain에서 공개한 한국어 BERT 모델1)
• 구글에서 개발한 BERT 모델을 기반으로 500만 문장 이상의 한국어 위키와
2천만 단어 이상의 한국어 뉴스 데이터 학습
• 현재 SK텔레콤 상담 서비스 및 사내 데이터의 AI 검색, 기계 독해 기술에 사용 중2)
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
Source : 1) 3) https://github.com/SKTBrain/KoBERT, 2022.04.05. 인용
2) https://www.skt.ai/kr/press/detail.do?seq=27, 2022.04.05. 인용
3)
3. 연구개발 내용 및 방법
• 보이스피싱 범죄 예방 교육
• 사용자 유형 분석
• 학습자 맞춤형 교육 제공을 위해 서비스 가입 시 사용자 유형 분석 진행
• 사용자의 연령, 성별, 직업군을 기반으로 유형 분석
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
3. 연구개발 내용 및 방법
• 보이스피싱 범죄 예방 교육
• 차별화 전략
• 학습자 맞춤형 교육 콘텐츠 제공
• 연령, 성별, 직업군 기반의 사용자 분석 결과 활용
• 다양한 형태의 보이스피싱 예방 교육 콘텐츠 제공
• 보이스피싱 범죄 시나리오 체험
• 보이스피싱 범죄 통화 체험
• 보이스피싱 범죄 대처 방법 퀴즈
• 보이스피싱 범죄 예방 콘텐츠(웹툰, 동영상 등)
• 퀴즈 점수 별 등급제(브론즈, 실버, 골드, 다이아 등) 도입
• 청소년 등 젊은 층의 적극적인 참여 유도
• 승급 시 축하 이미지 등을 SNS 에 공유할 수 있는 기능 구현
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
3. 연구개발 내용 및 방법
• 보이스피싱 범죄 예방 교육
• 보이스피싱 범죄 시나리오 체험
• 실제 보이스피싱 사례를 바탕으로 보이스피싱 시나리오 모의 체험
• 사용자 유형 분석 결과를 바탕으로 사용자에게 효과적인 시나리오를 선정
• 사용자는 각 단계마다 자신의 행동을 선택
• 보이스피싱 피해를 당할 수 있는 행동을 선택한 경우, 애플리케이션은 해당 행동이 잘못되었음을
알려주고, 올바른 대처방법을 안내
• 사용자는 보이스피싱 시나리오 체험을 통해 보이스피싱 상황에서 어떻게 행동해야 하는지 학습
• 보이스피싱 범죄 상황을 접했을 때 올바른 대응 방법을 사용하여 대처할 수 있게 됨
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
본 발표에서 제시되는 보이스피싱 범죄 시나리오 체험 구조도는 경상북도경찰청에서 제작하여 공개한 보이스피싱 모의 체험관의 자료를 바탕으로 제작되었으며,
추후 개발 단계에서는 연구진이 수행할 보이스피싱 사례 분석의 결과를 바탕으로 각 사용자 유형별 맞춤형 시나리오를 제공할 계획임.
3. 연구개발 내용 및 방법
• 보이스피싱 범죄 예방 교육
• 보이스피싱 범죄 시나리오 체험
• 실제 보이스피싱 사례를 바탕으로 보이스피싱 시나리오 모의 체험
• 사용자 유형 분석 결과를 바탕으로 사용자에게 효과적인 시나리오를 선정
• 사용자는 각 단계마다 자신의 행동을 선택
• 보이스피싱 피해를 당할 수 있는 행동을 선택한 경우, 애플리케이션은 해당 행동이 잘못되었음을
알려주고, 올바른 대처방법을 안내
• 사용자는 보이스피싱 시나리오 체험을 통해 보이스피싱 상황에서 어떻게 행동해야 하는지 학습
• 보이스피싱 범죄 상황을 접했을 때 올바른 대응 방법을 사용하여 대처할 수 있게 됨
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방어플리케이션제안발표
3. 연구개발 내용 및 방법
• 보이스피싱 범죄 예방 교육
• 보이스피싱 범죄 통화 체험
• 금융감독원에서 공개한 실제 보이스피싱 통화 음성을 체험할 수 있는 기능
• 사용자 유형 분석 결과를 바탕으로 사용자에게 가장 효과적인 사례를 선정
• 보이스피싱 범죄 대처 방법 퀴즈
• 보이스피싱을 당했을 때의 상황 별 대처방법을 퀴즈로 제공
• 사용자 유형 분석 결과를 바탕으로 사용자에게 가장 효과적인 유형을 선정
• 보이스피싱 범죄 예방 콘텐츠
• 보이스피싱 예방을 주제로 한 웹툰, 동영상 등의 교육자료를 감상할 수
있는 기능
• 사용자 유형 분석 결과를 바탕으로 사용자에게 가장 효과적인 주제와
매체를 선정
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
3. 연구개발 내용 및 방법
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
• 구현 항목별 세부사항
• 개발 환경
• Jetbrains IntelliJ IDEA, Google Colab
• 개발 언어
• Kotlin, Python
• 라이브러리
• PyTorch, KoBERT, Google GCP, KoNLPy, KSS, py-hanspell, Soynlp
• 데이터셋
• 금융감독원 보이스피싱 범죄 통화 녹음 데이터
• 운영체제
• Windows·MacOS(개발환경), Android(모바일 어플리케이션), Linux(서버)
3. 연구개발 내용 및 방법
• 실험
• 애플리케이션 개발 후 베타테스트를 진행
• 테스트 후 테스터들에게 설문지를 배포하여 설문 진행
• 피드백을 바탕으로 기능 수정 및 보완
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
항목 문항 점수 (1~5점)
애플리케이션
애플리케이션 내 콘텐츠들이 잘 실행되는가?
애플리케이션을 사용하기 용이한가?
교육 콘텐츠
사용자의 유형에 맞는 적합한 콘텐츠를 제공하였는가?
보이스피싱을 예방하는데 도움이 되었는가?
인공지능 모델
보이스피싱 여부를 정확히 판별했는가?
보이스피싱 여부를 적절한 시간 내로 판별했는가?
통화 녹음 공유 기능
공유 기능이 잘 실행되는가?
누구나 쉽게 기능을 사용할 수 있는가?
3. 연구개발 내용 및 방법
• 연구개발 일정
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
세부과제
연구개발일정
비고
12월 1월 2월 3월 4월 5월 6월
주제 선정 및 설계
인공지능 모델 개발
애플리케이션 개발
테스트
유지보수
4. 활용 기자재 및 재료
5. 참여연구원 현황 및 역할분담
6. 참고문헌
4.ResearchDesignandMethod
5.TheRoleofResearchers
6.References
2022-1 캡스톤디자인 제안발표
4. 활용 기자재 및 재료
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
• 개요
• 최근 자연어 처리 분야에서 가장 좋은 성능을 보이고 있는 BERT모델을 활용한다.
하지만 BERT는 한국어 처리에 취약하므로, 한국어 데이터셋으로 학습된 BERT기반의
SK Tbrain의 KoBERT를 활용하여 전이 학습(Fine-tuning)을 진행한다.
• 애플리케이션은 구글에서 안드로이드 개발을 위한 공식 언어로 지정한 Kotlin을
사용하여 개발한다.
• 활용계획 및 기대효과
• 보이스피싱 탐지 모델이 실시간으로 통화 내용을 분석하여 범죄 피해를 예방할 수 있음
• 보이스피싱 예방법과 대처방법을 학습할 수 있음
• 보이스피싱 통화 내용을 손쉽게 공유할 수 있음
5. 참여연구원 현황 및 역할분담
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
• 참여연구원 현황
• 양지훈 (컴퓨터교육과 3학년 1학기)
• 이충훈 (컴퓨터교육과 3학년 1학기)
• 프로젝트 수행 조직
5. 참여연구원 현황 및 역할분담
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
• 참여연구원 간 역할분담
• 양지훈
• 딥러닝 모델 개발
• 데이터 처리 서버 구축
• 통화 내용 실시간 전송 기능 구현
• 보이스피싱 예방 교육 기능 구현
• 이충훈
• 딥러닝 모델 개발
• 데이터셋 수집 및 전 처리
• 보이스피싱 통화 녹음 및 공유 기능 구현
• 보이스피싱 예방 교육 기능 구현
6. 참고문헌
• https://www.fss.or.kr/fss/main/contents.do?menuNo=200354, 2022.03.23. 인용
• https://www.data.go.kr/data/15063815/fileData.do, 2022.03.23. 인용
• 윤해성・곽대경 (2009). 보이스피싱의 예방과 대책마련을 위한 연구. 한국형사사 정책연구원.
• 이기수(2018). 최근 보이스피싱의 범죄수법 동향과 법적 대응방안. 범죄수사학연구, 7, pp3-19.
• 홍성삼(2019). 피싱 사기범죄에 대한 인터폴 및 국가별 대응정책 비교연구. 경찰학논총, 14(1), pp101-130.
• 정고은,김영래,민윤기(2017). 심리적트리거를 적용한 보이스피싱 사례분석: 사회공학을 중심으로. 사회과학연구, 28(4), pp181-194.
• 김준원(2020). AI 기반의 실시간 보이스피싱・스미싱 방지 시범 서비스. 2020 데이터 플래그십 사례집, pp64-73.
• 김민정・김은미(2021). 보이스피싱 피해 경험 및 영향요인 분석. 소비자문제연구, 52(1), pp52-71.
• https://www.boannews.com/media/view.asp?idx=100557, 2022.03.23. 인용
• https://www.donga.com/news/Society/article/all/20220105/111095788/1, 2022.03.23. 인용
• https://github.com/SKTBrain/KoBERT, 2022.04.05. 인용
• https://www.fss.or.kr/fss/bbs/B0000207/list.do?menuNo=200691, 2022.04.04. 인용
• https://konlpy.org/en/latest/, 2022.04.05. 인용
• https://github.com/hyunwoongko/kss, 2022.04.05. 인용
• https://github.com/ssut/py-hanspell, 2022.04.05. 인용
• https://github.com/lovit/soynlp, 2022.04.05. 인용
• Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova(2019). BERT: Pre-training of Deep Bidirectional Transformers for Language
Understanding. NAACL-HLT (1) 2019, pp4171-4186.
• https://www.skt.ai/kr/press/detail.do?seq=27, 2022.04.05. 인용
• https://gbpolice-preventphishing.kr/, 2022.04.05. 인용
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
감사합니다

More Related Content

What's hot

【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究harmonylab
 
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)Daichi Kitamura
 
綺麗なスライドを作るための11の原則
綺麗なスライドを作るための11の原則綺麗なスライドを作るための11の原則
綺麗なスライドを作るための11の原則Kazuki Susa
 
<クリーク・アンド・リバー × リクルート流> 目に見える結果を出し⇒評価され⇒出世できるデジタルマーケティング術を公開
<クリーク・アンド・リバー × リクルート流> 目に見える結果を出し⇒評価され⇒出世できるデジタルマーケティング術を公開<クリーク・アンド・リバー × リクルート流> 目に見える結果を出し⇒評価され⇒出世できるデジタルマーケティング術を公開
<クリーク・アンド・リバー × リクルート流> 目に見える結果を出し⇒評価され⇒出世できるデジタルマーケティング術を公開Yuta Yamamoto
 
深層生成モデルに基づく音声合成技術
深層生成モデルに基づく音声合成技術深層生成モデルに基づく音声合成技術
深層生成モデルに基づく音声合成技術NU_I_TODALAB
 
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Keigo Nishida
 
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習SSII
 
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向SSII
 
GAN-based statistical speech synthesis (in Japanese)
GAN-based statistical speech synthesis (in Japanese)GAN-based statistical speech synthesis (in Japanese)
GAN-based statistical speech synthesis (in Japanese)Yuki Saito
 
Self training with noisy student
Self training with noisy studentSelf training with noisy student
Self training with noisy studentharmonylab
 
UX研究のテーマとアプローチ~ 混合研究法によるUX研究の事例
UX研究のテーマとアプローチ~ 混合研究法によるUX研究の事例UX研究のテーマとアプローチ~ 混合研究法によるUX研究の事例
UX研究のテーマとアプローチ~ 混合研究法によるUX研究の事例 Masaya Ando
 
Cv勉強会cvpr2018読み会: Im2Flow: Motion Hallucination from Static Images for Action...
Cv勉強会cvpr2018読み会: Im2Flow: Motion Hallucination from Static Images for Action...Cv勉強会cvpr2018読み会: Im2Flow: Motion Hallucination from Static Images for Action...
Cv勉強会cvpr2018読み会: Im2Flow: Motion Hallucination from Static Images for Action...Toshiki Sakai
 
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」TRUE_RUTILEA
 
オープンソースからの高位合成によるORB-SLAM FPGA実装
オープンソースからの高位合成によるORB-SLAM FPGA実装オープンソースからの高位合成によるORB-SLAM FPGA実装
オープンソースからの高位合成によるORB-SLAM FPGA実装直久 住川
 
論文紹介 wav2vec: Unsupervised Pre-training for Speech Recognition
論文紹介  wav2vec: Unsupervised Pre-training for Speech Recognition論文紹介  wav2vec: Unsupervised Pre-training for Speech Recognition
論文紹介 wav2vec: Unsupervised Pre-training for Speech RecognitionYosukeKashiwagi1
 
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)Hirokatsu Kataoka
 
敵対的学習による統合型ソースフィルタネットワーク
敵対的学習による統合型ソースフィルタネットワーク敵対的学習による統合型ソースフィルタネットワーク
敵対的学習による統合型ソースフィルタネットワークNU_I_TODALAB
 
Emerging Properties in Self-Supervised Vision Transformers
Emerging Properties in Self-Supervised Vision TransformersEmerging Properties in Self-Supervised Vision Transformers
Emerging Properties in Self-Supervised Vision TransformersSungchul Kim
 
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知画像処理AIを用いた異常検知
画像処理AIを用いた異常検知Hideo Terada
 

What's hot (20)

【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
 
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
 
綺麗なスライドを作るための11の原則
綺麗なスライドを作るための11の原則綺麗なスライドを作るための11の原則
綺麗なスライドを作るための11の原則
 
<クリーク・アンド・リバー × リクルート流> 目に見える結果を出し⇒評価され⇒出世できるデジタルマーケティング術を公開
<クリーク・アンド・リバー × リクルート流> 目に見える結果を出し⇒評価され⇒出世できるデジタルマーケティング術を公開<クリーク・アンド・リバー × リクルート流> 目に見える結果を出し⇒評価され⇒出世できるデジタルマーケティング術を公開
<クリーク・アンド・リバー × リクルート流> 目に見える結果を出し⇒評価され⇒出世できるデジタルマーケティング術を公開
 
深層生成モデルに基づく音声合成技術
深層生成モデルに基づく音声合成技術深層生成モデルに基づく音声合成技術
深層生成モデルに基づく音声合成技術
 
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
 
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
 
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向
SSII2020 [OS2-03] 深層学習における半教師あり学習の最新動向
 
GAN-based statistical speech synthesis (in Japanese)
GAN-based statistical speech synthesis (in Japanese)GAN-based statistical speech synthesis (in Japanese)
GAN-based statistical speech synthesis (in Japanese)
 
Self training with noisy student
Self training with noisy studentSelf training with noisy student
Self training with noisy student
 
UX研究のテーマとアプローチ~ 混合研究法によるUX研究の事例
UX研究のテーマとアプローチ~ 混合研究法によるUX研究の事例UX研究のテーマとアプローチ~ 混合研究法によるUX研究の事例
UX研究のテーマとアプローチ~ 混合研究法によるUX研究の事例
 
Cv勉強会cvpr2018読み会: Im2Flow: Motion Hallucination from Static Images for Action...
Cv勉強会cvpr2018読み会: Im2Flow: Motion Hallucination from Static Images for Action...Cv勉強会cvpr2018読み会: Im2Flow: Motion Hallucination from Static Images for Action...
Cv勉強会cvpr2018読み会: Im2Flow: Motion Hallucination from Static Images for Action...
 
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」
 
オープンソースからの高位合成によるORB-SLAM FPGA実装
オープンソースからの高位合成によるORB-SLAM FPGA実装オープンソースからの高位合成によるORB-SLAM FPGA実装
オープンソースからの高位合成によるORB-SLAM FPGA実装
 
論文紹介 wav2vec: Unsupervised Pre-training for Speech Recognition
論文紹介  wav2vec: Unsupervised Pre-training for Speech Recognition論文紹介  wav2vec: Unsupervised Pre-training for Speech Recognition
論文紹介 wav2vec: Unsupervised Pre-training for Speech Recognition
 
画像処理基礎
画像処理基礎画像処理基礎
画像処理基礎
 
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)
 
敵対的学習による統合型ソースフィルタネットワーク
敵対的学習による統合型ソースフィルタネットワーク敵対的学習による統合型ソースフィルタネットワーク
敵対的学習による統合型ソースフィルタネットワーク
 
Emerging Properties in Self-Supervised Vision Transformers
Emerging Properties in Self-Supervised Vision TransformersEmerging Properties in Self-Supervised Vision Transformers
Emerging Properties in Self-Supervised Vision Transformers
 
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知画像処理AIを用いた異常検知
画像処理AIを用いた異常検知
 

Similar to Voice phishing prevention application through real-time voice call analysis : 실시간 통화내용 분석을 통한 보이스피싱 예방 애플리케이션 제안발표자료

[이찬우 강사] Information security and digital sex crime_lecture(2020.09)
[이찬우 강사] Information security and digital sex crime_lecture(2020.09)[이찬우 강사] Information security and digital sex crime_lecture(2020.09)
[이찬우 강사] Information security and digital sex crime_lecture(2020.09)Lee Chanwoo
 
2017년도 고려대학교 사이버국방학과 입시설명 자료
2017년도 고려대학교 사이버국방학과 입시설명 자료2017년도 고려대학교 사이버국방학과 입시설명 자료
2017년도 고려대학교 사이버국방학과 입시설명 자료Seungjoo Kim
 
박한우 빅데이터 기술이전 특허소개
박한우 빅데이터 기술이전 특허소개박한우 빅데이터 기술이전 특허소개
박한우 빅데이터 기술이전 특허소개Han Woo PARK
 
빅데이터와 Sns 시대의 지방언론방송 2 (16 nov2014)
빅데이터와 Sns 시대의 지방언론방송 2 (16 nov2014)빅데이터와 Sns 시대의 지방언론방송 2 (16 nov2014)
빅데이터와 Sns 시대의 지방언론방송 2 (16 nov2014)Han Woo PARK
 
Korean information security practices 보안 인식교육
Korean information security practices 보안 인식교육Korean information security practices 보안 인식교육
Korean information security practices 보안 인식교육Bill Hagestad II
 
개인정보
개인정보개인정보
개인정보heejaekim
 
[이찬우 강사] Hsp 4th industry innovation and financial security fn(20180721)
[이찬우 강사] Hsp 4th industry innovation and financial security fn(20180721)[이찬우 강사] Hsp 4th industry innovation and financial security fn(20180721)
[이찬우 강사] Hsp 4th industry innovation and financial security fn(20180721)Lee Chanwoo
 
빅데이터와 저널리즘
빅데이터와 저널리즘빅데이터와 저널리즘
빅데이터와 저널리즘Sungkyu Lee
 
2012국가정보화백서제4편
2012국가정보화백서제4편2012국가정보화백서제4편
2012국가정보화백서제4편안 정위
 
사이버 보안의 이해 Intro to korean cyber security
사이버 보안의 이해 Intro to korean cyber security사이버 보안의 이해 Intro to korean cyber security
사이버 보안의 이해 Intro to korean cyber securityBill Hagestad II
 
청소년 위기 극복을 위한 빅데이터 기반 정책 시나리오
청소년 위기 극복을 위한 빅데이터 기반 정책 시나리오청소년 위기 극복을 위한 빅데이터 기반 정책 시나리오
청소년 위기 극복을 위한 빅데이터 기반 정책 시나리오Webometrics Class
 
Skt 스마트폰보안변화관리 제안 20100927_최종
Skt 스마트폰보안변화관리 제안 20100927_최종Skt 스마트폰보안변화관리 제안 20100927_최종
Skt 스마트폰보안변화관리 제안 20100927_최종saymi76 lee
 
농업 빅데이터를 활용한 병해충 발생 예측 모형
농업 빅데이터를 활용한 병해충 발생 예측 모형농업 빅데이터를 활용한 병해충 발생 예측 모형
농업 빅데이터를 활용한 병해충 발생 예측 모형datasciencekorea
 
마인즈랩 회사소개서 V1.5
마인즈랩 회사소개서 V1.5마인즈랩 회사소개서 V1.5
마인즈랩 회사소개서 V1.5Taejoon Yoo
 
1217digital media contents2 _ WEGETHER (final)
1217digital media contents2 _ WEGETHER (final)1217digital media contents2 _ WEGETHER (final)
1217digital media contents2 _ WEGETHER (final)ssusercd9c80
 
X corps 발표
X   corps 발표X   corps 발표
X corps 발표ssuseree92cf
 
학습분석(Learning Analytics) 활용 가능성 및 전망
학습분석(Learning Analytics) 활용 가능성 및 전망학습분석(Learning Analytics) 활용 가능성 및 전망
학습분석(Learning Analytics) 활용 가능성 및 전망Open Cyber University of Korea
 
(Ficon2015) #4 어떻게 가져갔는가, 그리고...
(Ficon2015) #4 어떻게 가져갔는가, 그리고...(Ficon2015) #4 어떻게 가져갔는가, 그리고...
(Ficon2015) #4 어떻게 가져갔는가, 그리고...INSIGHT FORENSIC
 
(FICON2015) #4 어떻게 가져갔는가?
(FICON2015) #4 어떻게 가져갔는가?(FICON2015) #4 어떻게 가져갔는가?
(FICON2015) #4 어떻게 가져갔는가?plainbit
 

Similar to Voice phishing prevention application through real-time voice call analysis : 실시간 통화내용 분석을 통한 보이스피싱 예방 애플리케이션 제안발표자료 (20)

[이찬우 강사] Information security and digital sex crime_lecture(2020.09)
[이찬우 강사] Information security and digital sex crime_lecture(2020.09)[이찬우 강사] Information security and digital sex crime_lecture(2020.09)
[이찬우 강사] Information security and digital sex crime_lecture(2020.09)
 
2017년도 고려대학교 사이버국방학과 입시설명 자료
2017년도 고려대학교 사이버국방학과 입시설명 자료2017년도 고려대학교 사이버국방학과 입시설명 자료
2017년도 고려대학교 사이버국방학과 입시설명 자료
 
박한우 빅데이터 기술이전 특허소개
박한우 빅데이터 기술이전 특허소개박한우 빅데이터 기술이전 특허소개
박한우 빅데이터 기술이전 특허소개
 
빅데이터와 Sns 시대의 지방언론방송 2 (16 nov2014)
빅데이터와 Sns 시대의 지방언론방송 2 (16 nov2014)빅데이터와 Sns 시대의 지방언론방송 2 (16 nov2014)
빅데이터와 Sns 시대의 지방언론방송 2 (16 nov2014)
 
Korean information security practices 보안 인식교육
Korean information security practices 보안 인식교육Korean information security practices 보안 인식교육
Korean information security practices 보안 인식교육
 
개인정보
개인정보개인정보
개인정보
 
[이찬우 강사] Hsp 4th industry innovation and financial security fn(20180721)
[이찬우 강사] Hsp 4th industry innovation and financial security fn(20180721)[이찬우 강사] Hsp 4th industry innovation and financial security fn(20180721)
[이찬우 강사] Hsp 4th industry innovation and financial security fn(20180721)
 
빅데이터와 저널리즘
빅데이터와 저널리즘빅데이터와 저널리즘
빅데이터와 저널리즘
 
2012국가정보화백서제4편
2012국가정보화백서제4편2012국가정보화백서제4편
2012국가정보화백서제4편
 
사이버 보안의 이해 Intro to korean cyber security
사이버 보안의 이해 Intro to korean cyber security사이버 보안의 이해 Intro to korean cyber security
사이버 보안의 이해 Intro to korean cyber security
 
건설기업의 빅데이터 시대 대응방향
건설기업의 빅데이터 시대 대응방향건설기업의 빅데이터 시대 대응방향
건설기업의 빅데이터 시대 대응방향
 
청소년 위기 극복을 위한 빅데이터 기반 정책 시나리오
청소년 위기 극복을 위한 빅데이터 기반 정책 시나리오청소년 위기 극복을 위한 빅데이터 기반 정책 시나리오
청소년 위기 극복을 위한 빅데이터 기반 정책 시나리오
 
Skt 스마트폰보안변화관리 제안 20100927_최종
Skt 스마트폰보안변화관리 제안 20100927_최종Skt 스마트폰보안변화관리 제안 20100927_최종
Skt 스마트폰보안변화관리 제안 20100927_최종
 
농업 빅데이터를 활용한 병해충 발생 예측 모형
농업 빅데이터를 활용한 병해충 발생 예측 모형농업 빅데이터를 활용한 병해충 발생 예측 모형
농업 빅데이터를 활용한 병해충 발생 예측 모형
 
마인즈랩 회사소개서 V1.5
마인즈랩 회사소개서 V1.5마인즈랩 회사소개서 V1.5
마인즈랩 회사소개서 V1.5
 
1217digital media contents2 _ WEGETHER (final)
1217digital media contents2 _ WEGETHER (final)1217digital media contents2 _ WEGETHER (final)
1217digital media contents2 _ WEGETHER (final)
 
X corps 발표
X   corps 발표X   corps 발표
X corps 발표
 
학습분석(Learning Analytics) 활용 가능성 및 전망
학습분석(Learning Analytics) 활용 가능성 및 전망학습분석(Learning Analytics) 활용 가능성 및 전망
학습분석(Learning Analytics) 활용 가능성 및 전망
 
(Ficon2015) #4 어떻게 가져갔는가, 그리고...
(Ficon2015) #4 어떻게 가져갔는가, 그리고...(Ficon2015) #4 어떻게 가져갔는가, 그리고...
(Ficon2015) #4 어떻게 가져갔는가, 그리고...
 
(FICON2015) #4 어떻게 가져갔는가?
(FICON2015) #4 어떻게 가져갔는가?(FICON2015) #4 어떻게 가져갔는가?
(FICON2015) #4 어떻게 가져갔는가?
 

More from Jihoon Yang

Voice phishing prevention application through real-time voice call analysis :...
Voice phishing prevention application through real-time voice call analysis :...Voice phishing prevention application through real-time voice call analysis :...
Voice phishing prevention application through real-time voice call analysis :...Jihoon Yang
 
교육심리 - 10장 생활지도 및 상담 (요약본)
교육심리 - 10장 생활지도 및 상담 (요약본)교육심리 - 10장 생활지도 및 상담 (요약본)
교육심리 - 10장 생활지도 및 상담 (요약본)Jihoon Yang
 
교육심리 - 10장 생활지도 및 상담
교육심리 - 10장 생활지도 및 상담교육심리 - 10장 생활지도 및 상담
교육심리 - 10장 생활지도 및 상담Jihoon Yang
 
Cyber hacking and Security threats (focusing on IoT security)
Cyber hacking and Security threats (focusing on IoT security)Cyber hacking and Security threats (focusing on IoT security)
Cyber hacking and Security threats (focusing on IoT security)Jihoon Yang
 
생활지도 및 상담 - 제3장 학업 (요약본)
생활지도 및 상담 - 제3장 학업 (요약본)생활지도 및 상담 - 제3장 학업 (요약본)
생활지도 및 상담 - 제3장 학업 (요약본)Jihoon Yang
 
대학생을 위한 이공계 글쓰기 - 보고서 작성방법
대학생을 위한 이공계 글쓰기 - 보고서 작성방법대학생을 위한 이공계 글쓰기 - 보고서 작성방법
대학생을 위한 이공계 글쓰기 - 보고서 작성방법Jihoon Yang
 
생활지도 및 상담 - 제3장 학업
생활지도 및 상담 - 제3장 학업생활지도 및 상담 - 제3장 학업
생활지도 및 상담 - 제3장 학업Jihoon Yang
 

More from Jihoon Yang (7)

Voice phishing prevention application through real-time voice call analysis :...
Voice phishing prevention application through real-time voice call analysis :...Voice phishing prevention application through real-time voice call analysis :...
Voice phishing prevention application through real-time voice call analysis :...
 
교육심리 - 10장 생활지도 및 상담 (요약본)
교육심리 - 10장 생활지도 및 상담 (요약본)교육심리 - 10장 생활지도 및 상담 (요약본)
교육심리 - 10장 생활지도 및 상담 (요약본)
 
교육심리 - 10장 생활지도 및 상담
교육심리 - 10장 생활지도 및 상담교육심리 - 10장 생활지도 및 상담
교육심리 - 10장 생활지도 및 상담
 
Cyber hacking and Security threats (focusing on IoT security)
Cyber hacking and Security threats (focusing on IoT security)Cyber hacking and Security threats (focusing on IoT security)
Cyber hacking and Security threats (focusing on IoT security)
 
생활지도 및 상담 - 제3장 학업 (요약본)
생활지도 및 상담 - 제3장 학업 (요약본)생활지도 및 상담 - 제3장 학업 (요약본)
생활지도 및 상담 - 제3장 학업 (요약본)
 
대학생을 위한 이공계 글쓰기 - 보고서 작성방법
대학생을 위한 이공계 글쓰기 - 보고서 작성방법대학생을 위한 이공계 글쓰기 - 보고서 작성방법
대학생을 위한 이공계 글쓰기 - 보고서 작성방법
 
생활지도 및 상담 - 제3장 학업
생활지도 및 상담 - 제3장 학업생활지도 및 상담 - 제3장 학업
생활지도 및 상담 - 제3장 학업
 

Voice phishing prevention application through real-time voice call analysis : 실시간 통화내용 분석을 통한 보이스피싱 예방 애플리케이션 제안발표자료

  • 1. 실시간 통화내용 분석을 통한 보이스피싱 예방 애플리케이션 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 양지훈 2018104128 사범대학 컴퓨터교육과 Jeju National University Department of Computer Education jhy0787@gmail.com 이충훈 2020104136 사범대학 컴퓨터교육과 Jeju National University Department of Computer Education lchh2001@gmail.com 후니조 2022-1 캡스톤디자인 제안발표
  • 2. Contents 1. 연구개발 배경 및 중요성 (Background and Significance) 2. 연구개발 목표 (Specific Aims) 3. 연구개발 내용 및 방법 (Research Design and Method) 4. 활용 기자재 및 재료 (Equipment Required) 5. 참여 연구원 현황 및 역할분담 (The Role of Researchers) 6. 참고문헌 (Reference) Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 3. 1. 연구개발 배경 및 중요성 BackgroundandSignificance 2022-1 캡스톤디자인 제안발표
  • 4. Source : 1) https://www.fss.or.kr/fss/main/contents.do?menuNo=200354, 2022.03.23. 인용 2) SBS NEWS 1. 연구개발 배경 및 중요성 • 보이스피싱이란?1) • Phishing(피싱)에서 파생된 용어 • 전자통신수단 등을 이용하여 개인정보를 낚아 올린다는 뜻 • Private(개인정보)과 Fishing(낚시)의 합성어 • Voice(음성)와 Phishing(피싱)의 합성어 • 전화를 통해 불법적으로 개인정보를 이용하여 금전적 이득을 꾀하는 범죄 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 2)
  • 5. 1. 연구개발 배경 및 중요성 • 연구 개발 과제의 필요성 및 중요성 • 보이스피싱 범죄로 인한 피해는 지난 10년간 23만 2,287건, 피해액은 3조 2,333억원1) • 일 평균 63건/8억 8,583만원 피해, 피해 건 당 1,400만원 • 보이스피싱 피해 대상이 주로 노년층이었던 과거와는 달리, 최근에는 20대 피해가 증가2) • 전 연령층을 대상으로 피해가 발생하며 보이스피싱 예방에 대한 국민적 관심 증가 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 Source : 1) https://www.boannews.com/media/view.asp?idx=100557, 2022.03.23. 인용 2) https://www.donga.com/news/Society/article/all/20220105/111095788/1, 2022.03.23. 인용
  • 6. 1. 연구개발 배경 및 중요성 • 선행 연구 분석 (Literature review) • 윤해성·곽대경의 연구(2009)1) • 우리나라와 대만·일본·미국의 보이스피싱 사례를 분석 • 한국의 법률적·제도적·기술적 측면의 문제점을 지적 • 이기수의 연구(2018)2) • 최근 보이스피싱의 범죄 수법 동향과 법적 대응방안을 분석하며 법적 개선방안을 모색 • 홍성삼의 연구(2019)3) • 국가별 피싱 범죄 예방대책을 분석 • 한국의 법률적·제도적 측면의 문제점을 지적 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 Source : 1) 윤해성・곽대경 (2009). 보이스피싱의 예방과 대책마련을 위한 연구. 한국형사사 정책연구원. 2) 이기수(2018). 최근 보이스피싱의 범죄수법 동향과 법적 대응방안. 범죄수사학연구, 7, pp3-19. 3) 홍성삼(2019). 피싱 사기범죄에 대한 인터폴 및 국가별 대응정책 비교연구. 경찰학논총, 14(1), pp101-130.
  • 7. 1. 연구개발 배경 및 중요성 • 선행 연구 분석 (Literature review) • 정고은·김영래·민윤기의 연구(2017)1) • 보이스피싱과 심리적 트리거와의 연관성을 연구 • 기술적 측면의 연구뿐만 아니라 심리적 취약점에 대한 연구 필요성 주장 • 후후앤컴퍼니2) • AI 기반의 실시간 보이스피싱, 스미싱 방지 시범서비스 개발 • 김민정·김은미의 연구(2021)3) • 보이스피싱 피해 경험과 영향요인을 연구 • 금융사기 교육 여부와 보이스피싱 관련 경험이 연관성이 있음을 밝힘 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 Source : 1) 정고은,김영래,민윤기(2017). 심리적트리거를 적용한 보이스피싱 사례분석: 사회공학을 중심으로. 사회과학연구, 28(4), pp181-194. 2) 김준원(2020). AI 기반의 실시간 보이스피싱・스미싱 방지 시범 서비스. 2020 데이터 플래그십 사례집, pp64-73. 3) 김민정・김은미(2021). 보이스피싱 피해 경험 및 영향요인 분석. 소비자문제연구, 52(1), pp52-71.
  • 8. 2. 연구 개발 목표 SpecificAims 2022-1 캡스톤디자인 제안발표
  • 9. 2. 연구개발 목표 • 선행 연구 개발의 문제점과 개선 목표(1/3) 1) 보이스피싱 범죄 예방을 위한 기술적 해결방법 측면의 연구가 부족 • 문제 내용 : 보이스피싱 범죄 피해 사례 및 통계 분석 관련 연구 위주 • 개선 목표 : 통화내용 분석을 통한 보이스피싱 판별 모델 개발 • 세부 과제 • 보이스피싱 범죄 통화 녹음 데이터셋 수집 • 보이스피싱 범죄 통화를 판별할 수 있는 인공지능 모델 개발 • 실시간으로 음성 데이터를 처리할 수 있는 인공지능 모델 서버 구축 • 실시간으로 통화 내용을 서버로 전송할 수 있는 애플리케이션 개발 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 10. 2. 연구개발 목표 • 선행 연구 개발의 문제점과 개선 목표(2/3) 2) 보이스피싱 범죄 예방 교육 기능의 부재 • 문제 내용 : 기 개발된 서비스에는 보이스피싱 범죄 예방 교육과 관련한 기능이 존재하지 않음 • 개선 목표 : 사용자가 보이스피싱을 스스로 예방할 수 있는 보이스피싱 예방교육 기능 제공 • 세부 과제 : • 학습자 맞춤형 교육을 위한 사용자 유형 분석 기능 개발 • 보이스피싱 범죄 시나리오 체험 기능 구현 • 보이스피싱 범죄 통화 체험 기능 구현 • 보이스피싱 범죄 대처 방법 퀴즈 기능 구현 • 보이스피싱 예방 콘텐츠(웹툰, 동영상 등) 제공 기능 구현 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 11. 2. 연구개발 목표 • 선행 연구 개발의 문제점과 개선 목표(3/3) 3) 보이스피싱 의심 통화 내용을 공유하기 어려움 • 문제 내용 : 보이스피싱 통화 내용을 타인과 공유하려면 복잡한 과정을 거쳐야 함 • 개선 목표 : 가족 및 지인 등을 사칭한 보이스피싱 통화내용을 빠르게 공유할 수 있는 기능 개발 • 세부 과제 : • 통화 녹음 파일을 공유할 그룹을 내용을 생성하고 관리하는 기능 개발 • 통화 녹음 파일을 미리 지정한 그룹별로 손쉽게 공유할 수 있는 기능 개발 • 경찰 등 유관기관으로 통화 녹음 파일을 빠르게 제공할 수 있는 기능 개발 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 12. 2. 연구개발 목표 • 기술개발 목표(1/2) 1) 보이스피싱 탐지 인공지능 모델 개발 • SK Tbrain KoBERT (한국어 BERT 모델) • 통화 시작 후 2분 이내 70% 이상 탐지 • 금융감독원 보이스피싱 범죄 사례 데이터셋 • 60초 이상 음성파일 400건 이상 수집 • Train data(60%), Validation data(20%), Test data(20%)로 구성 • KoNLPy1)와 KSS2)를 이용하여 Tokenizing • Py-hanspell3)을 이용하여 어법 오류 수정 • Soynlp4)를 이용하여 정규화 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 Source : 1) https://konlpy.org/en/latest/, 2022.04.05. 인용 2) https://github.com/hyunwoongko/kss, 2022.04.05. 인용 3) https://github.com/ssut/py-hanspell, 2022.04.05. 인용 4) https://github.com/lovit/soynlp, 2022.04.05. 인용
  • 13. 2. 연구개발 목표 • 기술개발 목표(2/2) 2) 보이스피싱 예방 어플리케이션 개발 • 실시간 통화 분석 기능 • 전화 수신 이벤트 발생 시 자동으로 활성화되어 기능 수행 • 서버 데이터 전송 시 공개키 암호화 알고리즘을 이용한 종단 간 암호화 적용 • 보이스피싱 범죄 예방 교육 기능 • 사용자 유형 분석을 통한 맞춤형 교육 제공(연령, 성별, 직업 등) • 보이스피싱 통화 녹음 공유 기능 • 보이스피싱 의심 통화 종료 후 공유 여부를 묻는 팝업 발생 • 그룹 설정 지원으로 특정 그룹의 사람들에게 한번에 통화 녹음 공유 가능 • 카카오톡 메시지를 이용하여 통화 녹음 파일 전송 • 경찰 등 유관기관으로 통화 녹음 공유 및 신고 기능 지원 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 14. 2. 연구개발 목표 • 목표 대상 • 스마트폰을 가지고 있는 모든 사람 • 2021년 기준 대한민국 성인의 스마트폰 사용률 95%1) Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 Source : 1) https://www.gallup.co.kr/gallupdb/reportContent.asp?seqNo=1217, 2022.04.05. 인용
  • 15. 2. 연구개발 목표 • 기대 효과 • 사용자가 보이스피싱을 판단하지 못하는 상황에서도 인지할 수 있음 • 보이스피싱 탐지 모델이 실시간으로 통화 내용을 분석하여 사용자에게 알림 제공 • 보이스피싱 전화가 실제 범죄 피해로 이어지는 것을 예방할 수 있음 • 사용자 스스로 보이스피싱 예방법과 대처방법을 학습할 수 있음 • 기술적 한계로 인공지능 모델이 보이스피싱을 탐지하지 못하는 상황에서도 사용자 스스로 인지하고 대처할 수 있음 • 보이스피싱 통화 내용을 손쉽게 공유할 수 있음 • 가족 및 지인 등을 사칭한 보이스피싱 전화를 받은 경우 통화 내용을 주변인에게 신속하게 전송하여 추가 피해 확산을 예방할 수 있음 • 경찰 등 유관기관에 신속한 신고 및 통화 내용 공유가 가능함 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 16. 3. 연구개발 내용 및 방법 ResearchDesignandMethod 2022-1 캡스톤디자인 제안발표
  • 17. 3. 연구개발 내용 및 방법 • 연구개발 구조도 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 18. 3. 연구개발 내용 및 방법 • 요구분석 방법 • 사용자 스스로 보이스피싱을 판별할 수 있는 돕는 예방교육 기능을 제공하지 않음 • 사용자가 애플리케이션에 의존하는 경향을 보일 수 있음 • 보이스피싱 의심 통화 내용을 공유하기 어려움 • 복잡하고 번거로운 과정을 거쳐야 타인과 통화 내용을 공유할 수 있음 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 19. 3. 연구개발 내용 및 방법 • DFD Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 20. 3. 연구개발 내용 및 방법 • 순서도 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 21. 3. 연구개발 내용 및 방법 • 사용자 인터페이스(UI) Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 22. 3. 연구개발 내용 및 방법 • 사용자 인터페이스(UI) Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 23. 3. 연구개발 내용 및 방법 • 데이터셋(1/2) • 금융감독원 보이스피싱 범죄 통화 녹음 데이터 • 지난 7년간(2015~) 실제로 발생한 보이스피싱 범죄 통화 녹음 데이터 • 전체 412건 중 수사기관 사칭형(227건), 대출사기형(185건)으로 구성 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 https://www.fss.or.kr/fss/bbs/B0000207/list.do?menuNo=200691, 2022.04.04. 인용
  • 24. 3. 연구개발 내용 및 방법 • 데이터셋(2/2) • 활용 방안 • 각 유형별 데이터를 무작위로 6:2:2 비율로 나누어 사용 • Train data(60%), Validation data(20%), Test data(20%) • Overfitting(과적합)방지를 위하여 Validation data와 Test data를 분리함 • 모델 학습 과정에서 데이터 부족으로 인한 Underfitting(과소적합) 발생 시 Cross Validation (교차검증) 사용 예정 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 1) Source : 1) https://blog.daum.net/dhlee-0915/87, 2022.04.05. 인용
  • 25. 3. 연구개발 내용 및 방법 • BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding) • 2018년 구글의 Devlin이 제안한 자연어 처리 신경망 구조1) • 위키피디아의 25억개, BookCorpus의 8억개 Unlabled 데이터를 이용하여 사전 훈련 • 전이 학습(Fine-tuning)방법을 사용하여 짧은 학습 시간으로 우수한 성능 • 양방향 자연어 처리 모델로, 문장의 앞과 뒤의 문맥을 고려할 수 있음 • 단방향 처리 방식을 사용하는 GPT, ELMo 등 다른 언어 모델보다 높은 성능 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 Source : 1) 2) Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova(2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT (1) 2019, pp4171-4186. 2)
  • 26. 3. 연구개발 내용 및 방법 • KoBERT(Korean BERT pre-trained cased) • 2019년 SK Tbrain에서 공개한 한국어 BERT 모델1) • 구글에서 개발한 BERT 모델을 기반으로 500만 문장 이상의 한국어 위키와 2천만 단어 이상의 한국어 뉴스 데이터 학습 • 현재 SK텔레콤 상담 서비스 및 사내 데이터의 AI 검색, 기계 독해 기술에 사용 중2) Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 Source : 1) 3) https://github.com/SKTBrain/KoBERT, 2022.04.05. 인용 2) https://www.skt.ai/kr/press/detail.do?seq=27, 2022.04.05. 인용 3)
  • 27. 3. 연구개발 내용 및 방법 • 보이스피싱 범죄 예방 교육 • 사용자 유형 분석 • 학습자 맞춤형 교육 제공을 위해 서비스 가입 시 사용자 유형 분석 진행 • 사용자의 연령, 성별, 직업군을 기반으로 유형 분석 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 28. 3. 연구개발 내용 및 방법 • 보이스피싱 범죄 예방 교육 • 차별화 전략 • 학습자 맞춤형 교육 콘텐츠 제공 • 연령, 성별, 직업군 기반의 사용자 분석 결과 활용 • 다양한 형태의 보이스피싱 예방 교육 콘텐츠 제공 • 보이스피싱 범죄 시나리오 체험 • 보이스피싱 범죄 통화 체험 • 보이스피싱 범죄 대처 방법 퀴즈 • 보이스피싱 범죄 예방 콘텐츠(웹툰, 동영상 등) • 퀴즈 점수 별 등급제(브론즈, 실버, 골드, 다이아 등) 도입 • 청소년 등 젊은 층의 적극적인 참여 유도 • 승급 시 축하 이미지 등을 SNS 에 공유할 수 있는 기능 구현 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 29. 3. 연구개발 내용 및 방법 • 보이스피싱 범죄 예방 교육 • 보이스피싱 범죄 시나리오 체험 • 실제 보이스피싱 사례를 바탕으로 보이스피싱 시나리오 모의 체험 • 사용자 유형 분석 결과를 바탕으로 사용자에게 효과적인 시나리오를 선정 • 사용자는 각 단계마다 자신의 행동을 선택 • 보이스피싱 피해를 당할 수 있는 행동을 선택한 경우, 애플리케이션은 해당 행동이 잘못되었음을 알려주고, 올바른 대처방법을 안내 • 사용자는 보이스피싱 시나리오 체험을 통해 보이스피싱 상황에서 어떻게 행동해야 하는지 학습 • 보이스피싱 범죄 상황을 접했을 때 올바른 대응 방법을 사용하여 대처할 수 있게 됨 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 본 발표에서 제시되는 보이스피싱 범죄 시나리오 체험 구조도는 경상북도경찰청에서 제작하여 공개한 보이스피싱 모의 체험관의 자료를 바탕으로 제작되었으며, 추후 개발 단계에서는 연구진이 수행할 보이스피싱 사례 분석의 결과를 바탕으로 각 사용자 유형별 맞춤형 시나리오를 제공할 계획임.
  • 30. 3. 연구개발 내용 및 방법 • 보이스피싱 범죄 예방 교육 • 보이스피싱 범죄 시나리오 체험 • 실제 보이스피싱 사례를 바탕으로 보이스피싱 시나리오 모의 체험 • 사용자 유형 분석 결과를 바탕으로 사용자에게 효과적인 시나리오를 선정 • 사용자는 각 단계마다 자신의 행동을 선택 • 보이스피싱 피해를 당할 수 있는 행동을 선택한 경우, 애플리케이션은 해당 행동이 잘못되었음을 알려주고, 올바른 대처방법을 안내 • 사용자는 보이스피싱 시나리오 체험을 통해 보이스피싱 상황에서 어떻게 행동해야 하는지 학습 • 보이스피싱 범죄 상황을 접했을 때 올바른 대응 방법을 사용하여 대처할 수 있게 됨 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방어플리케이션제안발표
  • 31. 3. 연구개발 내용 및 방법 • 보이스피싱 범죄 예방 교육 • 보이스피싱 범죄 통화 체험 • 금융감독원에서 공개한 실제 보이스피싱 통화 음성을 체험할 수 있는 기능 • 사용자 유형 분석 결과를 바탕으로 사용자에게 가장 효과적인 사례를 선정 • 보이스피싱 범죄 대처 방법 퀴즈 • 보이스피싱을 당했을 때의 상황 별 대처방법을 퀴즈로 제공 • 사용자 유형 분석 결과를 바탕으로 사용자에게 가장 효과적인 유형을 선정 • 보이스피싱 범죄 예방 콘텐츠 • 보이스피싱 예방을 주제로 한 웹툰, 동영상 등의 교육자료를 감상할 수 있는 기능 • 사용자 유형 분석 결과를 바탕으로 사용자에게 가장 효과적인 주제와 매체를 선정 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표
  • 32. 3. 연구개발 내용 및 방법 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 • 구현 항목별 세부사항 • 개발 환경 • Jetbrains IntelliJ IDEA, Google Colab • 개발 언어 • Kotlin, Python • 라이브러리 • PyTorch, KoBERT, Google GCP, KoNLPy, KSS, py-hanspell, Soynlp • 데이터셋 • 금융감독원 보이스피싱 범죄 통화 녹음 데이터 • 운영체제 • Windows·MacOS(개발환경), Android(모바일 어플리케이션), Linux(서버)
  • 33. 3. 연구개발 내용 및 방법 • 실험 • 애플리케이션 개발 후 베타테스트를 진행 • 테스트 후 테스터들에게 설문지를 배포하여 설문 진행 • 피드백을 바탕으로 기능 수정 및 보완 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 항목 문항 점수 (1~5점) 애플리케이션 애플리케이션 내 콘텐츠들이 잘 실행되는가? 애플리케이션을 사용하기 용이한가? 교육 콘텐츠 사용자의 유형에 맞는 적합한 콘텐츠를 제공하였는가? 보이스피싱을 예방하는데 도움이 되었는가? 인공지능 모델 보이스피싱 여부를 정확히 판별했는가? 보이스피싱 여부를 적절한 시간 내로 판별했는가? 통화 녹음 공유 기능 공유 기능이 잘 실행되는가? 누구나 쉽게 기능을 사용할 수 있는가?
  • 34. 3. 연구개발 내용 및 방법 • 연구개발 일정 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 세부과제 연구개발일정 비고 12월 1월 2월 3월 4월 5월 6월 주제 선정 및 설계 인공지능 모델 개발 애플리케이션 개발 테스트 유지보수
  • 35. 4. 활용 기자재 및 재료 5. 참여연구원 현황 및 역할분담 6. 참고문헌 4.ResearchDesignandMethod 5.TheRoleofResearchers 6.References 2022-1 캡스톤디자인 제안발표
  • 36. 4. 활용 기자재 및 재료 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 • 개요 • 최근 자연어 처리 분야에서 가장 좋은 성능을 보이고 있는 BERT모델을 활용한다. 하지만 BERT는 한국어 처리에 취약하므로, 한국어 데이터셋으로 학습된 BERT기반의 SK Tbrain의 KoBERT를 활용하여 전이 학습(Fine-tuning)을 진행한다. • 애플리케이션은 구글에서 안드로이드 개발을 위한 공식 언어로 지정한 Kotlin을 사용하여 개발한다. • 활용계획 및 기대효과 • 보이스피싱 탐지 모델이 실시간으로 통화 내용을 분석하여 범죄 피해를 예방할 수 있음 • 보이스피싱 예방법과 대처방법을 학습할 수 있음 • 보이스피싱 통화 내용을 손쉽게 공유할 수 있음
  • 37. 5. 참여연구원 현황 및 역할분담 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 • 참여연구원 현황 • 양지훈 (컴퓨터교육과 3학년 1학기) • 이충훈 (컴퓨터교육과 3학년 1학기) • 프로젝트 수행 조직
  • 38. 5. 참여연구원 현황 및 역할분담 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표 • 참여연구원 간 역할분담 • 양지훈 • 딥러닝 모델 개발 • 데이터 처리 서버 구축 • 통화 내용 실시간 전송 기능 구현 • 보이스피싱 예방 교육 기능 구현 • 이충훈 • 딥러닝 모델 개발 • 데이터셋 수집 및 전 처리 • 보이스피싱 통화 녹음 및 공유 기능 구현 • 보이스피싱 예방 교육 기능 구현
  • 39. 6. 참고문헌 • https://www.fss.or.kr/fss/main/contents.do?menuNo=200354, 2022.03.23. 인용 • https://www.data.go.kr/data/15063815/fileData.do, 2022.03.23. 인용 • 윤해성・곽대경 (2009). 보이스피싱의 예방과 대책마련을 위한 연구. 한국형사사 정책연구원. • 이기수(2018). 최근 보이스피싱의 범죄수법 동향과 법적 대응방안. 범죄수사학연구, 7, pp3-19. • 홍성삼(2019). 피싱 사기범죄에 대한 인터폴 및 국가별 대응정책 비교연구. 경찰학논총, 14(1), pp101-130. • 정고은,김영래,민윤기(2017). 심리적트리거를 적용한 보이스피싱 사례분석: 사회공학을 중심으로. 사회과학연구, 28(4), pp181-194. • 김준원(2020). AI 기반의 실시간 보이스피싱・스미싱 방지 시범 서비스. 2020 데이터 플래그십 사례집, pp64-73. • 김민정・김은미(2021). 보이스피싱 피해 경험 및 영향요인 분석. 소비자문제연구, 52(1), pp52-71. • https://www.boannews.com/media/view.asp?idx=100557, 2022.03.23. 인용 • https://www.donga.com/news/Society/article/all/20220105/111095788/1, 2022.03.23. 인용 • https://github.com/SKTBrain/KoBERT, 2022.04.05. 인용 • https://www.fss.or.kr/fss/bbs/B0000207/list.do?menuNo=200691, 2022.04.04. 인용 • https://konlpy.org/en/latest/, 2022.04.05. 인용 • https://github.com/hyunwoongko/kss, 2022.04.05. 인용 • https://github.com/ssut/py-hanspell, 2022.04.05. 인용 • https://github.com/lovit/soynlp, 2022.04.05. 인용 • Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova(2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT (1) 2019, pp4171-4186. • https://www.skt.ai/kr/press/detail.do?seq=27, 2022.04.05. 인용 • https://gbpolice-preventphishing.kr/, 2022.04.05. 인용 Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis 실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표