제 13회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [스포 적발 강력 1팀] : 네 리뷰가 스포라는 것을 스포한다.
•
0 likes•1,446 views
보아즈의 스포 적발 강력 1팀이 출동했습니다. 특정 영화나 장르에 관계없이 스포일러 여부와 확률을 살펴볼까요? 지영우 김수완 정헤연 최신혜 홍윤표 홍준영
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 제 13회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [스포 적발 강력 1팀] : 네 리뷰가 스포라는 것을 스포한다.
Similar to 제 13회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [스포 적발 강력 1팀] : 네 리뷰가 스포라는 것을 스포한다. (20)
More from BOAZ Bigdata
More from BOAZ Bigdata (20)
제 13회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [스포 적발 강력 1팀] : 네 리뷰가 스포라는 것을 스포한다.
- 1. 2021 BOAZ BIGDATA CONFERENCE 스포 적발 강력 1팀 BOAZ 13기 지영우 BOAZ 14기 홍준영 BOAZ 14기 홍윤표 BOAZ 14기 김수완 BOAZ 14기 정혜연 BOAZ 14기 최신혜 1
- 2. CONTENTS INTRO 데이터 수집 데이터 전처리 모델 비교 및 선정 활용 방안 및 개선 방향 결론 및 시연 주제 선정 및 배경 현황 분석 데이터 수집 기준 데이터 수집 방법 맞춤법 교정&띄어쓰기 교정 데이터 증강 데이터 최종 검수 활용방안 시각화 실시간 스포일러 분류 활용 방안 및 제안 아이디어 모델 비교 모델 설명 모델 선정 및 테스트 프로젝트 개선 방향 2
- 4. 악성 스포일러 리뷰 1개가 모여서 어떤 피해를 줄까? 4
- 5. 영화 산업계 영화 산업계의 모든 이해 관계자 피해 관람객 영화관 영화사 영화배우 주제 선정 및 배경 악성 스포일러 리뷰 2시간 러닝타임 영화 한편 기준 제작비: 억대 인력: 수백여명 과정: 구성-촬영-편집-배급-상영 (수개월-수년) 5
- 6. [NOW] 범인은 ○○… 영화 재미 망치는 스포일러 극성 … 악성 스포일러들을 캡처한 100여건의 제보와 함께 "대한민국 영화 발전을 위해 일벌백계해 달라" "IP 주소 추적해서 처벌해달라"는 요청이 접수됐다. … 국내 영화 배급사 관계자는 "개봉한 작품의 내용을 올리는 것은 불법이 아닌 데다 민사상으로도 스 포일러로 인한 피해를 입증하기가 어렵다"고 말했다. 박지훈 고려대 미디어학부 교수는 "대형 영화 사들도 스포일러 때문에 골머리를 앓는 것은 마찬가지“ … 6
- 7. 현황 분석 • 스포일러 보기 필터를 통해 스포일러 리뷰는 따로 관리 • 체크박스를 해제한 상태로는 스포일러 리뷰가 가려짐 • 스포일러의 기준이 작성자 본인의 주관에 달려있음 • 사실상 스포일러 보기 필터가 의미가 없는 상황 • 스포일러 관련 기능 자체가 없음 네이버 영화 리뷰 다음 영화 리뷰 7
- 9. 스포일러 spoiler: 명사 게임, 영화, 소설, 만화 등에 대하여 이야기의 줄거리, 중요 사항, 반전 요소, 결말 등을 미리 알려주어 이야기를 감상하는 재미와 흥미를 떨어뜨리는 행위. 데이터 수집 기준 (스포일러의 정의) 9
- 10. 데이터 수집 기준 (스포일러의 정의) • 결말: 엔딩장면을 포함하는 내용이나 해당 장면에 대한 해석, 숨은 의도를 파악하려는 내용 • 등장인물의 생사: 등장인물의 죽음, 희생, 부활 등 스토리 전개에 핵심적인 생사여부가 포함된 표현 • 등장 인물간의 관계: 전반적인 줄거리에 암시되어 있지 않은 인물간의 관계나 내용 전개에 핵심이 되는 관계가 공개되는 장면의 표현 • 반전: 스토리의 전개가 뒤바뀌는 중요한 포인트나 해당 내용에 대한 언급 • 특정 장면에 대한 자세한 표현: 영화를 직접 봐야만 알 수 있는 장면에 대한 자세한 표현이나 해당 내용 자체를 포함하는 내용 • 명대사: 장면 자체를 포함하지 않았지만, 영화를 봐야만 이해할 수 있는 명대사 • 속편 암시: 열린 결말에 대한 이후 내용을 짐작하거나, 속편을 언급하는 내용 • 그 외: 일반적인 영화에 대한 평론 LABEL 2 (강한 스포일러 포함) LABEL 1 (약한 스포일러 포함) LABEL 0 (스포일러 포함하지 않음) 10
- 11. • 6개의 장르 설정 (액션, SF, 공포/스릴러, 로맨스, 드라마, 코미디) • 장르 당 2만개,영화 당 2천개씩 총 12만개의 학습 데이터 셋 구축 • 6개의 장르에 포함되는 최근 영화 리뷰로 테스트 데이터 셋 구축 데이터 수집 방법 네이버/다음 영화 리뷰 크롤링 스포일러 포함 블로그 리뷰 크롤링 11
- 13. 전처리 워크플로우 수집 데이터 텍스트 교정 불균형 해소 최종 데이터 네이버 & 다음 영화 댓글 블로그 스포일러 리뷰 띄어쓰기 교정 Chatspace 맞춤법 교정 1 부산대 맞춤법 교정기 맞춤법 교정 2 Py-hanspell Back Translation Papago Easy Data Augmentation Ko-EDA FOLD 활용 노이즈 정제 최종 테스트 데이터 • 장르당 2만개 총 12만개의 학습 데이터 구축 • 스포일러 데이터의 품질과 양을 고려하여 블로그 리뷰 포함 • 학습 데이터에 없는 영화 리뷰 데이터 사용 최종 학습 데이터 13
- 14. 띄어쓰기 교정 • 핑퐁팀에서 제작한 Chatspace 사용 • 본 프로젝트에서 사용하는 텍스트의 특징인 ‘대화 체’에 유연한 교정 방법이 필요 • Chatspace는 띄어쓰기 및 맞춤법이 제대로 지켜 지지 않는 대화체에도 정확한 성능으로 띄어쓰기 를 교정할 수 있음 chatspace 모델 구조. CNN 을 계층적으로 구성하여 심층적인 특성을 추출하고 이를 RNN을 통해 시간순으로 반영하도록 구성한 모델 14
- 15. 맞춤법 교정 Part 1(부산대 맞춤법 교정기 with Selenium) • 1차 맞춤법 교정을 위해 가장 교정 성능이 뛰어났 던 ‘부산대 맞춤법 교정기’ 사용 • 문법적 오류 뿐 아니라 인터넷 상에서의 용어도 대 부분 교정 가능 • Selenium을 활용하여 모든 데이터에 대해 전처 리 실행 15
- 16. 맞춤법 교정 Part 2 (Py-hanspell) • 네이버 맞춤법 교정기를 기반으로 사용 가능한 라이브러리인 ‘Py-hanspell’사용 • 부산대 맞춤법 교정기 사용 후 처리되지 못한 문법적 오류 및 띄어쓰기를 최종적으로 검수 • 은어와 인터넷 용어 등 사전에 등재되지 않은 단어들을 교정하는 데 한계가 있기에 2차로 사용 16
- 17. 불균형 해소 Part 1 (Back Translation) Translation Back Translation 한국어 영어 일본어 중국어 한국어 한국어 한국어 한국어 • 카카오나 파파고의 번역 API의 사용량 제한으로 인해 크롤링 소스 이용 • 번역하는 언어의 어순에 맞게 재번역되어 같은 의미의 다양한 문장을 만들 수 있음 • 영어, 중국어, 일본어로 번역 후 재번역하여 기존에 비해 4배 가까이 늘림 Back Translation : 기존 텍스트를 외국어로 번역한 뒤 다시 기존의 언어로 번역하는 기법 17
- 18. 불균형 해소 Part 2 (Easy Data Augmentation) Easy Data Augmentation : 이미지의 Data Augmentation과 마찬가지로 텍스트에서 불균형을 해소하기 위해 사용하는 기법 • SR(Synonym Replacement): 랜덤으로 불용어가 아닌 n 개의 단어들을 선택해 임의의 동의어로 교체 • RI(Random Insertion): 불용어를 제외한 나머지 단어들 중에서 랜덤 선택된 단어의 동의어를 임의로 정하고 문장 내 임의의 자리에 넣는 것을 n번 반복 • RS(Random Swap): 무작위로 문장 내에서 두 단어를 선택하고 위치 바꾸는 것을 n번 반복 • RD(Random Deletion): p 의 확률로 문장 내에 있는 각 단어들을 랜덤하게 삭제 제가 우울감을 느낀지는 오래됐는데 점점 개선되고 있다고 느껴요 우울감을 느낀지는 오래됐는데 점점 개선되고 있다고 제가 우울감을 느낀지는 오래됐는데 느껴요 개선되고 있다고 점점 오래됐는데 우울감을 느낀지는 제가 점점 개선되고 있다고 느껴요 EDA 18 n=3으로 실행
- 19. FOLD 활용 노이즈 정제 • 수집 후 1번의 인간지능 정제 과정에서 오류로 인해 잘못 레이블 링 된 노이즈를 제거 • 베이스라인 모델 (Bi-LSTM)을 사용하여 노이즈 제거 • 총 5 FOLD로 나누어서 아래와 같은 과정으로 정제 진행 B i L S T M 최종 검수 완료 데이터 셋 FOLD1 FOLD2 FOLD3 FOLD4 FOLD5 INPUT UPDATE VALIDATION TRAIN 1) 데이터를 일정 사이즈의 FOLD로 N 등분 2) N번째 FOLD 외의 데이터로 모델 학습 후 N FOLD 셋 예측 3) 예측 레이블과 실제 레이블이 다른 결과를 보이는 데이터 우선 검수 4) 레이블 오류 확인 및 교정 19
- 20. PART 4 모델 비교 및 선정 20
- 21. Baseline 전처리 스코어 확인 • Bi-LSTM 모델을 Baseline으로 활용하여 각 전처리 단계의 스코어 확인 • 전처리를 거듭하며 모델의 성능이 향상되는 것을 확인 단계별 모델 평가지표 STEP Val Accuracy Val F1-Score Bi-LSTM (default) 띄어쓰기 및 맞춤법 교정 불균형 해소 0.95 0.42 FOLD 활용 노이즈 정제 0.96 0.78 0.53 0.94 0.77 0.95 21
- 22. 4가지 모델 실험 CNN+BiLSTM Ko-ELECTRA BiLSTM Character Level CNN 22 개발 환경: Keras / Colab pro
- 23. 4가지 모델 실험 모델 평가지표 BiLSTM CNN+BiLSTM Ko-ELECTRA 0.95 0.78 0.95 0.83 0.79 0.95 0.84 0.97 Character Level CNN Val Accuracy Val F1-Score Model Condition Tokenizing: Mecab Embedding: FastText BatchSize: 128 LearningRate: 1e-4 Tokenizing: Mecab Embedding: FastText BatchSize: 128 LearningRate: 1e-4 Tokenizing: WordPiece Embedding: - BatchSize: 64 LearningRate: 4e-6 Tokenizing: hgtk Embedding: DTM BatchSize: 64 LearningRate: 5e-5 23
- 24. Ko-ELECTRA • 계산비용이 상당한 BERT의 masking 방식 대신 generator network를 통해 input의 토큰을 대체 • 이후 Discriminator network를 통해 각 토큰이 generator sample로 대체되었는지 예측 • 두 network 모두 Transformer 인코더 구조를 가짐 • 기존 MLM 방식보다 효율적이며 성능 또한 우수함 • generator 방식으로 GAN과 유사하지만 maximum likelihood로 학습한다는 점을 포함 일부 다름 • Ko-ELECTRA는 한국어 데이터로 pretrain된 모델 24
- 25. Character Level CNN 25 • Character-level Convolutaional Neural Network 논문에서 아이디어 착안 • word representation이 아닌 가장 최소 단위인 문자를 가지고 CNN을 적용 • 여기에 character 단위로 one-hot을 적용하여 DTM 형식으로 문자 수 52개, 글자수 512개 임베딩 • 격식 없는 텍스트의 가벼운 오타나 OOV(out of vocab)에 강건한 임베딩이 가능 • 예를 들어, 512개의 고정된 글자수에 [나는 사람이다] 는 [ㄴ,ㅏ,ㄴ,…,…]가 [[0,1,0,…],[0,0,0,…],,,, […,….,0]] 와 같이 표현 • 모델 구조는 일반적인 컨볼루션 네트워크과 동일 (padding, stride, pooling 등)
- 26. 최종 모델 선정 Character Level CNN Ko-ELECTRA + BiLSTM 26 Ko-ELECTRA + Character Level CNN • 기존 실험에서 좋았던 두 모델의 장점을 살릴 수 있는 구조 • 문장 단위의 임베딩과 Character 단위의 임베딩으로 상호 보완적인 모델 • 우수한 성능을 보인 Ko-ELECTRA에 대화체의 특성을 잘 잡아낼 수 있는 Character Level CNN을 보완
- 27. 최종 모델 스코어 모델 평가지표 Ko-ELECTRA + Charter Level CNN 0.85 0.97 Val Accuracy Val F1-Score Model Condition Tokenizing: WordPiece + hgtk Embedding: - + DTM BatchSize: 64 LearningRate: 4e-6 마지막 부분이 너무 슬퍼서 폭풍오열했습니다 남주는 왜 자살했을까 마지막에 여주 죽어서 어이가 없었음 처음부터 끝까지 심장이 아주 쫄깃쫄깃 조여온다 정적인 플롯이라고 생각했는데 생각보다 긴장감 넘치고 몰입됨 재밌음 • 스포일러 리뷰를 스포일러로 예측 (TP) • 일반 리뷰를 일반으로 예측 (TN) 해피엔딩으로 기분좋게 끝나면 10점인데 너무 슬프게 끝나서 9점 줌 에이 보지말걸 나비 문신이 영화 전체에서 그렇게 비중있는 장면이어야 하나 타임슬립의 역행 영화상에서 정해놓은 룰을 어기는 후반부가 무너진다 전종서 의 연기만 볼만하네 마지막 장면에서 특히 마음이 찡했다 마냥 귀엽고 순수하기만 했던 어린 소년이 너무나 성숙하게 성장했다 외롭고 두렵고 무서웠을텐데 • 스포일러 리뷰를 일반으로 예측 (FN) • 일반 리뷰를 스포일러로 예측 (FP) 27
- 28. 실제 TEST 셋 적용 모델 평가지표 Ko-ELECTRA + Charter Level CNN 0.78 0.88 Test Accuracy Test F1-Score Model Condition Tokenizing: WordPiece + hgtk Embedding: - + DTM BatchSize: 64 LearningRate: 4e-6 • 액션 • SF • 공포/스릴러 • 로맨스 • 드라마 • 코미디 TEST SET 수집 영화 목록 프리즌 이스케이프 국제수사 소리도 없이 오케이 마담 반도 테넷 컨택트 2020 인베이젼 2020 언더워터 프로젝트 파워 다만 악에서 구하소서 콜 #살아있다 지푸라기라도 잡고싶은 짐 승들 사냥의 시간 삼진그룹 영어 토익반 이웃사촌 존윅3 도굴 벼랑위의 포뇨 러브레터 레베카 조제 첫키스만 50번째 스타이즈본 미스터주 더 프롬 나의 첫번째 슈퍼스타 조조래빗 키싱부스2 28
- 29. 장르 Feature 활용 후 스코어 모델 평가지표 Special Token으로 추가 0.80 0.89 Test Accuracy Test F1-Score 활용방안 장르 구분 1 (SF, 스릴러, 액션) 0.91 0.94 0.64 0.83 One-hot-encoding 후 dense layer 입력값 사용 0.75 0.87 장르 구분 2 (코미디, 드라마, 로맨스) 범용적 모델에 어긋남 최종 모델로 선정 29
- 30. PART 5 시각화 및 시연 30
- 32. PART 6 활용방안 및 개선 방향 32
- 33. 활용방안 및 제안 아이디어 현황 개선 스포일러 Blurring 다양한 데이터 적용 • 현재 제대로 이루어지지 않는 스포일러 리뷰에 대한 처리 자동화 • 스포일러 리뷰에 대처가 되어있지 않 은 플랫폼에 적용 가능 • 리뷰의 스포일러 확률이 높은 단어 혹 은 구문만 블러 처리 • 개인의 주관에 따라 스포일러 확률값 을 조절하여 선택 가능한 시스템 • 영화관 개봉 영화뿐 아니라 NETFLIX/왓챠 등 ott 컨텐츠들의 리뷰에 적용 가능 • 나아가서 내용적 측면이 중요한 게임, 드라마 등의 리뷰에도 적용 가능 33
- 34. 프로젝트 개선 방향 1 2 3 데이터 추가 수집 Labeling 및 불균형 방안 • 다양한 내용적 측면에 다가가기 위한 추가 장르 및 영화 데이터 수집 • 하드웨어 성능을 고려하여 많은 양의 데이터 추가 수집 • 비교적 분류가 어려웠던 로맨스/드라마/코미디에 대한 데이터 추가 수집 MultiModal • 스포일러의 기준을 세웠음에도 불구하고 생겼던 의견충돌을 방지하기 위한 라 벨링 기준 설정 • Anomaly Detection등 불균형 해소 기법이 아닌 모델에서 처리하여 과적합 을 방지하는 방안 모색 • 장르뿐만 아니라 제목, 감독, 등장인물, 리뷰 작성일자, 작성자 등 다양한 Feature 사용 • 추가 수집 데이터를 통해 정형 데이터를 텍스트와 함께 입력값으로 받는 MultiModal NeuralNet로 Develop 34
- 35. Q&A 팀장 데이터 수집 데이터 전처리 모델링 Tableau 시각화 시연용 웹 구축 홍윤표 홍윤표 홍준영 김수완 지 영우 최신혜 정혜연 홍윤표 홍준영 김수완 지 영우 최신혜 정혜연 김수완 최신혜 지영우 정혜연 홍윤표 홍준영 김수완 35 스포 적발 강력 1팀