Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to [컨퍼런스] 모두콘 2018 리뷰
Similar to [컨퍼런스] 모두콘 2018 리뷰 (20)
More from Donghyeon Kim
[컨퍼런스] 모두콘 2018 리뷰
- 1. MODUCON 2018 Review 2019. 02. 26. 김동현 dhkim518@gist.ac.kr
- 2. 모두의 연구소 2 http://www.modulabs.co.kr/ https://www.facebook.com/lab4all/ https://github.com/modulabs
- 3. MODUCON 2018 3 • 모두의연구소 첫 컨퍼런스 (2018. 12. 15.) • AI 연구성과 발표, Deep Learning College(DLC) 1기 졸업작품, 랩짱 및 연사들의 Tutorial Session • 몇몇 발표의 경우, 발표 자료/ 발표 영상 제공 http://moducon.kr/2018/
- 4. 오늘 리뷰할 발표 4 ※ 본 발표 자료는 MODUCON 2018 에 공개된 자료를 바탕으로 만들었습니다
- 5. 5
- 6. 검색 및 메신저 시장에서의 NAVER 와 LINE 6
- 7. • Clova: Cloud-based Virtual Assistant Clova: AI Assistant Platform of NAVER & LINE 7 Vision Speech Recognition/ Synthesis Recommen- dation Natural Language Understanding Machine Learning Deep Learning Model Research
- 8. • OCR: Optical Character Recognition 광학문자인식 (1) Detection: 이미지에서 text 검출하기 https://github.com/hwalsuklee/awesome-deep-text-detection-recognition?fbclid=IwAR2844IsN0PG_G0Wwt_PkOBQTVhjCv3xbptEDlPiyzp6u7pFOD9m9qDTS-8 1. OCR 8 Remarks - CVPR2019 - Curved text 검출 가능
- 9. • OCR: Optical Character Recognition 광학문자인식 (2) Recognition: 검출한 text 인식하기 https://github.com/hwalsuklee/awesome-deep-text-detection-recognition?fbclid=IwAR2844IsN0PG_G0Wwt_PkOBQTVhjCv3xbptEDlPiyzp6u7pFOD9m9qDTS-8 1. OCR 9 Remarks - OCR 데이터 셋의 종류는 다양한데, 각각의 데이터 수는 적다 - 위 테이블의 빈칸 채우기를 모두 다 진행, 기존 기법을 모두 다 구현했다 - 정확하고 빠르고 가볍게 (모바일 환경에서도 사용 가능한 모델 개발)
- 10. • Applications of tracking and re-id in in-the-wild video • AutoCAM (www.vlive.tv/search/all?query=autocam) 2. Video AI 10
- 11. • Applications of tracking and re-id in in-the-wild video • AutoCAM (www.vlive.tv/search/all?query=autocam) 2. Video AI 11
- 12. • Applications of tracking and re-id in in-the-wild video • AutoCAM (www.vlive.tv/search/all?query=autocam) 2. Video AI 12 • 팬들은 그룹 자체도 좋아하지만 개별 멤버도 좋아한다 • AutoCAM: 전체 샷 영상으로부터 개별 멤버를 센터로 하는 직캠 만들기 • 필요한 기술이 많다 Tracking + Personal Re-identification + Pose Estimation + Face Recognition • 기존 기법의 조합으로 약 30 % Clova 기술로 90 % 이상 정확도 달성 • Challenging Issues 옷도 비슷하고, 사람도 비슷하고, 안무 동선도 겹치고…
- 13. • Applications of tracking and re-id in in-the-wild video • AutoCut (www.vlive.tv/search/all?query=autocut) 2. Video AI 13
- 14. • Applications of tracking and re-id in in-the-wild video • AutoCut (www.vlive.tv/search/all?query=autocut) 2. Video AI 14 • 팬들은 그룹 자체도 좋아하지만 개별 멤버도 좋아한다 • 예능,버라이어티쇼에서 1시간 방송 분량 중 내 최애는 10분 남짓 나온다 • AutoCut: 전체 방송 영상으로부터 개별 멤버가 나오는 부분만 잘라내기
- 15. • Wavelet Pooling for Perfect Reconstruction • Max pooling은 perfect reconstruction을 할 수 없는 구조다 • Wavelet pooling은 기존의 정보를 살려내기 좋다 3. Super-Real Style Transfer 15 Yoo et al. 2018
- 16. • Wavelet Pooling for Perfect Reconstruction • Max pooling은 perfect reconstruction을 할 수 없는 구조다 • Wavelet pooling은 기존의 정보를 살려내기 좋다 3. Super-Real Style Transfer 16 Clova AI: 가장 오른쪽
- 17. • Super-real Style Transfer for Video • Photo-realistic • 화면 영상이 들쭉날쭉하면 안된다: Flickering이 심하면 영상을 보기 어렵다 3. Super-Real Style Transfer 17
- 18. 18 ※ 본 자료는 최성준 박사의 edwith 강의 자료도 함께 참고하여 만들었습니다. https://www.edwith.org/bayesiandeeplearning/lecture/25292/
- 19. • 여러가지 사건/사고 Motivation 19 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
- 20. • Uncertainty: 모르는 건 모른다고 말하는 모델이 필요하다 Motivation 20 MNIST(0~9)로 학습한 딥러닝 모델
- 21. • Uncertainty: 모르는 건 모른다고 말하는 모델이 필요하다 Motivation 21 MNIST(0~9)로 학습한 딥러닝 모델 Input으로 C 를 준다면? 갑분씨..
- 23. 논문의 특징 23 민규식 님, MODUCON 2018 발표자료
- 24. Non-Bayesian 기법 24 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
- 25. Non-Bayesian 기법 25 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
- 26. • Bayesian Neural Network (BNN) • 기존의 Uncertainty 평가는 주로 BNN 을 이용해서 수행했다 • 일반적인 Neural Network에 비해 Training 과정에 많은 변화가 필요하다 • 일반적인 Neural Network에 비해 많은 계산량이 필요하다 • 본 논문에서 제안하는 기법 • Non-Bayesian 기법 • Ensemble 을 이용하여 추정 성능을 향상시켰다 • Neural Network 구조나 하이퍼 파라미터의 변경이 거의 없어 구현이 쉽다 • 예측의 Uncertainty 추정 성능이 좋다 • Remark • 일반적으로 평소에 사용하는 모델이더라도 간단하게 조금만 변경하면 Uncertainty 추정을 위한 구조로 적용할 수 있다 Non-Bayesian 기법 26 민규식 님, MODUCON 2018 발표자료
- 27. • Ensemble Learning Method • 다수의 학습 알고리즘을 함께 사용하는 방법 • 본 논문에서는 불확실성을 측정하기 위한 도구로 사용한다 Ensemble Model 27 민규식 님, MODUCON 2018 발표자료
- 28. • Ensemble Learning Method • 다수의 학습 알고리즘을 함께 사용하는 방법 • 본 논문에서는 불확실성을 측정하기 위한 도구로 사용한다 Ensemble Model 28 Remark Input X에 대하여 Output Y 자체를 찾는 것이 아니라, Y의 파라미터를 찾는다: 평균과 분산 민규식 님, MODUCON 2018 발표자료
- 29. • Classification • Brier Score (BS): 사실상 일반적으로 사용하는 Loss function 과 같다 • 실제 Label 의 one-hot 벡터와 network의 output 사이의 squared error 의 평균 • Regression • 일반적인 regression 문제에서 NN은 single value output 을 도출 • 이를 학습하기 위해 보통 Mean Squared Error (MSE)를 주로 사용 • 하지만 MSE는 uncertainty를 포함하지 않는다 • Negative Log-likelihood (NLL) Ensemble Model 29 민규식 님, MODUCON 2018 발표자료
- 30. (Optional 한 내용으로, 꼭 추가할 필요는 없는 부분) • Remark. Data augmentation을 위한 부분 • Explaining and Harnessing Adversarial Examples 논문 기법 사용 • I.J. Goodfellow, J. Shlens, and C. Szegedy in ICLR, 2015 • Fast Gradient Sign Method를 이용하여 adversarial examples 생성 • Adversarial perturbation은 network의 loss 가 증가하는 방향으로 training data에 perturbation을 더한다 • Classifier의 Robustness 증가 Adversarial Training 30 긴팔원숭이판다곰 민규식 님, MODUCON 2018 발표자료
- 31. 2. 각 네트워크의 Parameters Initialization 3. M개의 네트워크에 대해 반복 4. 전체 데이터셋에서 각 네트워크를 학습시키기 위한 Mini batch dataset 취득 5. Adversarial Example 생성 (Optional) 6. Loss를 최소화 하도록 각 네트워크의 파라미터 학습 학습 과정 31 민규식 님, MODUCON 2018 발표자료
- 32. • MNIST & Not-MNIST Result: Classification 32 민규식 님, MODUCON 2018 발표자료
- 33. • MC-Dropout 과 결과 비교 • Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning • R: Random signed vector Adversarial example의 효과 확인을 위해 사용 • AT: Adversarial Training Result: Classification 33 MNIST로 학습 MNIST로 테스트 MNIST로 학습 Not-MNIST로 테스트 *엔트로피 0: 불확실성이 없다 *Ensemble을 쓰면 엔트로피 값이 커진다 *MC dropout 보다 Ensemble 효과가 좋다 민규식 님, MODUCON 2018 발표자료
- 34. • Known: Dogs (ImageNet), Unknown: Non-dogs (ImageNet) Result: Classification 34 Dogs로 학습 Dogs로 테스트 Dogs로 학습 Non-Dogs로 테스트 Dogs로 학습 Dogs로 테스트 Dogs로 학습 Non-Dogs로 테스트 Entropy Values *Dogs-Dogs 엔트로피 0: 불확실성이 없다 *Dogs-Ndogs Ensemble 개수가 늘어나면서 엔트로피가 점점 커진다 Max. Predicted Probability *Dogs-Dogs 예측 확률이 거의 1이다 *Dogs-Ndogs Ensemble 개수가 늘어나면서 예측 확률이 점점 낮아진다 민규식 님, MODUCON 2018 발표자료
- 35. Result: Regression 35 Empirical Variance (5) using MSE Density Network (1) using NLL Adversarial Training Deep Ensemble (5) Density Network Trick Positive 값으로 만들어주기 위해 Exp() 등으로 처리 Empirical Variance (5) Deep Ensemble (5) Ground truth curve Observed noisy training data Predicted mean along with standard deviation 최성준 박사, edwith 강의 자료, https://www.edwith.org/bayesiandeeplearning/lecture/25292/
- 36. • https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble Further Info. (민규식님 Github) 36 민규식 님, Github 자료, https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble
- 37. • https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble Further Info. (민규식님 Github) 37 민규식 님, Github 자료, https://github.com/Kyushik/Predictive-Uncertainty-Estimation-using-Deep-Ensemble
- 38. • 느낀 점: 반성하게 된다 • 재미있는 연구를 많이 진행하고 있다 • 대학원생이 아니어도 누구나 연구를 진행하고 있다 열정 가득한 사람들이 모인 곳 • 게다가 잘 한다! Performance가 좋다! • 행사에서 아쉬웠던 점 (너무나 좋았던 행사지만 약간의 욕심을 더 낸다면) • 행사 시작 전에 발표 자료/ 발표 영상 공개를 미리 알았더라면.. • 무거운 토크와 가벼운 토크의 혼재: 각 잡고 들으려니 가볍고, 가볍게 들으려니 무거운.. • 연구학술대회와 기술개발커뮤니티 중간 어딘가의 포지셔닝 • 2019 MODUCON 도 기대합니다:) MODUCON 2018 리뷰 38
- 39. Thank you 39
- 40. • MC-Dropout 과 결과 비교 • Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning • R: Random signed vector Adversarial example의 효과 확인을 위해 사용 • AT: Adversarial Training • AT를 사용하고 Ensemble 네트워크 개수가 늘어날수록 Classification 정확도도 높지만, Loss (score) 값인 NLL과 BS 값도 낮다 Appendix. Result: Classification 40