F8 2019 Meetup:Seoul에서 발표한 "머신러닝 엔지니어가 다녀온 F8" 주제의 발표입니다. F8에 다녀온 경험을 공유하며 Facebook이 공개한 ML기술들에 대한 간단한 리뷰가 포함되어 있습니다. 발표자: 김준성 스캐터랩 머신러닝 엔지니어

1. 머신러닝 엔지니어가 다녀온
Facebook F8
김준성
Developer Circles Seoul
F8 Viewing Meetup
ScatterLab
Machine Learning Engineer

2. F8 & ML 🤖🤖
F8 Overview 🏄🏄
Introduction #
Timeline
Experience 🤩🤩
Total Review 👋👋
1.
2.
3.
4.
5.

3. Source: Optional source placeholder. Delete if not used.
김준성 (Junseong Kim)
fb.com/codertimo
ScatterLab Machine Learning Engineer
일상대화 인공지능 핑퐁 Machine Learning Team (산업기능요원)
Naver Clova AI Research Intern
Atlas Guide NLP/Machine Learning Engineer
General Domain Dialog System/Chatbot (Chitchat)
General Sentence Embedding (BERT, ElMo)
And Diverse Natural Language Processing Tasks…
Neural Machine Translation
codertimo/BERT-pytorch 2.4k+ stars
Research Domain
Experience
2017, 2014 Intel ISEF Computer Science Finalist
2016, 2014 Intel KSEF Computer Science Grand Award
Working Experience

4. F8 Overview 🏄🏄

5. 2019 Facebook F8 Overview
단순히 사람간의 connection을 넘어 커뮤니티를 구성하는데 큰 포커스
Facebook UI/UX with Community | Dev Circle

6. 2019 Facebook F8 Overview
단순히 사람간의 connection을 넘어 커뮤니티를 구성하는데 큰 포커스
사람간의 커뮤니케이션을 하는데에 중심이 될 수 있도록
Facebook UI/UX with Community | Dev Circle
Messenger, WhatsApp, Portal

7. 2019 Facebook F8 Overview
단순히 사람간의 connection을 넘어 커뮤니티를 구성하는데 큰 포커스
사람들의 프라이버시를 최대한 보호할 수 있도록
사람간의 커뮤니케이션을 하는데에 중심이 될 수 있도록
Facebook UI/UX with Community | Dev Circle
Messenger, WhatsApp, Portal
On-Device Model, Encryption

8. 2019 Facebook F8 Overview
단순히 사람간의 connection을 넘어 커뮤니티를 구성하는데 큰 포커스
사람들의 프라이버시를 최대한 보호할 수 있도록
사람간의 커뮤니케이션을 하는데에 중심이 될 수 있도록
머신러닝 모델을 통해 보다 똑똑한
Facebook UI/UX with Community | Dev Circle
Messenger, WhatsApp, Portal
On-Device Model, Encryption
NLP, Vision, Audio

9. 2019 Facebook F8 Overview
단순히 사람간의 connection을 넘어 커뮤니티를 구성하는데 큰 포커스
사람들의 프라이버시를 최대한 보호할 수 있도록
사람간의 커뮤니케이션을 하는데에 중심이 될 수 있도록
머신러닝 모델을 통해 보다 똑똑한
사람들에게 새로운 경험을
Facebook UI/UX with Community | Dev Circle
Messenger, WhatsApp, Portal
On-Device Model, Encryption
NLP, Vision, Audio
Oculus

10. 2019 Facebook F8 Overview
단순히 사람간의 connection을 넘어 커뮤니티를 구성하는데 큰 포커스
사람들의 프라이버시를 최대한 보호할 수 있도록
사람간의 커뮤니케이션을 하는데에 중심이 될 수 있도록
머신러닝 모델을 통해 보다 똑똑한
사람들에게 새로운 경험을
Facebook UI/UX with Community | Dev Circle
Messenger, WhatsApp, Portal
On-Device Model, Encryption
NLP, Vision, Audio
Oculus
완전히 새롭게
Facebook

11. F8 & ML 🤖🤖

12. Facebook F8에서 보여준 페이스북의 AI
Research to Production : Pytorch v1.0 stable release
Social Protection: 나쁜 게시물, 댓글들 필터링
다국어 기계번역 NMT(Neural Machine Translation)
Video, Image Recognition & Captioning: 이미지의 메타데이터 추출
Semi-Supervised Learning : 소규모 레이블 데이터 + 대규모 학습데이터
음성 & 화자 인식
….

13. Facebook F8에서 보여준 페이스북의 AI
Research to Production : Pytorch v1.0 stable release
Social Protection: 나쁜 게시물, 댓글들 필터링
다국어 기계번역 NMT(Neural Machine Translation)
Video, Image Recognition & Captioning: 이미지의 메타데이터 추출
Semi-Supervised Learning : 소규모 레이블 데이터 + 대규모 학습데이터
음성 & 화자 인식
….
그중에도 뽑으라고 하면

14. Facebook F8에서 보여준 페이스북의 AI
Research to Production : Pytorch v1.0 stable release
다국어 기계번역 NMT(Neural Machine Translation)
Semi-Supervised Learning : 소규모 레이블 데이터 + 대규모 학습데이터
그중에도 뽑으라고 하면

15. Semi-Supervision Learning: 준지도 학습
손흥민은 토트넘 최고의 공격수로 자리 잡았다
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

16. Semi-Supervision Learning: 준지도 학습
손흥민은 토트넘 최고의 공격수로 자리 잡았다
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
손흥민은 토트넘 최고의 공격수로 자리 잡았다
머신러닝아 이런거 맞추면서 언어좀 공부해봐라! 마!

17. Semi-Supervision Learning: 준지도 학습
손흥민은 토트넘 최고의 공격수로 자리 잡았다
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
손흥민은 토트넘 최고의 공격수로 자리 잡았다
머신러닝아 이런거 맞추면서 언어좀 공부해봐라! 마!
네 뭐 이런겁니다

18. Semi-Supervision Learning: 준지도 학습
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
네 그랬더니 사람을 이겼어요

19. Semi-Supervision Learning: 준지도 학습
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
https://github.com/codertiimo/BERT-pytorch
깨알홍보

20. Semi-Supervision Learning: 준지도 학습
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
오 그러면 레이블링이 거의 없어도 완전 짱 잘되자나?
이건 혁명이야!! 이미지나 오디오도 잘되나?????

21. Semi-Supervision Learning: 준지도 학습
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
네 그랬습니다. 전부다 높은 성능을 얻었어요👍👍
수많은 사람이 수억건의 데이터를 일일이 레이블링하는 방식을 최소화 함

22. 다국어 기계번역 NMT(Neural Machine Translation)
손흥민은 토트넘 최고의 공격수로 자리 잡았다
Sonny has became the best striker in Tottenham
ટોનીહેમમાં સોની +ે, -.ાઈકર બ3યા છે
페이스북은 전세계 100+ 이상의 언어를 지원하는 서비스
다국어 번역은 페이스북의 오랜 연구 과제

23. 다국어 기계번역 NMT(Neural Machine Translation)
하지만 번역 NMT는 동일한 의미의 다국어의 문장이 대량으로 필요함
이런 데이터를 만드는 것은 거의 불가능에 가깝고 너무 많은 시간과 비용이 필요함

24. 다국어 기계번역 NMT(Neural Machine Translation)
하지만 번역 NMT는 동일한 의미의 다국어의 문장이 대량으로 필요함
이런 데이터를 만드는 것은 거의 불가능에 가깝고 너무 많은 시간과 비용이 필요함
Semi-Supervision Learning으로 배운 언어의 이해를 다국어로 확장하는 모델 개발
각 언어 Representation Space 를 Matching하는 방법론을 제시함
+ On-device 에서 실행가능하도록

25. 다국어 기계번역 NMT(Neural Machine Translation)
https://code.fb.com/ai-research/laser-multilingual-sentence-embeddings/

26. Research to Production : Pytorch v1.0 stable release
개발에서는 최강 UX를 자랑하지만
Production Scale에서는 최약자였던 Pytorch
Python성능과 Dynamic Graph Computation의 속도 저하 문제

27. Research to Production : Pytorch v1.0 stable release
ONNX, Caffe2, Jit compile
Production 문제 해결
+ MOBILE-ML

28. Experience 🤩🤩

29. 사실 말도 안되는 전개
다음주에 Google I/O출장이 있어서
공짜로 비행기표
친구인 욱재님의 해커톤 참가
+ 욱재님의 호텔에서 숙박
센프란가는 비행기에서
F8가는 고등학교 배프 초우연 재회
마침또 구글에서 근무하신 선배와
초 번개 미팅 & 투어
페이스북에서 봤던 분들을
대규모로 오프라인 접선
윤혁님의 네트워크에 조인해
테슬라 오토파일럿도 실험

30. 커뮤니티

31. 세션

32. 회사 홍보(?)
일상대화 인공지능 핑퐁

33. 주변투어

34. Total Review👋👋

35. 정말 재미있고
유익하고
좋은 사람들을 사귀고
뛰어놀 수 있고
다양한 경험을 할 수 있고
여러 이야기를 나누며
여러 사진을 찍으며
페이스북 굳즈를 겟하며
하루하루가 행복하고
재미있는 세션이 너무 많고
먹을것 마실것이 널려있습니다
사랑합니다❤
감사합니다😍😍
Facebook F8
+Dev Circle😆😆
내년에 사비로라도 꼭 다시 오고싶어요
절대 후회 안하실겁니다 ㅎㅎ

36. Thank you