재작년 애플은 모바일에서 머신러닝을 실행시킬 수 있는 Core ML을 공개했고 뒤를 이어 구글의 Firebase도 ML Kit을 공개했습니다. "Just Point It"라는 간단한 앱 소개와 함께 모바일과 머신러닝이 만나려면 어떤 준비를 해야하는지, 어떻게 사용하는지, 어떤 결과들이 나올 수 있는지 등을 이야기해 보고자 합니다. 참고링크(TF KR 공유글)에서 데모 영상을 확인할 수 있습니다. https://www.facebook.com/groups/TensorFlowKR/permalink/842354062772320/

1. 짚으면 찾아주는 사전
JUST POINT IT
그리고 모바일 머신러닝
부산대학교 정보컴퓨터공학부
MoT Labs iOS 개발 담당
곽도영

2. 곽도영 / tucan9389 / MoT Labs

3. MoT Labs
Machine Learning of Things
Jay Lee
(KakaoPay)
Joon ho Lee
(Neurophet)
Doyoung Gwak
(PNU)
Joongwon Hwang
(위메프)
DongSeok Yang
(DKU)
SungJin Lee
(DU)
Taekmin Kim
(SNU)
Yunbum BeakJaewook Kang
(Naver Clova)
Seoyeon Yang
(SNU)
Yonggeun LeeJeongah Shin
(HYU)
Jihwan Lee
(SNU)
Model / Optimization / Hardware / Mobile

4. 경험 공유
짚으면 찾아주는 사전
JUST POINT IT
오늘 할 이야기는
모바일 머신러닝 앱

5. DEMO
먼저

6. 1. 핸드폰을 들고
2. 단어를 짚는다.

7. Motivation

8. - 모바일에서 영어 단어 검색시 타이핑
- 손가락으로 짚으면 찾아주는 사전은 어떨까?

9. App Store에서 찾은
글자 인식 어플

10. 1. 문서 사진 촬영(Tap)
2. 인식할 영역 지정(Tap, Tap)
3. 인식(Tap)
4. 필요시 번역(Tap)

11. 1. 문서 사진 촬영(Tap)
2. 인식할 영역 지정(Tap, Tap)
3. 인식(Tap)
4. 필요시 번역(Tap)
너무 많은 Tap

12. 번역말고 사전이 필요
그리고

13. 없으면 만들자!

14. 1. OCR (단어 인식)
2. Finger Detection (손가락 찾기)
3. Majority Voting (인식률 개선)

15. 1. OCR (단어 인식)
2. Finger Detection (손가락 찾기)
3. Majority Voting (인식률 개선)

16. WWDC 2017 발표 Google I/O 2018 발표
Core ML ML Kit

17. 모바일 머신러닝
프레임워크
Core ML ML Kit
모바일 위에서 추론할 수 있게 도와주는 프레임워크

18. https://goo.gl/images/mbNgcr
ML Kit에서 제공하는 API

19. ML Kit의 Text Recognition API
한 단락
한 줄
한 단어

20. 하지만...

21. Text Recognition API 추론시간 비교
단어 수 2 개 8 개 38 개 91 개 223 개
추론 시간 65 ms 69 ms 106 ms 126 ms 211 ms
이미지 상에 단어가 많을수록
추론시간이 길어짐
(iPhone X 기준)

22. 그래서
Text Detection
Text Recognition

23. https://www.theverge.com/2017/6/5/15725994/apple-mobile-ai-chip-announced-wwdc-2017
Vision에서 제공하는 API

24. Core ML의 Text Detection API
한 줄
한 글자

25. Core ML의 Text Detection API
한 줄
한 글자
추론시간: only 12ms
(iPhone X 기준)

26. 1
2
3
4
performance
5
Text Detection ~ Text Recognition
1 Text Detection
2 Word Extraction
3 Nearest Word
4 Word Cropping
5 Text Recongition

27. UP TO
3.5x
FASTER
(ms)
210 ms
59 ms
성능 개선 결과

28. 영역 표현법
회전 한계각
지원 언어
추론 시간
Core ML의
Text Detection API
ML Kit의
Text Recognition API
Quadrilateral
(Rectangle)
10 °
en
약 12 ms
Polygon
(Rotated Box)
45 ° 이상
en
(cloud: many)
약 60~200 ms
API 비교
(iPhone X, 19.03.10 기준)
https://tv.naver.com/v/4578167

29. 1. OCR (단어 인식)
2. Finger Detection (손가락 찾기)
3. Majority Voting (인식률 개선)

30. Face tracking
Face Detection
Landmarks
Text Detection
Rectangle detection
Barcode detection
Object tracking
Image registration
Image labeling
Text recognition
Face detection
Barcode scanning
Landmark detection
Smart reply
Vision
(Core ML)
ML Kit
사용할 수 있는 API

31. Face tracking
Face Detection
Landmarks
Text Detection
Rectangle detection
Barcode detection
Object tracking
Image registration
Image labeling
Text recognition
Face detection
Barcode scanning
Landmark detection
Smart reply
Vision
(Core ML)
ML Kit
사용할 수 있는 API
No Finger Detection API

32. 직접 학습해야 함
그래서

33. Don’t be turtle Project
with MoT Labs
그 당시에

34. Pose Estimation을 활용한
Don’t be turtle 앱

35. Pose Estimation
이미지나 영상이 입력으로 들어오면
사람 몸의 키포인트를 찾아주는 컴퓨터 비전 분야 기술
사진 출처:
https://arxiv.org/abs/1609.01743

36. https://goo.gl/images/mJf5Cx
https://sites.google.com/view/11khands
포즈 데이터셋 대신
손가락 데이터셋을 넣어 학습하면 어떨까?
Body Pose Dataset Hand Dataset

37. 데이터셋 준비

38. Hand Pose Estimation
Pose Estimation

39. https://github.com/xinghaochen/awesome-hand-pose-estimation#datasets
Hand Pose Estimation Datasets

40. Hand Pose Estimation Datasets
https://github.com/xinghaochen/awesome-hand-pose-estimation#datasets
https://goo.gl/images/gSBijL

41. 직접 만들자

43. https://github.com/tucan9389/KeypointAnnotation
KeypointAnnotation

44. 어노테이션 완료

45. https://goo.gl/images/gSBijL
다시는 안 함.
교훈: 있는 데이터셋 잘 쓰자.

46. 이제, 학습

47. https://arxiv.org/abs/1603.06937
TensorFlow로 학습
- edvardHua/PoseEstimationForMobile
- jwkanggist/tf-tiny-pose-estimation
- Stacked Hourglass
- 일반 CNN 대신 MobileNet v2 사용

48. Black Box
- Input format(COCO format)
- Image augmentation
사실은

49. 학습 결과

50. 프로토타입 완성
모델 크기: 약 2.3MB
추론시간: 약 60 ms
후처리시간: 약 10 ms
FPS: 약 13
https://github.com/tucan9389/FingertipEstimation-CoreML

51. 합쳐볼까요?
Finger Detection
OCR
+

52. OCR

53. Finger Detection + OCR
0 Pose Estimation

54. 1. OCR (단어 인식)
2. Finger Detection (손가락 찾기)
3. Majority Voting (인식률 개선)

55. Pose Estimation
Text Detection
Words Extraction
Find a Nearest Word
Crop the Word
Text Recognition
Pointing Word
Recognition
performance
짚은 단어 인식

56. Pose Estimation
Text Detection
Words Extraction
Find a Nearest Word
Crop the Word
Text Recognition
Majority Voting
erfomanceformance performance
9% 87% 6%
다수결 투표 방법

57. 0 Pose Estimation
1 Text Detection
2 Word Extraction
3 Nearest Word
4 Word Cropping
5 Text Recongition
0
1
2
3
4
5
6 Majority Vote
6
Rule-based
function
ML-based
function
Finger
Detection
OCR
결과

58. 한 번
사용해 보고
싶으신 분들은
…

59. https://github.com/tucan9389/PoseEstimation-CoreML
한 번
만들어 보고
싶으신 분들은
…

60. https://github.com/motlabs/awesome-ml-demos-with-ios
최우수상
https://goo.gl/images/oQrp8v
한 번
만들어 보고
싶으신 분들은
…

61. 앞으로

62. 서비스
모델
앱 최적화(배터리 이슈)
학습
- 기능 추가
(사전, 연락처 저장, TTS 등)
- 인터렉션 추가
- 비용이 작은 모델부터 추론
- 필요시에만 추론 빈도 증가
- 모델 퀀타이제이션
https://heartbeat.fritz.ai/reducing-coreml2-model-size-by-4x-with-quantization-in
-ios12-b1c854651c4
https://goo.gl/im
ages/dKrZEm
Powered by
DongSeok Yang
(DKU)

63. 0. 정말로 모바일에서 머신러닝을 사용해야만 하나?
1. 프레임워크에서 제공되는 API 확인
2. 빠르게 파이프라인 구축
3. 앱 최적화
모바일 머신러닝 팁
마지막으로

64. 끝났습니다.

65. 곽도영
tucan.dev@gmail.com
https://github.com/tucan9389
감사합니다.