1.
iOS 앱에서 머신러닝이
해결할 수 있는 문제들
Vision편
NAVER
곽도영

2.
● NAVER CONOMI 개발팀에서 iOS 개발 담당
● MoT Labs에서 iOS 개발 담당
● iOS 앱 개발 취미, 지금은 업
● ML 공부중
● 모바일 기기 위에 머신러닝 관심

3.
Awesome Machine Learning
DEMOs with iOS
https://github.com/motlabs/awesome-ml-demos-with-ios
발표를 하게 된 계기는

4.
머신러닝
모델 제작자
입장에서
머신러닝
모델 사용자
입장에서
그래서 오늘 할 이야기는

5.
사용자 프라이버시 친화적인 앱
네트워크 비용 절감
지연시간 감소
왜 모바일 머신러닝을 사용하나요?

6.
검증
데이터 입력
출력
학습 추론
머신러닝 개발 프로세스

7.
검증
데이터 입력
출력
학습 추론
머신러닝 개발 프로세스

8.
검증
데이터 입력
출력
학습 추론
머신러닝 개발 프로세스

9.
검증
모델
추출
데이터 입력
출력
학습 추론
모바일 머신러닝 개발 프로세스

10.
검증
모델
추출
데이터 입력
출력
학습 추론
이슈 이슈
이슈
모바일 머신러닝 개발 프로세스

11.
https://leanpub.com/coreml-survival-guide
CORE ML SURVIVAL
GUIDEhttps://github.com/ysh329/deep-learning-model-convertor
Deep Learning Model Convertors
모델 추출 단계 (참고)

12.
추론이란?
본론으로 들어가면

13.
추론입력 출력
추론이란?
→ 입력에대해서 예측한 결과를 출력하는 것

14.
추론
Mountain
...
기존의 룰베이스 알고리즘으로 해결할 수 없었던 문제를 해결
추론이란?

15.
추론할 때
사용하는 도구는?

16.
https://github.com/fritzlabs/Awesome-Mobile-Machine-Learning
Vision
Natural
Language
Speech
MLKit/
Vision
MLKit/
Language
Sound
Analysis
Accelerate and
BNNS
MPS C++ Lib C++ Lib
Your App
TF Lite
Pytorch
Mobile
Core ML
iOS의 머신러닝 프레임워크
https://images.app.goo.gl/GnjEn7hWLA4xhQwH9
https://images.app.goo.gl/gTB3iFncwt7XNZc56
https://images.app.goo.gl/2JneWt3SRNi4BDdL7

17.
아래로 갈수록 어려움
모델 사용
프레임워크 API 사용🏛
애플(혹은 오픈소스)에서 제공되는 모델 사용
직접 학습한 모델을 변환하여 사용
iOS에서 머신러닝을 사용하는 2가지 방법

18.
그럼, 어떤 문제를 해결
할 수 있을까요?

19.
Image Classification
카테고리

20.
...
acorn squash
cucumber
bell pepper
mushroom
granny smith
strawberry
orange
lemon
fig
pineapple
banana
jackfruit
custard apple
pomegranate
hay
carbonara
chocolate sauce
dough
meat loaf
pizza
red wine
...
...
0.01%
0.12%
0.31%
0.65%
0.04%
0.00%
0.00%
0.60%
0.14%
0.04%
97.21%
0.01%
0.22%
0.31%
0.65%
0.04%
0.00%
0.00%
0.60%
0.14%
0.01%
...
Image Classification

21.
잠시, 구현 방법 소개

22.
커스텀 모델 구현 방법
MobileNetV2.mlmodel
먼저 해야할 것: 어디선가 모델을 구해와서 Xcode에 넣는다

23.
구현 1번째 방법: 자동생성된 클래스 활용하기(1/3)
커스텀 모델 구현 방법

24.
구현 1번째 방법: 자동생성된 클래스 활용하기(2/3)
커스텀 모델 구현 방법

25.
구현 1번째 방법: 자동생성된 클래스 활용하기(3/3)
커스텀 모델 구현 방법
pixelBuffer 크기를 모델
크기에 맞게 전처리 필요

26.
구현 2번째 방법: Vision 프레임워크로 전후처리
커스텀 모델 구현 방법

27.
구현 2번째 방법: Vision 프레임워크로 전후처리
커스텀 모델 구현 방법
My모델
Vision Model
Vision Request
완료핸들러

28.
구현 2번째 방법: Vision 프레임워크로 전후처리
커스텀 모델 구현 방법 VNClassificationObservation
● 카테고리
● 확률

29.
구현 2번째 방법: Vision 프레임워크로 전후처리
커스텀 모델 구현 방법

30.
Image Classification
● 사진이 어떤 카테고리에 속하는지 찾아줌
● 입력: 이미지
● 출력: 카테고리 (VNClassificationObservation)
https://github.com/tucan9389/ImageClassification-CoreML

31.
다음으로
Object Detection
위치와 영역

32.
https://github.com/tucan9389/ObjectDetection-CoreML

33.
Object Detection
https://images.app.goo.gl/KB5ci9xLkf2Sp9kN8
car: 98%
car: 98%
car: 98%
car: 98%
traffic light: 89%
traffic light: 89%

34.
https://images.app.goo.gl/KB5ci9xLkf2Sp9kN8
car: 98%
car: 98%
car: 98%
car: 98%
traffic light: 89%
traffic light: 89%
● 위치와 영역
● 위치와 영역
● 카테고리
Object Detection

35.
후처리: (필요시)좌표 변환
(0,0)
(1,1)
(0,0)
(width, height)
Object Detection

36.
● 사진에서 객체의 위치와 영역을 찾아줌
● 입력:이미지
● 출력:
○ 위치와 영역 (VNDetectedObjectObservation)
○ 위치와 영역 + 카테고리 (VNRecognizedObjectObservation)
● 후처리: 좌표 변환
https://github.com/tucan9389/ObjectDetection-CoreML
Object Detection

37.
Text RecognitionText Detection
Tools ● Apple’s Vision Framework
● Apple’s Vision Framework
● Google’s ML Kit Framework
Input/
Output
응용된 API

38.
Text Recognition
응용

39.
Image to XXXmap
Depth Prediction &
Pose Estimation &
Image Segmentation

40.
● 사진에서 픽셀별 카메라와 거리를 찾아줌
● 입력: 이미지
● 출력: Depthmap
(VNCoreMLFeatureValueObservation)
● Depth Camera 없이 가능
https://github.com/tucan9389/DepthPrediction-CoreML
Depth Prediction

41.
● 사진에서 사람의 골격 위치를 찾아줌
● People Occlusion (ARKit에선..)
● 입력: 이미지
● 출력: Heatmap
(VNCoreMLFeatureValueObservation)
https://github.com/tucan9389/PoseEstimation-CoreML
https://www.youtube.com/watch?v=OrOZxOTIv-g
Pose Estimation

42.
https://www.youtube.com/watch?v=OrOZxOTIv-g
후처리: Heatmap 가공
Pose Estimation

43.
Pose Estimation 응용

44.
Pose Estimation Text Detection
Text Recognition
Just Point It

45.
● 사진에서 픽셀별 카테고리를 찾아줌
● 입력: 이미지
● 출력: Segmentation Map
(VNCoreMLFeatureValueObservation)
https://www.jeremyjordan.me/semantic-segmentation/
https://github.com/tucan9389/ObjectSegmentation-CoreML
Image Segmentation

46.
https://www.jeremyjordan.me/semantic-segmentation/
● 사진에서 픽셀별 카테고리를 찾아줌
● 입력: 이미지
● 출력: Segmentation Map
(VNCoreMLFeatureValueObservation)
https://github.com/tucan9389/ObjectSegmentation-CoreML
Image Segmentation

47.
Pose Estimation Depth Estimation Image Segmentation
Input
Output
Type 14 x 96 x 96 Array<Float> 96 x 96 Array<Float> 96 x 96 Array<Int>
Range 0.0 ~ 1.0 0.0 ~ 1.0 0, 1, 2, 3, …, 20
Heatmap Depthmap Segmentation map

48.
Image to Image
Image Style Transfer &
Super Resulotion

49.
Image Style Transfer
https://www.appcoda.com/coreml-turi-create/
https://github.com/backnotprop/fast-style-transfer-coreml
https://github.com/s1ddok/HED-CoreML

50.
https://www.appcoda.com/coreml-turi-create/
https://github.com/imxieyi/waifu2x-ios
Super Resolution

51.
Image Classification
Object Detection
Pose Estimation
Depth Prediction
Image Segmentation
Image Style Transfer
Super Resolution
카테고리
위치와 영역
xxx map 결과
image-to-image
정리 한번..

52.
서비스에 사용한다면?

53.
서비스에 모델을 사용할 때 고려할 점
1. 실데이터로 모델 검증
2. 추론속도 비교

54.
Image Segmentation (DeepLabV3)
기기별 추론속도 비교(1/3)

55.
Image Classification (MobileNetV2)
기기별 추론속도 비교(2/3)

56.
iPhone 11 Pro
추론시간은 15 ms
100장에 1.5 s
iPhone X
추론시간은 50 ms
100장에 10 s
기기별 추론속도 비교(3/3)

57.
마무리
• 다양한 모델의 기능
• 모델별 입출력
• 서비스에서 고려할점 (실데이터 검증, 추론시간)
https://github.com/motlabs/awesome-ml-demos-with-ios

58.
감사합니다
doyoung.gawk@navercorp.com
WE ARE HIRING!