Apple은 ARKit, Create ML, Core ML을 선보이며 증강현실 기반의 서비스를 구현하고, 모바일 앱에서 머신러닝(딥러닝) 모델을 적용할 수 있는 환경을 제공합니다. 본 세션에서는 관련 내용을 소개하고 경험을 공유하려고 합니다. 목차 1. ARKit 소개  - AR이 뭔가요?  - ARKit의 주요 구성  - SceneKit 이란? 2. ARNavigation  - ARNavigation의 구성  - ARNavigation 만들기 3. Create ML  - Create ML 소개  - Perfume Classification 만들기 4. Core ML  - Image Segmentation 모델을 모바일에 적용하기  - 그 외에 흥미로운 분야들 대상 - iOS 개발에 관심이 있는 모든 개발자 - 증강현실과 머신러닝(딥러닝)에 관심이 있고, 이를 모바일 환경에 적용해보는 것에 관심이 있는 개발자

1. © 2018 NHN FORWARD. All rights reserved.
iPhone으로 무엇을 더 할 수 있을까?
: ARKit, Create ML 모바일 서비스 적용 사례
정호연, 손제헌
앱기술개발팀

2. 2 / 81
CONTENTS
1. ARKit 소개
- AR이 뭔가요
ARKit의 주요 구성
SceneKit이란
2. ARNavigation
- ARNavigation의 구성
- ARNavigation 만들기
3. Create ML
- Create ML 소개
- Perfume Classification 만들기
4. Core ML
- Image Segmentation 모델을 모바일에 적용하기

3. © 2018 NHN FORWARD. All rights reserved.
. ARKit

4. 4 / 81
AR이 뭔가요?

5. © 2018 NHN FORWARD. All rights reserved.
. ARKit

6. 6 / 81
ARKit의 주요 구성
ARConfiguration ARSession ARFrame

7. 7 / 81
ARConfiguration
. ARWorldTrackingConfiguration






8. 8 / 81
ARConfiguration
. AROrientationTrackingConfiguration


9. 9 / 81
ARConfiguration
. ARImageTrackingConfiguration


10. 10 / 81
ARConfiguration
. ARFaceTrackingConfiguration



11. 11 / 81
ARConfiguration
. ARObjectScanningConfiguration

 개발 시나리오에서만 사용

12. 12 / 81
ARKit의 주요 구성
ARConfiguration ARSession
AVCaptureSession CMMotionManager
ARFrame

13. 13 / 81
ARSession
ARSession
?

14. 14 / 81
ARSession의 Result => ARFrame
ARSession
CVPixelBuffer
ARAnchor

15. 15 / 81
ARSession의 내부는?
ARSession
CVPixelBuffer
ARAnchor
?
VIO
Visual Inertial
Odometry

16. 16 / 81
그렇다면 가상의 Object는 어떻게?

17. 17 / 81
Rendering

18. © 2018 NHN FORWARD. All rights reserved.
. SceneKit

19. 19 / 81
. SceneKit의 구조

20. 20 / 81
. ARKit과 SceneKit의 코드상 흐름

21. 21 / 81
. Add

22. 22 / 81
. Update

23. 23 / 81
. Remove

24. 24 / 81
. ARKit과 SceneKit의 시각적 구분
Session.currentFrame
CVPixelBuffer
ARCamera

25. 25 / 81
. ARKit과 SceneKit의 시각적 구분
Session.currentFrame
ARAnchor
ARAnchor
ARAnchor
ARAnchor
CVPixelBuffer
ARCamera

26. © 2018 NHN FORWARD. All rights reserved.
. ARNavigation

27. © 2018 NHN FORWARD. All rights reserved.
. Demo

28. 28 / 81
ARNavigation의 화면 구성

29. 29 / 81
길찾기 결과의 구조

30. 30 / 81
결과물은 위도/경도 Array 인데…

31. 31 / 81
위도/경도에서 3D 좌표계로

32. 32 / 81
두 위경도 사의에 거리.
. Haversine 공식. Vincenty 공식

33. 33 / 81
ARNavigation

34. 34 / 81
두지점간 거리 구하기
Haversine Vincenty

35. 35 / 81
그런데 말입니다…

36. 36 / 81
기술적인 이슈 해결?

37. 37 / 81
생각해보니 더 쉬운 방법이…

38. © 2018 NHN FORWARD. All rights reserved.
ML

39. 39 / 81
Create ML

40. 40 / 81
Create ML
XCode 10, macOS Mojave(10.14)

41. 41 / 81
Perfume Classification
 10종의 향수를 구분
 Just for fun. Not for service

42. 42 / 81
Demo
Perfume Classification

43. 43 / 81
Perfume Classification
Image Classification

44. 44 / 81
Perfume Classification
Image Classification

45. 45 / 81
MLImageClassifierBuilder
Perfume Classification

46. 46 / 81
Perfume Classification
MLImageClassifierBuilder

47. 47 / 81
MLImageClassifierBuilder
Perfume Classification

48. 48 / 81
Prepare DataSet
Perfume Classification

49. 49 / 81
Prepare DataSet
Perfume Classification

50. 50 / 81
Perfume Classification
Prepare DataSet
 레이블(label)당 최소 10장 이상의 이미지
 각 레이블(label) 당 이미지 수는 동일하게 유지
 최소 299 * 299 픽셀 이상의 이미지

51. 51 / 81
Perfume Classification
Scene print feature extractor

52. 52 / 81
Training DataSet
Perfume Classification

53. 53 / 81
Training DataSet
Perfume Classification

54. 54 / 81
Testing DataSet
Perfume Classification

55. 55 / 81
Training DataSet
Perfume Classification

56. 56 / 81
import CreateML
import Foundation
// Specify Data
let trainDirectory = URL(fileURLWithPath:trainingSourceDirectoryPath)
let testDirectory = URL(fileURLWithPath:testingSourceDirectoryPath)
// Train Model
let model = try MLImageClassifier(trainingData:.labeledDirectories(at:trainDirectory))
// Evaluate Model
let evaluation = model.evaluation(on: .labeledDirectories(at: testDirectory))
// Save Model
try model.write(to: URL(fileURLWithPath:modelOutputPath))
Perfume Classification
Training DataSet

57. 57 / 81
Perfume Classification
Apply MLModel
 Bundling models with app
Drag&Drop Build

58. 58 / 81
Perfume Classification
Apply MLModel
 Downloading and compiling models
Convert
mlmodelc
upload
download

59. 59 / 81
Apply MLModel
Perfume Classification

60. 60 / 81
Apply MLModel
Perfume Classification

61. 61 / 81
Apply MLModel
Perfume Classification

62. 62 / 81
Apply MLModel
Perfume Classification

63. 63 / 81
Apply MLModel
Perfume Classification

64. 64 / 81
Demo
Perfume Classification

65. 65 / 81
Core ML

66. 66 / 81
Core ML

67. 67 / 81
Core ML
Gather data Training Convert
mlmodelcoreml
app

68. 68 / 81
Image Segmentation

69. 69 / 81
Image Segmentation

70. 70 / 81
Image Segmentation
Gather data Training Convert
mlmodelcoreml
app

71. 71 / 81
Image Segmentation
Prepare DataSet

72. 72 / 81
Training DataSet
Image Segmentation

73. 73 / 81
Testing DataSet
Image Segmentation

74. 74 / 81
coremlmodel = coremltools.converters.keras.convert(model,
input_names=['image'],
image_input_names=['image'],
output_names=['image'])
Image Segmentation
Apply MLModel
Model Family Supported Packages
Neural Networks Keras (1.2.2, 2.0.4+), Caffe 1.0
Tree Ensembles XGboost (0.6), scikit-learn 0.18.1
Generalized Linear
Models
scikit-learn (0.18.1)
Support Vector
Machines
libSVM (3.22), scikit-learn (0.18.1)

75. 75 / 81
Image Segmentation
Apply MLModel

76. 76 / 81
Result
Image Segmentation

77. 77 / 81
Image Segmentation
Demo

78. © 2018 NHN FORWARD. All rights reserved.
Q&A

79. © 2018 NHN FORWARD. All rights reserved.
THANK YOU