https://pages.awscloud.com/AmazonSageMaker20190312-jp.html

1. SageMaker Neoの可能性について
第3回 Amazon SageMaker 事例祭り＋体験ハンズオン
2019/03/12
加藤倫弘
システム本部AIシステム部AI研究開発第二グループ
株式会社ディー・エヌ・エー

2. 2

3. 3

4. 自己紹介
• 加藤 倫弘（かとう ともひろ）
• DeNA システム本部AIシステム部AI研究開発第二グループ
• 製品向けのDeepLearningのモデル設計から、
エッジデバイスへのデプロイ用のフレームワーク開発まで好き嫌いせずなんでも
• ブログからSlideShareやTwitterに飛べます
• https://tkat0.github.io/about/
• 仕事仲間とプロジェクトの紹介記事です
• https://dena.ai/work6/
• 特にSageMakerのノートブックインスタンスはデータセット等の加工/分析に良く使います
4

5. Agenda
エッジにDeepLearningをデプロイするという観点でSageMaker Neoを使った感想
• プロジェクト紹介
• DeepLearningをエッジでやる課題
• SageMaker Neoで何ができるか
• SageMaker Neoを使ってみる
• 今後の期待
5

6. 交通事故低減に向けた
AI 技術活用の取り組み
6
プロジェクト紹介

7. 行動変容に基づく交通事故低減
• 運転行動をモニタリングし潜在的な不安全行動を指摘→行動変容を促す
7
地図
ドライバー
モニタリング 環境
モニタリング
センサ解析
（GPS、加速度、ジャイロ）

8. ドライバーモニタリング
• ランドマーク検出＋顔姿勢推定
• 顔のランドマークを検出し、顔の3Dモデルとフィッティングすることで顔の3D姿勢を推定
8
・・・
左目
鼻
あご
ランドマーク検出結果 顔の3Dモデル

9. 車載カメラ画像認識による環境モニタリング
9

10. 大規模の実走行データでの実証
• 実証実験を通して、大規模に実走行データを収集
• アノテーション体制を構築し、AI研究開発に必要十分なラベル付きデータをいつでも
作成・利用できる状態
10

11. 危険運転行動検出アルゴリズムの開発
• CVモデルからのデータをはじめ、車速/加速度/地図データから危険運転行動の特徴を把握
し、機械学習等を用いて検出アルゴリズムを開発
11
危険運転行動の特徴把握
ビジネス要件に合わせた
アルゴリズムの開発
危険運転
行動
安全運転行動
CVモデルなどからデータを取得

12. 独自のアルゴリズムによる危険運転行動検出
12
CV / NLP / 音声 / 強化学習等の 研究上
の専門技術を保有 日進月歩の先端研究
動向をウォッチし専門技術を活用して
事業貢献
高い専門性
サービス・事業の抱える分析課題を解
くことに燃えるスペシャリスト集団
手段を問わず最高の精度を出すことに
泥臭くコミット
幅広い引き出し
ML エンジニア
AI技術をサービス上に実装して安定運用を実現する
データの収集、前処理やAPIの提供
高いエンジニアリング能力
AI 研究開発エンジニア データサイエンティスト
高精度な車間距離算出モデルの開発 危険運転行動検出アルゴリズムの開発
データ収集、本番環境へのデプロイ、運用
CVチーム（AI研究開発エンジニア）の作成した高品質なモデルを活用して
DSチームが危険運転行動検出アルゴリズムを開発し
ドライバー本人にも納得感のある危険運転行動検出を実現
あおり運転検出の例

13. エッジでDeepLearningする課題
13

14. エッジでDeep Learningをする課題
• サーバーサイドのDeepLerningモデルは動かないか、動いても遅いことが多い
• プラットフォームで高速に実行できる実装でないと遅い
• エッジ側のフレームワークは非サポートのOperatorがサーバー側より多く、
モデル設計の上で制約が生じる
• 試行錯誤が大変
• モデル設計の上で、エッジ向けにモデルを変換して簡単にベンチマークをとりたい
• 特にリサーチよりのエンジニアはデバイスで試行錯誤は難しい
• そもそも環境構築が大変
• DeepLearningのモデルの前処理後処理といった実装も大変
• プラットフォームによってはPythonが動かない
• numpyをつかって数行で実装したアルゴリズムをC/C++で書き直したり…
14
期待する性能をみたすことや、最先端の研究をサービスに組み込むが難しい

15. SageMaker Neoで何ができるか
15

16. Amazon SageMaker Neo とは
• サーバーサイドで学習したモデルをコンパイルし、任意のプラットフォームで動かせる
• In: ONNX, PyTorch, TensorFlow, MXNet, XGBoost
• Out: Raspberry Pi, Jetson TX1/2, DeepLens, AWSのMLインスタンス各種
• モデルの最適化や軽量なランタイムのおかげで推論のパフォーマンスが良い
• 公式では、最大でメモリ使用量1/10、速度が2倍とある
• 内部ではTVM（後述）をforkしてを利用してモデルをコンパイルしている
• 他のサービス同様、AWS CLI、コンソール、Python SDKから利用することができる
• 環境構築がほぼ不要で手軽に使えた！
• TVMを直接使っても実現できることが多いが、サービスとして手軽に使いやすく
SageMakerの他のサービスと組み合わせることで、jupyter notebook1つでモデルの学習
→最適化→デプロイまでが可能になるのは特にリサーチエンジニアによっては良い
• ちなみにコンパイルは無料
16

17. TVMとは
17引用：https://tvm.ai/about
多種のフレームワークのモデルを
最適化し
異なるバックエンド
向けにコンパイル
ランタイムは軽量でマルチプラットフォーム

18. TVMとは
18
引用: https://sampl.cs.washington.edu/tvmconf/slides/Eddie-Yan-AutoTVMFleet.pdf
AutoTVM (AutoTuning)
RPC（リモート実行）
コンパイルした実装をデバイスで実測し、
それを学習データにしてチューニング

19. SageMaker Neoのワークフロー
19
Amazon SageMaker Neo
model.tar.gz
• weight（.bin）
• モデル定義（.json）
• ライブラリ（.so）
model.tar.gz
ONNX、PyTorch、
TensorFlowなどの学習済みモデル
CompileJob実行はAWS CLI、AWSコンソール、SageMaker SDK
このとき入出力のs3パスや、モデルのinput仕様、
ターゲットプラットフォーム（Raspi3等）を指定
• SageMakerを利用して
Web APIとしてデプロイ
• greengrassで
エッジへデプロイ
• 任意のシステムへ組み込み
（Python, CのAPI）
s3経由 s3経由
■Compile ■Deploy
モデル モデル
モデル
Runtime (DLR)

20. AWS コンソールでのNeoの利用
20
Compilation Job

21. 21
入力のフレームワーク

22. 22
数項目埋めるだけでモデルをコンパイルできるので手軽ですね
出力先のデバイス

23. SageMaker Neoを使ってみる
23

24. 参考資料
• 使い方は以下を見れば大体わかります。制約等も記載されている。
• Amazon SageMaker のよくある質問 – アマゾン ウェブ サービス (AWS)
• https://aws.amazon.com/jp/sagemaker/faqs/
• Deploy a Model - Amazon SageMaker
• https://docs.aws.amazon.com/sagemaker/latest/dg/deploy-model.html
• Amazon SageMaker Python SDK — sagemaker 1.18.4 documentation
• https://sagemaker.readthedocs.io/en/stable/
• awslabs/amazon-sagemaker-examples
• https://github.com/awslabs/amazon-sagemaker-examples
24

25. 学習済みのONNXモデルをNeoでコンパイルしてraspiへ
• ONNX Model Zooのモデルをコンパイルしてさくっと動かしてみましょう
• https://github.com/onnx/models
• 事前準備
• Raspberry PiにDLRをインストール
• https://neo-ai-dlr.readthedocs.io/en/latest/install.html#building-on-linux
• 手順
• ONNX Model Zooよりモデルをダウンロードし、tar.gzに固めてS3へアップロード
• SageMaker Python SDK経由でNeoのコンパイルジョブを実行
• コンパイル結果のモデルをS3よりRaspberry Piへダウンロード
• DLRのPython APIで推論を実行
• 補足
• greengrassと連携すれば、デバイスへの配信やテストがAWS コンソールからできるの
でより簡単です。
25

26. SageMaker Python SDKによるコンパイル
• 学習はすでに終わってるので、sagemaker.Modelを直接使いました
• https://sagemaker.readthedocs.io/en/stable/model.html#model
• 数秒でコンパイルが完了
26
import sagemaker
...
input_path = 's3://xxxx/model.tar.gz'
output_path = 's3://xxxx/compiled'
sess = sagemaker.Session()
sagemaker_model = sagemaker.Model(input_path, None, role, sagemaker_session=sess)
# for Raspberry Pi 3B (not 3B+)
sagemaker_model.compile('rasp3b', {'data': [1, 3, 224, 224]}, output_path, role,
job_name='test-job-01',
framework='onnx')

27. DLR（Deep Learning Runtime）による推論実行
• PythonとCのAPIを提供。いずれも数行程度で推論実行できるので使い勝手は良い
• Raspbery PiはPythonが普通に動くので、Python APIで簡単実行
• TVMでやる場合はお決まりのコードを十数行は各必要があるので嬉しい
• DLRはTVMのランタイム（ tvm::runtime::GraphRuntime ）他のWrapper
• graph.jsonを見たところ、NNVMのopt=2でビルドしているみたいだった
27
from dlr import DLRModel
model = DLRModel('./compiled/model-raspi3b/', 'cpu')
result = model.run({'data': np.load('./testdata.npy')})

28. ベンチマーク
• 各モデル、Raspberry Pi 3 Model B+で10回試行
28
--------------------------------------------------
Network Name Mean Inference Time (std dev)
--------------------------------------------------
mobilenetv2 149.27 ms (1.49 ms)
resnet18 293.14 ms (1.50 ms)
resnet50 800.64 ms (21.87 ms)
sqeezenet1.1 104.60 ms (3.96 ms)

29. 注意点
• 対応するオペレータや、入力ファイルのフォーマット、エラー内容の説明は以下
• https://docs.aws.amazon.com/sagemaker/latest/dg/neo-troubleshooting.html
• 上記に従っているつもりでも、以下のエラーがでることがあった（未解決）
• ValueError: Error for Compilation job xxx: Failed Reason: Unexpected error
during compilation.
• 上記はONNX Model Zooの bvlc_alexnet 等で発生。なんだろう。
• モデルの入力ノードの名前を正確に知る必要があるので、Netronで見るのがおすすめ
• https://github.com/lutzroeder/netron
29

30. ChainerのモデルをNeoでコンパイルする
• ONNX-ChainerでChainerのモデルをONNXへ変換し、Neoでコンパイル
• モデルを設計しながらすぐにコンパイルしてエッジで動かせるため、試行錯誤が早くできる
30
# chainer
# https://github.com/chainer/onnx-chainer
import chainercv.links as C
import onnx_chainer
model = C.VGG16(pretrained_model='imagenet')
# Pseudo input
x = np.zeros((1, 3, 224, 224), dtype=np.float32)
onnx_chainer.export(model, x, filename='vgg16.onnx’)
sagemaker_model.compile(...)

31. 今後への期待
31

32. SageMaker Neoへの今後への期待
• 対応プラットフォームの拡充
• TensorRTなど、neo-ai/tvmで新規に対応するプラットフォームは大歓迎
• dmlc/tvmで対応済のiOS, AndroidなどもNeoのUI/UXで使えると嬉しい
• Auto Tuningの対応
• AWS Device Farmと連携して、クラウドに閉じてAutoTuningできると嬉しい
• 既にいくつかのモデルに対してはpre-tunedなパラメータを提供していると思いますが、
クライアントの任意のモデルでやりたい
• エラー内容がわかりやすくなるとうれしい
• >>> Failed Reason: Unexpected error during compilation.
• 先行するdmlc/tvmのマージ
• プロダクション品質とのバランスは難しそうだが、TVMは量子化やtrainingもサポート
されつつある。随時更新される機能追加/バグ修正を取り込んでくれると嬉しい
• unstableブランチで頑張ってるのは観測してます👀
32

33. DeNAにおけるDeep Learningコンパイラ技術の活用
• 現在はマルチプラットフォーム向けの画像処理・行列演算ライブラリとして
dmlc/tvmをプロダクション開発の一部で利用
• TVMのPython APIでアルゴリズムを記述し、プラットフォーム向けにコンパイル
• アルゴリズムの試行錯誤 → プラットフォームで動くコード生成が楽
• アルゴリズムのテストがPythonレイヤで完結し、品質面のメリットもある
• 推論フレームワークとして期待するのは、
• 各種スマートフォンやエッジデバイス、サーバーサイドAPIへのデプロイ
• Channel Pruningでネットワークサイズが変わってもauto tuningで対応できそう
• 興味がある方はぜひ一緒に仕事しましょう
• 最先端のアルゴリズムをどうすればプロダクションに
効率よく/品質よく/性能よく組み込めるかを考えてます。
• https://career.dena.jp/job.phtml
33

34. まとめと所感
• SageMaker Neoをつかえば、学習済モデルを様々なプラットフォームへデプロイできる
• リサーチャーがモデルの設計からデプロイまでやるのに向いていそう
• GUIやSDKで使うことができるので、TVMを直接使うよりも手軽
• DLRはアプリケーションに簡単に組み込めて良い
• SageMakerのその他の機能やgreengrassとの連携で、学習からデプロイが効率化
• 期待しているのでこれからもWatchしていきます
• DeNAとしては、Deep Learningコンパイラ技術は非常に関心があり、
プロダクション開発の中でどんどん取り入れていきたい。
• 興味がある方は、この後ぜひ声をかけてください
34