ShibuyaSynapse #4 https://dena-ai.connpass.com/event/109657/

1. © DeNA Co., Ltd.
オートモーティブ事業
におけるMLOps
Shibuya Synapse #4
December 11, 2018
Shota Suzuki
ML Engineering G
DeNA Co., Ltd.
© DeNA Co., Ltd.

2. © DeNA Co., Ltd.
自己紹介
 鈴木 翔太
 システム本部AIシステム部MLエンジニアリングG
 MLエンジニア
⁃ AI/MLシステムの本番組み込み
⁃ データの前処理・データパイプライン
⁃ 分析、学習環境の構築
22

3. © DeNA Co., Ltd.
Agenda
 交通事故低減に向けたAI技術活用の取り組み
 チーム体制
 AI/MLシステムの紹介
⁃ データの準備
⁃ 学習
⁃ 本番へのデプロイ
3

4. © DeNA Co., Ltd.
交通事故低減に向けた
AI 技術活用の取り組み
4

5. © DeNA Co., Ltd.
行動変容に基づく交通事故低減
 運転行動をモニタリングし潜在的な不安全行動を指摘→行動変容を促す
地図
ドライバー
モニタリング 環境
モニタリング
センサ解析
（GPS、加速度、ジャイロ）
5

6. © DeNA Co., Ltd.
ドライバーモニタリング
 ランドマーク検出＋顔姿勢推定
⁃ 顔のランドマークを検出し、顔の3Dモデルとフィッティング
することで顔の3D姿勢を推定
・・・
左目
鼻
あご
ランドマーク検出結果 顔の3Dモデル
6

7. © DeNA Co., Ltd.
車載カメラ画像認識による環境モニタリング
7

8. © DeNA Co., Ltd.
大規模の実走行データでの実証
 実証実験を通して、大規模に実走行データを収集
 アノテーション体制を構築し、AI研究開発に必要十分なラベル付き
データをいつでも作成・利用できる状態
8

9. © DeNA Co., Ltd.
独自のアルゴリズムによる危険運転行動検出
コンピュータビジョン(CV)チーム／データサイエンティスト(DS)チームの連携により、
様々な危険運転行動を検出する
⁃ 例：「あおり運転（車間距離不足）」の検出
• CVチーム：高精度な車間距離算出モデルの開発
• DSチーム：危険運転行動検出アルゴリズムの開発
CVチームの作成した高品質なモデルを活用して
DSチームが危険運転行動検出アルゴリズムを開発し
ドライバー本人にも納得感のある危険運転行動検出を実現
9

10. © DeNA Co., Ltd.
危険運転行動検出アルゴリズムの開発
 CVモデルからのデータをはじめ、車速/加速度/地図データから危険運転
行動の特徴を把握し、機械学習等を用いて検出アルゴリズムを開発
危険運転行動の特徴把握
ビジネス要件に合わせた
アルゴリズムの開発
危険運転
行動
安全運転行動
CVモデルなどからデータを取得
10

11. © DeNA Co., Ltd.
システム構成
11
車載器通信用ALB
Car API
ALB
Web API
AWS IoT
社内PC
顧客Tablet/PC
車載器
Job Kicker Server
AWS Batch
AI処理
Map Match
位置情報処理
ALB
SQS
Webサービス用
SageMaker 学習用EC2
AWS Glue
S3
SQS
ELB リバプロ Kibana ElasticSearch Service
CVエンジニア・データサイエンティスト分析
AI・危険運転解析処理
アプリログ分析
DynamoDB AuroraMemcache
Argus(内製BI)
車載器データ処理・Webサービス
CloudWatch CloudTrail Amazon SNS
• 車載器データ処理と危険運転解析処理をSQSを中継役として作業分割
• AIの分析・解析・試験環境において、多種多様なAWSコンポーネントを活用
IGW
DynamoDB
EFS

12. © DeNA Co., Ltd.
プロジェクトメンバ
12
https://dena.ai/work6/

13. © DeNA Co., Ltd.
役割分担
13
 コンピュータビジョン(CV)エンジニア
⁃ CVモデルの開発
 インフラエンジニア
⁃ AWS環境の構築、運用
 データ/サーバサイドエンジニア
⁃ 本番システムの設計、開発
⁃ データの前処理
 データサイエンティスト(DS)
⁃ 危険運転行動検出アルゴリズム
の開発
 車載器開発エンジニア
⁃ 車載器へのモデル組み込み
 フロントエンドエンジニア
⁃ アノテーションツールの開発
多様なスキル持った人がチーム組んでプロジェクトに取り組む

14. © DeNA Co., Ltd.
分業体制
14
 新規サービスとAI/ML処理を並行して開発
⁃ モデル作る以外にもタスクが多く専任は不可能
 分業でのメリット
⁃ 各自の得意領域に集中することができる
 分業でのデメリット
⁃ チーム間をまたぐようなところで問題が起きやすい
• 誰がやるのか曖昧になっている
• 仕様の伝達ミス
 コミュニケーション重要
⁃ お互いバックグラウンド、スキルセットが違うため、困っている
ことなど実際に聞いてみないとわからない
⁃ 別チームの定例に参加、GitHubの更新を眺める

15. © DeNA Co., Ltd.
MLシステムのサイクル
15
https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-dg.pdf

16. © DeNA Co., Ltd.
MLシステムのサイクル
16
https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-dg.pdf

17. © DeNA Co., Ltd.
センサーデータの収集、保管、加工
17
 車載器からアップロードされた各種センサーファイルを収集
⁃ GPS, 加速度、カメラの解析結果など
⁃ S3とEFSに各ドライビング毎にまとめて配置
 生データをデータサイエンティストが扱いやすいよう前処理
⁃ 分割されたファイルの結合
⁃ 欠損値の補間
⁃ タイムスタンプ揃え

18. © DeNA Co., Ltd.
CV用データの準備
18
 データの収集
⁃ 実証実験で収集した動画から専用のアノテーションツールを使い
、ドライバーや道路の画像をアノテーション
 データのクレンジング
⁃ SageMakerのNotebookで可視化分析し異常値を省く
 データセットの構築
⁃ hdf5に変換しデータはEFSに配置
• データが巨大で学習インスタンス立てるたびにコピーするのは面倒
• 圧縮したままEFSにおき学習評価に使える

19. © DeNA Co., Ltd.
学習、分析環境の構築、運用
19
 CVエンジニア、データサイエンティストが安全になるべく自由に使え
る学習、分析環境を構築、運用
⁃ DSチーム
• Jupyterは必須
⁃ CVチーム
• 学習用に大量のGPU使いたい
⁃ 共通要件
• AWSの扱いはそこまで慣れていない人が多い
• セキュリティ周りの扱いも気をつける

20. © DeNA Co., Ltd.
分析環境 SageMaker
20
S3
taro-tanaka-notebook-01
hanako-yamada-notebook-01
taro-tanaka-lifecycle-conf
hanako-yamada-lifecycle-conf
EFS
lifecycle configurations
KMSで暗号化
DSチーム
IAM Role
SageMakerのNotebookにEFSをmountし、チーム内でデータ共有
lifecycle configurationsとNotebookを紐づけて管理することで個々にカスタムした環境を構築可能。
分析者のアクセス制御
S3->EFSへ片方向データ転送
EFSは分析データの共有に便利
CVチーム

21. © DeNA Co., Ltd.
チームの学習環境 EC2
21
Step Server 学習用EC2①
(Ondemand Instance)
学習用EC2②
(Spot Instance)
・EC2インスタンス管理ツール(弊社開発)
・監視設定、Spot設定、DNS紐付け、Role管理などを制御する
・開発者が管理しやすい
aws-tools
Lambda Slack
aws-toolsで各EC2インスタンスを生成し、インフラ管理から外れないようにチェック
Spot Instanceの積極的な活用でコスト削減しつつ、停止したときの通知等の工夫をしている
停止
作成者にアラート通知
作成
EFS
分析データ共有
作成

22. © DeNA Co., Ltd.
SageMakerの利用範囲
22
 SageMakerで開発、学習、推論までやろうと思えば全てできるが、本
プロジェクトではデータの分析がメイン用途
 少人数でMLプロジェクトに取り組むときには有用だと思うが、大規模
で色々なスキルを持った人がいる場面では必要性が薄く感じる
⁃ 金銭面
• SageMakerではSpot Instanceが使えないのでGPU処理のコストがかさむ
⁃ 学習コスト
• SageMaker独自の扱いを覚えてもらう必要がある
⁃ 推論
• モデル作成者以外にソフトウェアエンジニアも同じプロジェクトに関わっ
ているのでわざわざSageMakerのものを使う必要もない

23. © DeNA Co., Ltd.
MLシステムのサイクル
23
https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-dg.pdf

24. © DeNA Co., Ltd.
学習
24
 CVモデルの学習
⁃ フレームワークはChainerを利用
⁃ SageMaker上にTensorboardを立ててモニタリング
 実験の管理
⁃ Configファイルにハイパーパラメータや使用モデル、データを記載
⁃ スプレッドシートで実験結果は管理
 評価
⁃ いわゆる論文に出てくる指標だけでなく、プロダクトにおいて重要
な指標を独自に定義し評価もしている

25. © DeNA Co., Ltd.
並列実行環境の構築
25
 AWS Batchを使い大規模に推論、特徴量作成などを実行
⁃ 推論は安いCPUのスポットインスタンスを利用しコスト削減
⁃ 自動でスケールアウトするので処理対象をSQSにエンキューする
だけ
AWS Batch
元データ
センサ、動画
推論結果、特徴量SQS DSチーム
データの解析
推論、データ
の前処理

26. © DeNA Co., Ltd.
MLシステムのサイクル
26
https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-dg.pdf

27. © DeNA Co., Ltd.
デプロイ・モニタリング
27
 学習したCVモデルはエッジ用に変換しデプロイ
 DSの作ったモデルはMLエンジニアが本番用に一部変換しサーバにデプ
ロイ
 Stage環境に簡易的なデータセットを作り、システムとしての動作、モ
デルの検出精度を比較
 危険運転行動検出数の推移をBIツールでモニタリング
Inference Batch
元データ
センサ、動画
推論結果、特徴量SQS
Analyze Batch
他モデルの結果
モデル間の精度
比較

28. © DeNA Co., Ltd.
まとめ
28
 CVエンジニア、DS、ソフトウェアエンジニアが共同でAI技術を使い交
通事故低減に向けて取り組んでいる
 分業体制によりそれぞれの得意領域に注力して開発
 SageMaker、Spot Instance、AWS BatchなどAWSのサービスを用い
て低コスト、省力でMLの学習、分析環境を構築
 AWSのサービスそのままではプロジェクトの要件に合っていない部分
は適宜適切なツールを自作し効率化

29. © DeNA Co., Ltd.
今後に向けて
29
 Kubeflow Pipelines, SageMaker+Airflowなどを使った学習パイプラ
インの整備
 AWS re:Invent 2018で発表された各種SageMakerの機能にも注目
⁃ SageMaker Ground Truth
⁃ SageMaker Neo
⁃ SageMaker Search
 データセットの管理
 実験管理周りの効率化

30. © DeNA Co., Ltd.
30
ご静聴ありがとうございました