Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

車両運行管理システムのためのデータ整備と機械学習の活用

35,730 views

Published on

2018/02/07開催のDeNA TechCon2018 Yellow Stage 14:50-15:30の発表資料です。
https://techcon.dena.com/

Published in: Technology
  • Be the first to comment

車両運行管理システムのためのデータ整備と機械学習の活用

  1. 1. 車両運行管理システムのための データ整備と機械学習の活用 AIシステム部 Eiji Sekiya, Koichiro Mori
  2. 2. Agenda • 前半 - Automotive事業部×AIシステム部 - 車両運行管理システムを支える機械学習関連の技術 • 後半 - 深層学習を用いた地図データ整備 2
  3. 3. 自己紹介 • 関谷英爾 • 所属: AIシステム部AI研究開発G • 略歴 - 2014年DeNAに新卒入社 - Hadoopの分析基盤の運用 - 強化学習を用いたGameAIの開発 - 車両運行管理システムの研究開発 3 Twitter: @eratostennis
  4. 4. Automotive事業部
  5. 5. 5
  6. 6. Automotive事業部 6 自動運転のシャトルバス 個人間カーシェアサービス自動運転社会を見据えた 次世代物流サービスタクシー配車サービス 自動運転技術を活用した 新しい交通サービス ロボネコヤマトⓇはヤマトホールディングス株式会社の登録商標です
  7. 7. Automotive事業部 × AIシステム部
  8. 8. AIシステム部 • 事業部側に席を置き研究開発 • AIシステム部の役割 - アルゴリズムの調査・研究開発 - データ獲得計画・データ蓄積 - 学習・予測APIのシステム開発 8
  9. 9. AIシステム部 • 事業部側に席を置き研究開発 • AIシステム部の役割 - アルゴリズムの調査・研究開発 - データ獲得計画・データ蓄積 - 学習・予測APIのシステム開発 9
  10. 10. 車両運行管理システムを 支える技術
  11. 11. 車両運行管理システム • 有人車両・無人車両を安心・快適に移動させる - 時間通りに - 事故なく - 呼べばすぐに • 必要な機能 - 効率的な運行計画 - 運行監視 11 サービスレイヤー 運行管理機能 遅延監視API 配送計画API
  12. 12. 運行管理システムを支える技術 12 地図データ 基盤 HD Map Live Map その他データ Map Editor アルゴリズム MapMatch 移動時間予測 経路探索 需要・供給 予測 配送計画 最適化 サービスレイヤー 運行管理機能 遅延監視API 配送計画API 自動運転技術 物体検知 予測 プラニング 行動制御 •自動運転の実現に向けて様々な機 能がそれに応じて変わる必要があ る •幅広く調査や研究開発を行い、注 力領域を見極めていく 社外の取り組み DeNAの取り組み 事業の研究領域の説明のため社外の論文なども紹介 DeNAの取り組みと区別できるように、 スライドの左上に下記のラベル付与
  13. 13. 自動運転技術 13 サービスレイヤー 運行管理機能 遅延監視API 配送計画API 自動運転技術 物体検知 予測 プランニング 行動制御 地図データ 基盤 HD Map Live Map その他データ Map Editor アルゴリズム MapMatch 移動時間予測 経路探索 需要・供給 予測 配送計画 最適化
  14. 14. 物体検知 14 Multi-View 3D Object Detection Network for Autonomous Driving LIDAR(距離計測センサー)と画像を一緒に利用することで3Dの物体検知精度を向上 Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, Tian Xia Multi-View 3D Object Detection Network for Autonomous Driving arXiv:1611.07759 自動運転技術社外の取り組み 3Dで物体検知
  15. 15. 物体検知 15 Multi-View 3D Object Detection Network for Autonomous Driving LIDAR(距離計測センサー)と画像を一緒に利用することで3Dの物体検知精度を向上 Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, Tian Xia Multi-View 3D Object Detection Network for Autonomous Driving arXiv:1611.07759 自動運転技術社外の取り組み LIDAR 上空から LIDAR 前方 Image 前方
  16. 16. 行動制御 16 End to End Learning for Self-Driving Cars 物体検知等のタスクを挟まずにEnd-to-Endでハンドル操作を学習 Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D. Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, Xin Zhang, Jake Zhao, Karol Zieba End to End Learning for Self-Driving Cars arXiv:1604.07316 自動運転技術社外の取り組み ハンドル操作を出力 フロントの画像を入力
  17. 17. 行動制御 17 End to End Learning for Self-Driving Cars 物体検知等のタスクを挟まずにEnd-to-Endでハンドル操作を学習 論文では学習モデルがどのように風景を捉えているかも解析 Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D. Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, Xin Zhang, Jake Zhao, Karol Zieba End to End Learning for Self-Driving Cars arXiv:1604.07316 車両制御がBlackBoxでよいのかという問題もあり、モデルの説明性の研究もされるようになってきている さらに業界としても複雑に絡み合うシステムの中で安全性にどう責任を持つのかなども議論がされている最中 自動運転技術社外の取り組み モデルがどのように 風景を捉えているか解析
  18. 18. 地図データ基盤 18 アルゴリズム MapMatch 移動時間予測 経路探索 需要・供給 予測 配送計画 最適化 サービスレイヤー 運行管理機能 遅延監視API 配送計画API 自動運転技術 物体検知 予測 プランニング 行動制御 地図・データ 基盤 HD Map Live Map その他データ Map Editor
  19. 19. HD Map & Live Map • HD (High Definition) Map - 3Dで車線幅が記録されていたり情報量が多く、精度の高い地図 • Live Map - 渋滞などリアルタイムに交通状況が反映される地図 19 地図データ基盤社外の取り組み Shenlong Wang, Min Bai, Gellert Mattyus, Hang Chu, Wenjie Luo, Bin Yang, Justin Liang, Joel Cheverie, Sanja Fidler, Raquel Urtasun TorontoCity: Seeing the World with a Million Eyes arXiv:1612.00423 地図データセットを整備する取り組みも出てきている
  20. 20. アルゴリズム 20 地図データ 基盤 アルゴリズム MapMatch 移動時間予測 ルート検索 需要・供給 予測 配送計画 最適化 サービスレイヤー 運行管理機能 遅延監視API 配送計画API 自動運転技術 物体検知 予測 プランニング 行動制御 HD Map Live Map その他データ Map Editor
  21. 21. 需要予測 21 Engineering Extreme Event Forecasting at Uber with Recurrent Neural Networks 日々の需要変動を予測。祭日の異常も精度高く予測。 Nikolay Laptev, Slawek Smyl, Santhosh Shanmugam Engineering Extreme Event Forecasting at Uber with Recurrent Neural Networks Retrieved from https://eng.uber.com/neural-networks/ モデル 予測結果 祭日の大きな需要の変化も精度高く予測 アルゴリズム社外の取り組み
  22. 22. 需要予測 22 Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction Computer Visionの技術を使って群衆移動予測 Junbo Zhang, Yu Zheng, Dekang Qi Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction arXiv:1610.00081 アルゴリズム社外の取り組み グリッド単位に分割し画像のセルのように扱えるように 短期・中期・長期トレンドを 分けて入力として利用 天気や祝日などの情報を入力
  23. 23. ディスパッチ (配車ロジック) 23 A Taxi Order Dispatch Model based On Combinatorial Optimization ドライバーが配車を承諾するモデルを構築 配車を最も成功させるような最適化問題を解き、配車を改善 Lingyu Zhang, Tao Hu, Yue Min, Guobin Wu Junying Zhang, Pengcheng Feng, Pinghua Gong, Jieping Ye A Taxi Order Dispatch Model based On Combinatorial Optimization KDD 2017 アルゴリズム社外の取り組み ドライバーの配車承諾確率モデル 配車成功割合の上昇 ・配車依頼金額 ・走行距離 ・走行方向 etc.
  24. 24. 行き先先予測 24 Artificial Neural Networks Applied to Taxi Destination Prediction Kaggleという分析コンペの行き先予測というテーマで優勝したモデル 乗車地点のGPSデータ数点 現在地点のGPSデータ数点 日付や乗客の情報 事前に目的地点のクラスタリングを 行なっていたクラスタの重心 アルゴリズム ●出発地点からのGPS数点 ●現在地点のGPS数点 ●目的地点 Cartography © OpenStreetMap contributors 社外の取り組み Alexandre de Brébisson, Étienne Simon, Alex Auvolat, Pascal Vincent, Yoshua Bengio Artificial Neural Networks Applied to Taxi Destination Prediction arXiv:1508.00021
  25. 25. MapMatch 25 精度が安定しないGPSデータを道路上に補正 隠れマルコフモデルをベースにした技術で解決 実用実験中Retrieved Jan 26, 2018 from https://en.wikipedia.org/wiki/Map_matching アルゴリズムDeNAの取り組み ロボネコヤマトⓇはヤマトホールディングス株式会社の登録商標です
  26. 26. 移動時間予測 26 日時、天候、経路を考慮したり、求められる精度とレイテンシに応じて モデルを切り替えながら2地点間の移動時間を予測 Cartography © OpenStreetMap contributors アルゴリズムDeNAの取り組み 実用実験中 ロボネコヤマトⓇはヤマトホールディングス株式会社の登録商標です
  27. 27. 経路探索 27 日時や天候等を考慮して所要時間が最短時間となるルートを検索 時間帯によって変わる交通規制を守るようにルートを引く必要がある © 2017 Google, ZENRIN アルゴリズムDeNAの取り組み 実用実験中 ロボネコヤマトⓇはヤマトホールディングス株式会社の登録商標です
  28. 28. 配送計画最適化 28 組合せ最適化(Dial-a-Ride Problem)を用いてユーザーからの依頼が入ったら ダイナミックにスケジュールを更新 利用者画面 時間枠毎に宅配可能か表示 管理者画面 待機もスケジュールされる アルゴリズムDeNAの取り組み 実用実験中 ロボネコヤマトⓇはヤマトホールディングス株式会社の登録商標です
  29. 29. タクシー配車シミュレータ • シミュレーションの役割 - アルゴリズムの精度確認 • 必要性 - 過去データでは観察できていない 状況がある - 実証実験ではPDCAが遅い 29 ●車両位置 ●リクエスト位置 ー走行軌跡 シミュレータのプロトタイプ Cartography © OpenStreetMap contributors アルゴリズムDeNAの取り組み
  30. 30. 運行管理機能 30 サービスレイヤー 運行管理機能 遅延監視API 配送計画API 自動運転技術 物体検知 予測 プランニング 行動制御 地図データ 基盤 HD Map Live Map その他データ Map Editor アルゴリズム MapMatch 移動時間予測 経路探索 需要・供給 予測 配送計画 最適化
  31. 31. 運行管理システムを支える技術 31 サービスレイヤー 運行管理機能 遅延監視API 配送計画API 自動運転技術 物体検知 予測 プランニング 行動制御 • より柔軟なサービスを作るために • 他社との協業検討 • 内製アルゴリズムの磨き込み • DeNAとして未踏の領域の調査 地図データ 基盤 HD Map Live Map その他データ Map Editor アルゴリズム MapMatch 移動時間予測 経路探索 需要・供給 予測 配送計画 最適化
  32. 32. DeNAでの深層学習を用いた取り組みを1つ紹介 32 地図データ 基盤 Probeデータ 地図データ アルゴリズム ETA RouteSearch 需要・供給予 測 配送計画最適 化 サービスレイヤー 運行管理機能 遅延監視API 配送計画API 自動運転技術 物体検知 予測 プランニング 行動制御 自動運転に必要な地図データを整備する取り組み HD Map: 従来の2D地図ではなく3Dで高精度な地図 Live Map: 渋滞などのリアルタイムなデータを付加 その他: 駐車場などこれまで管理できていなかったデータ 地図データ 基盤 HD Map Live Map その他データ Map Editor アルゴリズム MapMatch 移動時間予測 経路探索 需要・供給 予測 配送計画 最適化
  33. 33. Deep Learningを応用した 車両停車位置検出技術 AIシステム部 AI研究開発グループ 森 紘一郎 本事業(の一部)は、2017年6月、経済産業省・IoT推進ラボの 第2回先進的IoTプロジェクト選考会議「IoT Lab Selection」で ファイナリストに選定され、同会議の支援機関の1つである NEDOの事業として採択され、実施したものです。
  34. 34. 自己紹介 • 森 紘一郎 • 経歴 – 2005年 株式会社東芝 研究開発センター 機械学習、データマイニング、音声合成 – 2017年 株式会社ディー・エヌ・エー Deep Learning(音声、コンピュータビジョン) • プライベート – Twitter: aidiary (@sylvan5) – ブログ: 人工知能に関する断創録(2002〜) http://aidiary.hatenablog.com/ 34
  35. 35. 発表の流れ • 背景と目的 • 車両停車位置検出技術の開発 – データ収集 – 学習データの作成 – ニューラルネット構造の検討 – ニューラルネットの学習 – モデルの評価 – 配送地図アプリケーションの開発 • まとめ 35
  36. 36. プロジェクトの背景と目的 • 自動運転やITを活用した物流オペレーションの実現 • 物流業界の労働力不足の解決 • 荷物受け取りのために自動車を安全で交通の妨げにならない場所に 停車させる技術 • 安全に停車できる場所を地図上に可視化する技術が必要になる 36© 2017 Google, ZENRIN
  37. 37. プロジェクトの背景と目的 37 荷物を配達するとき どこに車を停めたら よいだろう?
  38. 38. プロジェクトの目標 • 停車可能かどうか?という人間なら可能な判断基準を人工知能に 学習させて停車判断を自動化したい • 車載カメラの画像から荷物の受け渡しに適した安全に停車できる 位置を自動的に検出できるようする 38
  39. 39. 人工知能システム開発の流れ 39 タスク定義 データ収集 アノテーション モデル設計 モデル学習 モデル評価 デプロイ
  40. 40. データ収集 40 GPS 緯度: 35.41 経度: 139.33 フロントビューの動画 サイドビューの動画 車にドライブレコーダー 2台(前方と左方)を載せて 走行中の動画とGPS情報を収集 6日間で約25時間分の動画
  41. 41. 人工知能システム開発の流れ 41 タスク定義 データ収集 アノテーション モデル設計 モデル学習 モデル評価 デプロイ
  42. 42. アノテーション(ラベル付け) • 停車可能という概念を人工知能に教えるための学習データを人手で作成す る • 撮影した動画は1FPS(1秒1画像)に分解して画像として扱う • 画像1枚1枚に対して画像内に停車可能な位置があるか?どこにあるか?を 人手で確認しながら指定していく • 走行データを収集したドライバー1名に作業を依頼 42
  43. 43. アノテーションツール 43 道路上で停車可能な範囲を 直線で指定する © 2017 Google, ZENRIN
  44. 44. 停車可能な位置とは? • 道路の左側 • 戸建てやマンションの玄関前 • 車が駐車していない駐車場前 • 停車中の車や歩行者がいない 44
  45. 45. 人工知能システム開発の流れ 45 タスク定義 データ収集 アノテーション モデル設計 モデル学習 モデル評価 デプロイ
  46. 46. モデル構造の設計 • ニューラルネットワークのアーキテクチャ – 畳み込みニューラルネットワーク • 画像認識アプローチ • 物体検出アプローチ • 回帰アプローチ • FCNアプローチ 46 Y. Lecun et al. Gradient-based learning applied to document recognition, Proc. of IEEE, 1998
  47. 47. アイデア1: 画像認識アプローチ • 画像から玄関や駐車場の有無を認識する 47 1: 停車可能! 0: 停車不可能! ・・・
  48. 48. アイデア2: 物体検出アプローチ • 画像から玄関や駐車場の範囲を検出する 48 (x1, y1) (x2, y2) x1 y1 x2 y2 ・・・
  49. 49. アイデア3: 回帰アプローチ • 停車可能な範囲の始点と終点の座標を出力 49 (x1, y1) (x2, y2) x1 y1 x2 y2 ・・・
  50. 50. アイデア4: FCNアプローチ • 停車可能な範囲の始点と終点をヒートマップで出力 50 ・・・ FCN: Fully Convolutional Neural Network 始点ヒートマップ 終点ヒートマップ 結合 ・・・
  51. 51. (参考)姿勢推定のパーツ検出との関係 51[1] Z. Cao et al. Realtime Multi-person 2D Pose Estimation using Part Affinity Fields, CVPR 2016 [1] から引用 パーツ検出では右肩、右手首、右ひざなど 入力画像における身体パーツの位置を ヒートマップを用いて予測する 停車可能位置検出では、停車可能位置の 始点と終点の位置をヒートマップを用いて 予測する
  52. 52. ニューラルネットの構造 52 VGG19 入力画像 (640x480x3) 出力画像 (80x60x2) チャンネル1 チャンネル2 始点ヒートマップ 終点ヒートマップ
  53. 53. 人工知能システム開発の流れ 53 タスク定義 データ収集 アノテーション モデル設計 モデル学習 モデル評価 デプロイ
  54. 54. 学習データの作成 • 人手で作成した正解のアノテーション情報(座標)から正解のヒートマップ画像を 生成 • こういう画像を入れたらこういうヒートマップを出してほしいという教師となる学 習データを作成する 54 アノテーションした 始点と終点の座標 始点ヒートマップ 終点ヒートマップ
  55. 55. ニューラルネットワークの学習 55 予測ヒートマップ 正解のヒートマップ 誤差 予測と正解の誤差を 最小化するように ニューラルネットの重みを 調整(=学習) 誤差逆伝搬法(Backpropagation)
  56. 56. 学習成果 56 予測と正解の誤差 学習回数
  57. 57. 人工知能システム開発の流れ 57 タスク定義 データ収集 アノテーション モデル設計 モデル学習 モデル評価 デプロイ
  58. 58. 停車可能位置を正しく検出できた例 58 正解の停車位置 予測した停車位置 汎化
  59. 59. 停車可能位置があるのに検出できなかった例 59 始点と終点の位置が ずれている 正解の停車位置 予測した停車位置
  60. 60. 停車可能位置がないのにあると誤って予測した例 60 道路を駐車場と誤ったために 停車可能と判定😱 車の有無を認識できていない 正解の停車位置 予測した停車位置
  61. 61. 停車可能位置がないときにないと予測できた例 61 道路の右側にある玄関は 停車可能でないと 正しく判定されている 正解の停車位置 予測した停車位置
  62. 62. 人工知能システム開発の流れ 62 タスク定義 データ収集 アノテーション モデル設計 モデル学習 モデル評価 デプロイ
  63. 63. 配送地図アプリケーションの開発 • 画像からの停車可能位置検出技術とGPS情報を組み合わせることで安 全に停車できる箇所を地図上にマッピングした配送地図アプリケーシ ョンを開発 • 以下の手順で停車可能位置を配送地図にマッピング 1. 配送実績による通行難易度道路マップの構築 2. 停車難易度や道交法による規制による区間絞り込み 3. 画像から判定した停車可能位置のマッピング 63
  64. 64. 1. 配送実績による通行難易度マップ 64Cartography © OpenStreetMap contributors 配送車両による通行難易度マップ 緑: 通行推奨 青: 通行可能 黄: 通行困難 赤: 通行不可
  65. 65. 2. 停車難易度や道交法規制による区間絞り込み 65 停車難易度に関する条件 • 見通しの悪い場所 • 勾配がきつい場所 • 警察署・消防署などの前 • 近隣住民に迷惑な場所 道交法による規制 • 交差点の前後5メートル Cartography © OpenStreetMap contributors
  66. 66. 3. 画像から判定した停車可能位置のマッピング 66Cartography © OpenStreetMap contributors 停車可能と判定された画像の GPS情報から位置を検出して マッピング
  67. 67. 4. 停車可能位置の画像を表示 67 Cartography © OpenStreetMap contributors 停車可能位置の座標と組み合せた 閲覧が可能
  68. 68. まとめ • DeNAで取り組んでいる車両管理システムの一環として車両停車位置 検出技術とそれを応用した配送地図作成アプリケーションを開発した • データ収集からデプロイまで人工知能プロジェクトのシステム開発の 流れに沿って紹介した • 停車可能位置という曖昧な概念であっても人手で適切なアノテーショ ンをすることで人工知能は学習できることが検証できた 68
  69. 69. 関連セッション紹介 • AWS IoT を用いた DeNA オートモーティブアーキテクチャ - Red Stage: 15:40~16:20 • 深層学習を用いたコンピュータビジョン技術と運転行動モニタリ ングへの応用 - Yellow Stage: 16:30~17:10 69

×