Download as PDF, PPTX
Uploaded byKazuyuki Miyazawa
ドラレコ + CV = 地図@Mobility Technologies
第8回全日本コンピュータビジョン勉強会「コンピュータビジョンのお仕事」での発表資料です。CVがコア技術となっているMoTのプロジェクトの紹介です。
![ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]](https://cdn.slidesharecdn.com/ss_thumbnails/20191031mobilitydevmiyazawa-191031085336-thumbnail.jpg?width=640&height=640&fit=bounds)
![[CVPR2020読み会＠CV勉強会] 3D Packing for Self-Supervised Monocular Depth Estimation](https://cdn.slidesharecdn.com/ss_thumbnails/202007043dpackingforself-supervisedmonoculardepthestimation-200704035538-thumbnail.jpg?width=640&height=640&fit=bounds)
ドラレコ + CV = 地図@Mobility Technologies
- 1. Mobility Technologies Co.,Ltd. ドラレコ + CV = 地図@Mobility Technologies 株式会社Mobility Technologies 宮澤 ⼀之
- 2. Mobility Technologies Co.,Ltd. 宮澤 ⼀之 AI技術開発部 グループリーダー 株式会社Mobility Technologies 経歴 2019年4⽉〜2020年3⽉ AI研究開発エンジニア＠DeNA 2010年4⽉〜2019年3⽉ 主任研究員@三菱電機 2010年3⽉ 博⼠（情報科学）@東北⼤学 自己紹介 2 @kzykmyzw
- 3. Mobility Technologies Co.,Ltd. 3 h"ps://go.mo-t.com/
- 4. Mobility Technologies Co.,Ltd. Mobility Technologies ｜ Mission Vision 4 移動で⼈を幸せに。
- 5. Mobility Technologies Co.,Ltd. Mobility Technologiesの取り組み 5 1. 配⾞関連事業 2. 広告決済事業 3. 乗務員向け ソリューション事業 4. スマート ドライビング事業 5. 次世代向けR&D事業 モビリティDXカンパニーとして各種事業を展開 タクシー （基点） 交通 社会 事 業 領 域 の 拡 が り 事業領域 実現したい姿 社会課題への取り組み 交通課題の解決 タクシー産業の課題解決
- 6. Mobility Technologies Co.,Ltd. Mobility Technologiesの取り組み 6 モビリティDXカンパニーとして各種事業を展開 配⾞関連事業 広告決済事業 乗務員向け ソリューション事業 スマート ドライビング事業 次世代向け R&D事業 ※記載されている会社名や商品名等は、各社の商標⼜は登録商標です。(出願中含む)
- 7. Mobility Technologies Co.,Ltd. 7 h"ps://drive-chart.com/
- 8. Mobility Technologies Co.,Ltd. DRIVE CHARTのCV技術に関する直近の発表 8 h"ps://scramble.connpass.com/event/201414/ h"ps://speakerdeck.com/takarasawa_/dsds-number-2-drive-chart
- 9. Mobility Technologies Co.,Ltd. 9 h"ps://mo-t.com/news/pr/2021/07/28/761da212-3d73-5b87-9ff1-c483f1e7ec5d/
- 10. Mobility Technologies Co.,Ltd. n ⾼度な交通社会の実現に向け、⾼精細な情報を迅速に地図に反映させることが求められている n 特殊な計測専⽤⾞両や⼈海戦術に頼ったこれまでのやり⽅では時間とコストがかかりすぎる これからの地図は「鮮度」が重要 10 ⾸都⾼技術株式会社資料より引⽤ h"ps://www.infradoctor.jp/details/detail20190313.pdf ©OpenStreetMap contributors 動的情報 準動的情報 準静的情報 静的情報 Google LLC資料より引⽤ https://www.google.com/streetview/explore/
- 11. Mobility Technologies Co.,Ltd. ドラレコ映像 + CVで道路変化情報を⾃動抽出 11 ドラレコ＋CV 地図 道路変化情報 ©OpenStreetMap contributors ©OpenStreetMap contributors 地 図 会 社 n ドラレコ映像から検出した物体を地図と⽐較し、現況が地図から変化している箇所を抽出 n 抽出した情報を地図会社に知らせることで、地図メンテの低コスト化と地図の⾼鮮度化を実現
- 12. Mobility Technologies Co.,Ltd. 12 DRIVE CHARTをはじめとする データ ソフトウェアエンジニアリング 全てをカバーする 技術⼒ GO/JapanTaxi/MOVで培ったモビリティに関する ドメイン知識
- 13. Mobility Technologies Co.,Ltd. 13 h"ps://mo-t.com/news/pr/2020/04/22/211827cd-343b-5398-b358-987d4c3e86f1/
- 14. Mobility Technologies Co.,Ltd. システム構成図 14 DRIVE CHART マップ マッチ 動画取得 道路計算 位置 位置格納 動画格納 物体検出 位置 推定 物体 変化抽出 地図 変化情報 動画 AWS Batch S3 Lambda Lambda TypeScript CI / CD by 分析・開発 出典：ドライブレコーダの動画を使った道路情報の⾃動差分抽出
- 15. Mobility Technologies Co.,Ltd. 対象物の検出デモ（標識・信号機） 15 実際のDRIVE CHARTの映像とは異なります
- 16. Mobility Technologies Co.,Ltd. 対象物の検出デモ（路⾯ペイント） 16 実際のDRIVE CHARTの映像とは異なります
- 17. Mobility Technologies Co.,Ltd. n 物体検出で得られたBBOXをクロップし、後処理で内容を読み取る n 画像分類および⽂字検出ベースの2種類のアプローチを併⽤ 標識の内容読み取り 17 画像分類 ⽂字検出 20km/h 30km/h 40km/h 50km/h 60km/h … ⽂字検出ベース⼿法による読み取り結果例
- 18. Mobility Technologies Co.,Ltd. n 全てのLED型標識が点灯しているわけではなく、消灯しているものも多い n ⼀般にビデオカメラでLED型標識を撮影すると、LEDの点滅周期が映像に現れる 厄介な事例 ~可変標識（LED型）~ 18 実際のDRIVE CHARTの映像とは異なります h"ps://twi"er.com/jpn_roadsignbot
- 19. Mobility Technologies Co.,Ltd. n LED型標識の点灯・消灯を判定し、点灯している場合は内容を読み取る n 点灯しているフレームの中から最も読み取りに適していると思われるフレームを選択 LED型標識の内容読み取り 19 80 80 80 物体検出 物体検出 物体検出 物体検出 状態分類 状態分類 状態分類 状態分類 消灯 点灯 消灯 点灯 点灯消灯判定 最適フレーム 選択 80km/h トラッキングによる グルーピング 内容読み取り
- 20. Mobility Technologies Co.,Ltd. 読み取りに適したフレームの選択 20 検出されたBBOX 最適フレーム 実際のDRIVE CHARTの映像とは異なります
- 21. Mobility Technologies Co.,Ltd. n Visual SLAMを使って各フレームにおけるカメラの外部パラメータを推定 n 検出した物体の3次元座標を三⾓測量で求め、GPS情報と組み合わせて緯度軽度に変換 位置推定 21 実際のDRIVE CHARTの映像とは異なります
- 22. Mobility Technologies Co.,Ltd. 位置推定結果例 22
- 23. Mobility Technologies Co.,Ltd. n 新東名⾼速を⾛⾏した⾞両約250台から映像を収集（総距離約570km） n 速度標識を対象としてドラレコからの検出結果を地図と⽐較し、各標識について変化なし、 規制内容更新、撤去、新規設置のいずれかを判定 n 1つの標識あたり5回⾛⾏した結果を統合して判断 定量評価結果例 23 対象標識数 判定正解数 再現率 変化なし 533 519 97.37% 規制内容更新 190 189 99.47% 撤去 5 5 100.0% 新規設置 36 36 100.0%
- 24. Mobility Technologies Co.,Ltd. その他の開発中アイテム例 24 幅員計測のための⾛⾏可能領域抽出 実際のDRIVE CHARTの映像とは異なります
- 25. Mobility Technologies Co.,Ltd. まだまだ課題は多い… 25 https://twitter.com/nyamin998/status/1150280203236569090?s=20 天 ⼀ よ り も 厄 介 オ レ オ レ 標 識 ほ ぼ ⾒ え な い LED 消 灯 標 識 ＠ ト ン ネ ル 現 実 を 忠 実 に コ ピ @ す る 写 り 込 み よ く わ か ら な い 謎 の 物 体 可 能 性 は 無 限 ⼤ 指 定 ⽅ 向 外 進 ⾏ 禁 ⽌
- 26. Mobility Technologies Co.,Ltd. n 本⽇ご紹介したプロジェクト以外でもCVエンジニアを募集中です n 気軽なカジュアル⾯談も⼤歓迎ですので以下リンクやTwitter DM等からご連絡ください！ こんな課題を（？）⼀緒に解決してくれる仲間募集中！ 26 h"ps://hrmos.co/pages/mo-t/jobs?category=1342449154655301632
- 27. Mobility Technologies Co.,Ltd. n 最先端のCV技術をフル活⽤し、⾝近な社会課題の解決に貢献できる n CVだけでなく様々な専⾨家の集まりの中で、幅広いスキルが獲得できる n ⾃分のWILLに合わせた成⻑をサポートしてくれる 最後に… CVエンジニアとしてのMoTの魅⼒ 27 • 社会課題の解決を⽬的とした⼤規模な商⽤サービスの最重要コア技術としてCVを駆使できる • 研究開発から実際のサービスへの落とし込み、運⽤まで幅広く経験できる • @yu4uや@hirotomusikerを始めとする有名CVerが多数在籍しているのに加え、データサイエン ティスト（Kaggle Grandmaster x 1, Master x 8）やMLOpsエンジニア、バックエンドエンジニア などAIの社会実装に必要な⼈材が全⽅位で揃っている • 社内勉強会を定期開催しているほか、学会参加費や⾃⼰研鑽のためのクラウド費⽤などをサポート • サポートの仕組みは固定的でなく、メンバーの意⾒を吸い上げながら随時ブラッシュアップ
- 28. Mobility Technologies Co.,Ltd. n MoTニュースリリース ・ゼンリンとMobility Technologies、 タクシーやトラックの映像データから道路変化情報を⾃動抽出し⾼鮮度な地図情報のメンテナンスに活⽤ n MoT公式note ・⾃動運転・スマートシティの実現に向けた“次世代のデータ活⽤基盤”を開発--MoTのデータから新たな価値を⽣み出す「KUUグループ」 ・“AI技術の社会実装”ができる環境はそう多くない。チャレンジングなプロジェクトだから味わえる⾯⽩さ。 n MoTテックブログ ・ドラレコ映像を使った地図メンテナンスを⽀えるコンピュータビジョン技術 n 講演など ・ドライブレコーダの動画を使った道路情報の⾃動差分抽出, DeNA TechCon 2021 ・Can We Make Maps from Videos? ~From AI Algorithm to Engineering for Continuous Improvement~, DeNA TechCon 2020 ・Geolocation of Traffic Lights and Signs Using Dashcam: Towards Low-Cost Map Maintenance, NVIDIA GTC 2020 ・ドライブレコーダ映像からの3次元空間認識, MOBILITY:dev 2019 本プロジェクトに関する参考資料 28
- 29.