SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
•
2 likes•3,416 views
6/9 (木) 09:30～10:40メイン会場 講師：河口 信夫 氏（名古屋大学）、斉藤 之寛 氏（株式会社ティアフォー） 概要： 自動運転を実現するためには、ロボットビジョンに基づき、環境を認識するために様々な処理（パーセプション）を行っています。 本講演では、Autoware を事例とし、自動運転に使われている画像処理、３D物体認識や、それらを用いた自動運転における判断・制御について解説します。また、AutowareはROS上で動作しており、様々なセンサやアクチュエータを利用できるので、自動車だけでなく、小型の自律移動ロボットにも活用可能です。Autoware を活用している様々な自律移動ロボットを紹介します。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
Similar to SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜 (20)
More from SSII
More from SSII (20)
Recently uploaded
Recently uploaded (9)
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
- 2. 本日のチュートリアル構成 • イントロ： 河口 信夫（名古屋大/TIER IV） • 自律移動ロボットとは • ROSとは？ Autoware とは？ • The Autoware Foundation • Autoware.ai から Autoware Core/Universe へ • メイン：斉藤 之寛 （TIER IV） • 自動運転 • Autowareのアーキテクチャ • 自動運転のためのロボットビジョン
- 3. 自己紹介：河口 信夫（かわぐち のぶお） 名古屋大学 工学研究科 情報・通信工学専攻 教授 （未来社会創造機構モビリティ社会研究所 副所長) TMI (超学際移動イノベーション）卓越大学院 コーディネータ 自動運転ベンチャー (株) ティアフォー フェロー NPO法人位置情報サービス研究機構(Lisra) 代表理事 総務省スマートIoT推進フォーラム テストベッド分科会長 ・研究テーマ：ユビキタス・コンピューティング 代表的な成果： HASC コーパス/ツール • カウントダウン時刻表アプリ「駅.Locky」（300万人が利用） • 需給交換プラットフォーム/社会活動OS Synerex 駅.Locky
- 4. 自律移動ロボット • 周囲の状況をセンサー等で認識して、状況を判断し 自律的に移動できるロボット • 今後の社会で様々な活躍が期待されている • 自動運転車両 • 自律移動車椅子 • 警備ロボット • 自動配送・配膳ロボット • 掃除ロボット
- 7. 自動運転ソフトウェア Autoware Machine Learning/Deep Learning Many-Core CPUs GPUs Embedded OS RTOS and Real-Time Linux ROS CUDA ECU ECU ECU ECU CAN Camera GNSS LIDAR Radar OpenCV PCL Monitoring ADAS Safety Control Control Control Control Perception Planning Control Autonomous Driving System Vehicular System Driver Interface Car Driver Distributed Data Proceesing Large-scale DBMS In-memory DBMS Pedestrian FPGAs Statistical Analysis https://github.com/autowarefoundation/autoware 2015年に名古屋大が公開 ※AutowareはThe Autoware Foundationの登録商標です
- 8. (Robot Operating System)とは？ • ロボット向けに多様なセンサ・モジュール・アクチュエータを 統合的に扱えるフレームワーク • ロボット開発におけるツール・ライブラリを提供 • 可視化・シミュレーション・記録・通信 Willow Garage が2007年から開発 （ちなみに、OpenCVの開発にも2008年に参加） • 2009年に最初のROSが公開（0.4） • 2010年にROS1.0 • 2012年に、OSRF が設立 2013年からは開発を主導 （現在では Open Robotics に） • 2017年からは ROS2 もリリース
- 9. の特長 • ノード(モジュール)の集合としてシステムを構築 • ノード間は「トピック」と呼ばれるチャンネルを通じて通信 • 複数PC間でも通信可能 • Publish/Subscribe 形式での通信 (送受信の分離） • 多数のパッケージが公開 • ナビゲーション、ロボットハンド • ハードウェアドライバ • ライブラリ（PCL, OpenCV） • 連携ツール
- 10. ROSツールの例 視覚化・シミュレーション 強力なGUIでROSとの連携が充実 Gazebo : 3D物理シミュレーター 簡単にシステム状態を視覚化可能 ［再生データ］ ● 記録したセンサデータ (rosbagファイル) ● 指定した値のデータ RViz：3D視覚化ツール
- 11. ROS1からROS2へ • ROS１は、研究開発を主なターゲット • 品質保証の枠組みが無く、障害に弱い • ターゲットOSが実質的に Ubuntu のみ • 開発プロセスなどの定義もなし • 独自の通信プロトコル • リアルタイム性などを保障し「プロダクト」として 利用できるソフトウェアが必要 → ROS2では、これらの課題を解決 ・開発プロセスを定め、品質を保証 ・CIのダッシュボードなどを整備 ・標準化された通信プロトコルを導入（OMG標準 DDS）
- 13. ● Master が単一障害点 ● すべてのノードが１つのプロセス ● プロセス間でリソースは共有不可能 ● 「Nodelet」という仕組みはあるが。。。 ○ 別API（実装時間で選択） ○ 壊れやすい ○ 共有ポインター通信のみ ○ QoSなし ● 実行管理/起動順管理が困難 ○ 実行順序を変えるためには再起動 ROS 1:特徴 Master アプリケーション プロセス ノード プロセス ノード プロセス ノード
- 14. ● Masterなしで、DDSで通信（相互に Discovery） ● 複数ノードを同一のプロセスに統合可能 ○ 全てのノードを一つのプロセスに統合することも可能 ○ 複数のプロセスを利用することも可能 （ノード数＞プロセス数） ● コンパイルまたはランタイムで確定可能 ● 同一プロセスのため下記のメリット ○ ゼロコピー通信が可能 ○ 実行順番が指定可能 ○ 平行または連続実行可能 ○ 振る舞いと実行を分離 ○ ライフサイクル管理 ROS 2:特徴 アプリケーション プロセス ノード プロセス ノード ノード UDP上のDDSまたは 共有メモリ上のDDS ゼロコピー通信
- 15. The Autoware Foundation 2018年12月設立 Autoware の国際展開が目的 国際的企業がプレミアムメンバーとして参画 Autoware.ai → これまでのAutoware (ROS1 ベース) Autoware.IO → センサ＋ライブラリ Autoware Core/Universe → 次世代 Autowave (ROS2ベース) Autowareに関する権利を移管
- 16. Autowareも ROS2 へ移行 Autoware.ai : ROS1 ベース ・プロトタイプ実装 ・プロダクトには向いていない（認証なし） Autoware Core : ROS2ベース ・製品開発に活用可能 Autoware Universe : ROS2ベース ・Core を包含し、研究開発に利用 ROS1 は 2025には EOL を予定
- 17. Autoware Core / Universe • AWF が主にメンテする範囲と、 それ以外の領域を明確化 • Core: • AWF が考慮する ODD に対応 • ドキュメントも完全に • Universe: • Core の上に拡張される機能 • この上で研究開発を行い機能追加 • Robo-Taxi や レースなど 複雑なユースケースに対応
- 18. Autowareが実現したこと • 自動運転は社会に大きなインパクトを与える • 単なる技術ではなく、革命的な変化 • 産業的にも影響範囲が大きい • オープンソース化により世界中で利用可能 • 自動車産業以外でも、自動運転に注目 → 何ができるのか、検証のために利用 • 最新技術がすぐに導入できる • 得意な部分だけをやれば、他は借りてこられる • 多様な形態で自動運転が可能 • 乗用車からゴルフカート、小型自動配送ロボットまで 技術的優位性だけでなく、オープン性を武器に 自動運転の民主化！
- 20. 名古屋大学でのAutowareの活用 • 当初は自動運転の実装を目的としてきたが、 ベンチャー設立(TIER IV)で開発中心は移行 • より幅広い応用に向けて、自律移動ロボットに移行 (道路を走る自動車より、様々な考慮が必要） • 自律移動ロボットは、自動車と比較して、 速度は遅く、体積・重量が小さいので実験には使いやすい • 倉庫分野での Autoware 応用を実施
- 21. TIER IV LogieeS-TC について • Autowareで遠隔・自動走行が可能（自己位置推定） • サイズ: 694x1100x613mm • 650mmx450mm 程度の20kg 程度の荷物を搭載可能(補強すれば100kg以上も可 能） • 150kg 程度はけん引も可能（ただし、けん引の仕組みは要検討） • 駆動方式：対向2輪型駆動（2輪独立駆動） • 車輪サイズ：16inch • 移動速度： 6km程度 • 最大移動距離：16-24 km程度 Autowareによる自動制御の例
- 25. 25
- 28. 固定LiDAR＋カメラとの連携 LiDAR : Robosense LiDAR-M1 :75万点／秒 FOV: ±12.5度 (自動運転用を固定設置で利用） カメラ : 4K解像度
- 29. ロボット側からの視点
- 30. 画像処理による作業者の認識
- 31. 画像処理による作業者の認識
- 33. TIER IV Speaker Saito Yukihiro 前職ではソニー株式会社の研究開発本部に所属し、自律移動ロボテ ィクスシステムのソフトウェア開発に従事。 現在はTIER IVにて、自動運転OSS「Autoware」における全体アー キテクチャ設計および認識モジュールの開発を担当
- 34. TIER IV CONTENTS 01 / INTRODUCTION • 自動運転の意義とは • 自動運転がもたらす世界 • 自動運転の歴史 02 / TECHNOLOGY • Autowareから見た世界 • Autowareのアーキテクチャー • Vehicle & Sensors • Sensing & Localization • Perception: Traffic Light Recognition • Planning : Lane Driving • Control • Perception: Detection • Simulation & Tests 03 / CLOSING
- 35. INTRODUCTION 01
- 37. TIER IV 自動運転の歴史 37 2004 2009 2014 2018 2015 DARPA Grand Challenge Google (Waymo) 自動運転プロジェクト開始 Autoware 研究開発開始 The Autoware Foundation 設立 Autowareリリース TIER IV設立 2007 DARPA Urban Challenge 1920~1980 磁気マーカーを使った自動運転 https://www.youtube.com/watch?v=ntIczNQKfjQ&feature=youtu.be https://www.youtube.com/watch?v=cdgQpa1pUUE https://ja.wikipedia.org/wiki/DARPA%E3%82%B0%E3%83%A9%E3%83%B3%E3%83%89%E3%83%BB%E3%83%81%E3%83%A3%E3%83%AC%E3%83%B3%E3%82%B8 https://www.herox.com/blog/159-the-drive-for-autonomous-vehicles-the-darpa-grand 1980~ カメラ・レーザーレンジセンサーを用 いた自動運転の研究 Autoware開発推進の業界団体 世界中の約50社が加入 Autoware : 自動運転システム用オープンソースソフトウェア
- 38. TIER IV What is Autoware? The world’s first open-source autonomous driving software 30+ 20+ 500+ Vehicles Countries Companies
- 39. TIER IV
- 40. TECHNOLOGY 02
- 41. TIER IV
- 42. TIER IV
- 43. TIER IV
- 44. TIER IV
- 45. TIER IV
- 46. TIER IV
- 47. 52
- 48. TIER IV 53
- 49. TIER IV Dynamic Object Traffic Light Detection Classifier Mission Scenario Selector Control Localization Sensing Map Data Vehicle Interface Sensors Lane Driving Parking Etc. Scenario Planning Perception Detection Tracking Prediction Vehicle
- 50. TIER IV Dynamic Object Mission Scenario Selector Control Map Data Vehicle Interface Parking Etc. Scenario Planning Perception Tracking Prediction Sensors Vehicle Localization Sensing Lane Driving Traffic Light Detection Classifier Control Detection 最後にお話しします
- 52. TIER IV Dynamic Object Mission Scenario Selector Control Map Data Vehicle Interface Parking Etc. Scenario Planning Perception Detection Tracking Prediction Sensors Vehicle Localization Sensing Lane Driving Traffic Light Detection Classifier
- 53. センサー構成図 Velodyne VLS-128 Alpha Prime (LiDAR / 360° Detection) Velodyne VLP-16 (LiDAR / Side/Rear Detection) Livox Horizon (LiDAR / Long-range Detection) FLIR BlackflyS w/ JetsonAGX (Camera / Object Recognition) Leopard Imaging w/ FlickerMitigation (Camera / Traffic Light Recognition) u-blox F9P (GNSS / Localization) TamagawaSeiki TAG300N (IMU/ Localization) Livox Horizon Livox Horizon Leopard Imaging 38 deg + 65 deg FLIR BlackflyS 70 deg x 6
- 54. LiDAR Velodyne (VLS-128, HDL-64E, VLS-32C, HDL-32E, VLP-16), Hesai (Pandar 20P, Pander 40P, Pandar 64), Ouster (OS-16, OS-64), Robosense (RS-32), Leishen, Innoviz, Omron
- 55. Camera - LEDフリッカー対策 - HDR IMX490 一般的なカメラ
- 56. Camera-LiDAR LiDAR-LiDAR センサー同期 複数LiDARによる干渉 回転タイミングの同期 Camera x6 + LiDARによる360度センシング LiDARの回転タイミングに 合わせてカメラのシャッターを切る
- 58. TIER IV NDT Scan Matching PCD高精度地図 LiDARセンサーデータ
- 59. TIER IV Sensing & Localization Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction
- 60. TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction ・点群歪み補正 LiDARの点群1つ1つに観測時刻を埋め込み、 IMUを用いて車両移動による観測の歪みを補正 歪み補正なし 歪み補正あり NDT EKF NDT EKF Sensing & Localization
- 61. TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction ・Pose / Twist インターフェース 研究開発が盛んに行われている他モジュールとの 結合を容易に行えるように、位置と速度情報を 分離して推定し、後段で処理を統合 Sensing & Localization
- 62. TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction ・EKF - NDT Feedback さまざまなセンサーを統合した推定結果を初期位置と して利用し、マッチング精度を上げる NDTが苦手な環境でも継続的に動作可能 ・遅延対応 各センサー間（車両・LiDAR・Autoware）で 時刻同期を行い、計測された遅延を考慮して 現在位置と速度を推定 Sensing & Localization
- 63. TIER IV Sensing Points Preprocessor Ego Points Remover Distortion Correction Outlier Filter LiDAR Concat IMU Driver GNSS Driver IMU Vehicle Data Vehicle Vehicle Interface Map GNSS Localization Pose Estimator Twist Estimator Pose Twist Fusion Filter Localizer Diagnostics Crop Range Down Sampler NDT Scan Matcher IMU wheel velocity fuser Pose Initializer Safety Diagnostic Node Localization System Diagnostic Node Delay Gate Mahalanobis Gate Measurement Update Model Prediction Sensing & Localization
- 64. Perception : Traffic Light Recognition
- 65. TIER IV Perception : Traffic Light Recognition Detection Classification Map based Detector Fine Detector CNN Color Filter Sensing Image Preprocessor Camera Route Rectifier Map or ・自車経路に関係する信号機のみを検出・識別 ・高精度マップ上の信号機との対応付 Traffic Light Recognition Image
- 66. TIER IV Perception : Traffic Light Recognition Detection Classification Map based Detector Fine Detector CNN Color Filter Sensing Image Preprocessor Camera Route Rectifier Map or 推定誤差によるずれを考慮した候補領域を生成 ※ 自己位置推定誤差、キャリブ誤差、バイブレーション Traffic Light Recognition Image
- 67. TIER IV Perception : Traffic Light Recognition Detection Classification Map based Detector Fine Detector CNN Color Filter Sensing Image Preprocessor Camera Route Rectifier Map Image or 画像処理 フィルタ color filter binalize noise filter 入力 画像 青 フィルタ 黄 フィルタ 赤 フィルタ red CNN red 入力 画像 環境・カメラに対して調節がしやすい 矢印等の色識別以外に対して拡張しやすい Traffic Light Recognition
- 68. Planning : Lane Driving
- 69. TIER IV - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing From Mission Planner Trajectory Behavior Planner：意思決定・交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 Path Planning : Lane Driving Route To Control
- 70. TIER IV - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing From Mission Planner Trajectory Path Route To Control Planning : Lane Driving ・レーンチェンジ 駐車車両やルート指示に応じてレーンチェンジを行う 周囲の車両速度を見てレーンチェンジの実行可否を判断 Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画
- 71. TIER IV ・横断歩道 横断歩道上の歩行者や、横断歩道に向かって走ってくる 自転車等の移動予測から経路速度を調整 ・交差点 交差点周囲の動物体の移動予測情報や、 前方の渋滞車両検知結果などから、交差点における速度を調整 Planning : Lane Driving Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner Trajectory Path To Control - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing From Mission Planner Route
- 72. TIER IV Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner From Mission Planner Trajectory Path Route To Control ・障害物回避 / 経路平滑化 / 狭路走行 最適化手法を用いて路駐車両や工事現場領域の回避経路を生成 車両形状と走行可能領域を考慮した狭路の走行経路も対応 Planning : Lane Driving Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing
- 73. TIER IV Lane Driving Behavior Planner Behavior Path Planner Motion Planner Behavior Velocity Planner Motion Path Planner Motion Velocity Planner From Mission Planner Trajectory Path Route To Control Planning : Lane Driving Behavior Planner：交通ルールに関わる計画 Motion Planner：車両運動に関わる計画 ・速度平滑化 横G・最大速度・加速度制約の下でジャーク（加速度の微分） が最小になるように経路速度を計画 - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. - Lane Change - Obstacle Avoidance - Path Smoothing - Narrow Space Driving - Obstacle Stop - Car Following - Velocity Smoothing
- 74. Control
- 75. TIER IV Control Control Command - Steering angle - Steering angle rate - Velocity - Acceleration ・Lateral Controller：経路追従のための操舵角を計算（pure pursuit / MPC） ・Longitudinal Controller：目標速度へ追従するための加速度を計算（PID） ・Vehicle Cmd Gate：最大速度・加速度・ジャーク制約 ・Accel Map Converter：目標加速度をアクセル・ブレーキペダル値へ変換 Vehicle Interface Control Trajectory Follower Lateral Controller Vehicle Cmd Gate Accel Map Converter Trajectory Longitudinal Controller Vehicle Interface To Vehicle Control Command
- 76. TIER IV Control 制御指示の応答遅延 0.3 [s] x 17 [m/s] = 5.1 [m] 路面環境に依存した 摩擦係数の変化 雨・雪など 温度変化や経年劣化による ディスクブレーキ挙動の変化 スロットルと加速度の 非線形性 ステアリング機構の摩擦・不感帯 経路勾配 センサー性能の限界 （ジャーク計算） 乗車人数に応じた質量の変化 ハンドル - タイヤ 可変ギア比 タイヤ弾性・空気圧
- 77. TIER IV Vehicle Interface Control Trajectory Follower Lateral Controller Vehicle Cmd Gate Accel Map Converter Trajectory ・Lateral Controller 経路追従のための操舵角を計算 Control Longitudinal Controller Vehicle Interface To Vehicle Control Command Control Command - Steering angle - Steering angle rate - Velocity - Acceleration - pure pursuit 経路の前方に目標点を設定し、そこへ向かうように 目標操舵角を計算。人の操縦感覚に近い - Model Predictive Control (MPC) 車両データ*を用いて将来の動作を予測し、最も上手く 経路に沿う操舵角を計算。厳密な制御が可能 * 操舵遅延、操舵変化率制約、 横滑りなど
- 78. TIER IV Vehicle Interface Control Trajectory Follower Lateral Controller Vehicle Cmd Gate Accel Map Converter Trajectory Control Longitudinal Controller Vehicle Interface To Vehicle Control Command Control Command - Steering angle - Steering angle rate - Velocity - Acceleration ・Longitudinal Controller 目標速度へ沿うための目標加速度を計算（PID） 加減速指示の遅延や勾配補正も対応 停車時は特殊シーケンスで正着精度と乗り心地を両立 ・加速度マップ 目標加速度を車両のアクセル・ブレーキ値に変換
- 79. Perception : Detection 01 / 自動運転におけるDetection 02 / 実環境での難しさ 03 / Detectionの性能向上
- 80. TIER IV 自動運転におけるDetection Cameraベース - CenterNet, SMOKE, etc. LiDARベース - PointPillars, CenterPoint, etc. Camera-LiDARベース - Frustum PointNet, etc. 2D Box detection 3D Box detection Cameraベース - Yolo系, SSD系, etc. 空間情報がわかる3Dの方が多くの自 動運転システムと相性が良い 画像上での位置はわかるが空 間情報がない
- 81. TIER IV 自動運転におけるDetection Cameraベース - CenterNet, SMOKE, etc. LiDARベース - PointPillars, CenterPoint, etc. Camera-LiDARベース - Frustum PointNet, etc. ○ センサーが安価 ✖ カメラの内部パラメータまで学習されるため他データセットで転用しにくい ✖ 数十mまでしか距離推定精度がでない(解像度依存) ✖ 360度認識するには複数台必要になり計算コストが大きい ○ 360度認識する計算コストが低い ○ 100m以上まで距離推定精度が安定する ✖ 他データセットで学習したものでは実環境で精度を出しにくい ✖ センサーが高価 ※LiDARベースのPros/Consを引き継ぐ ○ 形状的な特徴が少ないものでも検出が安定 ✖ 手法によってはCamera-LiDARの外部パラメータを学習するため、他データ セットで転用しにくい ✖ 計算コストが大きい
- 82. TIER IV 自動運転におけるDetection Cameraベース - CenterNet, SMOKE, etc. LiDARベース - PointPillars, CenterPoint, etc. Camera-LiDARベース - Frustum PointNet, etc. ○ センサーが安価 ✖ カメラの内部パラメータまで学習されるため他データセットで転用しにくい ✖ 数十mまでしか距離推定精度がでない(解像度依存) ✖ 360度認識するには複数台必要になり計算コストが大きい ○ 360度認識する計算コストが低い ○ 100m以上まで距離推定精度が安定する ✖ 他データセットで学習したものでは実環境で精度を出しにくい ✖ センサーが高価 ※LiDARベースのPros/Consを引き継ぐ ○ 形状的な特徴が少ないものでも検出が安定 ✖ 手法によってはCamera-LiDARの外部パラメータを学習するため、他データ セットで転用しにくい ✖ 計算コストが大きい
- 83. TIER IV Autowareで現在実装されているDetectionの構成例 CenterPoint Instance Segmentation Merger 2D BB Fusion YOLO Validator Clustering Shape Estimation Detection By Tracker Multi Object Tracking Detection Layer Tracking Layer
- 84. TIER IV PointRCNN [1] PointPillars SECOND VoxelNet STD [2] 3DSSD [3] SA-SSD PV-RCNN LiDAR-based 3D Detection VoxelNet-based approaches PointNet-based approaches [1] Shi, Shaoshuai, Xiaogang Wang, and Hongsheng Li. "Pointrcnn: 3d object proposal generation and detection from point cloud." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. [2] Yang, Zetong, et al. "Std: Sparse-to-dense 3d object detector for point cloud." Proceedings of the IEEE International Conference on Computer Vision. 2019. [3] Yang, Zetong, et al. "3dssd: Point-based 3d single stage object detector." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. CenterPoint 計算コストと精度を両立
- 85. TIER IV CenterPoint Yin, Tianwei, Xingyi Zhou, and Philipp Krähenbühl. "Center-based 3d object detection and tracking." arXiv preprint arXiv:2006.11275 (2020). Ge, Runzhou, et al. "Afdet: Anchor free one stage 3d object detection." arXiv preprint arXiv:2006.12671 (2020). 点群をBEVの特徴量画像に変換 物体の中心を当てに行き、大きさ姿勢も同時に出力 Lang, Alex H., et al. "Pointpillars: Fast encoders for object detection from point clouds." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019.
- 86. TIER IV Train: Waymo Inference: Waymo オープンデータセット nuScenes Waymo Open Dataset Kitti Dataset A2D2 Lyft Level 5 Dataset Etc. Train: nuScenes Inference: TIER IV 実環境での応用の難しさ 学習とは異なるデータセットで推論した場合、 精度が大幅に低下 要因 - センサ構成/取付位置 - センサモデル - 走行環境
- 87. TIER IV Data Augmentationによる汎化性能向上 Train: nuScenes without DA Inference: TIER IV Train: nuScenes with DA Inference: TIER IV Data Augmentation X軸・Y軸反転 スケーリング - 原点中心・Z軸方向 回転 - Z軸・X軸・Y軸方向 平行移動 - z方向 点群のダウンサンプル 点群のノイズ - 疑似的な雨や霧 物体のコピー&ペースト
- 88. TIER IV 実環境で精度を出すためのその他の手段 Domain Adaptationの活用 Synthetic Dataの活用 自前データセットの作成 研究段階で実応用はこれから - 例： ST3D++(Unsupervised Domain Adaptation) Train: Waymo Evaluation: KITTI CAR AP(0.7) easy medium hard Without Domain Adaptation 12.50 12.85 13.87 With Domain Adaptation 70.85 63.49 64.52 ※各スライドでの評価結果とは評価データ セットが異なるためあくまでもスライド内 における相対指標となります
- 89. TIER IV CenterPointの改善の一部の例 BEVベースでは情報の損失が大きく、立体的な情報が失われる - BEVではトラックと壁の区別がつきにくい Single Frameでは精度が出ない 点群をBEVの特徴量画像に変換 CenterPoint YOLO Range Image based Semantic Segmentation PointPaintingによるCamera画像やLiDARのRangeImageの活用 ※今回はCamera画像を話します Multi FrameによるDensification （副効果として物体の速度出力も可能）
- 90. TIER IV CenterPointの改善の一部の例 BEVベースでは情報の損失が大きく、立体的な情報が失われる - BEVではトラックと壁の区別がつきにくい Single Frameでは精度が出ない 点群をBEVの特徴量画像に変換 CenterPoint YOLO Range Image based Semantic Segmentation PointPaintingによるCamera画像やLiDARのRangeImageの活用 ※今回はCamera画像を話します Multi FrameによるDensification （副効果として物体の速度出力も可能）
- 91. TIER IV PointPainting off-the-shelf off-the-shelf with camera calibration params Vora, Sourabh, et al. "Pointpainting: Sequential fusion for 3d object detection." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. 97 利点 いろいろな手法を取り込みやすい - Cameraの2Dの検出器やLiDARのSemantic Segmentationなど 異なるセンサーをフュージョンする際にキャリブレーション結果はパラメータとして追い出せる
- 92. TIER IV mAP CAR AP Pedestrian AP Cyclist AP CenterPoint 60.58 73.56 53.00 38.89 CenterPoint with PointPainting GT 71.13 74.32 59.95 61.90 yolov4 (COCO dataset) 68.11 74.62 57.27 55.99 PointPaintingによるCamera画像の活用 ※各スライドでの評価結果とは評価データ セットが異なるためあくまでもスライド内 における相対指標となります
- 93. TIER IV mAP CAR AP Pedestrian AP Cyclist AP CenterPoint 60.58 73.56 53.00 38.89 CenterPoint with PointPainting GT 71.13 74.32 59.95 61.90 yolov4 (COCO dataset) 68.11 74.62 57.27 55.99 PointPaintingによるCamera画像の活用
- 94. TIER IV CenterPointの改善の一部の例 BEVベースでは情報の損失が大きく、立体的な情報が失われる - BEVではトラックと壁の区別がつきにくい Single Frameでは精度が出ない 点群をBEVの特徴量画像に変換 CenterPoint YOLO Range Image based Semantic Segmentation PointPaintingによるCamera画像やLiDARのRangeImageの活用 ※今回はCamera画像を話します Multi FrameによるDensification （副効果として物体の速度出力も可能）
- 95. TIER IV Current Vehicle Coordinates Global Coordinates Past Vehicle Coordinates Multi FrameによるDensification without transformation with transformation moving object static object CenterPointの入力点群に現在フレームからの時間差を特徴量として追加
- 96. TIER IV Multi FrameによるDensification Multi Frameをinputすることにより精度向上と同時にoutputとしてDetectionの段階でオブ ジェクトの速度の学習が可能に ※一部オブジェクトの残像は、 開発時の可視化の不具合
- 97. TIER IV Method Car AP Pedestrian AP Cyclist AP Inference time CenterPoint 82.94 35.07 32.66 49.7 ms CenterPoint + Densification 84.73 46.30 59.90 64.4 ms CenterPoint + PointPainting 83.71 49.53 62.89 63.3 ms CenterPoint + Densification + PointPainting 85.29 52.79 66.66 85.0 ms Multi FrameによるDensification Environment：Core i7 10700K / GeForce GTX 1060 6G / CUDA 10.2 / cuDNN 7.6.5 / TensorRT 7.0.0 ※各スライドでの評価結果とは評価データ セットが異なるためあくまでもスライド内 における相対指標となります
- 98. Simulator & Test
- 99. 105 ROSBAG replay Simulator Planning Simulator End2End Simulator Real Test Sensing ◯ ◯ ◯ Localization ◯ ◯ ◯ Perception ◯ ◯（一部） ・Detection（疑似点群生成機能の利用） ・Tracking ・Perception ◯ ◯ Planning ◯ ◯ ◯ Control ◯（一部） ・ステアリング、加減速の遅延、振動を模擬 ◯ ◯ OSS化準備中
- 100. CLOSING 03
- 101. 107 https://www.youtube.com/watch?v=iW-a7cKUxuY Autowareに興味がある方は、インストールからチュートリアルの動作までの動画を作成 したのでこちらをご覧ください 最後に Github: https://github.com/autowarefoundation/autoware Documentation: https://autowarefoundation.github.io/autoware-documentation/main/ Q&A: https://github.com/autowarefoundation/autoware/discussions Issue: https://github.com/autowarefoundation/autoware.universe/issues Discord: https://discord.com/invite/Q94UsPvReQ スターを付けてもらえる と嬉しいです