SlideShare a Scribd company logo
1 of 27
Download to read offline
完全自動運転実現のための
信頼度付き自己位置推定の提案
赤井直紀1, 平山高嗣2, 村瀬洋1
1 名古屋大学大学院 情報学研究科
2 名古屋大学 未来社会創造機構
SS07-08
SSI2019@千葉大学
過去の我々の研究
⚫高精度位置推定に基づく一般公道での自動運転
1. N. Akai et al., “Autonomous driving based on accurate localization using multilayer LiDAR and dead
reckoning,” In Proc. of the IEEE ITSC, 2017.
動画
https://www.yout
ube.com/watch?v
=9VQRaOsIxmU
位置推定の重要性
⚫位置推定は自動運転知能における一番最初の処理
⚫「位置推定結果が常に正しい」という仮定の下で実装
⚫位置推定の失敗は自動運転の失敗に直結する!
(それで事故した例もある…)
地図
自己位置推定
周辺環境認識
歩行者認識
障害物検知
物標認識
etc…
センサ
GNSS
LiDAR
カメラ
エンコーダ
etc…
経路計画
計算機
処理の流れ
位置推定の重要性
⚫複雑環境下での自動走行における位置推定の重要性
⚫位置推定により他のタスクの劇的な簡略化が可能
2. E. Takeuchi et al., “A 3-d scan matching using improved 3-d normal distributions transform for robotic
mapping,” In Proc. of the IEEE/RSJ IROS, 2006.
3. N. Akai et al., “Robust localization using 3D NDT scan matching with experimentally determined uncertainty
and road marker matching,” In Proc. of the IEEE IV, 2017 (Oral presentation).
位置推定の課題と現状の対策
⚫ 課題
• 位置推定結果の正誤を保証する術がない
• 環境の動的変化のモデル化が不可能に近い※
⚫ 現状の対策
• 位置推定は常に正しいと仮定(現状はほぼこれ)
• 観測数を増やして多数決的に正しそうな解を取得
• 冗長的な位置推定系を組み経験的閾値を導入
4. N. Akai et al., “Mobile robot localization considering class of sensor observations,” In Proc. of the IEEE/RSJ
IROS, pp. 3159-3166, 2018.
課題が発生する理由
⚫位置推定の簡単な流れ
1. センサ観測 zt と地図 m の間で対応を求める
2. 対応を基に誤差を最小化(or 尤度を最大化)
Cost(xt, zt, m)
xtO
GTxt
GTxt INIxt
INIxt
Real
zt
m
Map
課題が発生する理由
⚫位置推定の簡単な流れ
1. センサ観測 zt と地図 m の間で対応を求める
2. 対応を基に誤差を最小化(or 尤度を最大化)
xtO
Cost(xt, zt, m)
GTxt
GTxt INIxt
INIxt
Real
zt
m
Map
課題と研究目的
⚫「位置推定」の結果とは
• 推定結果はただの最適(or 局所最適)解
• 最適解時のコスト値などは経験的指標でしかない
(誤マッチングの識別ができていないため※)
• 車両は推定結果の正誤を認識していない
客観的に位置推定の正誤を説明できる
パラメータを車両自身に認識させる
5. N. Akai et al., “Misalignment recognition using Markov random fields with fully connected latent variables
for detecting localization failures,” IEEE Robotics and Automation Letters, 4(4), pp. 3955-3962, 2019.
アプローチ
⚫位置推定プロセス外からの正誤判断を導入
• 人間から見れば誤マッチングの認識は容易
• スキャンと地図のずれを識別すれば良い
• 深層学習を用いて位置推定正誤判断を識別
⚫機械学習の出力が常に正しいとは限らない(重要)
• 機械学習の出力は新たな可観測変数であると仮定
• 深層学習の出力から推定結果の信頼度を推定
• 位置と信頼度の同時推定問題としての定式化
位置推定における正誤と信頼度
⚫真値と推定値の間の誤差に閾値(領域)を設定
• 位置誤差50㎝,角度誤差3度を超えた場合が失敗
(閾値の設定に関しては考慮の余地あり)
⚫信頼度(reliability)の定義
• 正しい性能で機能できている確率(工学的に)
• 推定誤差が上記閾値以内に含まれる確率 = 信頼度
(当然推定時には真値はわからない)
位置推定の正誤の学習
⚫2次元の位置推定問題を対象とする
• シミュレーションを用いて学習データを作成
• 推定成功時1,失敗時0のラベルを付与
• 0から1の連続値を回帰するCNN※を作成
※ CNN:Convolutional Neural Network(畳み込みニューラルネットワーク)
位置推定の正誤の学習
⚫入力データの例
• 成功時はスキャンと地図が重なる
• 失敗時にはミスマッチが見られる
位置推定の正誤の学習
⚫推定正誤の識別性能
• 3種類の入力デー
タを比較(省略)
• ROC曲線で検証
• 識別性能は約9割
(正方形で完璧)
• 高い識別性能だが
完全ではない
グラフィカルモデル(変数間の関係)
⚫位置推定における一般的なグラフィカルモデル
• 白が推定したい変数,灰色は可観測の変数
• 制御入力,センサ観測,地図から位置を推定
位置
制御入力
センサ観測
地図
⚫CNNの出力が新たな可観測変数として利用可能に
• CNNの出力は位置とセンサ観測,地図に依存
• 正誤判断(decision)はノイジーであると仮定
CNNの出力
(正誤判断)
位置
制御入力
センサ観測
地図
グラフィカルモデル(変数間の関係)
⚫位置と信頼度を同時推定するグラフィカルモデル
• CNNの出力に隠れた信頼度も依存すると仮定
• 移動に伴い信頼度も変化すると仮定
CNNの出力
(正誤判断)
位置
制御入力
センサ観測
地図
信頼度
グラフィカルモデル(変数間の関係)
提案グラフィカルモデル
⚫位置と信頼度を同時推定するモデル(新規性)
• このモデルの提案が本研究の代表的貢献
定式化
⚫位置と信頼度の同時分布を求める問題として定式化
⚫Rao-Blackwellized Particle Filter(RBPF)で推定
Particle Filter
解析
同時推定の利点
⚫通常の位置推定のみのParticle Filterとの違い
⚫新たに加わる式の効果
• 信頼度と正誤判断の矛盾がある場合に尤度が低下
• CNNのノイジーな出力の影響を低減する効果
(通常)
性能の一例(シミュレーション)
⚫位置推定に失敗する条件での検証
性能の一例(シミュレーション)
⚫動的障害物に対する頑健性(位置推定成功時)
動画
https://www.youtube
.com/watch?v=n_3
BXbCpYBk&t=12s
性能の一例(シミュレーション)
⚫動的障害物に対する頑健性(位置推定失敗時)
動画
https://www.youtube
.com/watch?v=n_3
BXbCpYBk&t=12s
性能の一例(ロボットでの実機実験)
⚫人手による位置推定失敗を即時検知
動画
https://www.youtub
e.com/watch?v=Qz
G3beQkQnY&t=30s
性能の一例(ロボットでの実機実験)
⚫人手による位置推定失敗を即時検知
動画
https://www.youtub
e.com/watch?v=Qz
G3beQkQnY&t=30s
性能の一例(車両での実機実験)
⚫時速約50㎞に対応可能に(入力データの改善による※)
6. N. Akai et al., “Simultaneous pose and reliability estimation using convolutional neural network and Rao-
Blackwellized particle filter,” Advanced Robotics, 2018.
※今回の発表は以前提案した方法の拡張版(計算速度の高速化).
動画
https://www.youtube
.com/watch?v=dQ2
4tN9gVZY&t=24s
性能の一例(車両での実機実験)
⚫時系列的に位置推定が失敗する状態を検知可能
• 3次元を2次元に縮退させたためによる失敗を検出
動画
https://www.youtube
.com/watch?v=dQ2
4tN9gVZY&t=24s
まとめと今後の課題
⚫まとめ
• 推定結果の正誤を説明する信頼度の推定法を提案
• CNNによる推定正誤判断を可観測変数として利用
• 位置と信頼度を同時推定する問題として定式化
• 信頼度の性能を実験を通して検証
⚫今後の課題
• CNNを用いない推定正誤判断モデルの検討
• 3次元位置推定問題への拡張

More Related Content

What's hot

ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]DeNA
 
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)Kazuki Maeno
 
確率ロボティクス第五回
確率ロボティクス第五回確率ロボティクス第五回
確率ロボティクス第五回Ryuichi Ueda
 
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...Deep Learning JP
 
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセットToru Tamaki
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)Deep Learning JP
 
落合流先生流の論文要旨フォーマット
落合流先生流の論文要旨フォーマット落合流先生流の論文要旨フォーマット
落合流先生流の論文要旨フォーマット森 哲也
 
顕著性マップの推定手法
顕著性マップの推定手法顕著性マップの推定手法
顕著性マップの推定手法Takao Yamanaka
 
DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術Yusuke Uchida
 
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP
 
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...Deep Learning JP
 
文字認識はCNNで終わるのか?
文字認識はCNNで終わるのか?文字認識はCNNで終わるのか?
文字認識はCNNで終わるのか?Seiichi Uchida
 
第3回WBAレクチャー:BRAに基づく海馬体の確率的生成モデルの構築
第3回WBAレクチャー:BRAに基づく海馬体の確率的生成モデルの構築第3回WBAレクチャー:BRAに基づく海馬体の確率的生成モデルの構築
第3回WBAレクチャー:BRAに基づく海馬体の確率的生成モデルの構築The Whole Brain Architecture Initiative
 
SfM Learner系単眼深度推定手法について
SfM Learner系単眼深度推定手法についてSfM Learner系単眼深度推定手法について
SfM Learner系単眼深度推定手法についてRyutaro Yamauchi
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io  a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io  a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs Deep Learning JP
 
カルマンフィルタ入門
カルマンフィルタ入門カルマンフィルタ入門
カルマンフィルタ入門Yasunori Nihei
 
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII
 
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...Kazuyuki Miyazawa
 
論文紹介 LexToMap: lexical-based topological mapping
論文紹介 LexToMap: lexical-based topological mapping論文紹介 LexToMap: lexical-based topological mapping
論文紹介 LexToMap: lexical-based topological mappingAkira Taniguchi
 

What's hot (20)

ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
 
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)
 
確率ロボティクス第五回
確率ロボティクス第五回確率ロボティクス第五回
確率ロボティクス第五回
 
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
 
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
 
落合流先生流の論文要旨フォーマット
落合流先生流の論文要旨フォーマット落合流先生流の論文要旨フォーマット
落合流先生流の論文要旨フォーマット
 
顕著性マップの推定手法
顕著性マップの推定手法顕著性マップの推定手法
顕著性マップの推定手法
 
DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術
 
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...
 
文字認識はCNNで終わるのか?
文字認識はCNNで終わるのか?文字認識はCNNで終わるのか?
文字認識はCNNで終わるのか?
 
第3回WBAレクチャー:BRAに基づく海馬体の確率的生成モデルの構築
第3回WBAレクチャー:BRAに基づく海馬体の確率的生成モデルの構築第3回WBAレクチャー:BRAに基づく海馬体の確率的生成モデルの構築
第3回WBAレクチャー:BRAに基づく海馬体の確率的生成モデルの構築
 
SfM Learner系単眼深度推定手法について
SfM Learner系単眼深度推定手法についてSfM Learner系単眼深度推定手法について
SfM Learner系単眼深度推定手法について
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io  a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io  a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
 
Data-Centric AIの紹介
Data-Centric AIの紹介Data-Centric AIの紹介
Data-Centric AIの紹介
 
カルマンフィルタ入門
カルマンフィルタ入門カルマンフィルタ入門
カルマンフィルタ入門
 
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
 
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
 
論文紹介 LexToMap: lexical-based topological mapping
論文紹介 LexToMap: lexical-based topological mapping論文紹介 LexToMap: lexical-based topological mapping
論文紹介 LexToMap: lexical-based topological mapping
 

完全自動運転実現のための信頼度付き自己位置推定の提案