Submit Search
Upload
20190825 vins mono
•
7 likes
•
8,556 views
Takuya Minagawa
Follow
2019/08/25コンピュータビジョン勉強会@関東「有名論文読み会2」発表資料です。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 59
Download now
Download to read offline
Recommended
20190307 visualslam summary
20190307 visualslam summary
Takuya Minagawa
SLAMチュートリアル大会資料(ORB-SLAM)
SLAMチュートリアル大会資料(ORB-SLAM)
Masaya Kaneko
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII
SLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAM
Iwami Kazuya
SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介
miyanegi
Structure from Motion
Structure from Motion
Ryutaro Yamauchi
Direct Sparse Odometryの解説
Direct Sparse Odometryの解説
Masaya Kaneko
ORB-SLAMの手法解説
ORB-SLAMの手法解説
Masaya Kaneko
Recommended
20190307 visualslam summary
20190307 visualslam summary
Takuya Minagawa
SLAMチュートリアル大会資料(ORB-SLAM)
SLAMチュートリアル大会資料(ORB-SLAM)
Masaya Kaneko
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII
SLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAM
Iwami Kazuya
SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介
miyanegi
Structure from Motion
Structure from Motion
Ryutaro Yamauchi
Direct Sparse Odometryの解説
Direct Sparse Odometryの解説
Masaya Kaneko
ORB-SLAMの手法解説
ORB-SLAMの手法解説
Masaya Kaneko
SLAM勉強会(PTAM)
SLAM勉強会(PTAM)
Masaya Kaneko
Visual slam
Visual slam
Takuya Minagawa
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Masaya Kaneko
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII
ORB-SLAMを動かしてみた
ORB-SLAMを動かしてみた
Takuya Minagawa
G2o
G2o
Fujimoto Keisuke
TransPose: Towards Explainable Human Pose Estimation by Transformer
TransPose: Towards Explainable Human Pose Estimation by Transformer
Yasutomo Kawanishi
オープンソース SLAM の分類
オープンソース SLAM の分類
Yoshitaka HARA
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
Takumi Ohkuma
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピング
Takuya Minagawa
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII
ガイデットフィルタとその周辺
ガイデットフィルタとその周辺
Norishige Fukushima
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
Deep Learning JP
20180527 ORB SLAM Code Reading
20180527 ORB SLAM Code Reading
Takuya Minagawa
Depth Estimation論文紹介
Depth Estimation論文紹介
Keio Robotics Association
LiDAR点群とSfM点群との位置合わせ
LiDAR点群とSfM点群との位置合わせ
Takuya Minagawa
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
Toru Tamaki
SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎
yohei okawa
30th コンピュータビジョン勉強会@関東 DynamicFusion
30th コンピュータビジョン勉強会@関東 DynamicFusion
Hiroki Mizuno
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
Kitsukawa Yuki
CVPR2018のPointCloudのCNN論文とSPLATNet
CVPR2018のPointCloudのCNN論文とSPLATNet
Takuya Minagawa
2014年5月21日「パーティクルフィルタの癖から知るロボットへの確率的手法の正しい適用方法」---第58回システム制御情報学会研究発表講演会チュートリアル講演
2014年5月21日「パーティクルフィルタの癖から知るロボットへの確率的手法の正しい適用方法」---第58回システム制御情報学会研究発表講演会チュートリアル講演
Ryuichi Ueda
More Related Content
What's hot
SLAM勉強会(PTAM)
SLAM勉強会(PTAM)
Masaya Kaneko
Visual slam
Visual slam
Takuya Minagawa
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Masaya Kaneko
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII
ORB-SLAMを動かしてみた
ORB-SLAMを動かしてみた
Takuya Minagawa
G2o
G2o
Fujimoto Keisuke
TransPose: Towards Explainable Human Pose Estimation by Transformer
TransPose: Towards Explainable Human Pose Estimation by Transformer
Yasutomo Kawanishi
オープンソース SLAM の分類
オープンソース SLAM の分類
Yoshitaka HARA
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
Takumi Ohkuma
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピング
Takuya Minagawa
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII
ガイデットフィルタとその周辺
ガイデットフィルタとその周辺
Norishige Fukushima
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
Deep Learning JP
20180527 ORB SLAM Code Reading
20180527 ORB SLAM Code Reading
Takuya Minagawa
Depth Estimation論文紹介
Depth Estimation論文紹介
Keio Robotics Association
LiDAR点群とSfM点群との位置合わせ
LiDAR点群とSfM点群との位置合わせ
Takuya Minagawa
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
Toru Tamaki
SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎
yohei okawa
30th コンピュータビジョン勉強会@関東 DynamicFusion
30th コンピュータビジョン勉強会@関東 DynamicFusion
Hiroki Mizuno
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
Kitsukawa Yuki
What's hot
(20)
SLAM勉強会(PTAM)
SLAM勉強会(PTAM)
Visual slam
Visual slam
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
ORB-SLAMを動かしてみた
ORB-SLAMを動かしてみた
G2o
G2o
TransPose: Towards Explainable Human Pose Estimation by Transformer
TransPose: Towards Explainable Human Pose Estimation by Transformer
オープンソース SLAM の分類
オープンソース SLAM の分類
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピング
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
ガイデットフィルタとその周辺
ガイデットフィルタとその周辺
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
【DL輪読会】NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics vi...
20180527 ORB SLAM Code Reading
20180527 ORB SLAM Code Reading
Depth Estimation論文紹介
Depth Estimation論文紹介
LiDAR点群とSfM点群との位置合わせ
LiDAR点群とSfM点群との位置合わせ
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎
30th コンピュータビジョン勉強会@関東 DynamicFusion
30th コンピュータビジョン勉強会@関東 DynamicFusion
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
NDTスキャンマッチング 第1回3D勉強会@PFN 2018年5月27日
Similar to 20190825 vins mono
CVPR2018のPointCloudのCNN論文とSPLATNet
CVPR2018のPointCloudのCNN論文とSPLATNet
Takuya Minagawa
2014年5月21日「パーティクルフィルタの癖から知るロボットへの確率的手法の正しい適用方法」---第58回システム制御情報学会研究発表講演会チュートリアル講演
2014年5月21日「パーティクルフィルタの癖から知るロボットへの確率的手法の正しい適用方法」---第58回システム制御情報学会研究発表講演会チュートリアル講演
Ryuichi Ueda
[CV勉強会]Active Object Localization with Deep Reinfocement Learning
[CV勉強会]Active Object Localization with Deep Reinfocement Learning
Takuya Minagawa
点群SegmentationのためのTransformerサーベイ
点群SegmentationのためのTransformerサーベイ
Takuya Minagawa
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
Norishige Fukushima
関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会
nonane
MobileNeRF
MobileNeRF
Takuya Minagawa
Curiosity driven exploration
Curiosity driven exploration
Takuya Minagawa
静岡Developers勉強会コンピュータビジョンvol4発表用資料
静岡Developers勉強会コンピュータビジョンvol4発表用資料
keima_12
Inside-Outカメラからの3次元Scan Pathとシーン構造の復元
Inside-Outカメラからの3次元Scan Pathとシーン構造の復元
Hironobu Fujiyoshi
object detection with lidar-camera fusion: survey
object detection with lidar-camera fusion: survey
Takuya Minagawa
3DFeat-Net
3DFeat-Net
Takuya Minagawa
SSII2014 チュートリアル資料
SSII2014 チュートリアル資料
Masayuki Tanaka
28th CV勉強会@関東 #3
28th CV勉強会@関東 #3
Hiroki Mizuno
Semantic segmentation2
Semantic segmentation2
Takuya Minagawa
東工大 長谷川修研の環境学習・認識・探索技術
東工大 長谷川修研の環境学習・認識・探索技術
SOINN Inc.
Contest 02 presentation (RT-Middleware Contest of SI2017)
Contest 02 presentation (RT-Middleware Contest of SI2017)
Tomoyuki Nakai
『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa
『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa
oku_zawa
ADVENTUREの他のモジュール・関連プロジェクトの紹介
ADVENTUREの他のモジュール・関連プロジェクトの紹介
ADVENTURE Project
ConditionalPointDiffusion.pdf
ConditionalPointDiffusion.pdf
Takuya Minagawa
Similar to 20190825 vins mono
(20)
CVPR2018のPointCloudのCNN論文とSPLATNet
CVPR2018のPointCloudのCNN論文とSPLATNet
2014年5月21日「パーティクルフィルタの癖から知るロボットへの確率的手法の正しい適用方法」---第58回システム制御情報学会研究発表講演会チュートリアル講演
2014年5月21日「パーティクルフィルタの癖から知るロボットへの確率的手法の正しい適用方法」---第58回システム制御情報学会研究発表講演会チュートリアル講演
[CV勉強会]Active Object Localization with Deep Reinfocement Learning
[CV勉強会]Active Object Localization with Deep Reinfocement Learning
点群SegmentationのためのTransformerサーベイ
点群SegmentationのためのTransformerサーベイ
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会
MobileNeRF
MobileNeRF
Curiosity driven exploration
Curiosity driven exploration
静岡Developers勉強会コンピュータビジョンvol4発表用資料
静岡Developers勉強会コンピュータビジョンvol4発表用資料
Inside-Outカメラからの3次元Scan Pathとシーン構造の復元
Inside-Outカメラからの3次元Scan Pathとシーン構造の復元
object detection with lidar-camera fusion: survey
object detection with lidar-camera fusion: survey
3DFeat-Net
3DFeat-Net
SSII2014 チュートリアル資料
SSII2014 チュートリアル資料
28th CV勉強会@関東 #3
28th CV勉強会@関東 #3
Semantic segmentation2
Semantic segmentation2
東工大 長谷川修研の環境学習・認識・探索技術
東工大 長谷川修研の環境学習・認識・探索技術
Contest 02 presentation (RT-Middleware Contest of SI2017)
Contest 02 presentation (RT-Middleware Contest of SI2017)
『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa
『宇宙エレベーター技術競技会報告』JpSEC2010(20101212) @oku_zawa
ADVENTUREの他のモジュール・関連プロジェクトの紹介
ADVENTUREの他のモジュール・関連プロジェクトの紹介
ConditionalPointDiffusion.pdf
ConditionalPointDiffusion.pdf
More from Takuya Minagawa
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
Takuya Minagawa
Learning to Solve Hard Minimal Problems
Learning to Solve Hard Minimal Problems
Takuya Minagawa
楽しいコンピュータビジョンの受託仕事
楽しいコンピュータビジョンの受託仕事
Takuya Minagawa
20210711 deepI2P
20210711 deepI2P
Takuya Minagawa
20201010 personreid
20201010 personreid
Takuya Minagawa
20200910コンピュータビジョン今昔物語(JPTA講演資料)
20200910コンピュータビジョン今昔物語(JPTA講演資料)
Takuya Minagawa
2020/07/04 BSP-Net (CVPR2020)
2020/07/04 BSP-Net (CVPR2020)
Takuya Minagawa
20200704 bsp net
20200704 bsp net
Takuya Minagawa
20190706cvpr2019_3d_shape_representation
20190706cvpr2019_3d_shape_representation
Takuya Minagawa
20190131 lidar-camera fusion semantic segmentation survey
20190131 lidar-camera fusion semantic segmentation survey
Takuya Minagawa
2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation
2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation
Takuya Minagawa
run Keras model on opencv
run Keras model on opencv
Takuya Minagawa
20181130 lidar object detection survey
20181130 lidar object detection survey
Takuya Minagawa
object detection with lidar-camera fusion: survey (updated)
object detection with lidar-camera fusion: survey (updated)
Takuya Minagawa
20180424 orb slam
20180424 orb slam
Takuya Minagawa
「コンピュータビジョン勉強会@関東」紹介資料
「コンピュータビジョン勉強会@関東」紹介資料
Takuya Minagawa
車載カメラの映像から歩行者に関わる危険を予測する技術
車載カメラの映像から歩行者に関わる危険を予測する技術
Takuya Minagawa
20170806 Discriminative Optimization
20170806 Discriminative Optimization
Takuya Minagawa
Cvpr2017事前読み会
Cvpr2017事前読み会
Takuya Minagawa
More from Takuya Minagawa
(19)
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
Learning to Solve Hard Minimal Problems
Learning to Solve Hard Minimal Problems
楽しいコンピュータビジョンの受託仕事
楽しいコンピュータビジョンの受託仕事
20210711 deepI2P
20210711 deepI2P
20201010 personreid
20201010 personreid
20200910コンピュータビジョン今昔物語(JPTA講演資料)
20200910コンピュータビジョン今昔物語(JPTA講演資料)
2020/07/04 BSP-Net (CVPR2020)
2020/07/04 BSP-Net (CVPR2020)
20200704 bsp net
20200704 bsp net
20190706cvpr2019_3d_shape_representation
20190706cvpr2019_3d_shape_representation
20190131 lidar-camera fusion semantic segmentation survey
20190131 lidar-camera fusion semantic segmentation survey
2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation
2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation
run Keras model on opencv
run Keras model on opencv
20181130 lidar object detection survey
20181130 lidar object detection survey
object detection with lidar-camera fusion: survey (updated)
object detection with lidar-camera fusion: survey (updated)
20180424 orb slam
20180424 orb slam
「コンピュータビジョン勉強会@関東」紹介資料
「コンピュータビジョン勉強会@関東」紹介資料
車載カメラの映像から歩行者に関わる危険を予測する技術
車載カメラの映像から歩行者に関わる危険を予測する技術
20170806 Discriminative Optimization
20170806 Discriminative Optimization
Cvpr2017事前読み会
Cvpr2017事前読み会
Recently uploaded
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Recently uploaded
(9)
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
20190825 vins mono
1.
第54回CV勉強会「有名論文読み会2」 VINS-Mono解説 2019年8月25日 takmin 1
2.
自己紹介 2 株式会社ビジョン&ITラボ 代表取締役 皆川 卓也(みながわ
たくや) 「コンピュータビジョン勉強会@関東」主催 博士(工学) 略歴: 1999-2003年 日本HP(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得(2014年) 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事(2018年法人化) http://visitlab.jp
3.
本日紹介する論文:VINS-Mono 8 Qin,T., Li,
P., & Shen, S. (2018).VINS-Mono:A Robust and Versatile MonocularVisual-Inertial State Estimator. IEEE Transactions on Robotics, 34(4), 1004–1020. カメラとIMUを用いたSLAM (Visual Inertial SLAM) コード: https://github.com/HKUST-Aerial-Robotics/VINS-Mono 動画: https://www.youtube.com/watch?v=g_wN0Nt0VAU VINS-Fusionというステレオカメラに対応した拡張版 https://github.com/HKUST-Aerial-Robotics/VINS-Fusion
4.
Visual SLAM 9 ロボットの自律移動や、ARにおいてカメラで撮影した画像上に 3Dオブジェクトを重畳表示するためには、撮影対象の三次元形 状とそれに対するカメラの位置と姿勢を正確に求める必要があ る Simultaneous Localization
And Mapping (SLAM) Localization Mapping
5.
Visual Inertial SLAM VI-SLAMはIMUを用いて、Visual
SLAMの精度を高める手法 大きくフィルタベースの手法と最適化ベースの手法に分け られる フィルタベース Kalman FilterやParticle Filterなどを使用して、IMU/カメラPose の確率遷移を計算 最適化ベース バンドル調整などを使用して、誤差の最小化を行うことで、カメ ラ/IMUのPoseを推定 10 VINS-Mono
6.
Visual Inertial SLAM 11 VINS-Monoの特徴:
ロバストな初期化手法 カメラとIMUを統合した最適化 オンラインでのループ検出と補正 4自由度のポーズグラフ全体最適化 リアルタイム(ドローン、モバイルAR)
7.
[基礎知識]Inertial Measurement Unit
(IMU) ジャイロスコープ(角速度) ෝ𝝎 𝑡 = 𝝎 𝑡 + 𝐛 𝜔 𝑡 + 𝐧 𝜔 加速度計(加速度+重力) ො𝐚 𝑡 = 𝐚 𝑡 + 𝐛a 𝑡 + 𝐑 𝑤 𝑡 𝐠 𝑤 + 𝐧a ノイズ / バイアス 𝐧 𝜔~𝑁 𝟎, 𝝈 𝜔 2 𝐧a~𝑁 𝟎, 𝝈a 2 ሶ𝐛 𝜔 𝑡 = 𝐧b 𝜔 ~𝑁 𝟎, 𝝈b 𝜔 2 ሶ𝐛a 𝑡 = 𝐧ba ~𝑁 𝟎, 𝝈ba 2 測定結果 真値 バイアス ノイズ 測定結果 真値 バイアス ノイズ重力向き [https://jp.mathworks.com/help/fusion/ gs/model-imu-gps-and-insgps.html]より 転載 12 (1) (1) (2) バイアス=ランダムウォーク
8.
[基礎知識]バンドル調整 13 1. 三次元点群とカメラパラメータの初期値を設定する 画像から見つけた点の三 次元座標の初期値カメラの位置と焦点距離 の初期値
9.
[基礎知識]バンドル調整 14 2. 三次元点群を各カメラの画像平面へ投影
10.
[基礎知識]バンドル調整 15 3. 投影された点と観測した点との誤差の総和を算出 投影された点 観測点 誤差
11.
[基礎知識]バンドル調整 16 4. 誤差が小さくなる方向へ特徴点の三次元座標とカメラ パラメータを調整 (収束するまで2から繰り返す)
12.
[基礎知識]Pose Graph 17 Mur-Artal, R.,
Montiel, J. M. M., & Tardos, J. D. (2015). ORB-SLAM:AVersatile and Accurate Monocular SLAM System. IEEETransactions on Robotics, 31(5), 共通の特徴点を持 つキーフレーム同 士をつなげて作成 するグラフ ノードは回転と位置 の情報を持つ Loop Closingに使用
13.
参考: 18 Visual SLAM概観 https://www.slideshare.net/takmin/20190307- visualslam-summary
Visual SLAM、RGBD SLAM、Visual Inertial SLAM の代表的手法について解説した資料
14.
VINS-Mono: Overview 19 指定数の画像フレーム(=
SlidingWindow)内から特徴点 を追跡し、IMUのデータを統合して非線形最適化を行うこ とによりセンサーの姿勢を推定 Loop Closureによって推定結果を補正
15.
処理の流れ 20
16.
処理の流れ 21 画像およびIMUか らデータを取得し、 前処理 画像特徴点の 検出と追跡 初期Poseとパ ラメータ推定 画像の再投影誤差 とIMUの予測誤差を 元にPose最適化 IMUの結果 を積分 Pose Graphを最適化
17.
Measurement Preprocessing カメラとIMUからデータを取得し、前処理。 22
18.
Measurement Preprocessing カメラとIMUからデータを取得し、前処理。 23
19.
Measurement Preprocessing (Camera) 24 カメラで取得したデータに対する前処理
KLTでキーポイント追跡 Good Feature to Trackで新規キーポイントを追加し、100- 300程度となり、かつ画像全体で一様となるように 基礎行列およびRANSACを用いて幾何学的に整合性の ない点を除去 以下の条件を満たす画像をキーフレームとする ジャイロスコープを使用し、画像を平行化 前キーフレームとの平均視差が閾値以上
20.
Measurement Preprocessing カメラとIMUからデータを取得し、前処理。 25
21.
Measurement Preprocessing (IMU) 26 IMUで取得したデータに対する前処理
IMUはカメラよりも周波数が高いため、フレームとフレームの 間に取得したセンサーデータを事前に積分 位置、速度、回転について算出 𝑏 𝑘における初期姿勢が変化しても 𝑏 𝑘+1の姿勢へ容易に反映 𝑏 𝑘 𝑏 𝑘+1 k番目のフレームを 取得した時刻 k+1番目のフレーム を取得した時刻 この間のIMUデータを積分 𝑖番目のIMU データ 𝛿𝑡
22.
Measurement Preprocessing (IMU) 27 IMUで取得したデータに対する前処理
IMUはカメラよりも周波数が高いため、フレームとフレームの 間に取得したセンサーデータを事前に積分 位置、速度、回転について算出 𝑏 𝑘における初期姿勢が変化しても 𝑏 𝑘+1の姿勢へ容易に反映 ෝ𝜶𝑖+1 𝑏 𝑘 = ෝ𝜶𝑖 𝑏 𝑘 + 𝜷𝒊 𝑏 𝑘 𝛿𝑡 + 1 2 𝐑 ෝ𝜸𝒊 𝑏 𝑘 ො𝐚𝑖 − 𝐛a 𝑖 𝛿𝑡2 位置に関する積分項(ෝ𝜶0 𝑏 𝑘 = 𝟎) 速度に関する積分項(𝜷0 𝑏 𝑘 = 𝟎) 回転に関する積分項(ෝ𝜸0 𝑏 𝑘 = 単位クォータニオン) 𝜷𝑖+1 𝑏 𝑘 = 𝜷𝒊 𝑏 𝑘 + 𝐑 ෝ𝜸𝒊 𝑏 𝑘 ො𝐚𝑖 − 𝐛a 𝑖 𝛿𝑡 ෝ𝜸𝑖+1 𝑏 𝑘 = ෝ𝜸𝒊 𝑏 𝑘 ⨂ 1 1 2 ෝ𝝎𝑖 − 𝐛 𝜔 𝑖 𝛿𝑡 (7)
23.
Initialization IMUのデータと画像のデータを整合させることで、スケー ルやバイアスなどの値を初期化 28
24.
Initialization 29 Structure-from-MotionのスケールやIMUのバイアスの初期 値を算出 Pre-IntegrationされたIMUの軌跡とSfMで取得したカメラ の軌跡を一致させることで各パラメータを初期化
25.
Initialization 30 Structure-from-MotionのスケールやIMUのバイアスの初期 値を算出 SfMで求めた画像間の回転変化とIMUで求めた回転との 差が最小となるようにジャイロスコープのバイアス𝐛 𝜔を 算出
26.
Initialization 31 Structure-from-MotionのスケールやIMUのバイアスの初期 値を算出 SfMで求めた画像間の回転変化とIMUで求めた回転との 差が最小となるようにジャイロスコープのバイアス𝐛 𝜔を 算出
SfMで求めたカメラ位置とIMUから求めた位置と速度の 積分値が整合するようにパラメータ𝝌𝐼(速度、重力、ス ケール)を算出
27.
Initialization 32 Structure-from-MotionのスケールやIMUのバイアスの初期 値を算出 SfMで求めた画像間の回転変化とIMUで求めた回転との 差が最小となるようにジャイロスコープのバイアス𝐛 𝜔を 算出
SfMで求めたカメラ位置とIMUから求めた位置と速度の 積分値が整合するようにパラメータ𝝌𝐼(速度、重力、ス ケール)を算出 重力ベクトル𝐠 𝑐0を重力加速度を既知として再算出し、z 軸と重力ベクトルが一致するように世界座標系を定義
28.
Local Visual-inertial Odometry
with Relocalization 画像とIMUの情報を元に、バンドル調整によってフレーム ごとのカメラ姿勢を算出 過去に取得したキーフレームとのマッチングを行うことで ループを検出し、Window内のキーフレームの姿勢を補 正 33
29.
Local Visual-inertial Odometry
with Relocalization 34 SLAMで求めるパラメータを以下のように定義 𝝌 = 𝐱0, 𝐱1, ⋯ , 𝐱 𝑛, 𝐱 𝑐 𝑏, 𝜆0, 𝜆1, ⋯ , 𝜆 𝑚 Window内のk番目のキーフレームにおけるIMUの 状態 𝐱 𝑘 = 𝐩 𝑏 𝑘 𝑤 , 𝐯 𝑏 𝑘 𝑤 , 𝐪 𝑏 𝑘 𝑤 , 𝐛a, 𝐛ω body(IMU)座標でのカメラ姿勢 𝐱 𝑐 𝑏 = 𝐩 𝑐 𝑏, 𝐪 𝑐 𝑏 (22) 位置 速度 向き (クォータニオン) 加速度 バイアス 角速度 バイアス 各特徴点の深度の逆数
30.
Tightly-Coupled Monocular VIO
画像とIMUの情報を元に、バンドル調整によってフレーム ごとのカメラ姿勢を算出 35
31.
Tightly-Coupled Monocular VIO 36
以下の式によりパラメータ𝝌を最適化(バンドル 調整) min 𝝌 ൝ ൡ 𝒓 𝑝 − 𝐇 𝒑 𝝌 2 + 𝑘∈ℬ 𝒓ℬ ො𝐳 𝑏 𝑘+1 𝑏 𝑘 , 𝝌 𝐏 𝑏 𝑘+1 𝑏 𝑘 2 + 𝑙,𝑗 ∈𝐶 𝜌 𝒓 𝐶 ො𝐳𝑙 𝑐 𝑗 , 𝝌 𝐏𝑙 𝑐 𝑗 2 ℬ:IMU測定の集合 𝐶:SlidingWindow内で2つ以上観測される特徴点 (22) IMUに関する残差 画像に関する残差 事前情報に対する残差
32.
Tightly-Coupled Monocular VIO
(IMU Measurement Residual) 37 以下の式によりパラメータ𝝌を最適化(バンドル 調整) min 𝝌 ൝ ൡ 𝒓 𝑝 − 𝐇 𝒑 𝝌 2 + 𝑘∈ℬ 𝒓ℬ ො𝐳 𝑏 𝑘+1 𝑏 𝑘 , 𝝌 𝐏 𝑏 𝑘+1 𝑏 𝑘 2 + 𝑙,𝑗 ∈𝐶 𝜌 𝒓 𝐶 ො𝐳𝑙 𝑐 𝑗 , 𝝌 𝐏𝑙 𝑐 𝑗 2 ℬ:IMU測定の集合 𝐶:SlidingWindow内で2つ以上観測される特徴点 (22) IMUに関する残差
33.
Tightly-Coupled Monocular VIO
(IMU Measurement Residual) 38 フレームkとk+1の間で積分したIMU の測定結果と、2枚の姿勢変化に対 し、その残差𝒓ℬを算出。 𝑏 𝑘 𝑏 𝑘+1 k番目のフレームを 取得した時刻 k+1番目のフレーム を取得した時刻 この間のIMUデータを積分 𝑖番目のIMU データ 𝛿𝑡
34.
Tightly-Coupled Monocular VIO
(Visual Measurement Residual) 39 以下の式によりパラメータ𝝌を最適化(バンドル 調整) min 𝝌 ൝ ൡ 𝒓 𝑝 − 𝐇 𝒑 𝝌 2 + 𝑘∈ℬ 𝒓ℬ ො𝐳 𝑏 𝑘+1 𝑏 𝑘 , 𝝌 𝐏 𝑏 𝑘+1 𝑏 𝑘 2 + 𝑙,𝑗 ∈𝐶 𝜌 𝒓 𝐶 ො𝐳𝑙 𝑐 𝑗 , 𝝌 𝐏𝑙 𝑐 𝑗 2 ℬ:IMU測定の集合 𝐶:SlidingWindow内で2つ以上観測される特徴点 (22) 画像に関する残差
35.
Tightly-Coupled Monocular VIO
(Visual Measurement Residual) 40 VINS-Monoでは魚眼カメラ等でも使用できるよう再投影 誤差𝒓 𝐶をカメラ座標系の原点を中心とした単位球上で計 算 𝒋番目の画像𝑐𝑗上の特徴点𝒍への光線 𝒊番目の画像𝑐𝑖上の特 徴点𝒍 を画像𝑐𝑗へパラ メータ𝝌を用いて変換し、 接平面上へ投影
36.
Tightly-Coupled Monocular VIO (Marginalization) 41
以下の式によりパラメータ𝝌を最適化(バンドル 調整) min 𝝌 ൝ ൡ 𝒓 𝑝 − 𝐇 𝒑 𝝌 2 + 𝑘∈ℬ 𝒓ℬ ො𝐳 𝑏 𝑘+1 𝑏 𝑘 , 𝝌 𝐏 𝑏 𝑘+1 𝑏 𝑘 2 + 𝑙,𝑗 ∈𝐶 𝜌 𝒓 𝐶 ො𝐳𝑙 𝑐 𝑗 , 𝝌 𝐏𝑙 𝑐 𝑗 2 ℬ:IMU測定の集合 𝐶:SlidingWindow内で2つ以上観測される特徴点 (22) 事前情報に対する残差
37.
Tightly-Coupled Monocular VIO (Marginalization) 42 新しくフレームが加わった際、以下の処理を行う
1つ前のフレームがキーフレームの時、Window内の最も古いフレーム のパラメータを周辺化(Schur Complement)して事前分布とする 1つ前のフレームがキーフレームではない場合、そのフレームを破棄
38.
Tightly-Coupled Monocular VIO
(Motion-only BA) 43 モバイルデバイスなど、計算能力の低い機器の場合、 Window内のフレームのうち、新しい数フレーム分の姿勢 と速度に対してのみ最適化
39.
Relocalization VIOのずれを補正するために、過去に取得したキーフ レームとのマッチングを行うことでループを検出し、 Window内のキーフレームの姿勢を補正 44
40.
Relocalization (Loop Detection) 45
41.
Relocalization (Loop Detection) 46 VIOのみで位置/ 姿勢推定(青)
42.
Relocalization (Loop Detection) 47 最新キーフレームをクエ リーとしてPose
Graph内 を検索し、ループを検出 (赤いライン)
43.
Relocalization (Loop Detection) 48 マッチしたキーフ レームを元に位 置姿勢を更新 (青い個所のみ)
44.
Relocalization (Loop Detection) 49 特徴点がマッチした複数の過去フレームを制約に加えて姿 勢を補正
45.
Relocalization (Tightly-Coupled Relocalization) 50 Loopが検出された場合、Window内のキーフレームとマッチン グした特徴点を用いて最適化(バンドル調整) min 𝝌
൝ ൡ 𝒓 𝑝 − 𝐇 𝒑 𝝌 2 + 𝑘∈ℬ 𝒓ℬ ො𝐳 𝑏 𝑘+1 𝑏 𝑘 , 𝝌 𝐏 𝑏 𝑘+1 𝑏 𝑘 2 + 𝑙,𝑗 ∈𝐶 𝜌 𝒓 𝐶 ො𝐳𝑙 𝑐 𝑗 , 𝝌 𝐏𝑙 𝑐 𝑗 2 + 𝑙,𝑣 ∈ℒ 𝜌 𝒓 𝐶 ො𝐳𝑙 𝑣 , 𝝌, ෝ𝒒 𝑣 𝑤 , ෝ𝒑 𝑣 𝑤 𝐏𝑙 𝑐 𝑣 2 ℒ:Loop DetectionでマッチしたPose Graph内の特徴点セット (25) IMUに関する残差 画像に関する残差 事前情報に対する残差 VIOのコスト関数(22)に新たに追加した項 Pose Graph内キーフレームにマッチした特徴点の再投影誤差
46.
Relocalization (Loop Detection) 51
47.
Relocalization (Loop Detection) 52 Window内の古い キーフレームが周 辺化される時に Pose
Graphへキー フレーム追加
48.
Relocalization (Loop Detection) 53 Pose
Graphへ追 加したキーフレー ムと過去のキーフ レーム間にループ が存在する場合、 ループ内の位置 姿勢を別スレッド 上で4DoFで最適 化(Global Pose Optimization)
49.
Relocalization (Loop Detection) 54 以後のRelocalization は最適化されたPose Graphに対して行う
50.
Relocalization (Feature Retrieval) 55 ループが検出されると、Sliding Window内の画像とマッチした キーフレーム間で特徴点マッチ ングが行われ、Window内の キーフレームの位置姿勢が更 新されます a.
BRIEF特徴量でマッチングし た結果 b. RANSACでF行列を求め、 その過程で出てきたOutlier を除去 c. 既知の3D点と特徴点との マッチングをRANSACとPnP で行い、Outlierを除去
51.
Global Pose Graph
Optimization Pose Graph全体が整合するように独立したスレッドで最 適化。 Pose Graphのノード数には上限を設け、増えすぎたとき はダウンサンプル。 56
52.
Global Pose Graph
Optimization 57 Sliding Window内の古いキーフレームが周辺化され、 Pose Graphに追加されるとき、2種類のエッジを割り当 て 1. Sequential Edge 連続したキーフレームの場合 2. Loop Closure Edge RelocalizationにおいてLoopが見つかった場合 エッジには、2つのキーフレームの相対位置ෝ𝐩𝑖𝑗 𝑖 /角 度 𝜓𝑖𝑗を割り当て 重力方向は既知なので4自由度
53.
Global Pose Graph
Optimization 58 各キーフレームの位置 𝐩𝑖 𝑤 およびYaw角 𝜓𝑖 を、 エッジにおける遷移ෝ𝐩𝑖𝑗 𝑖 、 𝜓𝑖𝑗とのグラフ全体 での残差が最小となるように最適化 min 𝐩,𝜓 𝑖,𝑗 ∈𝑆 𝐫𝑖,𝑗 2 + 𝑖,𝑗 ∈ℒ 𝜌 𝐫𝑖,𝑗 2 (29) Sequential Edges Loop Closure Edges Huber norm
54.
Experimental Results (EuRoC)
Intel i7-4790 CPU (3.60GHz)でリアルタイム EuRoC MAVVisual Inertial Datasetで評価 59
55.
Experimental Results (Indoor) 60
20Hzのカメラ、100HzのIMUでラボ内を歩いた結果
56.
Experimental Results (Large
Scale) 61 ラボの席から、屋内を一周後会談を降りて、屋外をさらに 一周し、また屋内の同じ席に戻ってきたケース
57.
Experimental Results (Drone) 62
58.
まとめ 63 VINS-Mono 単眼Visual Inertial
SLAM カメラとIMUを統合した非線形最適化を解くことでキーフ レームの位置と姿勢を推定 IMUの持つ加速度と角速度の情報を元に、位置と速度、 および角度をあらかじめ積分しておくことで、各キーフ レームにおける最適化を高速化 オンラインでのループ検出と補正 4自由度のポーズグラフ全体最適化
59.
Local Visual-inertial Odometry
with Relocalization (Marginalization) 65 周辺化(Marginalization) 一般に同時分布のパラメータを積分によって減らすことを指す この論文ではSliding Window内の最も古いキーフレームのパ ラメータ𝐱 𝑘、 𝜆𝑙をSchur complementという手法で周辺化するこ とで、それに紐づく測定結果を事前分布とするとあるが、詳細 の記載なし Schur complementはガウス分布を周辺化した際の平均/共分散行 列を簡単に計算する方法 (22)式の𝒓 𝑝、 𝐇 𝒑は周辺化によって求まるとあるが、詳細の記 載なし 二乗誤差最小化はガウス分布に対する最尤推定とみなせるので、 (22)式の第2,3項から今までの古いキーフレームの情報を分離し たものが第1項ではないかと予想
Download now