20180527 ORB SLAM Code Reading

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

2018/05/27 3D Vision勉強会＠関東
ORB-SLAM Code Reading
takmin

自己紹介
2
株式会社ビジョン＆ITラボ代表取締役
皆川卓也（みながわたくや）
「コンピュータビジョン勉強会＠関東」主催
博士（工学）
略歴：
1999-2003年
日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとして...

コンピュータビジョン勉強会＠関東
 こんなテーマでやってきました！
「コンピュータビジョン最
先端ガイド」の輪読会
ECCV読み会
強化学習縛り
論文読み会
AR/VRを支える
技術
ICCV読み会
CVPR読み会
CVでこんなもの作
りまし...

ORB-SLAMとは？
4
 単眼カメラのVisual SLAM
 Mur-Artal, R., Montiel, J. M. M., & Tardos, J. D. (2015).
ORB-SLAM:AVersatile and Accu...

ORB-SLAMコードリーディング
5
 ORB SLAM2
 https://github.com/raulmur/ORB_SLAM2
 ORB_SLAM2はORB_SLAMをステレオカメラと
RGBD向けに拡張したもの
 元のORB...

ORB-SLAMを動かす
6
 githubからソースコードを入手
 C++11コンパイラが必要
 Visual Studio2015では無理だった（2017では？）
 必要なライブラリをインストールしてbuild.shと
いうシェルを...

ORB-SLAMの依存ライブラリ
7
 Pangolin
 ビジュアライゼーションに必要
 https://github.com/stevenlovegrove/Pangolin
 OpenCV (2.4.11と3.2でテスト)
 画...

ORB-SLAMのサンプル
8
 あらかじめ、以下のサンプルコードが用意されており、コ
ンパイルすれば使える。
 Examples/Monocular/mono_euroc.cc
 EuRoCデータセット用サンプル
 Examples/...

外部接続カメラでORB-SLAMを動かす
9
 外部接続カメラを使用するのはROS (Robot
Operating System)とROS上でカメラを動かす
ためのモジュールをインストールする必要が
ある。
 例えば、 https://g...

ORB-SLAMのコード構成
10
メインのコード群
ビルドのスクリプト
リアルタイムカメラ入力を扱うためのビルドス
クリプト
各データセットのための試験コードやAR等の実
行ファイル
DBoW2とg2o
Place Recognitionを行...

ORB-SLAMコードの特徴
11
 実装は論文通り
 論文とコードの対応を見つけやすい
 論文と実装が違うというケースも割とあるので
 MonoとStereoとRGB-Dが一緒になっているので、それぞ
れを分離して読み解く必要
 ほ...

ORB-SLAMのコード
12
System.h
main()からcv::Mat形式の画像
を一枚一枚
System::TrackMonocular()で
Systemに渡す
Examplesフォルダにサンプル

ORB-SLAMのコード
13
System.h
Tracking.h
LocalMapping.h
LoopClosing.h
Map.hORBVocabulary.h
KeyFrameDatabase.h
Frame.h
KeyFrame.h

ORB-SLAMのコード
14
Read
Read/
Write
Read/Write
共有メモリ
Read/Write
Read

ORB-SLAMコードリーディング
15
本日お話しする範囲
 Systemの使い方
 Systemクラスの処理概要
 Trackingスレッドの処理概要
 LocalMappingスレッドの処理概要
 LoopClosingスレッ...

ORB-SLAMコードリーディング
16
本日お話しする範囲
 Systemの使い方
 Systemクラスの処理概要
 Trackingスレッドの処理概要
 LocalMappingスレッドの処理概要
 LoopClosingスレッ...

ライブラリ使用方法流れ
17
using namespace ORB_SLAM2;
System SLAM(voc_file, setting_file, System::MONOCULAR, true);
cv::VideoCapture c...

ライブラリ使用方法流れ
18
using namespace ORB_SLAM2;
System SLAM(voc_file, setting_file, System::MONOCULAR, true);
cv::VideoCapture c...

ライブラリ使用方法流れ
19
using namespace ORB_SLAM2;
System SLAM(voc_file, setting_file, System::MONOCULAR, true);
cv::VideoCapture c...

ライブラリ使用方法流れ
20
using namespace ORB_SLAM2;
System SLAM(voc_file, setting_file, System::MONOCULAR, true);
cv::VideoCapture c...

ライブラリ使用方法流れ
21
using namespace ORB_SLAM2;
System SLAM(voc_file, setting_file, System::MONOCULAR, true);
cv::VideoCapture c...

ORB-SLAMコードリーディング
22
本日お話しする範囲
 Systemの使い方
 Systemクラスの処理概要
 Trackingスレッドの処理概要
 LocalMappingスレッドの処理概要
 LoopClosingスレッ...

System::System()
23
Systemコンストラクタ（System.cc: 32 - 114）内の
主な処理
1. VisualVocabulary読み込み(l.64)
2. Recognition Database生成(l.75...

System::System()
24
Systemコンストラクタ（System.cc: 32 - 114）内の
主な処理
1. VisualVocabulary読み込み(l.64)
2. Recognition Database生成(l.75...

System::System()
25
Systemコンストラクタ（System.cc: 32 - 114）内の
主な処理
1. VisualVocabulary読み込み(l.64)
2. Recognition Database生成(l.75...

System::System()
26
Systemコンストラクタ（System.cc: 32 - 114）内の
主な処理
1. VisualVocabulary読み込み(l.64)
2. Recognition Database生成(l.75...

System::System()
27
Systemコンストラクタ（System.cc: 32 - 114）内の
主な処理
1. VisualVocabulary読み込み(l.64)
2. Recognition Database生成(l.75...

System::System()
28
Systemコンストラクタ（System.cc: 32 - 114）内の
主な処理
1. VisualVocabulary読み込み(l.64)
2. Recognition Database生成(l.75...

System::System()
29
Systemコンストラクタ（System.cc: 32 - 114）内の
主な処理
1. VisualVocabulary読み込み(l.64)
2. Recognition Database生成(l.75...

System::System()
30
Systemコンストラクタ（System.cc: 32 - 114）内の
主な処理
1. VisualVocabulary読み込み(l.64)
2. Recognition Database生成(l.75...

System::System()
31
Systemコンストラクタ（System.cc: 32 - 114）内の
主な処理
1. VisualVocabulary読み込み(l.64)
2. Recognition Database生成(l.75...

System::System()
32
Systemコンストラクタ（System.cc: 32 - 114）内の
主な処理
1. VisualVocabulary読み込み(l.64)
2. Recognition Database生成(l.75...

System::TrackMonocular()
33
 カメラやビデオから取得した画像
(cv::Mat)を引数としてとタイムスタンプ
(timestamp)と一緒に入力
 内部では、画像とタイムスタンプをそのま
まトラッカー（mpTr...

ORB-SLAMコードリーディング
34
本日お話しする範囲
 Systemの使い方
 Systemクラスの処理概要
 Trackingスレッドの処理概要
 LocalMappingスレッドの処理概要
 LoopClosingスレッ...

Tracking::GrabImageMonocular()
35
 引数として、
System::TrackMonocular()から画像と
タイムスタンプが渡される
 画像をグレースケールに変換
 Frame構築
 Tracking...

Tracking::GrabImageMonocular()
36
 引数として、
System::TrackMonocular()から画像と
タイムスタンプが渡される
 画像をグレースケールに変換
 Frame構築
 Tracking...

Tracking::GrabImageMonocular()
37
 引数として、
System::TrackMonocular()から画像と
タイムスタンプが渡される
 画像をグレースケールに変換
 Frame構築
 Tracking...

Tracking::GrabImageMonocular()
38
 引数として、
System::TrackMonocular()から画像と
タイムスタンプが渡される
 画像をグレースケールに変換
 Frame構築
 Tracking...

Tracking::Track()
39
Track()
Frame::Frame()

Tracking::Track()
40
Track()
Frame::Frame()
MonocularInitializ
ation()
• 対応点が十分とれた２つのフレー
ムからMapとCamera Poseの初期値
算出
• FとHを並...

Tracking::Track()
41
Track()
Frame::Frame()
• Local Map Points
の追跡
• カメラ姿勢推定

Track Local Map
TrackWithMotionModel()
TrackLocalMap()
TrackReferenceKeyFrame()
Tracking成功Tracking失敗
OK
NG
NG
OK
OKNG
前フレー...

Tracking::Track()
43
Track()
Frame::Frame()
KeyFrameが条件を満たしているか
の判定
if(NeedNewKeyFrame())
CreateNewKeyFrame();

ORB-SLAMコードリーディング
44
本日お話しする範囲
 Systemの使い方
 Systemクラスの処理概要
 Trackingスレッドの処理概要
 LocalMappingスレッドの処理概要
 LoopClosingスレッ...

LoopMapping::Run()
45
Run()

LoopMapping::Run()
46
Run()
新しいKeyFrameが来たかの判定
CheckNewKeyFrames();

LoopMapping::Run()
47
Run()
• キーフレームを挿入して
Covisibility GraphとSpanning
Treeを更新
• BoW表現を計算
ProcessNewKeyFrame();

LoopMapping::Run()
48
Run()
キーフレームの点のうち、ロバスト
でないものを除去
MapPointCulling();

LoopMapping::Run()
49
Run()
Covisibility Graph上の隣接キーフ
レームを用いて追跡点の三次元
座標を算出しMap Points生成
CreateNewMapPoints();
もう一つ隣のキーフレーム...

LoopMapping::Run()
50
Run()
バンドル調整で現キーフレームと
隣接キーフレームの姿勢、および
それらから観測できる点群を最適
化
Optimizer::LocalBundleAdjustmen
t(mpCurrentK...

LoopMapping::Run()
51
Run()Covisibility Graph上の隣接キーフ
レームのうち、他と重複の大きいも
のを除去
KeyFrameCulling();

ORB-SLAMコードリーディング
52
本日お話しする範囲
 Systemの使い方
 Systemクラスの処理概要
 Trackingスレッドの処理概要
 LocalMappingスレッドの処理概要
 LoopClosingスレッ...

LoopClosing::Run()
53
Run()

LoopClosing::Run()
54
Run()
新規キーフレームの取得
CheckNewKeyFrames();

LoopClosing::Run()
55
Run()
Covisibility Graph上のループ候補
を取得
DetectLoop();

LoopClosing::Run()
56
Run()
• ループ上で隣接するキーフレー
ム間の対応点を算出
• キーフレーム間の相似変換算出
（3D to 3D）
ComputeSim3();

LoopClosing::Run()
57
Run()
• 相似変換を伝播させてカメラ姿
勢補正
• Essential Graph上でLoop
Closingにより各カメラ姿勢を最
適化
• カメラ姿勢最適化後、点群の位
置を最適化
Corr...

まとめ
58
 実装は論文通りなので、論文と照らし合わせながらソー
スコードを読んだ方が理解が早い。
 巨大なヒューリスティックの塊
 Systemクラスがメインで、Trackingをメインスレッドで動か
し、LocalMapping、L...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1042022 views
Storytelling For The Web: Integrate... by Chiara Aliotta 954721 views
Artificial Intelligence, Data and C... by OECD Directorate ... 880306 views
How to Leverage AI to Boost Employe... by SocialHRCamp 370586 views
2024 State of Marketing Report – by... by Marius Sescu 210442 views
Everything You Need To Know About C... by Expeed Software 229923 views

View on Slideshare

1 of 58 Ad

View on Slideshare

1 of 58 Ad