Hawaii輪読会2017 NID-SLAM: Robust Monocular SLAM using Normalised Information Distance

1. ハワイ輪読会
NID-SLAM: Robust Monocular SLAM using Normalised
Information Distance
2017年7月8日 @OZ_Z_C
2017/7/8 ハワイ輪読会 NID-SLAM 1

2. 自己紹介
@OZ_Z_C (twitter)
 某企業研究所所属
経歴
学生時代～2014/3
画像符号化方式の研究、H.264 encoderの開発、など
2014/4～2016/3
Ethernet switchの開発
2016/4～
CV的な研究テーマ（広く浅く・・・）に従事
よろしくお願いします！
2017/4/8 CV勉強会@関東 CV最先端ガイド6 幾何学的推定のための最適化手法 2

3. サマリ
今回読んだ論文
NID-SLAM: Robust Monocular SLAM using Normalised Information Distance
http://www.robots.ox.ac.uk/~mobile/Papers/2017CVPR_pascoe.pdf
どんな論文？
基本的にはLSD-SLAMをベースにしている
カメラ姿勢・Depth推定にNIDという評価関数を導入
疎密探索にヒストグラムピラミッドを使用（今日は割愛）
照明環境や天候による見えの変化にロバストに
感想
SLAMにNIDを導入したという新規性が全て？
残課題はいろいろあり
Depth推定の初期値依存、演算量、Loop Closeの方法、etc.
2017/7/8 ハワイ輪読会 NID-SLAM 3

4. 研究の位置づけ
Monocular Visual SLAMの従来手法
非直接法 (e.g. ORB-SLAM)
特徴点マッチングを用いてカメラ姿勢とMapを推定
ある程度ロバスト性はあるが、屋外で照明環境や天候が大きく変化するとつらい
直接法 (e.g. LSD-SLAM)
画素値そのものや勾配強度の差が小さくなるようにして推定
照明環境が変化しないことを前提にしている
得意なシーンは屋内と屋外の短時間での変化に限られる
提案手法
相互情報量 (mutual information : MI) をSLAMに適用
カメラ運動推定とDepth推定を照明環境や天候の変化にロバストに
別の日に同じところに来た時にも、同じところだと認識できるイメージ
2017/7/8 ハワイ輪読会 NID-SLAM 4

5. 提案手法
Photometricな手法（≒LSD-SLAM）にNIDを使った手法を導入
2017/7/8 ハワイ輪読会 NID-SLAM 5

6. NID: Normalised Information Distance
結合エントロピーと周辺エントロピーの例(from Wiki)：
1～8の整数 (2,3,5,7を素数とする)
NID
2017/7/8 ハワイ輪読会 NID-SLAM 6
結合エントロピー 周辺エントロピー
偶数 奇数
素数 1/8 3/8
素数以外 3/8 1/8
𝑝 𝑥
𝑝 𝑦
𝐻 𝑌 = −2 ×
1
2
log
1
2
= 1[bits]
𝐻 𝑋, 𝑌 = −2 ×
1
8
log
1
8
− 2 ×
3
8
log
3
8
≈ 1.8[𝑏𝑖𝑡𝑠]
𝐻 𝑋 = −2 ×
1
2
log
1
2
= 1[bits] ※ここではlogの底は2

7. NID: Normalised Information Distance
NIDは0～1の値をとる:
XによってYが一意に決まる（YがXの関数）場合
XとYが独立の場合
NID
2017/7/8 ハワイ輪読会 NID-SLAM 7
結合エントロピー 周辺エントロピー
𝐻 𝑋 = 𝐻 𝑌 = 𝐻 𝑋, 𝑌
𝐻 𝑋 + 𝐻 𝑌 = 𝐻 𝑋, 𝑌
・・・NID＝0
・・・NID＝1

8. NID Tracking
やりたいこと
現在のフレーム𝐼𝑐と参照フレーム（キーフレーム） 𝐼𝑟間の姿勢変化𝜉の推定
2017/7/8 ハワイ輪読会 NID-SLAM 8
 Photometric  NID

9. NID Tracking
やりたいこと
現在のフレーム𝐼𝑐と参照フレーム（キーフレーム） 𝐼𝑟間の姿勢変化𝜉の推定
どうやって？
NIDを𝜉で微分できる形にして、勾配法的に最適化
𝜉の初期値はPhotometricな手法で求める（最初のKeyframeのみ？）
2017/7/8 ハワイ輪読会 NID-SLAM 9

10. NID Tracking
NIDの計算方法
（恐らく）まず普通に𝑝 𝑟,𝑐を求める
勾配強度のヒストグラムを作成して確率を算出
𝑎, 𝑏はヒストグラムのbinのindexを表す
2017/7/8 ハワイ輪読会 NID-SLAM 10

11. NIDの計算方法
（恐らく）まず普通に𝑝 𝑟,𝑐を求める
キーフレームのDepthの確からしさを確率に加算
𝛽は二次元の3次B-spline関数
これによって2回微分可能になる（?）ので勾配法が使えるようになるらしい・・・
𝛽が連続はわかるが、元の𝑝 𝑟,𝑐は不連続では・・・？（よくわかりませんでした）
Depthの分散：
分散小（確からしい）のとき
→確率大、NID小となる
NID Tracking
2017/7/8 ハワイ輪読会 NID-SLAM 11

12. NID Tracking
なぜNID?（論文には理由の記載はなし）
二つの事象の関連（共起性？）が大きいほどNIDは小さくなるはず
照明環境の変化で画素値、勾配のヒストグラムが変化しても、うまくその対応
を見つけられることを期待？
ヒストグラムの形（画素値の大小関係）は変わらないことが前提？
実際は必ずしもそうでないと思うので、うまくいっていないシーンがある？（実験結果参照）
2017/7/8 ハワイ輪読会 NID-SLAM 12
?

13. NID Depth Map Update
やりかたは基本的にTrackingと同じ
NIDをDepthで微分して、勾配法的に最適化
課題
良い初期値がないとうまく収束しない
LSD-SLAMでは、Depthをランダムに初期化→つらい
現状は、最初のKeyframeはPhotometricな手法のみでDepthを推定
2017/7/8 ハワイ輪読会 NID-SLAM 13

14. 性能評価
New Tsukuba Dataset（屋内）、Oxford Robot Car Dataset（屋外）
いずれも、異なる照明・天候環境で同一ルートを撮影したもの
試験は二周一組。一周目のシーンと、二周目のシーンを異ならせて、二周目
の位置推定結果が一周目とどれくらい一致するか(※)を確認。
※距離誤差0.5m以内のフレームが何%か
2017/7/8 ハワイ輪読会 NID-SLAM 14

15. 性能評価
ORB-SLAMは100%もあれば10%未満も多くぶれが大きい
LSD-SLAMは50%程度のものが多い
LSD-SLAMは露光補正を追加して試験している
NIDは大体80%くらいは達成できている
2017/7/8 ハワイ輪読会 NID-SLAM 15

16. 性能評価
Nightを除く5シーンで、一周目のTrackingが完全にできたのはNIDのみ
（露光補償は入れているが）LSDはどのシーンでも短い区間しか推定できな
かった
ORBはRainのシーンでTracking失敗。雨滴がレンズについてぼけてしまってい
るのが原因
2017/7/8 ハワイ輪読会 NID-SLAM 16

17. サマリ
今回読んだ論文
NID-SLAM: Robust Monocular SLAM using Normalised Information Distance
http://www.robots.ox.ac.uk/~mobile/Papers/2017CVPR_pascoe.pdf
どんな論文？
基本的にはLSD-SLAMをベースにしている
カメラ姿勢・Depth推定にNIDという評価関数を導入
疎密探索にヒストグラムピラミッドを使用（今日は割愛）
照明環境や天候による見えの変化にロバストに
感想
SLAMにNIDを導入したという新規性が全て？
残課題はいろいろあり
Depth推定の初期値依存、演算量、Loop Closeの方法、etc.
2017/7/8 ハワイ輪読会 NID-SLAM 17

18. fin.
2017年7月8日 @OZ_Z_C
2017/7/8 ハワイ輪読会 NID-SLAM 18