More Related Content
What's hot
What's hot (20)
Similar to LSD-SLAM:Large Scale Direct Monocular SLAM
Similar to LSD-SLAM:Large Scale Direct Monocular SLAM (20)
LSD-SLAM:Large Scale Direct Monocular SLAM
- 1. LSD-SLAM: Large-Scale Direct Monocular SLAM 単眼カメラによる直接的な大規模SLAM Jakob Engel and Thomas Schöps and Daniel Cremers Technical University Munich
- 2. 目次 • SLAMとは • 概要 • 関連研究の紹介と批評 • 数学的要素の導入 • アルゴリズム • 評価 • 結論
- 3. SLAM (Simultaneous Localization And Mapping) LRFやカメラ，またオドメータから得た情報から，自己位置と環境地図を 同時に生成するアルゴリズムのこと． 方法によっては，高精度な結果を安定して出力できる． ロバスト性
- 4. 概要 • 広域の環境地図生成と正確な自己位置推定ができる • CPUが1つでも実時間的な処理ができる • 単眼カメラで高精度な距離測定が可能 以下のような新しいSLAMを提案する
- 5. 実行結果
- 6. 関連研究 • 特徴点に基づく方法 • 直接的な方法 • ポーズグラフ最適化
- 10. 関連研究 -直接的な方法- 全密深度マップ Full Dense Depth Map 準密深度マップ Semi Dense Depth Map 画像の全ピクセルに対する距離 情報を保持する 処理が非常に重い 一つ前のフレームとの差分情報 のみを保持する 処理が軽い
- 11. 関連研究 -直接的な方法- 全密深度マップ Full Dense Depth Map 準密深度マップ Semi Dense Depth Map 画像の全ピクセルに対する距離 情報を保持する 処理が非常に重い 一つ前のフレームとの差分情報 のみを保持する 処理が軽い
- 13. 3次元剛体変換 𝐺 = 𝑅 𝑡 0 1 with 𝑅 ∈ 𝑆𝑂 3 𝑎𝑛𝑑 𝑡 ∈ ℝ3 3次元剛体変換 𝐺 ∈ 𝑆𝐸(3) 𝑆𝑂 3 : 3次元の回転群 回転運動・並進運動
- 14. 3次元相似変換 𝐺 = 𝑠𝑅 𝑡 0 1 with 𝑅 ∈ 𝑆𝑂 3 , 3次元相似変換 𝑆 ∈ 𝑆𝑖𝑚(3) 𝑆𝑂 3 : 3次元の回転群 𝑡 ∈ ℝ3 and 𝑠 ∈ ℝ+ 回転運動・並進運動・スケーリング
- 15. ガウス・ニュートン法による最適化 𝐸 𝝃 = 𝑖 𝐼𝑟𝑒𝑓 𝐩𝑖 − 𝐼 𝜔 𝐩𝑖, 𝐷𝑟𝑒𝑓 𝐩𝑖 , 𝝃 2 =: 𝑟𝑖 2 (𝝃) 𝛿𝝃 𝑛 = − 𝐉T 𝐉 −1 𝐉T r 𝝃 n with 𝐉 = 𝜕𝐫 𝝐 ∘ 𝝃 𝑛 𝜕𝝐 𝝐=0 𝝃(𝑛+1) = 𝛿𝝃(𝑛) ∘ 𝝃(𝑛) 以下の誤差関数を最小にするような 𝝃を求める ガウス・ニュートン法より 以上を繰り返す
- 16. 重み付きガウス・ニュートン法による最適化 𝐸 𝝃 = 𝑖 𝑟𝑖 2 (𝝃) 𝐸 𝝃 = 𝑖 𝑤𝑖 𝝃 𝑟𝑖 2 (𝝃) 重み付きガウス・ニュートン法を導入する 𝛿𝝃 𝑛 = − 𝐉T 𝐉 −1 𝐉T r 𝝃 n 𝛿𝝃 𝑛 = − 𝐉T 𝐖𝐉 −1 𝐉T 𝐖r 𝝃 n 外れ値に対して鈍感になりロバスト性を 確保できる
- 17. アルゴリズム
- 22. トラッキング with 𝑟𝑝 𝐩, 𝝃 𝑗𝑖 ≔ 𝐼𝑖 𝐩 − 𝐼 𝜔 𝐩, 𝐷𝑖 𝐩 , 𝝃 𝑗𝑖 𝜎𝑟 𝑝 2 𝐩, 𝝃 𝑗𝑖 ≔ 2𝜎𝐼 2 + 𝜕𝑟𝑝 𝐩, 𝝃 𝑗𝑖 𝜕𝐷𝑖 𝐩 2 𝑉𝑖(𝐩) ガウス・ニュートン法を適応して，剛体変換を求める 分散で正規化 Huber Norm 𝑟2 𝛿 ≔ 𝑟2 2𝛿 𝑖𝑓 𝑟 ≤ 𝛿 𝑟 − 𝛿 2 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 𝐸 𝑝 𝝃 𝑗𝑖 = 𝐩∈Ω 𝐷𝑖 𝑟𝑝 2 𝐩, 𝝃 𝑗𝑖 𝜎𝑟 𝑝 2 𝐩, 𝝃 𝑗𝑖 𝛿 現在のキーフレームを 𝐾𝑖 = (𝐼𝑖, 𝐷𝑖, 𝑉𝑖) とすると
- 23. キーフレーム遷移の判別 𝑑𝑖𝑠𝑡 𝜉𝑗𝑖 > 𝑠 新規キーフレーム 生成 T 閾値 𝑑𝑖𝑠𝑡 𝝃 𝑗𝑖 ≔ 𝝃 𝑗𝑖 𝑇 𝐖𝝃 𝑗𝑖 𝝃 𝑗𝑖: 3D並進と3D回転を表現するベクトル 𝐖: 重み付けのための行列 既存キーフレーム 改善F 現在取得しているマップ域からの 離れ具合を判別
- 24. 既存キーフレームの改善
- 28. 新規キーフレームの生成
- 34. マップ最適化 相似変換を求める 𝐸 𝑝 𝝃 𝑗𝑖 ≔ 𝐩∈𝛀 𝐷𝑖 𝑟𝑝 2 𝐩, 𝝃 𝑗𝑖 𝜎𝑟 𝑝 2 𝐩, 𝝃 𝑗𝑖 + 𝑟𝑑 2 𝐩, 𝝃 𝑗𝑖 𝜎𝑟 𝑑 2 𝐩, 𝝃 𝑗𝑖 𝛿 𝑟𝑑 𝐩, 𝝃 𝑗𝑖 ≔ 𝐩′ 3 − 𝐷𝑗( 𝐩′ 1,2) 𝜎𝑟 𝑑 2 𝐩, 𝝃 𝑗𝑖 ≔ 𝑉𝑗 𝐩′ 1,2 𝜕𝑟𝑑 𝐩′, 𝜉𝑗𝑖 𝜕𝐷𝑗 𝐩′ 1,2 2 + 𝑉𝑖 𝐩 𝜕𝑟𝑑 𝐩, 𝜉𝑗𝑖 𝜕𝐷𝑖 𝐩 2
- 35. マップ最適化 局所的なキーフレームの相似変換を推定してきたが， バックグラウンドでは，マップを常に最適化し続けている →外部論文 𝐸 𝜉 𝑊1, 𝜉 𝑊2, … , 𝜉 𝑊𝑛 ≔ 𝜉 𝑗𝑖,Σ 𝑗𝑖 ∈𝜖 𝜉𝑗𝑖 ∘ 𝜉 𝑊𝑖 −1 ∘ 𝜉 𝑊𝑗 𝑇 𝑗𝑖 (𝜉𝑗𝑖 ∘ 𝜉 𝑊𝑖 −1 ∘ 𝜉 𝑊𝑗) −1
- 36. 結果
- 38. データセットに対する推定結果の評価 A Benchmark for the Evaluation of RGB-D SLAM Sytems 素早い回転動作 ローリング シャッター
- 39. データセットに対する推定結果の評価 𝑅𝑀𝑆𝐸 = 1 𝑁 𝑖=1 𝑦𝑖 − 𝑦𝑖 2 𝑦𝑖:実測値 𝑦𝑖:予測値 [9] 単眼VO [15] 単眼SLAM [14] direct RGB-D SLAM [7] keypoint RGB-D SLAM x: トラッキング失敗 -: 利用不可能