Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Loading in …3
×
1 of 32

PIRF-NAV2

1

Share

Download to read offline

Related Books

Free with a 30 day trial from Scribd

See all

PIRF-NAV2

  1. 1. A Fast Online Incremental Loop-Closure Detection for Appearance-based SLAM in Dynamic Crowded Environment Noppharit Tongprasit, Aram Kawewong, Osamu Hasegawa 東京工業大学
  2. 2. 研究背景 近年,「日常生活環境」ロボットの需要が高まっている 警備 搬送 介護 セコム : (2005) 富士重・ツムラ (2008) 理研 : RIBA (2009) これらのロボットは,常に変化する(動的な)実環境下で自律 的に行動する必要がある マップ ロボットの環境に対する認識 事前に与えられることは稀 ロボット自身が作る必要がある 2
  3. 3. 本日の内容 PIRF IEICE PIRF-NAV1 IJRR PIRF-NAV2 3
  4. 4. 4
  5. 5. 従来法の問題点 • 従来手法(FAB-MAP : Oxford大)の問題点 – 環境が大きく変化しないことを仮定 – 辞書はバッチ学習で作成し更新できない – 辞書の作成には別途膨大な学習用画像が必要 同じ場所だが、トラックが 停まっていることで、画像 の見え方が変わり、異なる 場所と認識してしまう。 異なる場所だが、見え方が 極めて似ており、同じ場所と 認識してしまう。 5
  6. 6. 提案手法のポイント • 環境の大きな変化への対応 – 独自の画像特徴“Position-Invariant Robust Features (PIRF)”を利用 – PRIF:移動カメラの動画像から安定した点を探索し特徴化 • 辞書は完全にオンラインで作成し更新可能 – 事前に膨大な学習用画像を集めて長時間学習させ、辞書を 作る必要が無い – 辞書はその場で与えられたデータのみから作り、更新可能 – 重複する特徴を除外し、必要最低限の特徴のみ辞書に記録 – 上記の結果、メモリ効率が向上し処理の高速化も実現 6
  7. 7. • 地図上での各地点の表現に工夫 – PIRF特徴が少ない(画像の識別の手掛かりが少 ない)場合 – 類似する画像が存在する(識別が困難な)場合 – 上記のような場合は、その画像に連続する前後の 画像も援用し、自動的にPIRF特徴を増やして画像 を表現する。 例えば、左図のような異なる場所で見え 方が極めて類似する場合、この画像に連 続する前後の画像も用い、手掛かりを増 やして識別する。 7
  8. 8. PIRF とは? Original Descriptors (SIFT) Selective Descriptors (PIRF) 8
  9. 9. PIRF: algorithm Current image 過去の画像を参照し、 共通するSIFT特徴を 抽出して、その位置の 特徴表現とする。 9
  10. 10. 類似手法との性能比較(PIRF) Recognition Rate of Suzukakedai and O-okayama 93.46% 77.48% 100.00% 90.00% 80.00% 45.75% 70.00% 36.71% 30.22% Suzukakedai 31.08% O-Okayama 27.59% 60.00% 24.54% 22.29% 18.23% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00% 10
  11. 11. Even With These Strong Changes, PIRF Still Works Well !!! Highly Dynamic Changes in Scenes Illumination Changes in Scenes 11
  12. 12. PIRF-NAV1 我々の過去の提案手法 PIRFを用いた VISUAL SLAM の初期のもの A.KAWEWONG, ET AL,: "ONLINE INCREMENTAL APPEARANCE-BASED SLAM IN HIGHLY DYNAMIC ENVIRONMENTS", INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH (IJRR) 12
  13. 13. PIRF-NAV1(Kawewong, A. et al.,IJRR) • Visual SLAM based on PIRF’s concept • Characteristics – Online – Robust to dynamic scene – SIFT (128 dimensions) based system 13
  14. 14. PIRF-NAV1: Algorithm Algorithm Data structure Image features 14
  15. 15. Results & Experiments: DATASETS • City Centre 15
  16. 16. Results & Experiments: DATASETS • New College 16
  17. 17. Result 1: City Centre Vehicle Trajectory Loop Closure Detection PIRF-Nav (100% Precision) (proposed) FAB-MAP (100% Precision) 17
  18. 18. Result 2: New College Vehicle Trajectory Loop Closure Detection PIRF-Nav (100% Precision) (proposed) FAB-MAP (100% Precision) 18
  19. 19. PIRF-NAV1: City Center Result Precision-Recall 19
  20. 20. PIRF-NAV1: City Center Result(Cont.) Computation time Full scale result Method PIRF-NAV 1 Recall 84% Precision 100% Total time (sec) 12057.4 Aver. time (ms) 9746 Total words 64618 Memory (MB) 33.4 MB Unable to process in real time 20
  21. 21. PIRF-NAV2 今回の提案手法 PIRF-NAV1 の処理速度と 情報処理効率を大幅に改善 21
  22. 22. PIRF-NAV2 (Tongprasit, N. et al., MIRU’10) • Improved version of PIRF-NAV 1 • Characteristics –Online –Robust to dynamic environment –Real time process –SURF (64 dimensions) based system 22
  23. 23. PIRF-NAV2: Algorithm (Cont.) Image features 23
  24. 24. PIRF-NAV2: Modified PIRF Shrink back if number of features is too few 24
  25. 25. PIRF-NAV2: City Center Result Precision-Recall Aerial image 25
  26. 26. PIRF-NAV2: City Center Result(Cont.) PIRF-NAV1との比較 Method PIRF-NAV 2 Recall 80% (-4%) Precision 100% Total time (sec) 1086.4 (12倍高速化) Aver. time (ms) 878.2 (12倍高速化) Total words 24410 (約66%削減) Memory (MB) 10.9 (約66%削減) 26
  27. 27. 混雑した環境での実験 • 本研究でPIRF-NAV1が高速化し、実用レベルで利用 可能になったので試みた。 • 場所:食堂(東工大学食) • 時刻:昼間(12時頃) – あえて、食堂が混み合う時間帯に撮影 • 約6分間の動画(692枚の画像) • 画像サイズ:480 x 270(全方位カメラ画像) 27
  28. 28. 28
  29. 29. 混雑した環境での実験 • 認識率:86.65%(FAB-MAP:17.80%) • 平均処理時間:264ms / 枚, Matlab(同:577ms/枚) 入力(テスト)画像 同位置と推定された学習画像 全方位カメラの画像のため,同位置の画像でも 撮影時のカメラの向きによって見え方が異なります 29
  30. 30. 食堂での実験結果 提案手法 30
  31. 31. 食堂での実験結果 [4] A. Angeli, D. Filliat, S. Doncieux, and J. A. Meyer, “Fast and Incremental Method for Loop-Closure Detection Using Bags of Visual Words,” IEEE Trans. Robotics, 2008, 24(5), pp. 1027–1037 (オンラインVisual SLAMだが性能面でかなり劣る。) 31
  32. 32. まとめに代えて(予告) • PIRF-NAV2 の移動ロボットへの実装もほぼ完了。 • 混雑した学食で、全方位カメラ1本のみで、ロボットがオン ライン・リアルタイムに地図の作成と自己位置同定(SLAM) を行う。 • ロボットは、「レジから下膳口へ」といった言語による指示 により経路探索し、移動可能(ナビゲーションも実現)。 • 日本ロボット学会学術講演会(9月、名工大)にて発表予 定。 32

×