Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

東工大 長谷川修研の環境学習・認識・探索技術

46,100 views

Published on

Published in: Technology

東工大 長谷川修研の環境学習・認識・探索技術

  1. 1. 東工大 長谷川修研の環境学習・認識・探索技術 長谷川修 東京工業大学 oh@haselab.info 2011年7月31日版
  2. 2. 目標:人の身近で活動するロボットを創りたい• ロボットは、GPSを使わずに、指示した場所まで効率 的に移動できると良い。• ロボットへの教示は、人が居る環境で、人を案内する ように連れて歩くだけで済ませたい。• 天井にセンサをつけたり、床にラインを引くなどの、手 間や経費をかけたくない。• 以上を実現し、清掃、警備、案内ロボット等に実用レ ベルで使いたい。
  3. 3. 電動車椅子にも使いたい• GPSが利用できない地下や屋内の人混みで、電動車 椅子を自律制御したい。これにより、搭乗者、歩行者、 双方の安全・安心を確保したい。• 移動のための地図は、高齢者を含む誰もが簡単に 作成可能としたい。 3
  4. 4. 人は環境をどう見ているのか?• 通常、人は日頃利用する駅の、改札前の様子 を思い出すことができる。• しかし、今日、改札の前にいた人を、思い出す のは困難。• つまり、人間は、非常に優れた画像情報処理 をしており、そこにたまたま居た人のことは覚 えず、改札付近の情景だけを的確に選び出し て覚えている。
  5. 5. 人は、覚えるべきものと、覚えなくて良いものを 瞬時に判別している。(大岡山駅前の例)
  6. 6. 人は、覚えるべきものと、覚えなくて良いものを 瞬時に判別している。(大岡山駅前の例) 覚える 覚える 覚える 覚えない 覚えない 覚えない
  7. 7. この機能は、実環境で人と共存するロボットには不可欠。 以下は、移動ロボット分野における性能評価のための世界標準データの一つ。 移動ロボットが以下の情景の中をループ状に2回周回する。2周目には、1周目の どの情景と一致するかを当てる。 1周目に居た、人や車が居なくなっても当たるか?
  8. 8. これを画像処理で実現したい!長谷川研の独自手法の導入 PIRF 8
  9. 9. PIRF Position Invariant Robust Features 動くカメラの映像中から止まっている もののみを取り出す技術Aram Kawewong, Sirinart Tangruamsub and Osamu Hasegawa, "Position-invariant RobustFeatures for Long-term Recognition of Dynamic Outdoor Scenes," IEICE Transactions onInformation and Systems, Vol.E93-D, No.9, pp.2587-2601, (2010) 9
  10. 10. PIRF:動いているカメラから、止まっている ものと、動いているものを見分ける技術 たまたま通りSIFT : 普通に処理すると、あらゆるところから画像特徴が出る。 かかった人。 PIRFは出て いない。 10 PIRF: 提案手法の処理結果例
  11. 11. PIRF: algorithm Current image 過去の画像を参照し、 共通するSIFT特徴を 抽出して、その位置の 特徴表現とする。 11
  12. 12. PIRF は下記の上下が同じ場所で あることを認識出来る。 学内駐車場: 上は休日、下は平日。 上は昼、下は同じ場所の夜。 12
  13. 13. PIRF-Nav, PIRF-Nav2.0 PIRF based Navigation PIRF を用いた、日常生活空間に おける自己位置推定手法 (PIRF-Nav2 は改良高速版)A.Kawewong, N.Tongprasit, S.Tangruamsub, O.Hasegawa,: "Online andIncremental Appearance-based SLAM in Highly Dynamic Environments", 13International Journal of Robotics Research (IJRR), 2010
  14. 14. OXFORD大から公開されているデータセット OXFORD大周辺の景観 New College 14
  15. 15. 独自に整備したデータセット 東工大すずかけキャンパス周辺を全方位カメラで撮影 Suzukakedai 15
  16. 16. 比較実験タスク(再掲) 移動ロボットが以下の情景の中をループ状に2回周回する。 2周目には、1周目のどの情景と一致するかを当てる。 1周目に居た、人や車が居なくなっても当たるか?
  17. 17. 赤い点が多い方が優れた手法FAB-MAP (Oxford Univ.) 提案手法認識率 43.32% さらに、提案手法は完全オンライン学習手法
  18. 18. FAB-MAPは辞書を事前にバッチ学習。 東工大の情景データに対する実験結果 ゆえに新規なデータには対応困難。 (提案法の優位が歴然) 18
  19. 19. PIRF-Nav 2.0Fast and Online Incremental Appearance-BasedLoop-Closure Detection in an Indoor EnvironmentAram Kawewong, Tongprasit Noppharit and OsamuHasegawa, Elsevier Robotics and Autonomous Systems,2011. (To Appear)
  20. 20. さらなる実験 東工大学食での実験エキストラでない不特定多数の人が利用 20
  21. 21. 混雑した学食での実験• 認識率:86.65%(FAB-MAP:17.80%)• 平均処理時間:264ms / 枚(同:577ms/枚) 入力(テスト)画像 同位置と推定された学習画像 全方位カメラの画像のため,同位置の画像でも 撮影時のカメラの向きによって見え方が異なります 21
  22. 22. 食堂での実験結果 Oxford 提案手法FAB-MAP 圧倒的に優れる 提案手法は、完全オンラインで、その場で 学習・識別していることに注意 22
  23. 23. PIRF,PIRF-NAV,PIRF-NAV2.0から 3D-PIRF へ• PIRF ↓ 自己位置同定技術に拡張• PIRF-NAV, PIRF-NAV2.0 ↓ 3次元地図の構築技術に拡張• 3D-PIRF
  24. 24. 3D-PIRFPIRF を用いた、3次元地図の学習・構築手法。これにより、移動ロボットは混雑環境中でも環境地図を 即座に学習し、任意の地点に移動できる。 24
  25. 25. Vision-based Mobile Robots SLAM and Navigation in Crowded Environments Hiroshi Morioka, Yi Sangkyu, Osamu Hasegawa IEEE/RSJ International Conference on Intelligent Robots and Systems, (IROS 2011) 長谷川研ホームページにデモビデオ有り 25
  26. 26. 認知地図(cognitive map)の獲得と利用 ー この技術を、自律移動ロボットに搭載して実験 -→ 場所の情景と、行動とを複合的にオンライン学習• 私たち人間も、同じように地図獲得をしている。例えば、すずかけ台駅改札 の情景から、左に曲がり、少し進むと、石の階段がある、など。• ロボットは学習後、獲得した地図上で探索し、任意の地点間を移動できる。 左旋回 前進 前進 右旋回して前進 左旋回
  27. 27. 人を案内するように、ロボットを連れて歩くと、ロボットは入力映像中の人の影響を極力排除し、情景だけを覚え、 任意の地点間を自律移動できる。
  28. 28. 本研究で構築する「ハイブリッド地図」のイメージ 観測データ ハイブリッド地図 軌跡 … 全方位カメラ エンコーダ 局所地図 4 FeatureNum: 1460 特徴点 x 10 1 0 -1 z 5000 4000 3000 2000 1000 0 -1000 2.5 y 2 1.5 -2000 1 4 0.5 x 10 0 xグラフ構造を持つため,経路計画がしやすい距離情報も持つため,最短経路探索が可能 28
  29. 29. 特徴点の3次元位置の計算とハイブリッド地図の構築 観測(特徴点の計測方向) 3D-PIRF ロボットの姿勢 オドメトリ 29
  30. 30. 特徴点の3次元へのマッピング方法 ロボットの姿勢 入力 ハイブリッド地図 特徴点の位置 から見た の観測値 (相対座標)事後確率 最大化(ロボットの姿勢)・ (特徴点の位置)が求まる 局所地図 30
  31. 31. ナビゲーションフェーズナビゲーションフェーズ : 学習フェーズで学習した軌跡に自律追従 : 学習した局所地図 : 現在の局所地図 スタート ゴール  学習した地図と現在の地図とのノード間の距離・局所マップを 比較し,自己位置を推定する  学習した軌跡に追従するように経路計画を行う 31
  32. 32. ナビゲーションフェーズ 局所マップの比較による自己位置推定のための情報取得 過去の 局所マップ 相対姿勢 現在の 局所マップ 1. Loop-Closing検出を行う 2. 学習した地図と現在の地図との局所マップを比較(特徴点 のマッチングを取る) 3. 8点アルゴリズムなどで学習時と現在の姿勢との相対姿 勢を求める  局所マップ中の特徴点の数 : 平均20~30個程度  相対姿勢の誤差 : 平均20[cm]以内 32
  33. 33. 提案システム全体 ナビゲーションフェーズのみ 3D-PIRF抽出 相対位置計算 学習フェーズで学習し ハイブリッド地図 たハイブリッド地図連続画像 3D-PIRF 相対位置 軌跡 軌跡オドメトリ … … Loop-Closing の検出, 軌跡の修正 局所メトリカル地図 局所メトリカル地図 経路計画 33
  34. 34. 実験結果 : 学習フェーズ(人が操縦) オドメトリのみ 提案手法 : Loop-Closing検出位置オドメトリのみの場合,軌跡を正しく計算できない提案手法では,カメラから安定した特徴点を抽出して,その情 報を用いることで軌跡が正しく計算できている 34
  35. 35. 実験結果 : ナビゲーションフェーズ(自律移動) 3D-PIRF 動いている人の周辺からゴールまで自律的に到達できている は抽出されていない 35
  36. 36. この技術は移動支援IRTへの活用を検討中• 屋外だけでなく、GPSが利用できない地下や屋内の人混みでも 自律移動• 搭乗者、歩行者、双方の安全・安心の実現• 移動のための地図は、患者や高齢者を含む誰もが簡単に作成 可能(従来法は膨大な手間)• まず、電動車椅子への搭載を検討。人の生活環境で活動するロ ボット全般に利用可能。 36
  37. 37. ルンバとの違い?ルンバはランダムに移動するのみ。地図を学習せず、指定した場所まで移動、といったことはできない。
  38. 38. この技術は、携帯カメラでも稼働する テスト画像 手持ちのiPhone4 のカメラで撮影 学習画像 手持ちの家庭用 ビデオカメラ で撮影下が学習画像で、上がテスト画像。人が居ても、人の影響を受けずに上下は同位置と正しく判定している。テスト画像にはiPhone4の画像を使用。 38GPSの使えない屋内や地下でも利用可能

×