1.
東工大 長谷川修研の環境学習・認識・探索技術 長谷川修 東京工業大学 oh@haselab.info 2011年7月31日版

2.
目標：人の身近で活動するロボットを創りたい• ロボットは、GPSを使わずに、指示した場所まで効率 的に移動できると良い。• ロボットへの教示は、人が居る環境で、人を案内する ように連れて歩くだけで済ませたい。• 天井にセンサをつけたり、床にラインを引くなどの、手 間や経費をかけたくない。• 以上を実現し、清掃、警備、案内ロボット等に実用レ ベルで使いたい。

3.
電動車椅子にも使いたい• GPSが利用できない地下や屋内の人混みで、電動車 椅子を自律制御したい。これにより、搭乗者、歩行者、 双方の安全・安心を確保したい。• 移動のための地図は、高齢者を含む誰もが簡単に 作成可能としたい。 3

4.
人は環境をどう見ているのか？• 通常、人は日頃利用する駅の、改札前の様子 を思い出すことができる。• しかし、今日、改札の前にいた人を、思い出す のは困難。• つまり、人間は、非常に優れた画像情報処理 をしており、そこにたまたま居た人のことは覚 えず、改札付近の情景だけを的確に選び出し て覚えている。

5.
人は、覚えるべきものと、覚えなくて良いものを 瞬時に判別している。(大岡山駅前の例)

6.
人は、覚えるべきものと、覚えなくて良いものを 瞬時に判別している。(大岡山駅前の例) 覚える 覚える 覚える 覚えない 覚えない 覚えない

7.
この機能は、実環境で人と共存するロボットには不可欠。 以下は、移動ロボット分野における性能評価のための世界標準データの一つ。 移動ロボットが以下の情景の中をループ状に２回周回する。２周目には、１周目の どの情景と一致するかを当てる。 １周目に居た、人や車が居なくなっても当たるか？

8.
これを画像処理で実現したい！長谷川研の独自手法の導入 PIRF 8

9.
PIRF Position Invariant Robust Features 動くカメラの映像中から止まっている もののみを取り出す技術Aram Kawewong, Sirinart Tangruamsub and Osamu Hasegawa, "Position-invariant RobustFeatures for Long-term Recognition of Dynamic Outdoor Scenes," IEICE Transactions onInformation and Systems, Vol.E93-D, No.9, pp.2587-2601, (2010) 9

10.
PIRF：動いているカメラから、止まっている ものと、動いているものを見分ける技術 たまたま通りSIFT : 普通に処理すると、あらゆるところから画像特徴が出る。 かかった人。 PIRFは出て いない。 10 PIRF: 提案手法の処理結果例

11.
PIRF: algorithm Current image 過去の画像を参照し、 共通するSIFT特徴を 抽出して、その位置の 特徴表現とする。 11

12.
PIRF は下記の上下が同じ場所で あることを認識出来る。 学内駐車場： 上は休日、下は平日。 上は昼、下は同じ場所の夜。 12

13.
PIRF-Nav, PIRF-Nav2.0 PIRF based Navigation PIRF を用いた、日常生活空間に おける自己位置推定手法 (PIRF-Nav2 は改良高速版)A.Kawewong, N.Tongprasit, S.Tangruamsub, O.Hasegawa,: "Online andIncremental Appearance-based SLAM in Highly Dynamic Environments", 13International Journal of Robotics Research (IJRR), 2010

14.
OXFORD大から公開されているデータセット OXFORD大周辺の景観 New College 14

15.
独自に整備したデータセット 東工大すずかけキャンパス周辺を全方位カメラで撮影 Suzukakedai 15

16.
比較実験タスク（再掲） 移動ロボットが以下の情景の中をループ状に２回周回する。 ２周目には、１周目のどの情景と一致するかを当てる。 １周目に居た、人や車が居なくなっても当たるか？

17.
赤い点が多い方が優れた手法FAB-MAP (Oxford Univ.) 提案手法認識率 43.32% さらに、提案手法は完全オンライン学習手法

18.
FAB-MAPは辞書を事前にバッチ学習。 東工大の情景データに対する実験結果 ゆえに新規なデータには対応困難。 （提案法の優位が歴然） 18

19.
PIRF-Nav 2.0Fast and Online Incremental Appearance-BasedLoop-Closure Detection in an Indoor EnvironmentAram Kawewong, Tongprasit Noppharit and OsamuHasegawa, Elsevier Robotics and Autonomous Systems,2011. (To Appear)

20.
さらなる実験 東工大学食での実験エキストラでない不特定多数の人が利用 20

21.
混雑した学食での実験• 認識率：86.65%（FAB-MAP：17.80%）• 平均処理時間：264ms / 枚（同：577ms/枚） 入力（テスト）画像 同位置と推定された学習画像 全方位カメラの画像のため，同位置の画像でも 撮影時のカメラの向きによって見え方が異なります 21

22.
食堂での実験結果 Oxford 提案手法FAB-MAP 圧倒的に優れる 提案手法は、完全オンラインで、その場で 学習・識別していることに注意 22

23.
PIRF,PIRF-NAV,PIRF-NAV2.0から 3D-PIRF へ• PIRF ↓ 自己位置同定技術に拡張• PIRF-NAV, PIRF-NAV2.0 ↓ ３次元地図の構築技術に拡張• 3D-PIRF

24.
3D-PIRFPIRF を用いた、３次元地図の学習・構築手法。これにより、移動ロボットは混雑環境中でも環境地図を 即座に学習し、任意の地点に移動できる。 24

25.
Vision-based Mobile Robots SLAM and Navigation in Crowded Environments Hiroshi Morioka, Yi Sangkyu, Osamu Hasegawa IEEE/RSJ International Conference on Intelligent Robots and Systems, (IROS 2011) 長谷川研ホームページにデモビデオ有り 25

26.
認知地図（cognitive map）の獲得と利用 ー この技術を、自律移動ロボットに搭載して実験 －→ 場所の情景と、行動とを複合的にオンライン学習• 私たち人間も、同じように地図獲得をしている。例えば、すずかけ台駅改札 の情景から、左に曲がり、少し進むと、石の階段がある、など。• ロボットは学習後、獲得した地図上で探索し、任意の地点間を移動できる。 左旋回 前進 前進 右旋回して前進 左旋回

27.
人を案内するように、ロボットを連れて歩くと、ロボットは入力映像中の人の影響を極力排除し、情景だけを覚え、 任意の地点間を自律移動できる。

28.
本研究で構築する「ハイブリッド地図」のイメージ 観測データ ハイブリッド地図 軌跡 … 全方位カメラ エンコーダ 局所地図 4 FeatureNum: 1460 特徴点 x 10 1 0 -1 z 5000 4000 3000 2000 1000 0 -1000 2.5 y 2 1.5 -2000 1 4 0.5 x 10 0 xグラフ構造を持つため，経路計画がしやすい距離情報も持つため，最短経路探索が可能 28

29.
特徴点の3次元位置の計算とハイブリッド地図の構築 観測(特徴点の計測方向) 3D-PIRF ロボットの姿勢 オドメトリ 29

30.
特徴点の3次元へのマッピング方法 ロボットの姿勢 入力 ハイブリッド地図 特徴点の位置 から見た の観測値 (相対座標)事後確率 最大化(ロボットの姿勢)・ (特徴点の位置)が求まる 局所地図 30

31.
ナビゲーションフェーズナビゲーションフェーズ : 学習フェーズで学習した軌跡に自律追従 : 学習した局所地図 : 現在の局所地図 スタート ゴール  学習した地図と現在の地図とのノード間の距離・局所マップを 比較し，自己位置を推定する  学習した軌跡に追従するように経路計画を行う 31

32.
ナビゲーションフェーズ 局所マップの比較による自己位置推定のための情報取得 過去の 局所マップ 相対姿勢 現在の 局所マップ 1. Loop-Closing検出を行う 2. 学習した地図と現在の地図との局所マップを比較(特徴点 のマッチングを取る) 3. 8点アルゴリズムなどで学習時と現在の姿勢との相対姿 勢を求める  局所マップ中の特徴点の数 : 平均20～30個程度  相対姿勢の誤差 : 平均20[cm]以内 32

33.
提案システム全体 ナビゲーションフェーズのみ 3D-PIRF抽出 相対位置計算 学習フェーズで学習し ハイブリッド地図 たハイブリッド地図連続画像 3D-PIRF 相対位置 軌跡 軌跡オドメトリ … … Loop-Closing の検出， 軌跡の修正 局所メトリカル地図 局所メトリカル地図 経路計画 33

34.
実験結果 : 学習フェーズ(人が操縦) オドメトリのみ 提案手法 : Loop-Closing検出位置オドメトリのみの場合，軌跡を正しく計算できない提案手法では，カメラから安定した特徴点を抽出して，その情 報を用いることで軌跡が正しく計算できている 34

35.
実験結果 : ナビゲーションフェーズ(自律移動) 3D-PIRF 動いている人の周辺からゴールまで自律的に到達できている は抽出されていない 35

36.
この技術は移動支援IRTへの活用を検討中• 屋外だけでなく、GPSが利用できない地下や屋内の人混みでも 自律移動• 搭乗者、歩行者、双方の安全・安心の実現• 移動のための地図は、患者や高齢者を含む誰もが簡単に作成 可能（従来法は膨大な手間）• まず、電動車椅子への搭載を検討。人の生活環境で活動するロ ボット全般に利用可能。 36

37.
ルンバとの違い？ルンバはランダムに移動するのみ。地図を学習せず、指定した場所まで移動、といったことはできない。

38.
この技術は、携帯カメラでも稼働する テスト画像 手持ちのiPhone4 のカメラで撮影 学習画像 手持ちの家庭用 ビデオカメラ で撮影下が学習画像で、上がテスト画像。人が居ても、人の影響を受けずに上下は同位置と正しく判定している。テスト画像にはiPhone4の画像を使用。 38GPSの使えない屋内や地下でも利用可能