1.
東工大 長谷川修研の
環境学習・認識・探索技術
長谷川修
東京工業大学
oh@haselab.info
2011年7月31日版

2.
目標：人の身近で活動するロボットを創りたい
• ロボットは、GPSを使わずに、指示した場所まで効率
的に移動できると良い。
• ロボットへの教示は、人が居る環境で、人を案内する
ように連れて歩くだけで済ませたい。
• 天井にセンサをつけたり、床にラインを引くなどの、手
間や経費をかけたくない。
• 以上を実現し、清掃、警備、案内ロボット等に実用レ
ベルで使いたい。

3.
電動車椅子にも使いたい
• GPSが利用できない地下や屋内の人混みで、電動車
椅子を自律制御したい。これにより、搭乗者、歩行者、
双方の安全・安心を確保したい。
• 移動のための地図は、高齢者を含む誰もが簡単に
作成可能としたい。
3

4.
人は環境をどう見ているのか？
• 通常、人は日頃利用する駅の、改札前の様子
を思い出すことができる。
• しかし、今日、改札の前にいた人を、思い出す
のは困難。
• つまり、人間は、非常に優れた画像情報処理
をしており、そこにたまたま居た人のことは覚
えず、改札付近の情景だけを的確に選び出し
て覚えている。

5.
人は、覚えるべきものと、覚えなくて良いものを
瞬時に判別している。(大岡山駅前の例)

6.
人は、覚えるべきものと、覚えなくて良いものを
瞬時に判別している。(大岡山駅前の例)
覚える
覚える 覚える
覚えない
覚えない
覚えない

7.
この機能は、実環境で人と共存するロボットには不可欠。
 以下は、移動ロボット分野における性能評価のための世界標準データの一つ。
 移動ロボットが以下の情景の中をループ状に２回周回する。２周目には、１周目の
どの情景と一致するかを当てる。
１周目に居た、人や車が居なくなっても当たるか？

8.
これを画像処理で実現したい！
長谷川研の独自手法の導入
PIRF
8

9.
PIRF
Position Invariant Robust Features
動くカメラの映像中から止まっている
もののみを取り出す技術
Aram Kawewong, Sirinart Tangruamsub and Osamu Hasegawa, "Position-invariant Robust
Features for Long-term Recognition of Dynamic Outdoor Scenes," IEICE Transactions on
Information and Systems, Vol.E93-D, No.9, pp.2587-2601, (2010)
9

10.
PIRF：動いているカメラから、止まっている
ものと、動いているものを見分ける技術
たまたま通り
SIFT : 普通に処理すると、あらゆるところから画像特徴が出る。 かかった人。
PIRFは出て
いない。
10
PIRF: 提案手法の処理結果例

11.
PIRF: algorithm Current image
過去の画像を参照し、
共通するSIFT特徴を
抽出して、その位置の
特徴表現とする。
11

12.
PIRF は下記の上下が同じ場所で
あることを認識出来る。
学内駐車場： 上は休日、下は平日。
上は昼、下は同じ場所の夜。 12

13.
PIRF-Nav, PIRF-Nav2.0
PIRF based Navigation
PIRF を用いた、日常生活空間に
おける自己位置推定手法
(PIRF-Nav2 は改良高速版)
A.Kawewong, N.Tongprasit, S.Tangruamsub, O.Hasegawa,: "Online and
Incremental Appearance-based SLAM in Highly Dynamic Environments",
13
International Journal of Robotics Research (IJRR), 2010

14.
OXFORD大から公開されているデータセット
OXFORD大周辺の景観
 New College
14

15.
独自に整備したデータセット
東工大すずかけキャンパス周辺を全方位カメラで撮影
 Suzukakedai
15

16.
比較実験タスク（再掲）
 移動ロボットが以下の情景の中をループ状に２回周回する。
２周目には、１周目のどの情景と一致するかを当てる。
１周目に居た、人や車が居なくなっても当たるか？

17.
赤い点が多い方が優れた手法
FAB-MAP (Oxford Univ.) 提案手法
認識率 43.32%
さらに、提案手法は完全オンライン学習手法

18.
FAB-MAPは辞書を事前にバッチ学習。 東工大の情景データに対する実験結果
ゆえに新規なデータには対応困難。 （提案法の優位が歴然）
18

19.
PIRF-Nav 2.0
Fast and Online Incremental Appearance-Based
Loop-Closure Detection in an Indoor Environment
Aram Kawewong, Tongprasit Noppharit and Osamu
Hasegawa, Elsevier Robotics and Autonomous Systems,
2011. (To Appear)

20.
さらなる実験
東工大学食での実験
エキストラでない不特定多数の人が利用
20

21.
混雑した学食での実験
• 認識率：86.65%（FAB-MAP：17.80%）
• 平均処理時間：264ms / 枚（同：577ms/枚）
入力（テスト）画像 同位置と推定された学習画像
全方位カメラの画像のため，同位置の画像でも
撮影時のカメラの向きによって見え方が異なります
21

22.
食堂での実験結果
Oxford 提案手法
FAB-MAP 圧倒的に優れる
提案手法は、完全オンラインで、その場で
学習・識別していることに注意
22

23.
PIRF,PIRF-NAV,PIRF-NAV2.0から
3D-PIRF へ
• PIRF
↓ 自己位置同定技術に拡張
• PIRF-NAV, PIRF-NAV2.0
↓ ３次元地図の構築技術に拡張
• 3D-PIRF

24.
3D-PIRF
PIRF を用いた、３次元地図の学習・構築手法。
これにより、移動ロボットは混雑環境中でも環境地図を
即座に学習し、任意の地点に移動できる。
24

25.
Vision-based Mobile Robot's SLAM and
Navigation in Crowded Environments
Hiroshi Morioka, Yi Sangkyu, Osamu Hasegawa
IEEE/RSJ International Conference on Intelligent Robots
and Systems, (IROS 2011)
長谷川研ホームページにデモビデオ有り
25

26.
認知地図（cognitive map）の獲得と利用
ー この技術を、自律移動ロボットに搭載して実験 －
→ 場所の情景と、行動とを複合的にオンライン学習
• 私たち人間も、同じように地図獲得をしている。例えば、すずかけ台駅改札
の情景から、左に曲がり、少し進むと、石の階段がある、など。
• ロボットは学習後、獲得した地図上で探索し、任意の地点間を移動できる。
左旋回
前進
前進
右旋回して前進
左旋回

27.
人を案内するように、ロボットを連れて歩くと、ロボットは
入力映像中の人の影響を極力排除し、情景だけを覚え、
任意の地点間を自律移動できる。

28.
本研究で構築する「ハイブリッド地図」のイメージ
観測データ
ハイブリッド地図
軌跡
…
全方位カメラ エンコーダ
局所地図
4
FeatureNum: 1460
特徴点
x 10
1
0
-1
z
5000
4000
3000
2000
1000
0
-1000 2.5
y 2
1.5
-2000 1 4
0.5 x 10
0
x
グラフ構造を持つため，経路計画がしやすい
距離情報も持つため，最短経路探索が可能 28

29.
特徴点の3次元位置の計算とハイブリッド地図の構築
観測
(特徴点の計測方向)
3D-PIRF
ロボットの姿勢
オドメトリ
29

30.
特徴点の3次元へのマッピング方法
ロボットの姿勢 入力 ハイブリッド地図
特徴点の位置 から見た の観測値
(相対座標)
事後確率
最大化
(ロボットの姿勢)・ (特徴点の位置)が求まる 局所地図
30

31.
ナビゲーションフェーズ
ナビゲーションフェーズ : 学習フェーズで学習した軌跡に自律追従
: 学習した局所地図
: 現在の局所地図
スタート
ゴール
 学習した地図と現在の地図とのノード間の距離・局所マップを
比較し，自己位置を推定する
 学習した軌跡に追従するように経路計画を行う
31

32.
ナビゲーションフェーズ
 局所マップの比較による自己位置推定のための情報取得
過去の
局所マップ
相対姿勢 現在の
局所マップ
1. Loop-Closing検出を行う
2. 学習した地図と現在の地図との局所マップを比較(特徴点
のマッチングを取る)
3. 8点アルゴリズムなどで学習時と現在の姿勢との相対姿
勢を求める
 局所マップ中の特徴点の数 : 平均20～30個程度
 相対姿勢の誤差 : 平均20[cm]以内 32

33.
提案システム全体
ナビゲーションフェーズのみ
3D-PIRF抽出
相対位置計算 学習フェーズで学習し
ハイブリッド地図 たハイブリッド地図
連続画像
3D-PIRF
相対位置 軌跡 軌跡
オドメトリ
… …
Loop-Closing
の検出，
軌跡の修正
局所メトリカル地図 局所メトリカル地図
経路計画
33

34.
実験結果 : 学習フェーズ(人が操縦)
オドメトリのみ 提案手法
: Loop-Closing検出位置
オドメトリのみの場合，軌跡を正しく計算できない
提案手法では，カメラから安定した特徴点を抽出して，その情
報を用いることで軌跡が正しく計算できている 34

35.
実験結果 : ナビゲーションフェーズ(自律移動)
3D-PIRF
動いている人の周辺から
ゴールまで自律的に到達できている は抽出されていない
35

36.
この技術は移動支援IRTへの活用を検討中
• 屋外だけでなく、GPSが利用できない地下や屋内の人混みでも
自律移動
• 搭乗者、歩行者、双方の安全・安心の実現
• 移動のための地図は、患者や高齢者を含む誰もが簡単に作成
可能（従来法は膨大な手間）
• まず、電動車椅子への搭載を検討。人の生活環境で活動するロ
ボット全般に利用可能。
36

37.
ルンバとの違い？
ルンバはランダムに
移動するのみ。
地図を学習せず、指定した
場所まで移動、といったこと
はできない。

38.
この技術は、携帯カメラでも稼働する
テスト画像
手持ちのiPhone4
のカメラで撮影
学習画像
手持ちの家庭用
ビデオカメラ
で撮影
下が学習画像で、上がテスト画像。人が居ても、人の影響を受け
ずに上下は同位置と正しく判定している。
テスト画像にはiPhone4の画像を使用。
38
GPSの使えない屋内や地下でも利用可能