European Conference on Computer Vision (ECCV) 2012

1. Activity Forecasting
@jh3rox
Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert

2. 紹介する論文
 Activity Forecasting (ECCV2012)
 Best Paper Award – Honorable Mention
 プロジェクトページ
 論文(pdf)
 デモ動画(youtube)
2

3. 論文概要
3
 人の行動軌跡と、空間属性（歩道・車など）を使って、
「各属性の価値」および「人が好む経路」を学習する。
 あるスタート地点からゴール地点までの、最適経路を予測
できるようになった（Activity Forecasting）
行動
軌跡
空間
属性
人が好む経路を学習
（by 逆強化学習）
http://www.cs.cmu.edu/~kkitani/ActivityForecasting.html

4. 強化学習と逆強化学習
 強化学習
 報酬関数をgivenとして
 最適な行動を学習
 逆強化学習
 最適な行動をgivenとして
 報酬関数を学習
4

5. 逆強化学習の例
 ヘリコプターの自動制御（Stanford Univ.）
 熟練者の操縦ログをgivenとして、飛行方法を自律的に学習
 「ハリケーン」や「チックタック」といった技を披露している
デモ動画
5

6. 提案するモデル（hMDP）
 観測に基づき、未知の報酬関数（のパラメータ）を学習
観測
報酬関数
状態
行動
r(s)
s = [x, y]
a = [vx, vy]
6

7. 報酬関数
 特徴ベクトルf(s)の線形和で報酬を表現
 学習したいのは重みベクトルθ
7http://www.cs.cmu.edu/~kkitani/ActivityForecasting.html

8. 重みベクトルθの学習（線形回帰）
8
 尤度関数
 対数尤度
 対数尤度の勾配
教師軌跡から求めた
特徴ベクトルの平均値
現パラメータθで求めた
特徴ベクトルの期待値
 勾配法で更新
これを最小化
Two-step algorithmで計算

9. の計算（two-step algorithm）
9
1. Backward pass
 現パラメータθを用いてゴールまでの最適経路πθを生成
2. Forward pass
 最適経路πθに基づき、ゴールまでに得られる特徴ベクトルの期
待値 を算出

10. 実験
10
 データセット
 VIRAT ground dataset http://www.viratdata.org/
 92個の動画を利用
 80％で学習、20％で評価、3-fold cross validation
 特徴ベクトル（40次元）
 シーンラベル（歩道、建物、フェンス等）：9種類
 シーンラベル別のオブジェクト間距離：4種類
 人物トラッカー出力：3種類
 旅行時間：1種類

11. 実験結果(1) 定量評価は論文参照
11
1. Sequence smoothing
 時刻 t までの軌跡をスムージング
2. Destination forecasting
 時刻 t 以降の行動を予測
http://www.cs.cmu.edu/~kkitani/ActivityForecasting.html

12. 実験結果(2) 定量評価は論文参照
12
3. Knowledge transfer
 学習済みのθを使って別シーンの行動を予測
http://www.cs.cmu.edu/~kkitani/ActivityForecasting.html

13. まとめ
13
 逆強化学習と画像認識（人物追跡・シーンラベリング）
を組み合わせることで、「人が好む行動パターン」を学
習でき、結果として人物行動の将来予測を実現した。
 今回は軌跡に限定したが、離散的な行動系列にも使える。