cvpaper.challengeにてサーベイしたCVPR2015論文のまとめ(Action Recognition)です． 産総研片岡裕雄(@HirokatuKataoka)と電機大中村研(http://www.is.fr.dendai.ac.jp/ )による合同プロジェクト「cvpaper.challenge」です． Twitterで論文情報を随時アップしてます． Twitter： https://twitter.com/CVpaperChalleng 質問コメント等がありましたらメールまで． Mail ： cvpaper.challenge[at]gmail[dot]com

1. cvpaper.challenge
Twitter@CVPaperChalleng
http://www.slideshare.net/cvpaperchallenge
MAILTO: cvpaper.challenge[at]gmail[dot]com
Action Recognition

2. Keywords:Action recognition , spase-time-segments, graph models
新規性・差分
手法
結果
概要
キーフレームに近い概念で行動認識している．人間の
動作は手を振る，脚を上げる，などの基本的な動作を
認識し，それらの動作の移動をグラフ理論に基いて解
析している．
腕を挙げる→脚を上げる→腕を回転させる ＝ 投球，
のように基本動作を組み合わせて行動認識している．
キャプチャ空間，時間とアクション単語の間の高次な木
構造(グラフモデル)の階層関係の発見を可能にした．
単語やペアといった小さな構造と木構造の両方を利用す
ることによる行動識別を行い高い精度を示した．
3次元データにも対応できるよう一般化した．
全体動作のノードと部分的動作のノードで木構造を作っている．
中心となる手法ははspase-time-segmentas(STSs)である．また特
徴量はHOG特徴量などを使用している．
Shugao Ma, Leonid Sigal, Stan Sclaoff, “Space-Time Tree Ensenmble for Action
Recognition, ” in CVPR2015
【1】
Links
UFC-Sportsデータセットで平均89.4の精度で認識でき
ている．https://www.youtube.com/watch?v=fLcUJAyGEhk
http://cs-people.bu.edu/shugaoma/STTree/space-time-tree.pdf

3. Keywords:Action recognition , Ranking Machine
新規性・差分
手法
結果
概要
長時間行動のアピアランスは時系列ごとに変化(進化：
Evolution)する．そういった変化度合いを適応的に捉えるフ
レームワークを提案する．時系列のオーダー(順番)をランク
付け学習することにより，行動認識へと応用する．
ビデオ全体の時間発展をビデオ表現とするランク付け関数の
新しいパラメータを採用したこと．
またそのビデオ表現は学習のアプローチに基づいているため
簡単かつ効率的である．
アクション認識だけでなくジェスチャ認識にも有用な手法で
ある．
時間ごとの見えの変化をranking
machine に学習させる．
本手法をVideo Darwinと呼ぶ．
B. Fernando, E. Gavves, J. Oramas, A. Ghodrati, T. Tuytelaars, “Modeling Video Evolution
for Action Recognition”, in CVPR2015.
【2】
Links
http://www.egavves.com/wp-content/
uploads/2015/05/Fernando2015a.pdf

4. Keywords: Topic model, unsupervised, action relations
新規性・差分
手法
結果
概要
高次な人物行動の共起性や時系列の関係性を「完全
Unsupervisedに」見極める．行動をワードとトピッ
クとして扱い，その時系列の関係性を記述すること
により，長期の行動行動認識を可能とする．入力デ
バイスにはKinect v2を適用している．
完全な教師なし非線形モデルの提案
行動セグメンテーションと認識，長期間，短区間の行
動関係の両方を考慮したアクションパッチの提案
kinect v2を用いた新しいデータセットの提案
Action co-occurrence: 「ミルクを取り出す」，と「ミルクを入れる」は密
接な共起性がある．
Actinon temporal relations: 行動に準じて生じる行動があると説明してい
る．
・・・
C. Wu, j. Zhang, S. Savarese, A. Saxena,, “Watch-n-Patch: Unsupervised Understanding of
Actions and Relations”, in CVPR2015
【3】
Links
http://www.cs.cornell.edu/~chenxiawu/
papers/wpatch_wu_cvpr2015.pdf

5. Keywords: Action Recognition, Deep Feature
新規性・差分
手法
結果
概要
本論文では，ビデオから人間の行動を理解するための新
しい記述子trajectory-pooled deep-convolutional
descriptor(以下 TDD）を提案している．TDDの特徴は
Deep Learned特徴とHandCrafted特徴の両方のメリット
を共有している事である．
（i）TDDsが自動的に学習し、Hand-Craftedと比較して
高い判別能力がある．
（ii）TDDsは、時間次元の固有の特性を考慮する事で、
軌跡にサンプリングとプールの制約戦略を導入し、
Deep-Learned機能を集約している．
TDDsのロバスト性を高めるために畳み込み特徴マップ、すなわ
ち正規化と時空間チャネルの正規化を変換するために、2つの正
規化方法を設計している．
実験はHMDB51と
UCF101のデータセ
ットで実験を行って
いる．
Limin Wang, Yu Qiao, Xiaoou Tang, “Action Recognition With Trajectory-Pooled Deep-
Convolutional Descriptors”, in CVPR 2015.
【4】
Links
http://www.cv-foundation.org/openaccess/
content_cvpr_201…
https://wanglimin.github.io/tdd/index.html

6. 新規性・差分
手法
結果
概要
人物候補領域に特化した動画像のセグメンテーション．
人間の静的な部分と高次な関節運動を行う部分を統合する
ことが可能
階層内の異なるスケール，レベルのスーパーボクセルの一
貫性を強化したことでセグメンテーションの質が向上
PASCAL VOC 2007により学習済みのDeformable Part Model (DPM)によ
り人物領域かどうかの尤度を返却値として保持しておく．それらの返却値
を参考にして，今度はhMRFによりセグメンテーションを行う．セグメン
テーションの手法は[M. Han, CVPR2010]を適用している．また，時系列
のノードのつながりに関してはオプティカルフローや人物のアピアランス
情報を参考にして領域をカッティングする．MRFではunary項とpairwise
項があるが，その他にそれらを総合的に把握する高次な項(higher order
potential)も追加した．unary項では動作や人物存在確率をベースにカッ
ティングし，pairwise項では時間方向への拡張として追加している．さら
に，higher order potentialでは，階層的にunary項やpairwise項を把握して
いると見られる(下図参照)．
下はUCF sportsで行動領域を抽出した結果．従来法よりも
セグメンテーション手法がうまくいっている．また，セグ
メンテーション領域内でDense Trajectories (DT)により特
徴抽出した結果は，UCF-sport (93.6%)，JHMDB
(58.6%)，Penn Action (95.4%)と非常に高い精度で認識で
きることがわかった．
J. Lu, R. Xu, J. J. Conso, “Human Action Segmentation with Hierarchical Supervoxel
Consistency”, in CVPR2015.
【5】
Links
[PDF]
[video]

7. 新規性・差分
手法
結果
概要
Dense Trajectories + Fisher Vectorの改良に関する研
究．[Yogatama+, ICML2014]を参考にして，識別に有
効なFisher Vectorの部分を取り出す方法について提案
する．
近年テキスト分類の文生則の発展しているため本手
法では重要な運動部分を抽出するモーション正則フ
レームワークを提案している
行動間の識別に必要なベクトルは，パーツごとの少数のベクトルであ
るとして行動要素のグループごとに重み付けして特徴を表現する．識
別にはロジスティック回帰を適用する．局所的にtrajectoryをグルー
プ分けして特徴評価する．これらtrajectoryグループのベクトルは
パーツ間のつながりにおいて激しくオーバーラップしているが，それ
ぞれのwordsは身体パーツの多くの部位に生起する．このときgroup
lassoにより特徴量を正則化して記述する．一方で，オーバーラップ
を解消するような仕組みも考案している．これが各要素への重み付け
であり，すべての学習用の映像から重みを計算する．最終的な特徴評
価式では4つの項--判別性(discriminativeness)，sparsity，グループと
しての重み付けされたsparsity，global-local agreementを判断して特
徴ベクトルを生成する．
特徴評価の結果，提案手法Motion Part Regularizationは
Hollywood2, HMDB51, Olympic Sports データセットにお
いてそれぞれ66.7%, 65.5%, 92.3%と，state-of-the-artな精
度を達成した．(HMDB51に関しては，
[Peng+, ECCV2014]らのStacked Fisher Vectorが66.8%と
最高精度)
B. Ni, P. Moulin, X. Yang, S. Yan, “Motion Part Regularization: Improving Action Recognition
via Trajectory Group Selection”, in CVPR2015.
【6】
Links
[PDF]

8. 新規性・差分
手法
結果
概要
人物行動特徴と物体のインタラクションから取得した
Middelレベル特徴量により，詳細行動認識をするという
研究．
人物行動特徴にはDense Trajectories (DT)+Fisher Vector
を用いるが，その他に物体情報やインタラクション特徴
も取得する．
物体の取得には前処理であるObjectness--BINGを用いて，候補領域を抽出
して，行動特徴と合わせて実際のインタラクション領域を絞り込んでい
く．また，人物領域からも，領域ごとに特徴量を評価することで，「姿
勢」や「物体とのインタラクション」を表現することにつながり，DTの
みによるLow-levelな特徴からより高次なMid-level特徴量へと拡張してい
る．インタラクションの候補領域が複数抽出できるが，
[Juneja+, CVPR2013]によりマイニングして，候補領域の絞り込みを行
う．
BINGにより物体や姿勢の候補領域を抽出し，DTによ
り詳細特徴を把握することにより，MPII cooking
datasetを用いた実験では最大で72.4%もの識別率を達
成した．
Y. Zhou, B. Ni, R. Hong, M. Wang, Q. Tian, “Interaction Part Mining: A Mid-level Approach
for Fine-grained Action Recognition”, in CVPR2015.
【7】
Links http://www.cv-foundation.org/openaccess/
content_cvpr_2015/papers/
Zhou_Interaction_Part_Mining_2015_CVPR

9. 新規性・差分
手法
結果
概要
ある視点の行動を別視点の行動を学習サンプルとして識別
するCross-view行動認識問題．これを，Non-linear
Knowledge Transfer Model(NKTM)により解く．
動作の違いに応じて適応的に変化させる方針ではなく
すべてのアクションに対し最初の観測からの観測方向
の違いに応じて一つの非線形仮装パスを学習する．
NKTMを学習するLearning Phase，識別器を生成するTraining Phase，行
動を識別するTesting Phaseから構成されている．Learningでは，mocap
dataや可視画像からDense Trajectoriesを抽出してNKTMを学習．Training
では学習したNKTMを用いて，特徴ベクトルを取得かつSVMにより識別
器を生成．TestingではNKTMやSVMにより行動を識別．
実験はN-UCLAの他視点データセットにより行っている
H. Rahmani, A. Mian, “Learning a Non-linear Knowledge Transfer Model for Cross-View
Action Recognition”, in CVPR2015.
【8】
Links
[PDF]
http://staffhome.ecm.uwa.edu.au/
~00053650/papers/hossein-NKTM-
cvpr15.pdf

10. 新規性・差分
手法
結果
概要
行動認識のための階層的なベイジアンモデル
(M^3 HBM)の提案．
階層的生成モデル(Hierarchical Generative Model:
HGM)と最大マージンクラス分類(Max-Margnin: MM)
を組み合わせたトピックモデリングを実現する．
特徴の抽出は3DSHIFTを用いている．
実験の結果，KTH dataset で97.99%，UCF Sports
datasetで94.07%の認識率となっている
Shuang Yang, Chunfeng Yuan, Baoxin Wu, Weiming Hu, Fangshi Wang, “Multi-Feature
Max-Margin Hierarchical Bayesian Model for Action Recognition“, in CVPR2015.
【9】

11. Keywords: Improved DT, Fisher Vector, AlexNet, action recognition
新規性・差分
手法
結果
概要
6種のデータセットにおける200時間，
180クラス以上もの行動カテゴリを識別す
るために、物体情報を事前確率として準
備しておく．
Improved DTとFisher Vectorより、Motion特徴を取得．パラメータはGMMの混
合数は256，高次特徴表現のFisher Vectorの扱いづらいためPCAを用いて圧縮．
Deep Convolutionanl Neural Networks (AlexNet)によって物体を表現．
物体情報の追加により認識精度が向上．
UCF101: 84.2%=>88.1%,
THUMOS14 val: 56.9%=>66.8%,
KTH: 94.9% =>95.4%
Mihir Jain, Jan C. van Gemert, Cees G. M. Snoek, “What do 15,000 object categories tell us about
classifying and localizing actions? ”, in CVPR, 2015.
【10】
Links
論文：
http://jvgemert.github.io/pub/jain-objects-actions-
cvpr2015.pdf
著者：
https://www.irisa.fr/texmex/people/jain/index_en.php
行動認識・行動検出に物体情報を追加し、
精度を確認した論文．

12. Keywords: Multi-skip Feature Stacking (MIFS), Gaussian Pyramid, diffrential filter, Action Recognition
新規性・差分
手法
結果
概要
Multi-skip Feature Stacking (MIFS)を提
案 した論文．
Gaussian Pyramidから得られるaction signal
よりも、MIFSから取得した方が低レベルの
action signalを表現することができる．
diffrential filterを使用してMIFS stacks特
徴量を抽出．
5つのデータセットに対して提案手法を実装．
Lの値が増加するほど精度が認識精度が高くなる傾向に
ある．
Zhenzhong Lan, Ming Lin, Xuanchong Li, Alexander G. Hauptmann, Bhiksha Raj, “Beyond Gaussian
Pyramid: Multi-Skip Feature Stacking for Action Recognition”, in CVPR, 2015.
【11】
Links 論文ページ：
http://arxiv.org/pdf/1411.6660.pdf
著者ページ：
http://www.cs.cmu.edu/~lanzhzh/

13. Keywords:DT, Motion Features , Object Features, First Person Vision(FPV)
新規性・差分
手法
結果
概要
First Person Vision(FPV)の行動認識の精
度向上を提案した論文．
DTから取得したMotion特徴量と物体情
報、一人称の特徴をSystematicに組み合
わせることで精度を向上させる．
・Motion特徴量の組み合わせが効果的である．
・物体の特徴量は重要．
・注意点と手領域の連携が必要．
Yin Li, Zhefan Ye, James M. Rehg, Bhiksha Raj, “Delving Into Egocentric Actions”, in CVPR, 2015.
【12】
Links
論文：
http://www.cv-foundation.org/openaccess/content_cvpr_2015/
papers/Li_Delving_Into_Egocentric_2015_CVPR_paper.pdf
著者：
https://sites.google.com/site/zhefanyeinfo/research
画像特徴量にはHOG, HOF, MBH, Traj.を，物体特徴としては物体か
ら抽出したHOGやカラー，一人称の特徴としては手領域，頭部動作，
視線を入力としている．
取得した特徴量はFisher Vectorによりベクトル化され，SVMによって
識別される．

14. 新規性・差分
手法
結果
概要
行動検出問題解決のために可視画像にCNN特徴学習した形状特徴(spatial-
CNN)やモーション空間にCNN特徴学習を適用したモーション特徴(motion-
CNN)を適用して，行動中の人物の位置を特定する．主に人物行動を特徴と
して学習するが，必要に応じて物体やシーンの特徴も取得する．
従来はR-CNNで100[frame]処理を行うのに18分の時間が必要であったが、
提案手法では単純かつ高速に処理を行うことができる。また、フレーム
内で検出された人物行動の矩形を時系列フレーム間でつなぎ合わせる表
現を”Action Tubes”と定義して問題に取り組んでいる．
提案手法のアーキテクチャ．
Georgia Gkioxari, Jitendra Malik, “Finding Action Tubes”, in CVPR, 2015.
【13】
Links
論文：
http://www.cs.berkeley.edu/~gkioxari/ActionTubes/

15. Keywords:RGB-D, パラメータ行列
新規性・差分
手法
結果
概要
論文ページ:
http://www.cv-foundation.org/openaccess/
content_cvpr_2015/papers/
Kong_Bilinear_Heterogeneous_Information_2015_CVP
R_paper.pdf
Yu Kong,Yun Fu, Wei Liu,”Bilinear Heterogeneous Information Machine for RGB-D Action Recognition”,
in CVPR, 2015.
【14】
Links
RGBデータとDepthデータは異なる特徴空間
を持つため一緒にして特徴を計算できない．
そこで，各パラメータ行列を用い両者の時
空間的な関係に着目することでクロスモー
ダルな特徴を計算する．
RGB-DカメラからRGBデータとDepthデー
タを取得し、動作判別を行う．
提案手法のアーキテクチャ．

16. Keywords: Neural Network, loss function
新規性・差分
手法
結果
概要
人物は，人物間や物体とインタラクションをしている．しかし，
このインタラクションのクラスは大きすぎて処理しきれない．し
かし，ある行動はその周囲の行動と関連性があるということがわ
かっている．ある行動がわかっている際に，周囲の行動のための
事前情報を取得するか、という提案している．
Neural Networkを用いて行動間の関係性からより検
索精度の高いモデルを構築する．
提案手法のアーキテクチャと出力結果の例．
．
54.78% (27K), 45.82% (2.8K), 38.73% (Stan-81)と
行動の検索に対して良好な性能を示した．
V. Ramanathan, C. Li, J. Deng, W. Han, Z. Li, K. Gu, Y. Song, S. Bengio, C. Rossenberg, L. Fei-Fei,
“Learning semantic relationship for better action retrieval in images”, in CVPR2015.
【15】
Links
論文ページ:
http://static.googleusercontent.com/media/
research.google.com/ja//pubs/archive/43443.pdf

17. Keywords: Recurrent Neural Network, action recognition
新規性・差分
手法
結果
概要
人物の姿勢から関節情報を入力とし，
Recurrent Neural Networkを用いること
により行動認識する．
姿勢から取得したスケルトンを5分割して入力とする．ニ
ューラルネットの層が進んでいくたびにパーツごとに時系
列情報を強化していく．
第1, 3, 5, 7層にbidirectional recurrently connected subnets
(BRNNs)を用いて隣接する関節の情報を統合する．5層により
上半身・下半身，7層により全身の特徴を抽出できる．最後に
全結合層を経て，ソフトマックス関数により識別する．
MSR Action 3Dにて94.49%と非常
に高い結果を示した．
Y. Du, W. Wang, L. Wang, “Hierarchical Recurrent Neural Network for Skeleton Based Action
Recognition”, in CVPR2015.
【16】
Links
論文ページ:
http://www.cv-foundation.org/openaccess/
content_cvpr_2015/html/
Du_Hierarchical_Recurrent_Neural_2015_CVPR_paper.
html

18. Keywords: Joint Action Recognition, Pose Estimation
新規性・差分
手法
結果
概要
ビデオからの行動認識と姿勢推定は人間の行動を理解するという
意味で関連したタスクである．しかしほとんどの手法はモデルを
分解し，連続して組み合わせて学習している．本稿では，私達は
2つのタスクの試行と学習を統合するための枠組みを提案する．
時空間のAnd –Orグラフモデルは3つのスケールで
行動を表現することを導入する．具体的には，行
動を，中間レベルのST-Partsでポーズに分解する．
モデルの階層的な構造は，各フレームの姿勢の外観や幾何学情報
を取得し，特定行動のモーション情報を取得する隣接フレームで
ST-parts間の側面を接続する．3つのスケールのモデルのパラメー
タは差別的に学習され，行動ラベルや姿勢は動的なプログラミン
グによって効率的に推測される．
Bruce Xiaohan Nie, Caiming Xiong and Song-Chun Zhu, “Joint Action Recognition and Pose Estimation
From Video”, in CVPR2015.
【17】
Links
論文ページ：
http://www.stat.ucla.edu/~sczhu/papers/
Conf_2015/pose_action_CVPR2015.pdf

19. Keywords: Actor-Action, Action Recognition
新規性・差分
手法
結果
概要
行動をするもの(Actor)と行動(Action)に
予め属性を対応付けておくことが必要と
提案．
Actor-Actionのマトリックスにて属性を
表している．
下図のようにActor-Actionの対応付けを行った．Actorは7種(adult, baby, ball, bird,
car, cat, dog)でActionは8種(climb, crawl, eat, fly, jump, roll, run, walk)である．行動
認識にはsupervoxelによるセグメンテーションを適用した．
認識のみならずセマンティックセグメン
テーションも行い，Actor-Actionの対応
付けが効果ありと判断した．
C. Xu, S.-H. Hsieh, C. Xiong, J. Corso, “Can Humans Fly? Action Understanding with Multiple Classes of
Actors”, in CVPR, 2015.
【18】
Links
論文 http://web.eecs.umich.edu/~jjcorso/pubs/xu_corso_CVPR2015_A2D.pdf
プロジェクトページ(データセットあり) http://web.eecs.umich.edu/~jjcorso/r/a2d/
YouTubehttps://www.youtube.com/watch?v=2p6ZdQtEXGU

20. Keywords: Articulated Motion Pattern, Pairs of Trajectories
新規性・差分
手法
結果
概要
ボトムアップかつunsupervisedな文節ご
とのモーションパターン(articulated
motion pattern)検出を行う．
非制約の動画であるため，構造化やトリ
ミングされていないところからモーショ
ン検出や対応付けを行う．
下図は虎に対するarticulated motion pattern 検出である．提案手法では追
跡している動線(pairs of trajectories: PoTs)を特徴としている．また，下図
の場合の行動は虎のrunning, walking, turningを示している．PoTsの中から
共通の特徴量を探索する問題であり，また関節中心は(感覚的に)モーショ
ンの中心として位置の変化(displacement)を特徴として記述する．モーシ
ョンの中心からの移動角度と正規化されたdisplacementを記録．
実験にはNational Geographic Documentariesから500ショット，80,000
フレーム取り出した映像やYouTube Objects datasetから犬のクラスを
100ショット抽出した．
L. D. Pero, S. Ricco, R. Sukthankar, V. Ferrari, “Articulated Motion Discovery using Pairs of Trajectories“,
in CVPR, 2015.
【19】
Links
論文
http://calvin.inf.ed.ac.uk/wp-content/
uploads/Publications/delpero15cvpr.pdf

21. ご質問，コメント等ありましたら
cvpaper.challenge[at]gmail[dot]com / Twitter@CVPaperChalleng までお願いします．