2022/11/18 Deep Learning JP http://deeplearning.jp/seminar-2/

1. DEEP LEARNING JP
[DL Papers]
Ego-Exo: Transferring Visual Representations
from Third-person to First-person Videos
(CVPR 2021) Yoshifumi Seki
http://deeplearning.jp/

2. 書誌情報
● 投稿先
○ CVPR 2021
● 投稿者
○ Facebook Research
● 選定理由
○ 現職がウェアラブルデバイスの会社
○ 1人称視点の映像をどう扱うかという

3. 背景・目的
● Egocentric Video (一人称視点の動画)のタスクいい感じに処理するための分
散表現を作りたい
● Egocentric Videoのデータセットの規模は小さいし多様ではない
● Exocentric Video (三人称視点の動画)はデータの規模が大きく多様
● Exocentric Videoの規模の大きいデータセットを活用してEgocentric Videoに
役立つ特徴量を作りたい

4. Key Idea
● Third-personな動画セットにも
first-personっぽい映像の要素が
あるはず
○ それをいい感じに取り出していい感
じにしたい
● 複数のfirst-personタスクで蒸留
する

5. Framework Overview

6. Framework Overview

7. Traditional Pre-Training
● 大規模なThird Person VideoからPre-train Modelを作る
● データセットV_exo中のビデオvはT個のフレームf_1,...,f_Tをもつ
● フレームはN個のspatiotemporal clip feature x1,...,x_Nにencodeされる
● xはvideo encoder backbone (3D CNN)によってencodeされたモデル
○ c × t × h × w次元
● 各ビデオにはaction label y_actが与えられており、ビデオのx_*を平均化した
ものを入力して、y^_actを出力し、クロスエントロピーLossによって訓練す
る
○ ここのpool+fc層をheadと呼ぶ

8. Framework Overview

9. Ego-Exo pre-training
● V_egoとV_exo両方を用いる
● 過去のegocentric under standingタスクにおけるモデルを用いる
● タスクτのモデルM_τにビデオを入力してラベルy_τを出力する
○ V_exoのビデオに各タスクに対してもこれで擬似ラベルを与える
● 各モデルに対するhead H^τに対してH^τ(v)とy_τとのauxilirary lossを計算し、
H^τを訓練する

10. Ego-task: Ego-Score
● Egocentricかそうでないかを判断するモデル
● Charades Egoという室内での物体とのインタラクションを行うデータセット
を用いて訓練してモデルを生成
○ このデータセットにはego, exo両方のデータが含まれる
○ 本来、同じ動きをego, exo両面から撮影したものであるが、こちらではそのペア情報は使わ
ない
● Third-personのデータセットに対してもモデルを通して擬似ラベルを出力す
る
○ 大規模なThird person videoデータセットの中にはegocentricなものも一定含まれている

11. Ego-task: Ego-Score

12. Ego-task: Object-Score
● 操作しているオブジェクトを特定するタスク
● Egocentric Videoにおける最も一般的なタスク
● シンプルにフレームごとにImageNetを使って予測

13. Ego-Task: Interaction-Map
● 物体を操作しているregionを特定する
● 既存研究のhand object detectorを用いる
○ 各フレームに対してbounding box bとconfidence score sのセットを出力する
● β_i,j: i, jのgrid cellに対してまたがっているbounding box

14. Ego-Task: Interaction-Map
● 各領域i, jに対してy^h, y^oを出力する

15. Ego-Task: Interaction-Map
● なぜ通常の既存研究で用いられているbounding boxではなく、Interaction
Mapを生成したのか？
○ 既存研究のnetworkはstandardなvideo backboneと可換性がない
■ 既存研究は特化したnetworkで構築されていて、高解像度なデータでのみ利用可能
○ mapにおけるscoreを出力によって学習する方が、representationを学習するためには良
い
■ 多分学習しやすい、みたいな意図かなぁと推測

16. Ego-Exo training and evaluation
● Third-personのビデオで手が映ってなかったり物体とのインタラクションが
ないものがあるが、それも学習に寄与する

17. データセット
● Kinetics-400
○ popular third-person dataset
○ ~300k video, 400 human action classes
● Charades-Ego
○ ~68k instances
○ 157 activity class
○ 第三者映像と主観映像のペアがあるが本研究では用いない
● EPIC-Kitchens
○ キッチンでの主観映像
○ 55時間のビデオ、39k action segmentets
○ 352 objectで125の動作がアノテーションされている
● EPIC-Kitchens-100
○ 100時間で90kのアクションに拡張

18. 比較手法
● Scrach: pre-trainをせず、ランダムな初期化によって直接fine-tuneをする
● Third-Only: pre-trainをKinetics 400で行う。
● First-Only: pre-trainをKitchen-100で行う
● Domain-adapt: first-personとthird-personでdomain adaptationを行った既存研
究
● Joint-embed: Kinetic-400でpre-trainした後、Charades-Egoでviewpoint-
invariant video modelを学習する
● Ego-Exo: pre-trainをKinetics400でやった後3つのタスクを学習する

20. Ablation Study

21. ● SOTAのモデルはもっとたくさんの特徴量を使っている（audio, flow)

24. まとめ
● 第三者視点映像を使って主観視点映像のスコアを向上させるための汎用的な
分散表現を獲得しようという試み
● first-person view周りの取り組みについてちゃんとよんだのは初めてだったの
で勉強になった
● 精度が上がったことはわかったけど、これが汎用的な表現なのか？という点
については疑問が残る