ICML2013読み会@東大 2013/07/09 開会宣言

1. ICML読み会開会宣⾔言
＆
“Learning Spatio-Temporal Structure from RGB-D Videos
for Human Activity Detection and Anticipation”
比戸 将平 (@sla)
株式会社Preferred Infrastructure

2. ICML2013読み会開会に寄せて
l こんなに⼈人が集まるとは思ってませんでした！！！
l T-PRIMALでやってた時も20-30⼈人だった気がします
l 会場が変更更になってすみません（PFIは会社が⼩小さいので…）
l 会場をご⽤用意頂いた中川先⽣生・佐藤先⽣生ありがとうございます
l NIPS読み会など合わせて継続的に開催できればと思います
l そうして機械学習といえばPFIという雰囲気を…（シタゴコロ）
2

3. l ICML2013概要
l 個⼈人的な感想
l RGB-‐‑‒D論論⽂文
Agenda

4. ICML2013: メイン会場
4

5. ICML2013: ポスター会場
5

6. ICML2013: 招待講演
1. Machine Learning at Scale with GraphLab by Carlos Guestrin
l GAS(Gather-Apply-Scatter)計算モデル
l GraphLab2でスケールアップ、GraphLab3で可⽤用性アップに挑戦中
2. High-dimensional Sampling Algorithms and their Applications
by Santosh Vempala
l Convex, Convex, and Convex
3. Acoustic Modeling and Deep Learning for Speech Recognition
by Vincent Vanhoucke (Google Voice Search)
l Deep Learningが爆発的に広がった原因
l Deep Belief Networks [Bengio+, 2007]からの理理論論的蓄積
l GPGPUなどの安い計算資源と利利⽤用⽅方法が確⽴立立された
l Dataが増えた(+dropout)
l ‘10、’11にHinton系学⽣生がGoogle等でインターン
6

7. ICML2013まとめ：Sparse, Deep, and Random
論論⽂文中のキーワードランキング
7
イメージより多いもの イメージより少ないもの
• Sparse, Random, Multiほにゃらら、Banditなどが多い
• Kernel、SVM、Reinforcement、Bayesianなどが少ない
http://www.machinedlearnings.com/2013/06/icml-2013-sparse-deep-and-random.html

8. 本⽇日のラインナップ：
バランス良良くばらけてます（強引）
l @sla : "Learning Spatio-Temporal Structure from RGB-D Videos for Human Activity...”
l @beam2d: "Local Deep Kernel Learning for Efficient Non-linear SVM Prediction”
l @conditional: "Vanishing Component Analysis”
l @jkomiyama_ : "Active Learning for Multi-Objective Optimization”
l @kisa12012 : "Large-Scale Learning with Less RAM via Randomization”
l @Quasi_quant2010 : "Topic Discovery through Data Dependent and Random Projections”
l @tabe2314 : "Fast Image Tagging”
l @unnonouno : "ELLA: An Efficient Lifelong Learning Algorithm”
l @sleepy_yoshi : "Distributed Training of Large-scale Logistic Models"
8
---Sparse
---Deep (?)
---Random
---Others(Spatio-Temporal, Component Analysis, Multi-taskDistributed)

9. l ICML2013概要
l 個⼈人的な感想
l RGB-‐‑‒D論論⽂文
Agenda

10. 個⼈人的な感想：もうi.i.dはいいのではないか
l 特に時系列列的な要素を⼊入れてる論論⽂文が圧倒的に少ない
l 実応⽤用は時系列列的な要素を含む場合がほとんどではないのか
l 「オンラインだけどサンプルはi.i.d」って応⽤用がどれほどあるのか
l ⾮非i.i.dになるととたんに理理論論解析は難しくなる、のはわかる
l が、機械学習コミュニティとしてもっとこの⽅方向に進んでほしい
10

11. 違う⽅方向性: 学習時・予測時に何らかの動的特性
l 3つのワークショップで同じような話をしていた
l Robot Learning
l Machine Learning with Test-Time Budgets
l Learning with Sequential Models
l 違うアプローチ
l Cost-sensitive Learning
l Imitation Learning / Interactive Learning
l Reinforcement Learning
l Imperative Learning (Data Search/Aggregation)
l 違うコスト設定
l 予測にコストがかかる（Anytime化、カスケード化）
l ラベルを得るのにコストがかかる
l サンプルを得るのにコストがかかる
l 各Featureを得るのにコストがかかる11

12. そういう⽅方向におけるマイルストーン的論論⽂文:
DAgger [Ross+, AISTATS’11]
l Dataset Aggregator
12
Ross et al., A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning,
AISTATS'11

13. l ICML2013概要
l 個⼈人的な感想
l RGB-‐‑‒D論論⽂文
Agenda

14. Learning Spatio-Temporal Structure from RGB-D Videos
for Human Activity Detection and Anticipation"
l 著者1: Hemi Koppula (Cornell University)
l 著者2: Ashtosh Saxena (Cornell University)
l Andrew Ngの弟⼦子、Robot/CV周辺でもりもり成果出してる
l Robot LearningでもInvited Talkやってた
l ⼊入⼒力力：RGB-D映像（⾊色＋奥⾏行行き）
l ⽬目的：⼈人とモノの関係の学習と予測
l Activity Detection: 現在の動きのラベルを予測
l モノのアフォーダンスラベル、Sub-activityラベルも含む
l Activity Anticipation: 次の動き⽅方を予測
14

15. 実際には動画をご覧ください
l http://pr.cs.cornell.edu/anticipation/
15

16. 複数種類のヒト・モノのリレーション
l Cutting-plane training of structural SVMs [Joachims+, MLJ2009]
16