CVPR2012 Review           “Social interactions:   A first-person perspective”Akisato Kimura (@_akisato, @_akisato_)
何でこれを紹介しようと思ったんですか?   Social という単語に釣られました… (嘘    2                     関西CVPR勉強会 (July 29, 2012)
何でこれを紹介しようと思ったんですか?   Social という単語に釣られました… (嘘   Ego-centric visionで本質的に面白い問題はこれ!    3                       関西CVPR勉強会 (J...
何でこれを紹介しようと思ったんですか?   Social という単語に釣られました… (嘘   Ego-centric visionで本質的に面白い問題はこれ!       ライフログ? いや,スナップショットで十分だし…        ...
一言で言うと,何これ?    誰が何をしているかを予測します!5               関西CVPR勉強会 (July 29, 2012)
もう少しキチンと説明します                                みんな                                あなたを                                見ています ...
もう少しキチンと説明します                                みんな                                あなたを                                放置です  ...
もう少しキチンと説明します                                  みんな                                  あなたを                                  ...
こんなことして何が嬉しいの? リアルお友達関係が映像だけからわかります. 行動パターンが似ている人がわかります.           同一行動をしていたグループ全員         HMDをつけていた人たち (First person)  ...
大雑把な枠組10       関西CVPR勉強会 (July 29, 2012)
大雑把な枠組 HMDな人の頭部運動                     顔追跡・HMD画像                顔認識 11       関西CVPR勉強会 (July 29, 2012)
大雑把な枠組             各人の役割 HMDな人                          各人のの頭部運動                           顔向き・位置                         ...
大雑把な枠組              何らかのラベル  謎の離散隠れ変数系列             各人の役割観測特徴系列 HMDな人                          各人のの頭部運動                   ...
大雑把な枠組              何らかのラベル  謎の離散隠れ変数系列             各人の役割観測特徴系列 HMDな人                          各人のの頭部運動                   ...
顔検出・認識・顔向き推定   フリーソフト PittPatt を利用    15                    関西CVPR勉強会 (July 29, 2012)
顔検出・認識・顔向き推定   フリーソフト PittPatt を利用                                      (゜Д゜)                          http://www.pittpat...
顔検出・認識・顔向き推定   フリーソフト PittPatt を利用                                                                          (゜Д゜)        ...
実世界上の顔位置の推定   キャリブレーションができていればできる.18                関西CVPR勉強会 (July 29, 2012)
実世界上の顔位置の推定   キャリブレーションができていればできる.                 画面上での顔位置,                 顔の大きさ,                 顔向き (Yaw, Pitch, Roll...
実世界上の顔位置の推定   キャリブレーションができていればできる.                 画面上での顔位置,                 顔の大きさ,                 顔向き (Yaw, Pitch, Roll...
実世界上の顔位置の推定   キャリブレーションができていればできる.                 画面上での顔位置,     ℎ           顔の大きさ,         𝑟       顔向き (Yaw, Pitch, Roll...
実世界上の顔位置の推定   キャリブレーションができていればできる.                     画面上での顔位置,     ℎ               顔の大きさ,         𝑟           顔向き (Yaw,...
みんながどこを向いているか当てましょう   顔向きと注意位置は一致しません!       でも全く相関がないわけではない.23                    関西CVPR勉強会 (July 29, 2012)
みんながどこを向いているか当てましょう   顔向きと注意位置は一致しません!       でも全く相関がないわけではない.       たぶんこんな感じ24                    関西CVPR勉強会 (July 29, 2...
みんながどこを向いているか当てましょう   顔向きと注意位置は一致しません!       でも全く相関がないわけではない.       たぶんこんな感じ               顔向きからわかる,ぼやっと拡がる視野25        ...
みんながどこを向いているか当てましょう   顔向きと注意位置は一致しません!       でも全く相関がないわけではない.       たぶんこんな感じ               顔向きからわかる,ぼやっと拡がる視野          ...
みんながどこを向いているか当てましょう   顔向きと注意位置は一致しません!       でも全く相関がないわけではない.       たぶんこんな感じ                顔向きからわかる,ぼやっと拡がる視野         ...
注意箇所推定のためのモデル   マルコフ確率場 (MRF)のエネルギー最大化                𝑁     𝐸 𝑳|𝑷 =         𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 +         𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗      ...
注意箇所推定のためのモデル   マルコフ確率場 (MRF)のエネルギー最大化                𝑁     𝐸 𝑳|𝑷 =         𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 +         𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗      ...
注意箇所推定のためのモデル   マルコフ確率場 (MRF)のエネルギー最大化                𝑁 人数     𝐸 𝑳|𝑷 =         𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 +         𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗   ...
エネルギー関数をまじめに書くと…   尤度項   隣接項31           関西CVPR勉強会 (July 29, 2012)
エネルギー関数をまじめに書くと…   尤度項                        正面ほど高得点                        周辺視は低得点.   隣接項32           関西CVPR勉強会 (July ...
エネルギー関数をまじめに書くと…   尤度項                        正面ほど高得点                        周辺視は低得点.                   自分が自分を見ない        ...
エネルギー関数をまじめに書くと…   尤度項                        正面ほど高得点                        周辺視は低得点.                   自分が自分を見ない        ...
エネルギー関数をまじめに書くと…   尤度項                                           正面ほど高得点                                           周辺視は低得...
実はここからが本番36     関西CVPR勉強会 (July 29, 2012)
各人の役割や意図を予測するモデル   NLP業界大好き 条件付き確率場 (CRF)                  𝑛                      𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + ...
各人の役割や意図を予測するモデル   NLP業界大好き 条件付き確率場 (CRF)                  𝑛                      𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + ...
各人の役割や意図を予測するモデル   NLP業界大好き 条件付き確率場 (CRF)                  𝑛                      𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + ...
各人の役割や意図を予測するモデル    NLP業界大好き 条件付き確率場 (CRF)                   𝑛                      𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖...
各人の役割や意図を予測するモデル    NLP業界大好き 条件付き確率場 (CRF)                   𝑛 フレーム数                𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖...
各人の役割や意図を予測するモデル    NLP業界大好き 条件付き確率場 (CRF)                   𝑛 フレーム数                𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖...
各人の役割や意図を予測するモデル    NLP業界大好き 条件付き確率場 (CRF)                   𝑛 フレーム数                𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖...
各人の役割や意図を予測するモデル    NLP業界大好き 条件付き確率場 (CRF)                   𝑛 フレーム数                𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖...
CRFに突っ込む特徴量 (1)   HMDな人の近くにいる人の数を数えてみる45                関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 (1)   HMDな人の近くにいる人の数を数えてみる          5m    75度                              -75度               0m   HMDな人46   ...
CRFに突っ込む特徴量 (1)   HMDな人の近くにいる人の数を数えてみる       視野を20分割して,それを20次元のベクトルに.          人々の位置関係で誰がどう話しているかわかる.              5m  ...
CRFに突っ込む特徴量 (2)   見られている,ということを基準にした特徴48                関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 (2)   見られている,ということを基準にした特徴       𝑖さんを見ている人の数         1以上   = 𝑖さんが会話の中心にいる49                           関西CVP...
CRFに突っ込む特徴量 (2)   見られている,ということを基準にした特徴       𝑖さんを見ている人の数          1以上    = 𝑖さんが会話の中心にいる       HMDな人が𝑖さんを見ているかどうか      ...
CRFに突っ込む特徴量 (2)   見られている,ということを基準にした特徴       𝑖さんを見ている人の数          1以上    = 𝑖さんが会話の中心にいる       HMDな人が𝑖さんを見ているかどうか      ...
CRFに突っ込む特徴量 (2)   見られている,ということを基準にした特徴       𝑖さんを見ている人の数          1以上    = 𝑖さんが会話の中心にいる       HMDな人が𝑖さんを見ているかどうか      ...
CRFに突っ込む特徴量 (2)   見られている,ということを基準にした特徴       𝑖さんを見ている人の数          1以上    = 𝑖さんが会話の中心にいる       HMDな人が𝑖さんを見ているかどうか      ...
CRFに突っ込む特徴 (3)   HMDな人の頭部運動       特に,歩行中のインタラクション判別に効果的.54                     関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴 (3)   HMDな人の頭部運動       特に,歩行中のインタラクション判別に効果的.                 ① Dense optical flowを計算55                      ...
CRFに突っ込む特徴 (3)   HMDな人の頭部運動       特に,歩行中のインタラクション判別に効果的.                 ① Dense optical flowを計算                 ② 3×3の部...
CRFに突っ込む特徴 (3)   HMDな人の頭部運動       特に,歩行中のインタラクション判別に効果的.                 ① Dense optical flowを計算                 ② 3×3の部...
CRFに突っ込む特徴 (3)   HMDな人の頭部運動       特に,歩行中のインタラクション判別に効果的.                 ① Dense optical flowを計算                 ② 3×3の部...
CRFに突っ込む特徴量 まとめ   HMDな人の近くにいる人の数を数えてみる       全部で20次元59                関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 まとめ   HMDな人の近くにいる人の数を数えてみる       全部で20次元   見られている,ということを基準にした特徴       全部で4次元60                関西CVPR勉強会 (J...
CRFに突っ込む特徴量 まとめ   HMDな人の近くにいる人の数を数えてみる       全部で20次元   見られている,ということを基準にした特徴       全部で4次元   HMDな人の頭部運動       全部で36次元6...
CRFに突っ込む特徴量 まとめ   HMDな人の近くにいる人の数を数えてみる       全部で20次元   見られている,ということを基準にした特徴       全部で4次元   HMDな人の頭部運動       全部で36次元...
もう一度モデルを見直す   条件付き確率場 (CRF)                  𝑛                      𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 +         𝑤 𝑦,ℎ ...
もう一度モデルを見直す   条件付き確率場 (CRF)                  𝑛                      𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 +         𝑤 𝑦,ℎ ...
もう一度モデルを見直す   条件付き確率場 (CRF)                  𝑛                      𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 +         𝑤 𝑦,ℎ ...
もう一度モデルを見直す   条件付き確率場 (CRF)                  𝑛                      𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 =         𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 +         𝑤 𝑦,ℎ ...
で,CRFってどうやって解くの?   準ニュートン法の一種であるBFGSで解けるっぽい    67               関西CVPR勉強会 (July 29, 2012)
で,CRFってどうやって解くの?   準ニュートン法の一種であるBFGSで解けるっぽい        反省しています…これを読んで出直します…         http://d.hatena.ne.jp/nishiohirokazu/201...
データセット               http://vimeo.com/37507972         http://www.cc.gatech.edu/~afathi3/Disney/69              関西CVPR勉強会 ...
使った機材   GoPro HD HERO2: 今なら1台299USD!                     http://jp.gopro.com/hd-hero2-cameras/70                         ...
データセット 詳細スペック   8人に42時間HMDな人になってもらう.   その他含めて25人以上の団体様でテーマパークへ.        データに残ったのは25人だった模様.   1280x720 pixels, 30fpsでキャプ...
データセット 詳細スペック   8人に42時間HMDな人になってもらう.   その他含めて25人以上の団体様でテーマパークへ.        データに残ったのは25人だった模様.   1280x720 pixels, 30fpsでキャプ...
データセット 詳細スペック   8人に42時間HMDな人になってもらう.   その他含めて25人以上の団体様でテーマパークへ.        データに残ったのは25人だった模様.   1280x720 pixels, 30fpsでキャプ...
行動ラベリングの結果 (1)                       Dialogue       Discussion           MonologueTrue positive                     False ...
行動ラベリングの結果 (1)                       Dialogue       Discussion           MonologueTrue positive                        対抗手...
行動ラベリングの結果 (2)                     Walk dialogue     Walk discussion      Confusion mat.True positive                     ...
行動ラベリングの結果 (2)                     Walk dialogue     Walk discussion      Confusion mat.True positive                     ...
行動ラベリングの結果 (2)                     Walk dialogue     Walk discussion      Confusion mat.True positive                     ...
実世界における仲良し関係が明らかに   特に何も解析はしていないが,    多くのデータで突き詰めて解析すると,    何か面白い結果が出る,かも?79                関西CVPR勉強会 (July 29, 2012)
他にもたくさんできることが   グループ全員の行動パターンを知る80               関西CVPR勉強会 (July 29, 2012)
他にもたくさんできることが   グループ全員の行動パターンを知る.       たぶんこれら         Fathi, Rehg “Learning to recognize daily actions using          ...
他にもたくさんできることが   グループ全員の行動パターンを知る.       たぶんこれら         Fathi, Rehg “Learning to recognize daily actions using          ...
他にもたくさんできることが   グループ全員の行動パターンを知る.       たぶんこれら         Fathi, Rehg “Learning to recognize daily actions using          ...
参考資料   第1著者のページ (Alireza Fathi)    http://www.cc.gatech.edu/~afathi3/   2nd IEEE Workshop on Egocentric (First-Person) V...
Upcoming SlideShare
Loading in …5
×

関西CVPR勉強会 2012.7.29

1,709 views

Published on

Fathi+ "Social interactions: A first-person perspective" CVPR12 を紹介します.

Published in: Technology

関西CVPR勉強会 2012.7.29

  1. 1. CVPR2012 Review “Social interactions: A first-person perspective”Akisato Kimura (@_akisato, @_akisato_)
  2. 2. 何でこれを紹介しようと思ったんですか? Social という単語に釣られました… (嘘 2 関西CVPR勉強会 (July 29, 2012)
  3. 3. 何でこれを紹介しようと思ったんですか? Social という単語に釣られました… (嘘 Ego-centric visionで本質的に面白い問題はこれ! 3 関西CVPR勉強会 (July 29, 2012)
  4. 4. 何でこれを紹介しようと思ったんですか? Social という単語に釣られました… (嘘 Ego-centric visionで本質的に面白い問題はこれ!  ライフログ? いや,スナップショットで十分だし… http://www.ntt.co.jp/ylab/special/vol_3/index.html http://itunes.apple.com/jp/app/puno-laita-dao/id536059062 4 関西CVPR勉強会 (July 29, 2012)
  5. 5. 一言で言うと,何これ? 誰が何をしているかを予測します!5 関西CVPR勉強会 (July 29, 2012)
  6. 6. もう少しキチンと説明します みんな あなたを 見ています あなたです6 関西CVPR勉強会 (July 29, 2012)
  7. 7. もう少しキチンと説明します みんな あなたを 放置です あなたです みんな あなたを 見ています あなたです7 関西CVPR勉強会 (July 29, 2012)
  8. 8. もう少しキチンと説明します みんな あなたを 放置です あなたです みんな あなたを 見ています あなたです 画面に映る人の役割や意図を予測します!8 関西CVPR勉強会 (July 29, 2012)
  9. 9. こんなことして何が嬉しいの? リアルお友達関係が映像だけからわかります. 行動パターンが似ている人がわかります. 同一行動をしていたグループ全員 HMDをつけていた人たち (First person) (注: HMDをつけている人が自分自身を映すことはできないので,自分とは仲良くなれません.)9 関西CVPR勉強会 (July 29, 2012)
  10. 10. 大雑把な枠組10 関西CVPR勉強会 (July 29, 2012)
  11. 11. 大雑把な枠組 HMDな人の頭部運動 顔追跡・HMD画像 顔認識 11 関西CVPR勉強会 (July 29, 2012)
  12. 12. 大雑把な枠組 各人の役割 HMDな人 各人のの頭部運動 顔向き・位置 顔追跡・HMD画像 誰が誰を 顔認識 見ているか 12 関西CVPR勉強会 (July 29, 2012)
  13. 13. 大雑把な枠組 何らかのラベル 謎の離散隠れ変数系列 各人の役割観測特徴系列 HMDな人 各人のの頭部運動 顔向き・位置 顔追跡・HMD画像 誰が誰を 顔認識 見ているか 13 関西CVPR勉強会 (July 29, 2012)
  14. 14. 大雑把な枠組 何らかのラベル 謎の離散隠れ変数系列 各人の役割観測特徴系列 HMDな人 各人のの頭部運動 顔向き・位置 顔追跡・HMD画像 誰が誰を 顔認識 見ているか 14 関西CVPR勉強会 (July 29, 2012)
  15. 15. 顔検出・認識・顔向き推定 フリーソフト PittPatt を利用 15 関西CVPR勉強会 (July 29, 2012)
  16. 16. 顔検出・認識・顔向き推定 フリーソフト PittPatt を利用 (゜Д゜) http://www.pittpatt.com 16 関西CVPR勉強会 (July 29, 2012)
  17. 17. 顔検出・認識・顔向き推定 フリーソフト PittPatt を利用 (゜Д゜) http://www.pittpatt.com (゜Д゜) http://techcrunch.com/2011/07/22/google-acquires-facial-recognition-software-company-pittpatt/ 17 関西CVPR勉強会 (July 29, 2012)
  18. 18. 実世界上の顔位置の推定 キャリブレーションができていればできる.18 関西CVPR勉強会 (July 29, 2012)
  19. 19. 実世界上の顔位置の推定 キャリブレーションができていればできる. 画面上での顔位置, 顔の大きさ, 顔向き (Yaw, Pitch, Roll)19 関西CVPR勉強会 (July 29, 2012)
  20. 20. 実世界上の顔位置の推定 キャリブレーションができていればできる. 画面上での顔位置, 顔の大きさ, 顔向き (Yaw, Pitch, Roll) HMDな人からの距離 𝑑 = 𝑐/ℎ HMDな人基準の顔向き 𝜃 = 𝑟/𝑓 (𝑐, 𝑓がカメラパラメータ)20 関西CVPR勉強会 (July 29, 2012)
  21. 21. 実世界上の顔位置の推定 キャリブレーションができていればできる. 画面上での顔位置, ℎ 顔の大きさ, 𝑟 顔向き (Yaw, Pitch, Roll) HMDな人からの距離 𝑑 = 𝑐/ℎ HMDな人基準の顔向き 𝜃 = 𝑟/𝑓 (𝑐, 𝑓がカメラパラメータ)21 関西CVPR勉強会 (July 29, 2012)
  22. 22. 実世界上の顔位置の推定 キャリブレーションができていればできる. 画面上での顔位置, ℎ 顔の大きさ, 𝑟 顔向き (Yaw, Pitch, Roll) HMDな人からの距離上から見た図 𝑑 = 𝑐/ℎ HMDな人基準の顔向き ターゲット 𝜃 = 𝑟/𝑓 HMDな人 (𝑐, 𝑓がカメラパラメータ)22 関西CVPR勉強会 (July 29, 2012)
  23. 23. みんながどこを向いているか当てましょう 顔向きと注意位置は一致しません!  でも全く相関がないわけではない.23 関西CVPR勉強会 (July 29, 2012)
  24. 24. みんながどこを向いているか当てましょう 顔向きと注意位置は一致しません!  でも全く相関がないわけではない.  たぶんこんな感じ24 関西CVPR勉強会 (July 29, 2012)
  25. 25. みんながどこを向いているか当てましょう 顔向きと注意位置は一致しません!  でも全く相関がないわけではない.  たぶんこんな感じ 顔向きからわかる,ぼやっと拡がる視野25 関西CVPR勉強会 (July 29, 2012)
  26. 26. みんながどこを向いているか当てましょう 顔向きと注意位置は一致しません!  でも全く相関がないわけではない.  たぶんこんな感じ 顔向きからわかる,ぼやっと拡がる視野 その視野内に誰かいれば,その人を見ているはず26 関西CVPR勉強会 (July 29, 2012)
  27. 27. みんながどこを向いているか当てましょう 顔向きと注意位置は一致しません!  でも全く相関がないわけではない.  たぶんこんな感じ 顔向きからわかる,ぼやっと拡がる視野 その視野内に誰かいれば,その人を見ているはず そうでないときは,勝手に見ている場所を作る!27 関西CVPR勉強会 (July 29, 2012)
  28. 28. 注意箇所推定のためのモデル マルコフ確率場 (MRF)のエネルギー最大化 𝑁 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖28 関西CVPR勉強会 (July 29, 2012)
  29. 29. 注意箇所推定のためのモデル マルコフ確率場 (MRF)のエネルギー最大化 𝑁 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖 (推定したいもの) 𝑖さんが実際に見ている対象の位置𝐿 𝑓 𝑖 (観測できるもの) 𝑖さんの顔 𝑓𝑖 の 実世界での位置 𝑇 𝑓 𝑖 と顔向き 𝑉𝑓 𝑖29 関西CVPR勉強会 (July 29, 2012)
  30. 30. 注意箇所推定のためのモデル マルコフ確率場 (MRF)のエネルギー最大化 𝑁 人数 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖 尤度項 隣接項 (推定したいもの) 𝑖さんが実際に見ている対象の位置𝐿 𝑓 𝑖 (観測できるもの) 𝑖さんの顔 𝑓𝑖 の 実世界での位置 𝑇 𝑓 𝑖 と顔向き 𝑉𝑓 𝑖30 関西CVPR勉強会 (July 29, 2012)
  31. 31. エネルギー関数をまじめに書くと… 尤度項 隣接項31 関西CVPR勉強会 (July 29, 2012)
  32. 32. エネルギー関数をまじめに書くと… 尤度項 正面ほど高得点 周辺視は低得点. 隣接項32 関西CVPR勉強会 (July 29, 2012)
  33. 33. エネルギー関数をまじめに書くと… 尤度項 正面ほど高得点 周辺視は低得点. 自分が自分を見ない ような縛りを掛ける. 隣接項33 関西CVPR勉強会 (July 29, 2012)
  34. 34. エネルギー関数をまじめに書くと… 尤度項 正面ほど高得点 周辺視は低得点. 自分が自分を見ない ような縛りを掛ける. 誰かの顔を見ていれば, 高得点get! 隣接項34 関西CVPR勉強会 (July 29, 2012)
  35. 35. エネルギー関数をまじめに書くと… 尤度項 正面ほど高得点 周辺視は低得点. 自分が自分を見ない ような縛りを掛ける. 誰かの顔を見ていれば, 高得点get! 隣接項 同じ人の顔を見ていれば, 高得点get!  α-expansion的な何かで推定可能 (cf. P4右)35 関西CVPR勉強会 (July 29, 2012)
  36. 36. 実はここからが本番36 関西CVPR勉強会 (July 29, 2012)
  37. 37. 各人の役割や意図を予測するモデル NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 37 関西CVPR勉強会 (July 29, 2012)
  38. 38. 各人の役割や意図を予測するモデル NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 (推定したいもの) 行動ラベル 38 関西CVPR勉強会 (July 29, 2012)
  39. 39. 各人の役割や意図を予測するモデル NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 (推定したいもの) 行動ラベル (観測できるもの) フレーム𝑘の各種特徴量 39 関西CVPR勉強会 (July 29, 2012)
  40. 40. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 (推定したいもの) 行動ラベル(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数 (観測できるもの) フレーム𝑘の各種特徴量 40 関西CVPR勉強会 (July 29, 2012)
  41. 41. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 (推定したいもの) 行動ラベル(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数 (観測できるもの) フレーム𝑘の各種特徴量 41 関西CVPR勉強会 (July 29, 2012)
  42. 42. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 (推定したいもの) 行動ラベル(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数 (観測できるもの) フレーム𝑘の各種特徴量 42 関西CVPR勉強会 (July 29, 2012)
  43. 43. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 潜在尤度項 (推定したいもの) 行動ラベル(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数 (観測できるもの) フレーム𝑘の各種特徴量 43 関西CVPR勉強会 (July 29, 2012)
  44. 44. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 潜在尤度項 隣接項 (推定したいもの) 行動ラベル(観測の教師なしclustering結果) フレーム𝑘の離散潜在変数 (観測できるもの) フレーム𝑘の各種特徴量 44 関西CVPR勉強会 (July 29, 2012)
  45. 45. CRFに突っ込む特徴量 (1) HMDな人の近くにいる人の数を数えてみる45 関西CVPR勉強会 (July 29, 2012)
  46. 46. CRFに突っ込む特徴量 (1) HMDな人の近くにいる人の数を数えてみる 5m 75度 -75度 0m HMDな人46 関西CVPR勉強会 (July 29, 2012)
  47. 47. CRFに突っ込む特徴量 (1) HMDな人の近くにいる人の数を数えてみる  視野を20分割して,それを20次元のベクトルに.  人々の位置関係で誰がどう話しているかわかる. 5m 75度 -75度 0m HMDな人47 関西CVPR勉強会 (July 29, 2012)
  48. 48. CRFに突っ込む特徴量 (2) 見られている,ということを基準にした特徴48 関西CVPR勉強会 (July 29, 2012)
  49. 49. CRFに突っ込む特徴量 (2) 見られている,ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる49 関西CVPR勉強会 (July 29, 2012)
  50. 50. CRFに突っ込む特徴量 (2) 見られている,ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している50 関西CVPR勉強会 (July 29, 2012)
  51. 51. CRFに突っ込む特徴量 (2) 見られている,ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している  HMDな人と𝑖さんが同じ人を見ているかどうか  Yes = その人が会話の中心にいる51 関西CVPR勉強会 (July 29, 2012)
  52. 52. CRFに突っ込む特徴量 (2) 見られている,ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している  HMDな人と𝑖さんが同じ人を見ているかどうか  Yes = その人が会話の中心にいる  𝑖さんと同じ場所を見ている人の数  1以上 = その場所が注意の中心52 関西CVPR勉強会 (July 29, 2012)
  53. 53. CRFに突っ込む特徴量 (2) 見られている,ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している  HMDな人と𝑖さんが同じ人を見ているかどうか  Yes = その人が会話の中心にいる  𝑖さんと同じ場所を見ている人の数  1以上 = その場所が注意の中心  (合計,4次元の特徴)53 関西CVPR勉強会 (July 29, 2012)
  54. 54. CRFに突っ込む特徴 (3) HMDな人の頭部運動  特に,歩行中のインタラクション判別に効果的.54 関西CVPR勉強会 (July 29, 2012)
  55. 55. CRFに突っ込む特徴 (3) HMDな人の頭部運動  特に,歩行中のインタラクション判別に効果的. ① Dense optical flowを計算55 関西CVPR勉強会 (July 29, 2012)
  56. 56. CRFに突っ込む特徴 (3) HMDな人の頭部運動  特に,歩行中のインタラクション判別に効果的. ① Dense optical flowを計算 ② 3×3の部分領域に分割56 関西CVPR勉強会 (July 29, 2012)
  57. 57. CRFに突っ込む特徴 (3) HMDな人の頭部運動  特に,歩行中のインタラクション判別に効果的. ① Dense optical flowを計算 ② 3×3の部分領域に分割 ③ 各領域を左右上下成分に 分割 (全成分非負値)57 関西CVPR勉強会 (July 29, 2012)
  58. 58. CRFに突っ込む特徴 (3) HMDな人の頭部運動  特に,歩行中のインタラクション判別に効果的. ① Dense optical flowを計算 ② 3×3の部分領域に分割 ③ 各領域を左右上下成分に 分割 (全成分非負値) 合計,36次元.58 関西CVPR勉強会 (July 29, 2012)
  59. 59. CRFに突っ込む特徴量 まとめ HMDな人の近くにいる人の数を数えてみる  全部で20次元59 関西CVPR勉強会 (July 29, 2012)
  60. 60. CRFに突っ込む特徴量 まとめ HMDな人の近くにいる人の数を数えてみる  全部で20次元 見られている,ということを基準にした特徴  全部で4次元60 関西CVPR勉強会 (July 29, 2012)
  61. 61. CRFに突っ込む特徴量 まとめ HMDな人の近くにいる人の数を数えてみる  全部で20次元 見られている,ということを基準にした特徴  全部で4次元 HMDな人の頭部運動  全部で36次元61 関西CVPR勉強会 (July 29, 2012)
  62. 62. CRFに突っ込む特徴量 まとめ HMDな人の近くにいる人の数を数えてみる  全部で20次元 見られている,ということを基準にした特徴  全部で4次元 HMDな人の頭部運動  全部で36次元 全部合わせて, 60次元の特徴ベクトル/frame の完成.62 関西CVPR勉強会 (July 29, 2012)
  63. 63. もう一度モデルを見直す 条件付き確率場 (CRF) 𝑛 𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 63 関西CVPR勉強会 (July 29, 2012)
  64. 64. もう一度モデルを見直す 条件付き確率場 (CRF) 𝑛 𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸潜在変数に依存する重みで, 特徴の各次元を重み付け 64 関西CVPR勉強会 (July 29, 2012)
  65. 65. もう一度モデルを見直す 条件付き確率場 (CRF) 𝑛 𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸潜在変数に依存する重みで, 特徴の各次元を重み付け どの潜在変数が出やすいか, 行動ラベルによって変わる. 65 関西CVPR勉強会 (July 29, 2012)
  66. 66. もう一度モデルを見直す 条件付き確率場 (CRF) 𝑛 𝑛Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸潜在変数に依存する重みで, 特徴の各次元を重み付け どの潜在変数が出やすいか, 行動ラベルによって変わる. 現時点の前後での潜在変数の 変わりやすさが行動ラベル依存. 66 関西CVPR勉強会 (July 29, 2012)
  67. 67. で,CRFってどうやって解くの? 準ニュートン法の一種であるBFGSで解けるっぽい 67 関西CVPR勉強会 (July 29, 2012)
  68. 68. で,CRFってどうやって解くの? 準ニュートン法の一種であるBFGSで解けるっぽい  反省しています…これを読んで出直します… http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670 68 関西CVPR勉強会 (July 29, 2012)
  69. 69. データセット http://vimeo.com/37507972 http://www.cc.gatech.edu/~afathi3/Disney/69 関西CVPR勉強会 (July 29, 2012)
  70. 70. 使った機材 GoPro HD HERO2: 今なら1台299USD! http://jp.gopro.com/hd-hero2-cameras/70 関西CVPR勉強会 (July 29, 2012)
  71. 71. データセット 詳細スペック 8人に42時間HMDな人になってもらう. その他含めて25人以上の団体様でテーマパークへ.  データに残ったのは25人だった模様. 1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析. 71 関西CVPR勉強会 (July 29, 2012)
  72. 72. データセット 詳細スペック 8人に42時間HMDな人になってもらう. その他含めて25人以上の団体様でテーマパークへ.  データに残ったのは25人だった模様. 1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析. 全映像に手動でラベリング.  6種類の行動ラベル: (1対1)対話,議論,独り言,歩いて対話,歩いて議論,他.  行動の開始と終了も丁寧にアノテーション. 72 関西CVPR勉強会 (July 29, 2012)
  73. 73. データセット 詳細スペック 8人に42時間HMDな人になってもらう. その他含めて25人以上の団体様でテーマパークへ.  データに残ったのは25人だった模様. 1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析. 全映像に手動でラベリング.  6種類の行動ラベル: (1対1)対話,議論,独り言,歩いて対話,歩いて議論,他.  行動の開始と終了も丁寧にアノテーション. 顔向きや位置は各人1000フレームだけラベリング. 5人分を各種学習に,残り3人分をテストに. 73 関西CVPR勉強会 (July 29, 2012)
  74. 74. 行動ラベリングの結果 (1) Dialogue Discussion MonologueTrue positive False positive 水色: 位置に関する特徴だけ 緑色: HMDな人の頭部運動特徴だけ 青色: 注目度に関する特徴だけ 赤色: 全部使ってみた (提案法) 74 関西CVPR勉強会 (July 29, 2012)
  75. 75. 行動ラベリングの結果 (1) Dialogue Discussion MonologueTrue positive 対抗手法ないのでこれで勘弁してやろうか… False positive 水色: 位置に関する特徴だけ 緑色: HMDな人の頭部運動特徴だけ 青色: 注目度に関する特徴だけ 赤色: 全部使ってみた (提案法) 75 関西CVPR勉強会 (July 29, 2012)
  76. 76. 行動ラベリングの結果 (2) Walk dialogue Walk discussion Confusion mat.True positive False positive 水色: 位置に関する特徴だけ 緑色: HMDな人の頭部運動特徴だけ 青色: 注目度に関する特徴だけ 赤色: 全部使ってみた (提案法) 76 関西CVPR勉強会 (July 29, 2012)
  77. 77. 行動ラベリングの結果 (2) Walk dialogue Walk discussion Confusion mat.True positive False positive Dialogとdiscussionを区別するのは大変. 水色: 位置に関する特徴だけ 緑色: HMDな人の頭部運動特徴だけ 青色: 注目度に関する特徴だけ 赤色: 全部使ってみた (提案法) 77 関西CVPR勉強会 (July 29, 2012)
  78. 78. 行動ラベリングの結果 (2) Walk dialogue Walk discussion Confusion mat.True positive False positive Dialogとdiscussionを区別するのは大変. 水色: 位置に関する特徴だけ 緑色: HMDな人の頭部運動特徴だけ 歩いているとさらに大変. 青色: 注目度に関する特徴だけ 赤色: 全部使ってみた (提案法) 78 関西CVPR勉強会 (July 29, 2012)
  79. 79. 実世界における仲良し関係が明らかに 特に何も解析はしていないが, 多くのデータで突き詰めて解析すると, 何か面白い結果が出る,かも?79 関西CVPR勉強会 (July 29, 2012)
  80. 80. 他にもたくさんできることが グループ全員の行動パターンを知る80 関西CVPR勉強会 (July 29, 2012)
  81. 81. 他にもたくさんできることが グループ全員の行動パターンを知る.  たぶんこれら  Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012.  Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012.81 関西CVPR勉強会 (July 29, 2012)
  82. 82. 他にもたくさんできることが グループ全員の行動パターンを知る.  たぶんこれら  Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012.  Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012.  同じ,じゃないよね,まさか…82 関西CVPR勉強会 (July 29, 2012)
  83. 83. 他にもたくさんできることが グループ全員の行動パターンを知る.  たぶんこれら  Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012.  Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012.  同じ,じゃないよね,まさか… 複数のHMDの幾何拘束を使って 本質的にインタラクションの問題を解ける.  たぶんどっかで見たけど,忘却の彼方…83 関西CVPR勉強会 (July 29, 2012)
  84. 84. 参考資料 第1著者のページ (Alireza Fathi) http://www.cc.gatech.edu/~afathi3/ 2nd IEEE Workshop on Egocentric (First-Person) Vision in conjunction with CVPR2012 http://egovision12.cc.gatech.edu First-person social interaction dataset http://www.cc.gatech.edu/~afathi3/Disney/ Woodman Labs GoPro HD HERO2 http://jp.gopro.com/hd-hero2-cameras/ 数式を含む論文の読解効率化 / 西尾泰和のはてなダイアリー http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670 84 関西CVPR勉強会 (July 29, 2012)

×