Submit Search
Upload
関西CVPR勉強会 2012.7.29
•
5 likes
•
1,279 views
Akisato Kimura
Follow
Fathi+ "Social interactions: A first-person perspective" CVPR12 を紹介します.
Read less
Read more
Technology
Report
Share
Report
Share
1 of 84
Download now
Download to read offline
Recommended
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
Takashi Abe
ECCV 2016 まとめ
ECCV 2016 まとめ
cvpaper. challenge
CVPR 2015 論文紹介(NTT研究所内勉強会用資料)
CVPR 2015 論文紹介(NTT研究所内勉強会用資料)
Yoshitaka Ushiku
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Akisato Kimura
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Akisato Kimura
多変量解析の一般化
多変量解析の一般化
Akisato Kimura
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
Akisato Kimura
NIPS2015 reading - Learning visual biases from human imagination
NIPS2015 reading - Learning visual biases from human imagination
Akisato Kimura
Recommended
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
Takashi Abe
ECCV 2016 まとめ
ECCV 2016 まとめ
cvpaper. challenge
CVPR 2015 論文紹介(NTT研究所内勉強会用資料)
CVPR 2015 論文紹介(NTT研究所内勉強会用資料)
Yoshitaka Ushiku
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Akisato Kimura
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Akisato Kimura
多変量解析の一般化
多変量解析の一般化
Akisato Kimura
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
Akisato Kimura
NIPS2015 reading - Learning visual biases from human imagination
NIPS2015 reading - Learning visual biases from human imagination
Akisato Kimura
CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Global refinement of random forest"
Akisato Kimura
CVPR2015 reading "Understainding image virality" (in Japanese)
CVPR2015 reading "Understainding image virality" (in Japanese)
Akisato Kimura
Computational models of human visual attention driven by auditory cues
Computational models of human visual attention driven by auditory cues
Akisato Kimura
NIPS2014 reading - Top rank optimization in linear time
NIPS2014 reading - Top rank optimization in linear time
Akisato Kimura
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
Akisato Kimura
ICCV2013 reading: Learning to rank using privileged information
ICCV2013 reading: Learning to rank using privileged information
Akisato Kimura
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
Akisato Kimura
IJCAI13 Paper review: Large-scale spectral clustering on graphs
IJCAI13 Paper review: Large-scale spectral clustering on graphs
Akisato Kimura
関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.10.28
Akisato Kimura
ICWSM12 Brief Review
ICWSM12 Brief Review
Akisato Kimura
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
Akisato Kimura
関西CVPRML勉強会(特定物体認識) 2012.1.14
関西CVPRML勉強会(特定物体認識) 2012.1.14
Akisato Kimura
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
Akisato Kimura
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
Akisato Kimura
立命館大学 AMLコロキウム 2011.10.20
立命館大学 AMLコロキウム 2011.10.20
Akisato Kimura
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16
Akisato Kimura
関西CVPRML勉強会 2011.9.23
関西CVPRML勉強会 2011.9.23
Akisato Kimura
関西CVPRML 2011.8.27
関西CVPRML 2011.8.27
Akisato Kimura
CVPR2011祭り 発表スライド
CVPR2011祭り 発表スライド
Akisato Kimura
Japan CV Day 2011 Position Talk for Panel Discussion
Japan CV Day 2011 Position Talk for Panel Discussion
Akisato Kimura
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
More Related Content
More from Akisato Kimura
CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Global refinement of random forest"
Akisato Kimura
CVPR2015 reading "Understainding image virality" (in Japanese)
CVPR2015 reading "Understainding image virality" (in Japanese)
Akisato Kimura
Computational models of human visual attention driven by auditory cues
Computational models of human visual attention driven by auditory cues
Akisato Kimura
NIPS2014 reading - Top rank optimization in linear time
NIPS2014 reading - Top rank optimization in linear time
Akisato Kimura
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
Akisato Kimura
ICCV2013 reading: Learning to rank using privileged information
ICCV2013 reading: Learning to rank using privileged information
Akisato Kimura
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
Akisato Kimura
IJCAI13 Paper review: Large-scale spectral clustering on graphs
IJCAI13 Paper review: Large-scale spectral clustering on graphs
Akisato Kimura
関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.10.28
Akisato Kimura
ICWSM12 Brief Review
ICWSM12 Brief Review
Akisato Kimura
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
Akisato Kimura
関西CVPRML勉強会(特定物体認識) 2012.1.14
関西CVPRML勉強会(特定物体認識) 2012.1.14
Akisato Kimura
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
Akisato Kimura
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
Akisato Kimura
立命館大学 AMLコロキウム 2011.10.20
立命館大学 AMLコロキウム 2011.10.20
Akisato Kimura
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16
Akisato Kimura
関西CVPRML勉強会 2011.9.23
関西CVPRML勉強会 2011.9.23
Akisato Kimura
関西CVPRML 2011.8.27
関西CVPRML 2011.8.27
Akisato Kimura
CVPR2011祭り 発表スライド
CVPR2011祭り 発表スライド
Akisato Kimura
Japan CV Day 2011 Position Talk for Panel Discussion
Japan CV Day 2011 Position Talk for Panel Discussion
Akisato Kimura
More from Akisato Kimura
(20)
CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Understainding image virality" (in Japanese)
CVPR2015 reading "Understainding image virality" (in Japanese)
Computational models of human visual attention driven by auditory cues
Computational models of human visual attention driven by auditory cues
NIPS2014 reading - Top rank optimization in linear time
NIPS2014 reading - Top rank optimization in linear time
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
ICCV2013 reading: Learning to rank using privileged information
ICCV2013 reading: Learning to rank using privileged information
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
IJCAI13 Paper review: Large-scale spectral clustering on graphs
IJCAI13 Paper review: Large-scale spectral clustering on graphs
関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.10.28
ICWSM12 Brief Review
ICWSM12 Brief Review
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会(特定物体認識) 2012.1.14
関西CVPRML勉強会(特定物体認識) 2012.1.14
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
立命館大学 AMLコロキウム 2011.10.20
立命館大学 AMLコロキウム 2011.10.20
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16
関西CVPRML勉強会 2011.9.23
関西CVPRML勉強会 2011.9.23
関西CVPRML 2011.8.27
関西CVPRML 2011.8.27
CVPR2011祭り 発表スライド
CVPR2011祭り 発表スライド
Japan CV Day 2011 Position Talk for Panel Discussion
Japan CV Day 2011 Position Talk for Panel Discussion
Recently uploaded
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Recently uploaded
(12)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
関西CVPR勉強会 2012.7.29
1.
CVPR2012 Review
“Social interactions: A first-person perspective” Akisato Kimura (@_akisato, @_akisato_)
2.
何でこれを紹介しようと思ったんですか?
Social という単語に釣られました… (嘘 2 関西CVPR勉強会 (July 29, 2012)
3.
何でこれを紹介しようと思ったんですか?
Social という単語に釣られました… (嘘 Ego-centric visionで本質的に面白い問題はこれ! 3 関西CVPR勉強会 (July 29, 2012)
4.
何でこれを紹介しようと思ったんですか?
Social という単語に釣られました… (嘘 Ego-centric visionで本質的に面白い問題はこれ! ライフログ? いや,スナップショットで十分だし… http://www.ntt.co.jp/ylab/special/vol_3/index.html http://itunes.apple.com/jp/app/puno-laita-dao/id536059062 4 関西CVPR勉強会 (July 29, 2012)
5.
一言で言うと,何これ?
誰が何をしているかを予測します! 5 関西CVPR勉強会 (July 29, 2012)
6.
もう少しキチンと説明します
みんな あなたを 見ています あなたです 6 関西CVPR勉強会 (July 29, 2012)
7.
もう少しキチンと説明します
みんな あなたを 放置です あなたです みんな あなたを 見ています あなたです 7 関西CVPR勉強会 (July 29, 2012)
8.
もう少しキチンと説明します
みんな あなたを 放置です あなたです みんな あなたを 見ています あなたです 画面に映る人の役割や意図を予測します! 8 関西CVPR勉強会 (July 29, 2012)
9.
こんなことして何が嬉しいの? リアルお友達関係が映像だけからわかります. 行動パターンが似ている人がわかります.
同一行動をしていたグループ全員 HMDをつけていた人たち (First person) (注: HMDをつけている人が自分自身を映すことはできないので,自分とは仲良くなれません.) 9 関西CVPR勉強会 (July 29, 2012)
10.
大雑把な枠組 10
関西CVPR勉強会 (July 29, 2012)
11.
大雑把な枠組 HMDな人 の頭部運動
顔追跡・ HMD画像 顔認識 11 関西CVPR勉強会 (July 29, 2012)
12.
大雑把な枠組
各人の役割 HMDな人 各人の の頭部運動 顔向き・位置 顔追跡・ HMD画像 誰が誰を 顔認識 見ているか 12 関西CVPR勉強会 (July 29, 2012)
13.
大雑把な枠組
何らかのラベル 謎の離散 隠れ変数系列 各人の役割 観測特徴系列 HMDな人 各人の の頭部運動 顔向き・位置 顔追跡・ HMD画像 誰が誰を 顔認識 見ているか 13 関西CVPR勉強会 (July 29, 2012)
14.
大雑把な枠組
何らかのラベル 謎の離散 隠れ変数系列 各人の役割 観測特徴系列 HMDな人 各人の の頭部運動 顔向き・位置 顔追跡・ HMD画像 誰が誰を 顔認識 見ているか 14 関西CVPR勉強会 (July 29, 2012)
15.
顔検出・認識・顔向き推定
フリーソフト PittPatt を利用 15 関西CVPR勉強会 (July 29, 2012)
16.
顔検出・認識・顔向き推定
フリーソフト PittPatt を利用 (゜Д゜) http://www.pittpatt.com 16 関西CVPR勉強会 (July 29, 2012)
17.
顔検出・認識・顔向き推定
フリーソフト PittPatt を利用 (゜Д゜) http://www.pittpatt.com (゜Д゜) http://techcrunch.com/2011/07/22/google-acquires-facial-recognition-software-company-pittpatt/ 17 関西CVPR勉強会 (July 29, 2012)
18.
実世界上の顔位置の推定
キャリブレーションができていればできる. 18 関西CVPR勉強会 (July 29, 2012)
19.
実世界上の顔位置の推定
キャリブレーションができていればできる. 画面上での顔位置, 顔の大きさ, 顔向き (Yaw, Pitch, Roll) 19 関西CVPR勉強会 (July 29, 2012)
20.
実世界上の顔位置の推定
キャリブレーションができていればできる. 画面上での顔位置, 顔の大きさ, 顔向き (Yaw, Pitch, Roll) HMDな人からの距離 𝑑 = 𝑐/ℎ HMDな人基準の顔向き 𝜃 = 𝑟/𝑓 (𝑐, 𝑓がカメラパラメータ) 20 関西CVPR勉強会 (July 29, 2012)
21.
実世界上の顔位置の推定
キャリブレーションができていればできる. 画面上での顔位置, ℎ 顔の大きさ, 𝑟 顔向き (Yaw, Pitch, Roll) HMDな人からの距離 𝑑 = 𝑐/ℎ HMDな人基準の顔向き 𝜃 = 𝑟/𝑓 (𝑐, 𝑓がカメラパラメータ) 21 関西CVPR勉強会 (July 29, 2012)
22.
実世界上の顔位置の推定
キャリブレーションができていればできる. 画面上での顔位置, ℎ 顔の大きさ, 𝑟 顔向き (Yaw, Pitch, Roll) HMDな人からの距離 上から見た図 𝑑 = 𝑐/ℎ HMDな人基準の顔向き ターゲット 𝜃 = 𝑟/𝑓 HMDな人 (𝑐, 𝑓がカメラパラメータ) 22 関西CVPR勉強会 (July 29, 2012)
23.
みんながどこを向いているか当てましょう
顔向きと注意位置は一致しません! でも全く相関がないわけではない. 23 関西CVPR勉強会 (July 29, 2012)
24.
みんながどこを向いているか当てましょう
顔向きと注意位置は一致しません! でも全く相関がないわけではない. たぶんこんな感じ 24 関西CVPR勉強会 (July 29, 2012)
25.
みんながどこを向いているか当てましょう
顔向きと注意位置は一致しません! でも全く相関がないわけではない. たぶんこんな感じ 顔向きからわかる,ぼやっと拡がる視野 25 関西CVPR勉強会 (July 29, 2012)
26.
みんながどこを向いているか当てましょう
顔向きと注意位置は一致しません! でも全く相関がないわけではない. たぶんこんな感じ 顔向きからわかる,ぼやっと拡がる視野 その視野内に誰かいれば,その人を見ているはず 26 関西CVPR勉強会 (July 29, 2012)
27.
みんながどこを向いているか当てましょう
顔向きと注意位置は一致しません! でも全く相関がないわけではない. たぶんこんな感じ 顔向きからわかる,ぼやっと拡がる視野 その視野内に誰かいれば,その人を見ているはず そうでないときは,勝手に見ている場所を作る! 27 関西CVPR勉強会 (July 29, 2012)
28.
注意箇所推定のためのモデル
マルコフ確率場 (MRF)のエネルギー最大化 𝑁 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖 28 関西CVPR勉強会 (July 29, 2012)
29.
注意箇所推定のためのモデル
マルコフ確率場 (MRF)のエネルギー最大化 𝑁 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖 (推定したいもの) 𝑖さんが実際に見ている対象の位置𝐿 𝑓 𝑖 (観測できるもの) 𝑖さんの顔 𝑓𝑖 の 実世界での位置 𝑇 𝑓 𝑖 と顔向き 𝑉𝑓 𝑖 29 関西CVPR勉強会 (July 29, 2012)
30.
注意箇所推定のためのモデル
マルコフ確率場 (MRF)のエネルギー最大化 𝑁 人数 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖 尤度項 隣接項 (推定したいもの) 𝑖さんが実際に見ている対象の位置𝐿 𝑓 𝑖 (観測できるもの) 𝑖さんの顔 𝑓𝑖 の 実世界での位置 𝑇 𝑓 𝑖 と顔向き 𝑉𝑓 𝑖 30 関西CVPR勉強会 (July 29, 2012)
31.
エネルギー関数をまじめに書くと…
尤度項 隣接項 31 関西CVPR勉強会 (July 29, 2012)
32.
エネルギー関数をまじめに書くと…
尤度項 正面ほど高得点 周辺視は低得点. 隣接項 32 関西CVPR勉強会 (July 29, 2012)
33.
エネルギー関数をまじめに書くと…
尤度項 正面ほど高得点 周辺視は低得点. 自分が自分を見ない ような縛りを掛ける. 隣接項 33 関西CVPR勉強会 (July 29, 2012)
34.
エネルギー関数をまじめに書くと…
尤度項 正面ほど高得点 周辺視は低得点. 自分が自分を見ない ような縛りを掛ける. 誰かの顔を見ていれば, 高得点get! 隣接項 34 関西CVPR勉強会 (July 29, 2012)
35.
エネルギー関数をまじめに書くと…
尤度項 正面ほど高得点 周辺視は低得点. 自分が自分を見ない ような縛りを掛ける. 誰かの顔を見ていれば, 高得点get! 隣接項 同じ人の顔を見ていれば, 高得点get! α-expansion的な何かで推定可能 (cf. P4右) 35 関西CVPR勉強会 (July 29, 2012)
36.
実はここからが本番 36
関西CVPR勉強会 (July 29, 2012)
37.
各人の役割や意図を予測するモデル
NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 37 関西CVPR勉強会 (July 29, 2012)
38.
各人の役割や意図を予測するモデル
NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 (推定したいもの) 行動ラベル 38 関西CVPR勉強会 (July 29, 2012)
39.
各人の役割や意図を予測するモデル
NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 (推定したいもの) 行動ラベル (観測できるもの) フレーム𝑘の各種特徴量 39 関西CVPR勉強会 (July 29, 2012)
40.
各人の役割や意図を予測するモデル
NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 (推定したいもの) 行動ラベル (観測の教師なしclustering結果) フレーム𝑘の離散潜在変数 (観測できるもの) フレーム𝑘の各種特徴量 40 関西CVPR勉強会 (July 29, 2012)
41.
各人の役割や意図を予測するモデル
NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 (推定したいもの) 行動ラベル (観測の教師なしclustering結果) フレーム𝑘の離散潜在変数 (観測できるもの) フレーム𝑘の各種特徴量 41 関西CVPR勉強会 (July 29, 2012)
42.
各人の役割や意図を予測するモデル
NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 (推定したいもの) 行動ラベル (観測の教師なしclustering結果) フレーム𝑘の離散潜在変数 (観測できるもの) フレーム𝑘の各種特徴量 42 関西CVPR勉強会 (July 29, 2012)
43.
各人の役割や意図を予測するモデル
NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 潜在尤度項 (推定したいもの) 行動ラベル (観測の教師なしclustering結果) フレーム𝑘の離散潜在変数 (観測できるもの) フレーム𝑘の各種特徴量 43 関西CVPR勉強会 (July 29, 2012)
44.
各人の役割や意図を予測するモデル
NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 潜在尤度項 隣接項 (推定したいもの) 行動ラベル (観測の教師なしclustering結果) フレーム𝑘の離散潜在変数 (観測できるもの) フレーム𝑘の各種特徴量 44 関西CVPR勉強会 (July 29, 2012)
45.
CRFに突っ込む特徴量 (1)
HMDな人の近くにいる人の数を数えてみる 45 関西CVPR勉強会 (July 29, 2012)
46.
CRFに突っ込む特徴量 (1)
HMDな人の近くにいる人の数を数えてみる 5m 75度 -75度 0m HMDな人 46 関西CVPR勉強会 (July 29, 2012)
47.
CRFに突っ込む特徴量 (1)
HMDな人の近くにいる人の数を数えてみる 視野を20分割して,それを20次元のベクトルに. 人々の位置関係で誰がどう話しているかわかる. 5m 75度 -75度 0m HMDな人 47 関西CVPR勉強会 (July 29, 2012)
48.
CRFに突っ込む特徴量 (2)
見られている,ということを基準にした特徴 48 関西CVPR勉強会 (July 29, 2012)
49.
CRFに突っ込む特徴量 (2)
見られている,ということを基準にした特徴 𝑖さんを見ている人の数 1以上 = 𝑖さんが会話の中心にいる 49 関西CVPR勉強会 (July 29, 2012)
50.
CRFに突っ込む特徴量 (2)
見られている,ということを基準にした特徴 𝑖さんを見ている人の数 1以上 = 𝑖さんが会話の中心にいる HMDな人が𝑖さんを見ているかどうか Yes = HMDな人と𝑖さんが会話している 50 関西CVPR勉強会 (July 29, 2012)
51.
CRFに突っ込む特徴量 (2)
見られている,ということを基準にした特徴 𝑖さんを見ている人の数 1以上 = 𝑖さんが会話の中心にいる HMDな人が𝑖さんを見ているかどうか Yes = HMDな人と𝑖さんが会話している HMDな人と𝑖さんが同じ人を見ているかどうか Yes = その人が会話の中心にいる 51 関西CVPR勉強会 (July 29, 2012)
52.
CRFに突っ込む特徴量 (2)
見られている,ということを基準にした特徴 𝑖さんを見ている人の数 1以上 = 𝑖さんが会話の中心にいる HMDな人が𝑖さんを見ているかどうか Yes = HMDな人と𝑖さんが会話している HMDな人と𝑖さんが同じ人を見ているかどうか Yes = その人が会話の中心にいる 𝑖さんと同じ場所を見ている人の数 1以上 = その場所が注意の中心 52 関西CVPR勉強会 (July 29, 2012)
53.
CRFに突っ込む特徴量 (2)
見られている,ということを基準にした特徴 𝑖さんを見ている人の数 1以上 = 𝑖さんが会話の中心にいる HMDな人が𝑖さんを見ているかどうか Yes = HMDな人と𝑖さんが会話している HMDな人と𝑖さんが同じ人を見ているかどうか Yes = その人が会話の中心にいる 𝑖さんと同じ場所を見ている人の数 1以上 = その場所が注意の中心 (合計,4次元の特徴) 53 関西CVPR勉強会 (July 29, 2012)
54.
CRFに突っ込む特徴 (3)
HMDな人の頭部運動 特に,歩行中のインタラクション判別に効果的. 54 関西CVPR勉強会 (July 29, 2012)
55.
CRFに突っ込む特徴 (3)
HMDな人の頭部運動 特に,歩行中のインタラクション判別に効果的. ① Dense optical flowを計算 55 関西CVPR勉強会 (July 29, 2012)
56.
CRFに突っ込む特徴 (3)
HMDな人の頭部運動 特に,歩行中のインタラクション判別に効果的. ① Dense optical flowを計算 ② 3×3の部分領域に分割 56 関西CVPR勉強会 (July 29, 2012)
57.
CRFに突っ込む特徴 (3)
HMDな人の頭部運動 特に,歩行中のインタラクション判別に効果的. ① Dense optical flowを計算 ② 3×3の部分領域に分割 ③ 各領域を左右上下成分に 分割 (全成分非負値) 57 関西CVPR勉強会 (July 29, 2012)
58.
CRFに突っ込む特徴 (3)
HMDな人の頭部運動 特に,歩行中のインタラクション判別に効果的. ① Dense optical flowを計算 ② 3×3の部分領域に分割 ③ 各領域を左右上下成分に 分割 (全成分非負値) 合計,36次元. 58 関西CVPR勉強会 (July 29, 2012)
59.
CRFに突っ込む特徴量 まとめ
HMDな人の近くにいる人の数を数えてみる 全部で20次元 59 関西CVPR勉強会 (July 29, 2012)
60.
CRFに突っ込む特徴量 まとめ
HMDな人の近くにいる人の数を数えてみる 全部で20次元 見られている,ということを基準にした特徴 全部で4次元 60 関西CVPR勉強会 (July 29, 2012)
61.
CRFに突っ込む特徴量 まとめ
HMDな人の近くにいる人の数を数えてみる 全部で20次元 見られている,ということを基準にした特徴 全部で4次元 HMDな人の頭部運動 全部で36次元 61 関西CVPR勉強会 (July 29, 2012)
62.
CRFに突っ込む特徴量 まとめ
HMDな人の近くにいる人の数を数えてみる 全部で20次元 見られている,ということを基準にした特徴 全部で4次元 HMDな人の頭部運動 全部で36次元 全部合わせて, 60次元の特徴ベクトル/frame の完成. 62 関西CVPR勉強会 (July 29, 2012)
63.
もう一度モデルを見直す
条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 63 関西CVPR勉強会 (July 29, 2012)
64.
もう一度モデルを見直す
条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 潜在変数に依存する重みで, 特徴の各次元を重み付け 64 関西CVPR勉強会 (July 29, 2012)
65.
もう一度モデルを見直す
条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 潜在変数に依存する重みで, 特徴の各次元を重み付け どの潜在変数が出やすいか, 行動ラベルによって変わる. 65 関西CVPR勉強会 (July 29, 2012)
66.
もう一度モデルを見直す
条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 潜在変数に依存する重みで, 特徴の各次元を重み付け どの潜在変数が出やすいか, 行動ラベルによって変わる. 現時点の前後での潜在変数の 変わりやすさが行動ラベル依存. 66 関西CVPR勉強会 (July 29, 2012)
67.
で,CRFってどうやって解くの?
準ニュートン法の一種であるBFGSで解けるっぽい 67 関西CVPR勉強会 (July 29, 2012)
68.
で,CRFってどうやって解くの?
準ニュートン法の一種であるBFGSで解けるっぽい 反省しています…これを読んで出直します… http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670 68 関西CVPR勉強会 (July 29, 2012)
69.
データセット
http://vimeo.com/37507972 http://www.cc.gatech.edu/~afathi3/Disney/ 69 関西CVPR勉強会 (July 29, 2012)
70.
使った機材
GoPro HD HERO2: 今なら1台299USD! http://jp.gopro.com/hd-hero2-cameras/ 70 関西CVPR勉強会 (July 29, 2012)
71.
データセット 詳細スペック
8人に42時間HMDな人になってもらう. その他含めて25人以上の団体様でテーマパークへ. データに残ったのは25人だった模様. 1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析. 71 関西CVPR勉強会 (July 29, 2012)
72.
データセット 詳細スペック
8人に42時間HMDな人になってもらう. その他含めて25人以上の団体様でテーマパークへ. データに残ったのは25人だった模様. 1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析. 全映像に手動でラベリング. 6種類の行動ラベル: (1対1)対話,議論,独り言,歩いて対話,歩いて議論,他. 行動の開始と終了も丁寧にアノテーション. 72 関西CVPR勉強会 (July 29, 2012)
73.
データセット 詳細スペック
8人に42時間HMDな人になってもらう. その他含めて25人以上の団体様でテーマパークへ. データに残ったのは25人だった模様. 1280x720 pixels, 30fpsでキャプチャ,15fpsにして解析. 全映像に手動でラベリング. 6種類の行動ラベル: (1対1)対話,議論,独り言,歩いて対話,歩いて議論,他. 行動の開始と終了も丁寧にアノテーション. 顔向きや位置は各人1000フレームだけラベリング. 5人分を各種学習に,残り3人分をテストに. 73 関西CVPR勉強会 (July 29, 2012)
74.
行動ラベリングの結果 (1)
Dialogue Discussion Monologue True positive False positive 水色: 位置に関する特徴だけ 緑色: HMDな人の頭部運動特徴だけ 青色: 注目度に関する特徴だけ 赤色: 全部使ってみた (提案法) 74 関西CVPR勉強会 (July 29, 2012)
75.
行動ラベリングの結果 (1)
Dialogue Discussion Monologue True positive 対抗手法ないのでこれで勘弁してやろうか… False positive 水色: 位置に関する特徴だけ 緑色: HMDな人の頭部運動特徴だけ 青色: 注目度に関する特徴だけ 赤色: 全部使ってみた (提案法) 75 関西CVPR勉強会 (July 29, 2012)
76.
行動ラベリングの結果 (2)
Walk dialogue Walk discussion Confusion mat. True positive False positive 水色: 位置に関する特徴だけ 緑色: HMDな人の頭部運動特徴だけ 青色: 注目度に関する特徴だけ 赤色: 全部使ってみた (提案法) 76 関西CVPR勉強会 (July 29, 2012)
77.
行動ラベリングの結果 (2)
Walk dialogue Walk discussion Confusion mat. True positive False positive Dialogとdiscussionを区別するのは大変. 水色: 位置に関する特徴だけ 緑色: HMDな人の頭部運動特徴だけ 青色: 注目度に関する特徴だけ 赤色: 全部使ってみた (提案法) 77 関西CVPR勉強会 (July 29, 2012)
78.
行動ラベリングの結果 (2)
Walk dialogue Walk discussion Confusion mat. True positive False positive Dialogとdiscussionを区別するのは大変. 水色: 位置に関する特徴だけ 緑色: HMDな人の頭部運動特徴だけ 歩いているとさらに大変. 青色: 注目度に関する特徴だけ 赤色: 全部使ってみた (提案法) 78 関西CVPR勉強会 (July 29, 2012)
79.
実世界における仲良し関係が明らかに
特に何も解析はしていないが, 多くのデータで突き詰めて解析すると, 何か面白い結果が出る,かも? 79 関西CVPR勉強会 (July 29, 2012)
80.
他にもたくさんできることが
グループ全員の行動パターンを知る 80 関西CVPR勉強会 (July 29, 2012)
81.
他にもたくさんできることが
グループ全員の行動パターンを知る. たぶんこれら Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012. Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012. 81 関西CVPR勉強会 (July 29, 2012)
82.
他にもたくさんできることが
グループ全員の行動パターンを知る. たぶんこれら Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012. Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012. 同じ,じゃないよね,まさか… 82 関西CVPR勉強会 (July 29, 2012)
83.
他にもたくさんできることが
グループ全員の行動パターンを知る. たぶんこれら Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012. Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012. 同じ,じゃないよね,まさか… 複数のHMDの幾何拘束を使って 本質的にインタラクションの問題を解ける. たぶんどっかで見たけど,忘却の彼方… 83 関西CVPR勉強会 (July 29, 2012)
84.
参考資料
第1著者のページ (Alireza Fathi) http://www.cc.gatech.edu/~afathi3/ 2nd IEEE Workshop on Egocentric (First-Person) Vision in conjunction with CVPR2012 http://egovision12.cc.gatech.edu First-person social interaction dataset http://www.cc.gatech.edu/~afathi3/Disney/ Woodman Labs GoPro HD HERO2 http://jp.gopro.com/hd-hero2-cameras/ 数式を含む論文の読解効率化 / 西尾泰和のはてなダイアリー http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670 84 関西CVPR勉強会 (July 29, 2012)
Download now