Submit Search
Upload
多変量解析の一般化
•
5 likes
•
3,115 views
Akisato Kimura
Follow
2016年9月16日に筑波大学で開催されたワークショップ「部分空間法・深層学習・大型固有値問題の出会いと融合」の講演スライドを掲載します.
Read less
Read more
Technology
Report
Share
Report
Share
1 of 55
Download now
Download to read offline
Recommended
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
ぞくパタ最終回: 13章「共クラスタリング」
ぞくパタ最終回: 13章「共クラスタリング」
Akifumi Eguchi
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
Deep Learning JP
Recommended
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
ぞくパタ最終回: 13章「共クラスタリング」
ぞくパタ最終回: 13章「共クラスタリング」
Akifumi Eguchi
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
Deep Learning JP
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
Yuya Takashina
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
スペクトラル・クラスタリング
スペクトラル・クラスタリング
Akira Miyazawa
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks
ARISE analytics
Generative Models(メタサーベイ )
Generative Models(メタサーベイ )
cvpaper. challenge
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
機械学習 入門
機械学習 入門
Hayato Maki
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
画像キャプションの自動生成
画像キャプションの自動生成
Yoshitaka Ushiku
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Hideki Tsunashima
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
異常検知 - 何を探すかよく分かっていないものを見つける方法
異常検知 - 何を探すかよく分かっていないものを見つける方法
MapR Technologies Japan
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
異常検知
異常検知
Yasuaki Sakamoto
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
はじパタ8章 svm
はじパタ8章 svm
tetsuro ito
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析
MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析
Akisato Kimura
Jokyokai
Jokyokai
Taiji Suzuki
More Related Content
What's hot
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
Yuya Takashina
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
スペクトラル・クラスタリング
スペクトラル・クラスタリング
Akira Miyazawa
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks
ARISE analytics
Generative Models(メタサーベイ )
Generative Models(メタサーベイ )
cvpaper. challenge
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
機械学習 入門
機械学習 入門
Hayato Maki
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
画像キャプションの自動生成
画像キャプションの自動生成
Yoshitaka Ushiku
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Hideki Tsunashima
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
異常検知 - 何を探すかよく分かっていないものを見つける方法
異常検知 - 何を探すかよく分かっていないものを見つける方法
MapR Technologies Japan
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
異常検知
異常検知
Yasuaki Sakamoto
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
はじパタ8章 svm
はじパタ8章 svm
tetsuro ito
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
What's hot
(20)
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
スペクトラル・クラスタリング
スペクトラル・クラスタリング
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks
Generative Models(メタサーベイ )
Generative Models(メタサーベイ )
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
機械学習 入門
機械学習 入門
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
画像キャプションの自動生成
画像キャプションの自動生成
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
異常検知 - 何を探すかよく分かっていないものを見つける方法
異常検知 - 何を探すかよく分かっていないものを見つける方法
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
異常検知
異常検知
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
はじパタ8章 svm
はじパタ8章 svm
GAN(と強化学習との関係)
GAN(と強化学習との関係)
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
Similar to 多変量解析の一般化
MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析
MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析
Akisato Kimura
Jokyokai
Jokyokai
Taiji Suzuki
EMNLP 2011 reading
EMNLP 2011 reading
正志 坪坂
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16
Akisato Kimura
Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習
Preferred Networks
Jubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組み
JubatusOfficial
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
Naoki Hayashi
2016word embbed
2016word embbed
Shin Asakawa
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
Masahiro Suzuki
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
Maeshori missing
Maeshori missing
Daisuke Ichikawa
幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Deep Learning JP
Semantic_Matching_AAAI16_論文紹介
Semantic_Matching_AAAI16_論文紹介
Masayoshi Kondo
時系列解析の使い方 - TokyoWebMining #17
時系列解析の使い方 - TokyoWebMining #17
horihorio
Overview and Roadmap
Overview and Roadmap
JubatusOfficial
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
Preferred Networks
ネットワークメタ分析入門
ネットワークメタ分析入門
Senshu University
TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vec
Shin Asakawa
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Similar to 多変量解析の一般化
(20)
MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析
MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析
Jokyokai
Jokyokai
EMNLP 2011 reading
EMNLP 2011 reading
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16
Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習
Jubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組み
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
2016word embbed
2016word embbed
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル,深層生成モデルライブラリPixyzについて
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Maeshori missing
Maeshori missing
幾何を使った統計のはなし
幾何を使った統計のはなし
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Semantic_Matching_AAAI16_論文紹介
Semantic_Matching_AAAI16_論文紹介
時系列解析の使い方 - TokyoWebMining #17
時系列解析の使い方 - TokyoWebMining #17
Overview and Roadmap
Overview and Roadmap
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
ネットワークメタ分析入門
ネットワークメタ分析入門
TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vec
全力解説!Transformer
全力解説!Transformer
More from Akisato Kimura
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Akisato Kimura
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Akisato Kimura
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
Akisato Kimura
NIPS2015 reading - Learning visual biases from human imagination
NIPS2015 reading - Learning visual biases from human imagination
Akisato Kimura
CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Global refinement of random forest"
Akisato Kimura
CVPR2015 reading "Understainding image virality" (in Japanese)
CVPR2015 reading "Understainding image virality" (in Japanese)
Akisato Kimura
Computational models of human visual attention driven by auditory cues
Computational models of human visual attention driven by auditory cues
Akisato Kimura
NIPS2014 reading - Top rank optimization in linear time
NIPS2014 reading - Top rank optimization in linear time
Akisato Kimura
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
Akisato Kimura
ICCV2013 reading: Learning to rank using privileged information
ICCV2013 reading: Learning to rank using privileged information
Akisato Kimura
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
Akisato Kimura
IJCAI13 Paper review: Large-scale spectral clustering on graphs
IJCAI13 Paper review: Large-scale spectral clustering on graphs
Akisato Kimura
関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.10.28
Akisato Kimura
関西CVPR勉強会 2012.7.29
関西CVPR勉強会 2012.7.29
Akisato Kimura
ICWSM12 Brief Review
ICWSM12 Brief Review
Akisato Kimura
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
Akisato Kimura
関西CVPRML勉強会(特定物体認識) 2012.1.14
関西CVPRML勉強会(特定物体認識) 2012.1.14
Akisato Kimura
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
Akisato Kimura
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
Akisato Kimura
立命館大学 AMLコロキウム 2011.10.20
立命館大学 AMLコロキウム 2011.10.20
Akisato Kimura
More from Akisato Kimura
(20)
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
NIPS2015 reading - Learning visual biases from human imagination
NIPS2015 reading - Learning visual biases from human imagination
CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Understainding image virality" (in Japanese)
CVPR2015 reading "Understainding image virality" (in Japanese)
Computational models of human visual attention driven by auditory cues
Computational models of human visual attention driven by auditory cues
NIPS2014 reading - Top rank optimization in linear time
NIPS2014 reading - Top rank optimization in linear time
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
ICCV2013 reading: Learning to rank using privileged information
ICCV2013 reading: Learning to rank using privileged information
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
IJCAI13 Paper review: Large-scale spectral clustering on graphs
IJCAI13 Paper review: Large-scale spectral clustering on graphs
関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.7.29
関西CVPR勉強会 2012.7.29
ICWSM12 Brief Review
ICWSM12 Brief Review
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会(特定物体認識) 2012.1.14
関西CVPRML勉強会(特定物体認識) 2012.1.14
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
人間の視覚的注意を予測するモデル - 動的ベイジアンネットワークに基づく 最新のアプローチ -
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
立命館大学 AMLコロキウム 2011.10.20
立命館大学 AMLコロキウム 2011.10.20
Recently uploaded
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
Recently uploaded
(8)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
多変量解析の一般化
1.
Copyright©2014 NTT corp. All Rights Reserved. 多変量解析の一般化と そのメディア認識への応用 木村 昭悟 (きむら
あきさと) 日本電信電話(株) コミュニケーション科学基礎研究所 E‐mail: akisato@ieee.org, @_akisato
2.
今日のtalk の あらまし 2
数多くの多変量解析を俯瞰する シンプル かつ コンパクトな表現を示します 【標準的手法】 PCA,判別分析,線形回帰,CCA etc. 【局所性導入】 MDS,局所性保存射影 etc. 【正則化】 L2ノルム正則化,graph Laplacian etc. 【カーネル導入】 カーネルPCA,normalized cuts etc. 【半教師化】 SELF,SemiCCA etc. Designing various analysis at will !! データマイニングの実施者が,それぞれの目的に 応じたテーラーメードな解析手法を設計できる.
3.
もくじ 3 1. 多変量解析とは? 2. 多変量解析の一般化 3.
新しい解析手法の作り方 4. 画像/音楽/映像認識への応用 5. まとめ 大規模固有値問題・深層学習との関係? Akisato Kimura, Masashi Sugiyama, Hitoshi Sakano, Hirokazu Kameoka "Designing various component analysis at will via generalized pairwise expression," IPSJ Transactions on Mathematical Modeling and its Applications (TOM), 2013. http://www.kecl.ntt.co.jp/people/kimura.akisato/pdf/tom2013gpe.pdf
4.
もくじ 4 1. 多変量解析とは? 簡単な導入
本発表で取り扱う多変量解析の範囲 2. 多変量解析の一般化 3. 新しい解析手法の作り方 4. 画像/音楽/映像認識への応用 5. まとめ
5.
多変量解析とは? in www.macromill.com 5
6.
代表的な多変量解析手法 6 「予測」型 回帰分析
(MLR): 複数の数量から別の数量を予測 判別分析 (FDA): 複数の変量から変量の分類を予測 「要約」型 主成分分析 (PCA): 多量の数量を要約した数量を導出 多次元尺度構成法 (MDS): 個体間距離を要約した数量群を導出
7.
パターン認識で多変量解析を使う 7 多次元尺度構成法(の拡張)で低次元埋め込み
8.
パターン認識で多変量解析を使う 8 判別分析で文字認識 筋電データから実際に筆記した文字を認識 Linderman+
“Recognition of Handwriting from Electromyography,” PLoS One, 2009
9.
Computer visionで多変量解析を使う 9 奥行きの推定に回帰分析
画像特徴量と奥行きとの関係を回帰分析で推定 Saxena+ “Learning Depth from Single Monocular Images,” Proc. NIPS2005
10.
主成分分析 (PCA) 10 多次元ベクトルとして表現される多数のサンプルから, それらの分散が大きくなる正規直交軸を見つける手法.
サンプルが多次元ガウス分布に従うときは非常に有効 そうでないときも、サンプル表現に寄与しない成分を捨てる 目的で使用されることが多い.
11.
PCAの定式化 1 11 多次元ベクトルのサンプル
簡単のため,以降はサンプル平均=0を仮定. 射影後の分散が最大になる基底 を求める 共分散行列 射影後の分散
12.
PCAの定式化 2 12 各基底が単位ベクトルとなるように正規化
Lagrange未定定数法で問題を書き直す 基底での微分 = 0 とすると 共分散行列の固有値問題を解けば良い!
13.
判別分析 (FDA) 13 多次元ベクトルとそのカテゴリで表現される 多数のサンプルから,カテゴリをよりよく分類する (正規直交ではないかもしれない)軸を見つける方法 各カテゴリのサンプルの平均を結ぶ軸
判別分析で見つけた軸
14.
FDAの定式化 1 14 カテゴリ内分散を小さく, カテゴリ間分散を大きくする基底を求めたい カテゴリ間共分散行列 カテゴリ内共分散行列
15.
FDAの定式化 2 15 カテゴリ内共分散を単位化するように正規化
要するに,目的関数の分母を1にしたい. Lagrange未定乗数法で問題を書き直す. 基底での微分 = 0 とすると 一般化固有値問題を解けば良い!
16.
一般化レイリー商で表現される多変量解析 一般化固有値問題で表現される多変量解析 本発表で扱う多変量解析
の定式化 16 ラグランジュ 未定乗数法 強調したい 抑制したい
17.
この枠組に含まれる多変量解析 1 17 標準的な手法
主成分分析 (PCA) 線形判別分析 (FDA) 線形回帰分析 (MLR) 正準相関分析 (CCA) 局所性を重視した手法 局所性保存射影 (LPP) [He+ NIPS2003] 局所線形判別分析 (LFDA) [Sugiyama JMLR2007] (後で説明します)
18.
この枠組に含まれる多変量解析 2 18 カーネル化すると…
カーネルhogehoge (hogehoge=標準的手法) クラスタリング系 Kernel k-means [Zha+ NIPS2011] Normalized cuts [Shi+ PAMI2001] Spectral clustering [Yu+ NIPS2002] 低次元埋め込み系 ISOMAP [Tenenbaum+ Science 2000] Locally linear embedding [Saul+ Science 2000] Laplacian eigenmap [Belkin+ NIPS2002]
19.
もくじ 19 1. 多変量解析とは? 2. 多変量解析の一般化
一般化の必要性: 新しい解析を簡単に作りたい どうやって一般化するの? 3. 新しい解析手法の作り方 4. 画像/音楽/映像認識への応用 5. まとめ
20.
これまで述べたこと 20 行列 を使うことで, 多変量解析が以下の形式で記述できます. 一般化固有値問題
21.
これまで述べたこと 21 行列 を使うことで, 多変量解析が以下の形式で記述できます.
射影軸が2本の場合には,以下のようになります.
22.
例えば 22 主成分分析 (PCA)
線形回帰分析 (MLR) 正準相関分析 (CCA)
23.
これから述べたいこと 23 行列 を
拡張ペアワイズ表現 で書くと, 多変量解析の一般的枠組が作れます. データ依存項 データ独立項拡張ペアワイズ表現
24.
一般化すると何がうれしいの? 24 新しい手法がざくざく作れる 行列を足すだけで良い.楽ちん.
特殊な場合には,行列のかけ算もできる. 各項の果たす役割が明確になる サンプル間の類似性をどのように考慮するか? どのような正則化を行うか?
25.
相互共分散行列 (平均=0
を仮定) 共分散行列は相互共分散行列の特殊例 サンプル間類似性を考慮した2次統計量 : 相互共分散行列と一致 共分散行列とその拡張 25
26.
サンプル間類似性を考慮した2次統計量 2次統計量のペアワイズ表現
[Sugiyama+ 2010] ペアワイズ表現 (PE) 26 和の中の積を展開
27.
ペアワイズ表現の自然な拡張 形式上は類似度行列を意識する必要はない
上記の表現を, 2次統計量の拡張ペアワイズ表現 と呼ぶ. 拡張ペアワイズ表現 (GPE) 27 Qに独立な項を導入 データ依存項 データ独立項
28.
標準的手法の拡張ペアワイズ表現 28 主成分分析 (PCA)
線形回帰分析 (MLR) 正準相関分析 (CCA) データ依存項の典型例 データ独立項の典型例
29.
データ依存項が持つ意味 29 サンプル間類似性をどう評価するか? を決定
類似度行列を明示的に設定する必要はない 既存手法では,類似度行列を明示的に設定 例: 局所性保存射影 (LPP) [He,Niyogi 2004] 類似度: 近くはより近くに,遠くはより遠くに
30.
データ独立項が持つ意味 30 正則化を取り込むことが主要な目的 例:
リッジ回帰 (MLR with L2ノルム正則化) MLRと異なるのは ここだけ!
31.
もくじ 31 1. 多変量解析とは? 2. 多変量解析の一般化 3.
新しい解析手法の作り方 簡単です.行列を足したり掛けたりするだけ. 半教師付き解析も簡単にできます. 試しに,今までになかった解析を作ってみます. 4. 画像/音楽/映像認識への応用 5. まとめ
32.
拡張ペアワイズ表現の性質 32 非負対称行列半正定値行列 GPEは和積演算に閉じている. → 複数のGPEの和や積で新しいGPEが作れる. 注: 2種類のサンプル集合を扱う際には
, とすれば良い.
33.
新しい解析手法の作り方 33 既存の2次統計量を和・積・定数倍するだけ, 所望の性質を持つ多変量解析を作れる! 例:
SELF (半教師付局所線形判別分析) [Sugiyama+2010] LFDA PCA
34.
半教師付き学習への拡張 34 各統計量を計算する母集団を操作することで 半教師付き学習への拡張が容易に! 例:
SELF ラベル付きデータだけから計算 ラベルなしデータも含めて計算 ラベルなしデータに対応する要素が全て0
35.
非線形多変量解析への拡張 35 カーネル正準相関分析 (kCCA) 正則化 (ランク落ち回避) ラプラシアン正則化 (多様体平滑化)
36.
新しい非線形解析手法を作る 36 グラム行列についてのGPEは和演算に閉じていない!
37.
新しい非線形解析手法を作る 37 通常のGPE-based 多変量解析 上と等価な多変量解析 (形式的には)データ行列 をグラム行列
で置き換える.
38.
新しい解析手法を作る のまとめ 線形解析
対象の二次統計量を和・積・正定数倍するだけ. 明示的に GPE を意識・導出する必要はない. 非線形解析 明示的に GPE を導出し,ラプラシアン項で 和・積・正定数倍をする.
39.
例えば,で作ってみた手法 1 39 半教師付き正準相関分析
SemiCCA [ICPR2010] SELFではできなかった マルチラベル分類への半教師付き学習を実現 XだけあってYがない,という場合だけでなく, YだけあってXがない,という場合も同様に扱える ↑CCA (supervised) ↑PCA (unsupervised)
40.
例えば,で作ってみた手法 2 40 正準相関分析
+ 線形判別分析 クラスラベル付きの多次元ベクトル対(x, y)を対象 例: 画像 = x, 音声 = y, ラベル = c ⇒ 映像認識・検索 クラスごとに異なる相関関係も抽出可能 ↑CCA (unsupervised) ↑FDA (supervised)
41.
実験 41 MIT-CBCL顔データの低次元埋め込み 下照明 (6方向: 0,15,…,90) 横照明 (6方向 0,15,…90) 顔向き (9方向: 0,4,…,24) 人物(10人) ・
サンプル数 = 3240枚 (10人×6下方向×6横方向×9顔向き) ・ クラス = 人物 ・ 特徴 X = 画像 (32×32 pixs) ・ 補助情報 Y = 照明情報・顔向き(3次元)
42.
実験結果: FDA 42
43.
実験結果: CCA 43
44.
実験結果: CCA+FDA 44 CCA/FDA両者の特性を併せ持つ 解析を簡易に実現! クラス分離 暗い 明るい 暗い 明るい
45.
もくじ 45 1. 多変量解析とは? 2. 多変量解析の一般化 3.
新しい解析手法の作り方 4. 大規模固有値問題・深層学習との関係 5. まとめ
46.
46Copyright©2014 NTT corp. All Rights Reserved. Paper to read (NIPS2016 accepted)
47.
47Copyright©2014 NTT corp. All Rights Reserved. 1‐page summary CNN on arbitrary graphs • With the help of spectral graph theory (or graph signal processing) • The key point is how to obtain locality and hierarchical structures. Standard CNNs can handle only regular grids, e.g. raw image pixels. The proposed method can be applied to any graphs with any types of topology, e.g. superpixel graphs.
48.
48Copyright©2014 NTT corp. All Rights Reserved. Graph Fourier transform (undirected & connected) graph : vertices (| | ),
: edges, : weighted adjacency matrix. A signal defined on the ‐th node e.g. is a pixel value on the ‐th (super)pixel. Graph Laplacian diag ⋅ : diagonal degree matrix ∑ . A normalized one can be used. / /
49.
49Copyright©2014 NTT corp. All Rights Reserved. Graph Fourier transform (cont.) The Laplacian is diagonalized as : “Fourier” bases, : “frequencies”. Graph Fourier transform (GFT) of a signal (inverse: )
50.
50Copyright©2014 NTT corp. All Rights Reserved. Spectral filtering The convolutional operator on graph : a filter, ⊙ : element‐wise Hadamard
product Learning filters on a graph thus amount to learning spectral multipliers diag : a filter ‐‐ Not localized, parameters should be trained.
51.
51Copyright©2014 NTT corp. All Rights Reserved. Main ideas (1) Laplacian‐based polynomial spectral filters : a filter : filtering ‐‐ #parameters =K ‐‐ This filter is exactly
‐localized, since , if the shortest path distance b.w. & is larger than . ‐‐ still requires operations for filtering
52.
52Copyright©2014 NTT corp. All Rights Reserved. Summarizing the points so far a • Spectral filters are ‐localized •
The number of filter parameters = • The computational cost is | | ∗ ̅ , ̅ , … , ̅ , , 2 2 /
53.
もくじ 53 1. 多変量解析とは? 2. 多変量解析の一般化 3.
新しい解析手法の作り方 4. 画像/音楽/映像認識への応用 5. まとめ
54.
まとめ 54 2次統計量を拡張ペアワイズ表現を用いて 表現することで,多変量解析を俯瞰できます. 簡単に所望の性質を持つ多変量解析を実現
2次統計量の重み付き加算 統計量計算のための母集団の操作 (それ以外の方法でももちろんOKです) データ依存項 データ独立項拡張ペアワイズ表現
55.
Thank you for
your kind attention. 55 スライドの一部をslideshareにアップします http://www.slideshare.net/akisatokimura Akisato Kimura, Ph.D @ NTT CS Labs. [E-mail] akisato <at> ieee.org [Twitter] _akisato
Download now