Submit Search
Upload
連続変量を含む相互情報量の推定
•
1 like
•
2,994 views
Joe Suzuki
Follow
2017年3月27日 日本数学会春季大会 (於首都大学東京)
Read less
Read more
Science
Report
Share
Report
Share
1 of 18
Download now
Download to read offline
Recommended
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification
Deep Learning JP
ガウス過程入門
ガウス過程入門
ShoShimoyama
【DL輪読会】Free Lunch for Few-shot Learning: Distribution Calibration
【DL輪読会】Free Lunch for Few-shot Learning: Distribution Calibration
Deep Learning JP
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
tvmf-similarity
tvmf-similarity
Kyushu University
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
Recommended
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification
Deep Learning JP
ガウス過程入門
ガウス過程入門
ShoShimoyama
【DL輪読会】Free Lunch for Few-shot Learning: Distribution Calibration
【DL輪読会】Free Lunch for Few-shot Learning: Distribution Calibration
Deep Learning JP
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
tvmf-similarity
tvmf-similarity
Kyushu University
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用
Shohei Kumagai
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
京都大学大学院情報学研究科数理工学専攻
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
モンテカルロサンプリング
モンテカルロサンプリング
Kosei ABE
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
第52回SWO研究会チュートリアル資料
第52回SWO研究会チュートリアル資料
Takanori Ugai
AHC-Lab M1勉強会 論文の読み方・書き方
AHC-Lab M1勉強会 論文の読み方・書き方
Shinagawa Seitaro
パンでも分かるVariational Autoencoder
パンでも分かるVariational Autoencoder
ぱんいち すみもと
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
Deep Learning JP
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
harmonylab
モデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留する
Takahiro Kubo
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
GEE(一般化推定方程式)の理論
GEE(一般化推定方程式)の理論
Koichiro Gibo
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
Kenji Urai
Rubinの論文(の行間)を読んでみる-傾向スコアの理論-
Rubinの論文(の行間)を読んでみる-傾向スコアの理論-
Koichiro Gibo
RとPythonを比較する
RとPythonを比較する
Joe Suzuki
R集会@統数研
R集会@統数研
Joe Suzuki
More Related Content
What's hot
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用
Shohei Kumagai
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
京都大学大学院情報学研究科数理工学専攻
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
モンテカルロサンプリング
モンテカルロサンプリング
Kosei ABE
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
第52回SWO研究会チュートリアル資料
第52回SWO研究会チュートリアル資料
Takanori Ugai
AHC-Lab M1勉強会 論文の読み方・書き方
AHC-Lab M1勉強会 論文の読み方・書き方
Shinagawa Seitaro
パンでも分かるVariational Autoencoder
パンでも分かるVariational Autoencoder
ぱんいち すみもと
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
Deep Learning JP
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
harmonylab
モデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留する
Takahiro Kubo
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
GEE(一般化推定方程式)の理論
GEE(一般化推定方程式)の理論
Koichiro Gibo
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
Kenji Urai
Rubinの論文(の行間)を読んでみる-傾向スコアの理論-
Rubinの論文(の行間)を読んでみる-傾向スコアの理論-
Koichiro Gibo
What's hot
(20)
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
モンテカルロサンプリング
モンテカルロサンプリング
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
第52回SWO研究会チュートリアル資料
第52回SWO研究会チュートリアル資料
AHC-Lab M1勉強会 論文の読み方・書き方
AHC-Lab M1勉強会 論文の読み方・書き方
パンでも分かるVariational Autoencoder
パンでも分かるVariational Autoencoder
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
モデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留する
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
GEE(一般化推定方程式)の理論
GEE(一般化推定方程式)の理論
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
Rubinの論文(の行間)を読んでみる-傾向スコアの理論-
Rubinの論文(の行間)を読んでみる-傾向スコアの理論-
More from Joe Suzuki
RとPythonを比較する
RとPythonを比較する
Joe Suzuki
R集会@統数研
R集会@統数研
Joe Suzuki
E-learning Development of Statistics and in Duex: Practical Approaches and Th...
E-learning Development of Statistics and in Duex: Practical Approaches and Th...
Joe Suzuki
分枝限定法でモデル選択の計算量を低減する
分枝限定法でモデル選択の計算量を低減する
Joe Suzuki
連続変量を含む条件付相互情報量の推定
連続変量を含む条件付相互情報量の推定
Joe Suzuki
E-learning Design and Development for Data Science in Osaka University
E-learning Design and Development for Data Science in Osaka University
Joe Suzuki
UAI 2017
UAI 2017
Joe Suzuki
AMBN2017 サテライトワークショップ
AMBN2017 サテライトワークショップ
Joe Suzuki
CRAN Rパッケージ BNSLの概要
CRAN Rパッケージ BNSLの概要
Joe Suzuki
Forest Learning from Data
Forest Learning from Data
Joe Suzuki
A Bayesian Approach to Data Compression
A Bayesian Approach to Data Compression
Joe Suzuki
A Conjecture on Strongly Consistent Learning
A Conjecture on Strongly Consistent Learning
Joe Suzuki
A Generalization of the Chow-Liu Algorithm and its Applications to Artificial...
A Generalization of the Chow-Liu Algorithm and its Applications to Artificial...
Joe Suzuki
A Generalization of Nonparametric Estimation and On-Line Prediction for Stati...
A Generalization of Nonparametric Estimation and On-Line Prediction for Stati...
Joe Suzuki
研究紹介(学生向け)
研究紹介(学生向け)
Joe Suzuki
Bayesian Criteria based on Universal Measures
Bayesian Criteria based on Universal Measures
Joe Suzuki
MDL/Bayesian Criteria based on Universal Coding/Measure
MDL/Bayesian Criteria based on Universal Coding/Measure
Joe Suzuki
The Universal Measure for General Sources and its Application to MDL/Bayesian...
The Universal Measure for General Sources and its Application to MDL/Bayesian...
Joe Suzuki
Universal Prediction without assuming either Discrete or Continuous
Universal Prediction without assuming either Discrete or Continuous
Joe Suzuki
Bayesian network structure estimation based on the Bayesian/MDL criteria when...
Bayesian network structure estimation based on the Bayesian/MDL criteria when...
Joe Suzuki
More from Joe Suzuki
(20)
RとPythonを比較する
RとPythonを比較する
R集会@統数研
R集会@統数研
E-learning Development of Statistics and in Duex: Practical Approaches and Th...
E-learning Development of Statistics and in Duex: Practical Approaches and Th...
分枝限定法でモデル選択の計算量を低減する
分枝限定法でモデル選択の計算量を低減する
連続変量を含む条件付相互情報量の推定
連続変量を含む条件付相互情報量の推定
E-learning Design and Development for Data Science in Osaka University
E-learning Design and Development for Data Science in Osaka University
UAI 2017
UAI 2017
AMBN2017 サテライトワークショップ
AMBN2017 サテライトワークショップ
CRAN Rパッケージ BNSLの概要
CRAN Rパッケージ BNSLの概要
Forest Learning from Data
Forest Learning from Data
A Bayesian Approach to Data Compression
A Bayesian Approach to Data Compression
A Conjecture on Strongly Consistent Learning
A Conjecture on Strongly Consistent Learning
A Generalization of the Chow-Liu Algorithm and its Applications to Artificial...
A Generalization of the Chow-Liu Algorithm and its Applications to Artificial...
A Generalization of Nonparametric Estimation and On-Line Prediction for Stati...
A Generalization of Nonparametric Estimation and On-Line Prediction for Stati...
研究紹介(学生向け)
研究紹介(学生向け)
Bayesian Criteria based on Universal Measures
Bayesian Criteria based on Universal Measures
MDL/Bayesian Criteria based on Universal Coding/Measure
MDL/Bayesian Criteria based on Universal Coding/Measure
The Universal Measure for General Sources and its Application to MDL/Bayesian...
The Universal Measure for General Sources and its Application to MDL/Bayesian...
Universal Prediction without assuming either Discrete or Continuous
Universal Prediction without assuming either Discrete or Continuous
Bayesian network structure estimation based on the Bayesian/MDL criteria when...
Bayesian network structure estimation based on the Bayesian/MDL criteria when...
連続変量を含む相互情報量の推定
1.
連続変量を含む相互情報量の推定 2017年3月27日 鈴木譲 (大阪大学) 日本数学会 2017年度 春季大会 (於
首都大学東京)
2.
本講演の目的 連続でも離散でも、仮定をおかない相互情報量の推定方法 独立性の検出 漸近的に正しい値 (一致性) 離散 1993 2012 自明 一般 (離散でも連続でも) 2015年
2017年3月 (証明ができた) • 独立性検定への応用 • ゲノム解析への応用 • Rパッケージ (BNSL, 2017年3月)
3.
ゲノム解析への応用 Int. J. Approximate
Reasoning, 2017 独立性検定への応用 Entropy J., 2016 HSICとの比較
4.
ロードマップ • 推定(離散) • 推定(連続) 1.
既存の方法 2. 提案している方法 3. 独立性の検出、一致性 4. 証明について 5. Rパッケージの紹介 まとめ
5.
相互情報量 (離散) ← 筋が悪い
6.
最尤法だと、過学習で値が大きめ
7.
MDL/BICによる相互情報量の推定 (Suzuki 93) ←
が負のとき は0とする
8.
Bayesによる相互情報量の推定 (Suzuki 12) ←
が負のとき は0とする
9.
最尤法だと、過学習で値が大きめ 最尤法 MDL/BIC、Bayes
10.
連続: 正規分布を仮定する場合 相関係数の推定 に帰着される
11.
一般の相互情報量の推定 提案の手順 1. X軸、Y軸とも、順序によって、サンプルが等しい個数になるように、メッシュに区切る 2. 色々な幅のメッシュで区切り、その量子化(離散化)されたデータから相互情報量を推定する 3.
得られた相互情報量の中の最大値を、相互情報量の推定値とする。
12.
13.
離散データを入れても問題なく動作する 同じ順序のデータの間に、境界をいれない • 取りうる値が少ない場合、メッシュは収束する • サンプルに対して、取りうる値が多い場合、最適な区切りを見出す
14.
証明ができたこと 定理: 提案した一般的な相互情報量の推定アルゴリズムについて、 ← 今回初めて ←
既発表 相互情報量は、量子化しても、推定精度が大きくは落ちないが、 メッシュが細かすぎると、過学習で、値が小さくなる
15.
独立性が確率1で検出できる (証明の概略) ガンマ関数 (分割表の モデル選択の イメージ)
16.
一致性の正確なステートメント メッシュmで相互情報量がI(X,Y)であったときに それを細分化したメッシュでは、I(X,Y)を超えないことを検出 メッシュmでのデータのもとでの 条件付き相互情報量が0になることを検出 オリジナルの分布が十分細 分化されたヒストグラムで表 現されている場合の一致性 の保証
17.
Rパッケージ BNSL (Bayesian Network
Structure Learning) 2017年3月5日公開 提案アルゴリズムの他、 ベイジアンネットワーク の自動生成など 鈴木譲 (阪大) 川原純(NAIST)
18.
まとめ 連続量を含む相互情報量の推定 • 離散と連続を区別しない(順序のみをみている) • 一致性 •
独立性の検出 • 分布を仮定しない たくさんの応用とRパッケージの公開 今後の課題: 条件付き相互情報量の推定と条件付き独立性の検出
Download now