Submit Search
Upload
PRML2.4 指数型分布族
•
Download as PPTX, PDF
•
0 likes
•
1,437 views
H
hiroki yamaoka
Follow
研究室のゼミで発表した際の資料です.
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 24
Download now
Recommended
PRML 2.4
PRML 2.4
kazunori sakai
このスライドは http://kazunorisakai.com/ でも公開しています。
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
EMアルゴリズムについてのスライド 2014.06.26@ATR
Chapter2.3.6
Chapter2.3.6
Takuya Minagawa
PRML輪読#2
PRML輪読#2
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#3
PRML輪読#3
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
Hiroyuki Kato
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
須山敦志著 MLPシリーズベイズ深層学習の説明資料です。
Recommended
PRML 2.4
PRML 2.4
kazunori sakai
このスライドは http://kazunorisakai.com/ でも公開しています。
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
EMアルゴリズムについてのスライド 2014.06.26@ATR
Chapter2.3.6
Chapter2.3.6
Takuya Minagawa
PRML輪読#2
PRML輪読#2
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#3
PRML輪読#3
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
Hiroyuki Kato
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
須山敦志著 MLPシリーズベイズ深層学習の説明資料です。
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
6/24京大PRML輪講(第3回)での発表資料. 第3章〜3.2まで
Prml 2.3
Prml 2.3
Yuuki Saitoh
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
Ryosuke Sasaki
パターン認識と機械学習(第2章:確率分布)をスライドにまとめました。
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
PRML輪読#1
PRML輪読#1
matsuolab
東京大学松尾研究室におけるPRMLの輪読資料です。
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです.数理・計算科学チュートリアル実践のチュートリアル資料です.引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください. 以下,エラッタ. * 52 of 80:KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80:2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80:AICの第2項は d/2n ではなく d/n. * 76 of 80:βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗することはWBIC導出では本質的な仮定となる.
PRML輪読#7
PRML輪読#7
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
Hiroshi Nakagawa
機械学習でよく使う線形代数の公式です。行列やlog行列式の微分、逆行列の微分、2次形式のtraceでの記述、ブロック行列の逆行列などの公式が書かれています。
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
2014.06.08 「ベイズ推定による多変量解析入門」@広島大学 ベイズ推定とマルコフ連鎖モンテカルロ法について解説しています。 当日動かしたギブスサンプリングのアニメーションは, 以下のサイトで紹介されたコードを参考にしています。 http://qiita.com/yagays/items/5bde6addf228b1fe24e6
pymcとpystanでベイズ推定してみた話
pymcとpystanでベイズ推定してみた話
Classi.corp
mcmcをPythonで行うためのパッケージ比較についての話
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
PRML3.5章 大阪PRML(予定)
PRML輪読#11
PRML輪読#11
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML読み会第一章
PRML読み会第一章
Takushi Miki
パターン認識と機械学習(PRML)読み会第一章
[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎
Deep Learning JP
2017/11/13 Deep Learning JP: http://deeplearning.jp/seminar-2/
関数データ解析の概要とその方法
関数データ解析の概要とその方法
Hidetoshi Matsui
関数データ解析とはどういうものか、どのような場面で用いられるかについてまとめてみました。
PRML読書会#4資料+補足
PRML読書会#4資料+補足
Hiromasa Ohashi
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
PRML第一章のガウス分布の最尤推定からベイズ曲線フィッティングまでを説明しています。ベイズ曲線フィッティングについては、実装しました。さらに、orderを増やすこととサンプル数に着目した過学習の説明も行っています。
PRML輪読#13
PRML輪読#13
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#5
PRML輪読#5
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML1.5
PRML1.5
hiroki yamaoka
決定理論
PRML1.3
PRML1.3
hiroki yamaoka
研究室内の輪講で使った資料です
More Related Content
What's hot
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
6/24京大PRML輪講(第3回)での発表資料. 第3章〜3.2まで
Prml 2.3
Prml 2.3
Yuuki Saitoh
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
Ryosuke Sasaki
パターン認識と機械学習(第2章:確率分布)をスライドにまとめました。
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
PRML輪読#1
PRML輪読#1
matsuolab
東京大学松尾研究室におけるPRMLの輪読資料です。
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです.数理・計算科学チュートリアル実践のチュートリアル資料です.引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください. 以下,エラッタ. * 52 of 80:KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80:2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80:AICの第2項は d/2n ではなく d/n. * 76 of 80:βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗することはWBIC導出では本質的な仮定となる.
PRML輪読#7
PRML輪読#7
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
Hiroshi Nakagawa
機械学習でよく使う線形代数の公式です。行列やlog行列式の微分、逆行列の微分、2次形式のtraceでの記述、ブロック行列の逆行列などの公式が書かれています。
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
2014.06.08 「ベイズ推定による多変量解析入門」@広島大学 ベイズ推定とマルコフ連鎖モンテカルロ法について解説しています。 当日動かしたギブスサンプリングのアニメーションは, 以下のサイトで紹介されたコードを参考にしています。 http://qiita.com/yagays/items/5bde6addf228b1fe24e6
pymcとpystanでベイズ推定してみた話
pymcとpystanでベイズ推定してみた話
Classi.corp
mcmcをPythonで行うためのパッケージ比較についての話
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
PRML3.5章 大阪PRML(予定)
PRML輪読#11
PRML輪読#11
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML読み会第一章
PRML読み会第一章
Takushi Miki
パターン認識と機械学習(PRML)読み会第一章
[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎
Deep Learning JP
2017/11/13 Deep Learning JP: http://deeplearning.jp/seminar-2/
関数データ解析の概要とその方法
関数データ解析の概要とその方法
Hidetoshi Matsui
関数データ解析とはどういうものか、どのような場面で用いられるかについてまとめてみました。
PRML読書会#4資料+補足
PRML読書会#4資料+補足
Hiromasa Ohashi
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
PRML第一章のガウス分布の最尤推定からベイズ曲線フィッティングまでを説明しています。ベイズ曲線フィッティングについては、実装しました。さらに、orderを増やすこととサンプル数に着目した過学習の説明も行っています。
PRML輪読#13
PRML輪読#13
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#5
PRML輪読#5
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
What's hot
(20)
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Prml 2.3
Prml 2.3
ベイズ統計入門
ベイズ統計入門
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
PRML輪読#1
PRML輪読#1
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
PRML輪読#7
PRML輪読#7
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
pymcとpystanでベイズ推定してみた話
pymcとpystanでベイズ推定してみた話
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
PRML輪読#11
PRML輪読#11
PRML読み会第一章
PRML読み会第一章
[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎
関数データ解析の概要とその方法
関数データ解析の概要とその方法
PRML読書会#4資料+補足
PRML読書会#4資料+補足
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
PRML輪読#13
PRML輪読#13
PRML輪読#5
PRML輪読#5
More from hiroki yamaoka
PRML1.5
PRML1.5
hiroki yamaoka
決定理論
PRML1.3
PRML1.3
hiroki yamaoka
研究室内の輪講で使った資料です
DQN
DQN
hiroki yamaoka
研究室内の発表で使った資料です
PRML6.4
PRML6.4
hiroki yamaoka
研究室の輪講で使った資料です
PRML9.3
PRML9.3
hiroki yamaoka
研究室の輪講で使った資料です
PRML4.3
PRML4.3
hiroki yamaoka
研究室の輪講で使った資料です
PRML5.5
PRML5.5
hiroki yamaoka
研究室の輪講で使った資料です
強化学習6章
強化学習6章
hiroki yamaoka
研究室内の発表資料です
強化学習5章
強化学習5章
hiroki yamaoka
研究室内の発表資料です
強化学習4章
強化学習4章
hiroki yamaoka
研究室内発表で使った資料です
強化学習3章
強化学習3章
hiroki yamaoka
研究室内発表で使った資料です
強化学習2章
強化学習2章
hiroki yamaoka
研究室内発表で使った資料です
強化学習1章
強化学習1章
hiroki yamaoka
研究室内発表で使った資料です
RL_chapter1_to_chapter4
RL_chapter1_to_chapter4
hiroki yamaoka
研究室内発表で使った資料です
More from hiroki yamaoka
(14)
PRML1.5
PRML1.5
PRML1.3
PRML1.3
DQN
DQN
PRML6.4
PRML6.4
PRML9.3
PRML9.3
PRML4.3
PRML4.3
PRML5.5
PRML5.5
強化学習6章
強化学習6章
強化学習5章
強化学習5章
強化学習4章
強化学習4章
強化学習3章
強化学習3章
強化学習2章
強化学習2章
強化学習1章
強化学習1章
RL_chapter1_to_chapter4
RL_chapter1_to_chapter4
PRML2.4 指数型分布族
1.
2.4 指数型分布族
2.
目次 2.4 指数型分布族 2.4.1 最尤推定と十分統計量 2.4.2
共役事前分布
3.
指数型分布族 [定義] (The
Exponential Family) 𝐱上の指数型分布族は,𝜼をパラメータとし,下記で定義される分布の集合 𝐱 : スカラー,ベクトル,離散,連続どれでも可 𝜼 : 分布の自然パラメータ 𝐮 𝐱 : 𝐱の任意の関数 𝑔 𝜼 : 正規化係数 ℎ(𝐱) : 残り (今回はあまり興味ない)
4.
指数型分布族の何が嬉しいか ・モーメント(期待値や分散など)を比較的簡単に求めることが可能(2.4.1) ・パラメータの最尤推定量がデータの平均から求まる(2.4.1) (いちいち対数尤度をパラメータで微分してゼロの計算をしなくていい) ・共役事前分布が存在する(2.4.2)
5.
指数型分布族に属する確率分布 ・ベルヌーイ分布 ・多項分布 ・一変数ガウス分布 ベルヌーイ分布が指数型分布族に属することを確認していく
6.
ベルヌーイ分布(Bernoulli distribution) (1/2) と比較して を𝜇について解くと, ロジスティックシグモイド関数
7.
∵ ベルヌーイ分布(Bernoulli distribution) (2/2) と比較して 1 1 1
( ) 1 ( ) 1 1 1 e e e e ∴ ベルヌーイ分布は指数型分布族に属する
8.
指数型分布族に属する確率分布 ・ベルヌーイ分布 ・多項分布(カテゴリ分布) ・一変数ガウス分布 多項分布(カテゴリ分布)が指数型分布族に属することを確認していく
9.
カテゴリ分布と多項分布 ・カテゴリ分布(categorical distribution) ベルヌーイ分布をM次元へ拡張 ・多項分布(multinomial distribution) カテゴリ分布における施行をN回繰り返す(カテゴリ分布の拡張)
10.
多項分布(multinomial distribution) (1/4) ( 𝜼
= 𝜂1, … , 𝜂 𝑀 𝑇 ) と比較して, 𝜂 𝑘 = ln 𝜇 𝑘 とすると ( 𝐱 = 𝑥1, … , 𝑥 𝑀 𝑇 ) 𝐮 𝐱 = 𝐱 ℎ 𝐱 = 1 𝑔 𝜼 = 1 より, は独立ではない
11.
多項分布(multinomial distribution) (2/4) M-1個のパラメータのみで分布を表現した方が便利なこともある と比較して
12.
多項分布(multinomial distribution) (3/4) 代入 ソフトマックス関数 𝜂1 =
2.0, 𝜂2 = 1.5, 𝜂3 = 0.5 の時, 𝜇1 = 0.55, 𝜇2 = 0.33, 𝜇3 = 0.12 となり,出力を正規化し,確率 へと変換することができる
13.
多項分布(multinomial distribution) (4/4) と比較して ∴ 多項分布(カテゴリ分布)は指数型分布族に属する
14.
指数型分布族に属する確率分布 ・ベルヌーイ分布 ・多項分布(カテゴリ分布) ・一変数ガウス分布 一変数ガウス分布が指数型分布族に属することを確認していく
15.
一変数ガウス分布 2 2 2 2
22 2 22 2 22 1 ( | , ) exp 2 22 1 1 exp exp 2 22 x x p x x x と比較して ∴ 一変数ガウス分布は指数型分布族に属する (多変量は演習2.57)
16.
指数型分布族に属する主な確率分布 代表的な分布 指数分布族でない分布の例 ・ベルヌーイ分布 ・スチューデントの𝘁分布 ・多項分布
・混合分布 ・ガウス分布 ・二項分布 ・ポアソン分布 ・ディリクレ分布 ・ウィシャート分布 ・ガンマ分布 ・ベータ分布 ・フォンミーゼス分布 演習2.56で確認
17.
2.4.1 最尤推定と十分統計量 (Maximum likelihood
and sufficient statistics)
18.
-説明の流れ- ① 十分統計量の説明 ② 指数型分布族のパラメータ𝜼を求める ③
最尤推定を用いて最尤推定量𝜼 𝑀𝐿を推定する ②と③から𝜼 𝑀𝐿が𝜼に一致することの確認
19.
ある分布から得られた標本𝑋のうち,その分布のパラメータθの推定のために十 分な情報を含んだ統計量𝑇(𝑋)を十分統計量と呼び,以下の式を満たす. パラメータ(母数):母集団を要約する値 ex) 母集団の平均,分散 etc... 統計量𝑇(𝑋)
:標本を要約する(𝑋の)関数 ex) 標本平均,標本分散 etc... 意味:統計量𝑇(𝑋)の情報が与えられると𝑋の条件付き分布はもはやパラメータθ に依存しない → つまり,ある統計量が十分であるとき,その統計量がパラメータと同 程度の価値のある情報を持っていると解釈できる 十分統計量とは
20.
指数型分布族の一般形のパラメータ𝜼を求める (2.195) の,𝜼についての勾配を求 める 左辺2項目を右辺に移項してから両辺を(2.195)で割ると, したがって, (演習2.58より) ・より高次のモーメントについても同様 ・指数型分布族の分布を正規化できれば,その分布のモーメントは単に微分す れば求まる.
21.
最尤推定で指数型分布族の一般形のパラメータ𝜼を推定 データ集合𝐱{=܆1, ... ,
𝐱 𝑁} ( 𝐱1, ... , 𝐱 𝑁 はi.i.d ) に対する尤 度関数 最尤推定量𝜼 𝑀𝐿が満たすべき条件 (対数尤度の𝜼についての勾配がゼロ) (2.228) ・最尤推定量𝜼 𝑀𝐿は 𝑛 𝐮( 𝐱 𝑛)のみに依存 ・ 𝑛 𝐮( 𝐱 𝑛)は十分統計量 (フィッシャーの因子分解定理) → 十分統計量の性質より,データ集合全体を保持する必要なし 最尤推定では十分統計量の値のみを保持すれば良い 𝑁→∞なら(2.228)の右辺は大数の法則より𝔼 𝐮 𝐱 (𝜼 𝑀𝐿は真の値𝜼に一致)
22.
2.4.2 共役事前分布(Conjugate priors)
23.
対応関係 共役事前分布 ベルヌーイ,二項分布 ベータ分布 多項分布 ディリクレ分布 一変数ガウス分布(平均未知)
一変数ガウス分布 一変数ガウス分布(精度未知) ガンマ分布 一変数ガウス分布(両方未知) ガウス-ガンマ分布 多変量ガウス分布(平均未知) 多変量ガウス分布 多変量ガウス分布(精度未知) ウィシャート分布 多変量ガウス分布(両方未知) ガウス-ウィシャート分布
24.
え 指数型分布族の共役事前分布 指数型分布族の任意の分布について以下の形の共役事前分布が存在 : 正規化係数 尤度関数 と共役事前分布の積 𝜈
: 有効な事前の仮想観測値の数と解釈 は確かに事前分布の形
Editor's Notes
十分統計量より良い完備十分統計量
最尤推定量は十分統計量
Download now