Submit Search
Upload
PRML 4.4-4.5.2 ラプラス近似
•
Download as PPTX, PDF
•
0 likes
•
309 views
K
KokiTakamiya
Follow
輪講で作成した資料です
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 35
Download now
Recommended
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#2
PRML輪読#2
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#8
PRML輪読#8
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#7
PRML輪読#7
matsuolab
東京大学PRML上巻輪読会第9回資料
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
Hiroyuki Kato
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#4
PRML輪読#4
matsuolab
PRML ベイズロジスティック回帰
PRML ベイズロジスティック回帰
hagino 3000
PRMLの勉強会の為に作成した資料です。
Prml nn
Prml nn
Shota Yasui
研究室のゼミで発表した際の資料です.
PRML2.4 指数型分布族
PRML2.4 指数型分布族
hiroki yamaoka
Recommended
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#2
PRML輪読#2
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#8
PRML輪読#8
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#7
PRML輪読#7
matsuolab
東京大学PRML上巻輪読会第9回資料
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
Hiroyuki Kato
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#4
PRML輪読#4
matsuolab
PRML ベイズロジスティック回帰
PRML ベイズロジスティック回帰
hagino 3000
PRMLの勉強会の為に作成した資料です。
Prml nn
Prml nn
Shota Yasui
研究室のゼミで発表した際の資料です.
PRML2.4 指数型分布族
PRML2.4 指数型分布族
hiroki yamaoka
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#5
PRML輪読#5
matsuolab
Prml 2.3
Prml 2.3
Yuuki Saitoh
パターン認識と機械学習(PRML)読み会第一章
PRML読み会第一章
PRML読み会第一章
Takushi Miki
このスライドは http://kazunorisakai.com/ でも公開しています。
PRML 2.4
PRML 2.4
kazunori sakai
2010/11/06 PRML復習レーン#5の発表資料
PRML4.3.3
PRML4.3.3
sleepy_yoshi
PRML 上 2.3.6 ~ 2.5.2 パターン認識と機械学習 細かく見たい人用で,パーっと見たい人には向いてないかと
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
(in Japanese) 2014/11/21 PRML勉強会の資料です。(version 2.0)「パターン認識と機械学習」の上巻2.3.1節から2.3.7節を担当します。githubで公開していますので、誤字などがありましたらpull requestをお願いします。(https://github.com/sakabar/prml_titech_2-3-1_2-3-7)
PRML_titech 2.3.1 - 2.3.7
PRML_titech 2.3.1 - 2.3.7
Takafumi Sakakibara
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#3
PRML輪読#3
matsuolab
パターン認識と機械学習(PRML)の第9章「混合モデルとEM」について説明したスライドです。文字多め。 潜在変数を持つモデルの最適化を行うことができるEMアルゴリズムについて、最初は具体的でイメージしやすいk-meansクラスタリングから説明し、最後は数式を詳細に見ていきその意味を考察します 9.1 K-meansクラスタリング 9.2 混合ガウス分布 9.3 EMアルゴリズムのもう1つの解釈 9.4 一般のEMアルゴリズム
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
パターン認識と機械学習 第4章 Pattern Recognition and Machine Learning Chapter 4
PRML 第4章
PRML 第4章
Akira Miyazawa
大阪PRML
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Yuki Matsubara
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#11
PRML輪読#11
matsuolab
研究室の輪講で使った資料です
PRML6.4
PRML6.4
hiroki yamaoka
PRML エビデンス近似
PRML エビデンス近似 3.5 3.6.1
PRML エビデンス近似 3.5 3.6.1
tmtm otm
東京大学松尾研究室におけるPRMLの輪読資料です。
PRML輪読#1
PRML輪読#1
matsuolab
PRMLの5章前半
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
PRML(パターン認識と機械学習 by Christopher M. Bishop)の2.3節の解説スライド
PRML 2.3節 - ガウス分布
PRML 2.3節 - ガウス分布
Yuki Soma
パターン認識と機械学習(第2章:確率分布)をスライドにまとめました。
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
Ryosuke Sasaki
2013年8月10~11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 2日目 2-5-3.一般化線形モデル色々~Gamma回帰と対数線形モデル~ Gamma回帰と対数線形モデルについて解説します。 サイト作ってます http://logics-of-blue.com/
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
More Related Content
What's hot
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#5
PRML輪読#5
matsuolab
Prml 2.3
Prml 2.3
Yuuki Saitoh
パターン認識と機械学習(PRML)読み会第一章
PRML読み会第一章
PRML読み会第一章
Takushi Miki
このスライドは http://kazunorisakai.com/ でも公開しています。
PRML 2.4
PRML 2.4
kazunori sakai
2010/11/06 PRML復習レーン#5の発表資料
PRML4.3.3
PRML4.3.3
sleepy_yoshi
PRML 上 2.3.6 ~ 2.5.2 パターン認識と機械学習 細かく見たい人用で,パーっと見たい人には向いてないかと
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
(in Japanese) 2014/11/21 PRML勉強会の資料です。(version 2.0)「パターン認識と機械学習」の上巻2.3.1節から2.3.7節を担当します。githubで公開していますので、誤字などがありましたらpull requestをお願いします。(https://github.com/sakabar/prml_titech_2-3-1_2-3-7)
PRML_titech 2.3.1 - 2.3.7
PRML_titech 2.3.1 - 2.3.7
Takafumi Sakakibara
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#3
PRML輪読#3
matsuolab
パターン認識と機械学習(PRML)の第9章「混合モデルとEM」について説明したスライドです。文字多め。 潜在変数を持つモデルの最適化を行うことができるEMアルゴリズムについて、最初は具体的でイメージしやすいk-meansクラスタリングから説明し、最後は数式を詳細に見ていきその意味を考察します 9.1 K-meansクラスタリング 9.2 混合ガウス分布 9.3 EMアルゴリズムのもう1つの解釈 9.4 一般のEMアルゴリズム
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
パターン認識と機械学習 第4章 Pattern Recognition and Machine Learning Chapter 4
PRML 第4章
PRML 第4章
Akira Miyazawa
大阪PRML
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Yuki Matsubara
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#11
PRML輪読#11
matsuolab
研究室の輪講で使った資料です
PRML6.4
PRML6.4
hiroki yamaoka
PRML エビデンス近似
PRML エビデンス近似 3.5 3.6.1
PRML エビデンス近似 3.5 3.6.1
tmtm otm
東京大学松尾研究室におけるPRMLの輪読資料です。
PRML輪読#1
PRML輪読#1
matsuolab
PRMLの5章前半
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
PRML(パターン認識と機械学習 by Christopher M. Bishop)の2.3節の解説スライド
PRML 2.3節 - ガウス分布
PRML 2.3節 - ガウス分布
Yuki Soma
パターン認識と機械学習(第2章:確率分布)をスライドにまとめました。
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
Ryosuke Sasaki
2013年8月10~11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 2日目 2-5-3.一般化線形モデル色々~Gamma回帰と対数線形モデル~ Gamma回帰と対数線形モデルについて解説します。 サイト作ってます http://logics-of-blue.com/
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
What's hot
(20)
PRML輪読#5
PRML輪読#5
Prml 2.3
Prml 2.3
PRML読み会第一章
PRML読み会第一章
PRML 2.4
PRML 2.4
PRML4.3.3
PRML4.3.3
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
PRML_titech 2.3.1 - 2.3.7
PRML_titech 2.3.1 - 2.3.7
PRML輪読#3
PRML輪読#3
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
PRML 第4章
PRML 第4章
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Prml4.4 ラプラス近似~ベイズロジスティック回帰
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
PRML輪読#11
PRML輪読#11
PRML6.4
PRML6.4
PRML エビデンス近似 3.5 3.6.1
PRML エビデンス近似 3.5 3.6.1
PRML輪読#1
PRML輪読#1
PRML Chapter 5
PRML Chapter 5
PRML 2.3節 - ガウス分布
PRML 2.3節 - ガウス分布
[PRML] パターン認識と機械学習(第2章:確率分布)
[PRML] パターン認識と機械学習(第2章:確率分布)
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
PRML 4.4-4.5.2 ラプラス近似
1.
パターン認識と機械学習 上
2.
目次 ・4.4 ラプラス近似(P213~217) ・4.4.1 モデルの比較とBIC(P215~217) ・4.5
ベイズロジスティック回帰(P217~220) ・4.5.1 ラプラス近似(P217~218) ・4.5.2 予測分布(P218~220)
3.
最頻値(モード) 離散分布の場合は確率関数が,連続分布の場合は密度関数が, 最大となる確率変数の値. 分布が多峰性の場合は,それぞれの 極大値を与える確率変数の値. このプレゼンテーションでは, 最頻値を以下のように扱う.
4.
アブストラクト 事後分布に, ラプラス近似を行う. ラプラス近似では,
ある分布を, 最頻 値を中心としたガウス分布で近似する. 近似するガウス分布の平均を最 頻値, 分散共分散行列をヘッセ行列の逆行列とする. モデルエビデンス でのラプラス近似についても説明する. ベイズロジスティック回帰にラプラス近似を行い, w の事後分布を求め る. 求めた事後分布を用いて, 予測分布を計算する.
5.
4.4 ラプラス近似
6.
ベイズ的ロジスティック回帰 w の事後分布 がシグモイド関数の積となるため, w
の事後分布がガウス分布にならない. ⇒ w 上で正確に積分できないので近似する. ・解析的な近似(10章) ・数値的なサンプリング(11章) t の予測分布
7.
ラプラス近似の概要 ある分布を, 最頻値を中心とするガウス分布で近似する.
8.
一変数のラプラス近似(1) z : 連続な一変数 :
正規化係数 以下の式で表されるp(z)を仮定する. Zの値は未知であるとする. ⇒p(z)の式はよくわかっていない.
9.
一変数のラプラス近似(2) まず, 以下を満たす を求める. ガウス分布の対数が変数の二次関数 ⇒F(z)
の対数を 付近で二次までテーラー展開する. 指数を取り, ただし,
10.
一変数のラプラス近似(3) 指数を取り, 一変数ガウス分布の式 (4.129) にガウス分布の正規化の結果を利用して, A >
0 ( が局所最大)の場合のみ適切な近似
11.
一変数のラプラス近似(4) p(z)q(z)
12.
多変数のラプラス近似(1) z : M次元の連続な変数 :
正規化係数 まず, 以下の式で表されるp(z)を仮定する. 次に, となる を求め, その点 付近で, 対数を二次までテーラー展開する. 指数を取り,
13.
多変数のラプラス近似(2) (4.133) にガウス分布の正規化の結果を利用して, 近似が適切となるのは, A が正定値行列の場合⇔
が局所最大である場合 (局所最小または鞍点でない)
14.
ラプラス近似の特徴 最頻値を見つけ, その点でヘッセ行列を評価する必要がある. - 最頻値を数値最適化アルゴリズムで求めることが多い. -
多峰性を持つ場合, 一つの最頻値を選択する必要がある. 真の分布の正規化係数 Z を知る必要がない. 中心極限定理により, データが増えると近似が良くなる.
15.
ラプラス近似の欠点 実数変数の場合のみにしか直接適用できない. 真の分布のある一点における局面にのみ基づく. - 全体の特性は捉えられない. ⇒全体的な特性を捉えられるアプローチもある(10章).
16.
4.4.1 モデルの比較とBIC
17.
モデルエビデンスのラプラス近似(1) Z : モデルエビデンス(正規化係数) モデルエビデンス:そのモデルが妥当であるかを計る指標
18.
モデルエビデンスのラプラス近似(2) モデルの条件付けを省略すると, ベイズの定理より, :モデルエビデンス :尤度関数 :事前確率 とし(4.135)を適用. ただし,
19.
モデルエビデンスのラプラス近似(3) Occcam係数:モデルの複雑さにペナルティーを科す係数 事前確率分布にガウス分布が広がっていて, 最頻値でのヘッセ行列が 非退化とすると, 定数項を省略して,
20.
ベイズ情報量基準 ベイズ情報量基準, シュワルツ情報量基準 赤池情報量基準よりも, モデルの複雑さMに対するペナルティが重い 評価が簡単であるが誤った結果を与えてしまうことがある. 多くのパラメータが「well-determined」でないため,
ヘッセ行列が非退化で あるといえない. 問題点 ニューラルネットでは, もっと精度良くモデルエビデンスを推定可能
21.
4.5 ベイズロジスティック回帰
22.
ベイズ的ロジスティック回帰(再掲) w の事後分布 がシグモイド関数の積となるため, w
の事後分布がガウス分布にならない. ⇒ w 上で正確に積分できないので近似する. ・解析的な近似(10章) ・数値的なサンプリング(11章) t の予測分布
23.
4.5.1 ラプラス近似
24.
ラプラス近似の概要(再掲) ある確率密度分布を最頻値を中心とするガウス分布で近似する
25.
ラプラス近似 ヘッセ行列を見つけることと等価. 多変数のラプラス近似
26.
ロジスティック回帰のラプラス近似(1) 事前分布: 対数をとり, (4.140), (4.89)
を代入すると,
27.
ロジスティック回帰のラプラス近似(2) :事後分布の最頻値(MAP解) この分布を周辺化し, 予測を行う.
28.
4.5.2 予測分布
29.
予測分布(1) 予測分布にラプラス近似を行うと, 多変数の積分 ⇒積分計算が難しい ディラックのデルタ関数を導入し, 単変数の積分にする!
30.
ディラックのデルタ関数 定義: を満たす関数 定理: (f(x)は任意の実連続関数) ⇒ ただし,
31.
予測分布(2) (4.145)に(4.146)を代入して, w の基底ベクトルとの直交成分で周辺化 ガウス分布を周辺化したものなので, この分布もガウス分布(2.3.2節)
32.
aの確率分布 平均: 分散: 平均と分散がわかったので,
33.
プロビット関数の逆関数による近似 計算できない ⇒プロビット関数の逆関数で近似 赤:ロジスティックシグモイド関数 青:プロビット関数の逆関数 原点で2つの関数が同じ傾きを持つように λ を選び,
34.
プロビット関数の逆関数の性質 演習4.26 より,以下の式が成り立つ. を適用すると, ただし,
35.
予測分布(3) (4.153) を (4.151)に適用して, の場所が決定境界となる. ⇒MAP値を使用して得られる決定境界と同じ. 事前分布が等しく,
決定基準が誤分類率最適化なら, 周辺化効果なし. ⇒より複雑な決定基準に対しては, 重要な役割. 変分推論(10章)で, シグモイドモデルの周辺化を説明
Download now