輪講で作成した資料です

1. パターン認識と機械学習 上

2. 目次
・4.4 ラプラス近似（P213～217）
・4.4.1 モデルの比較とBIC（P215～217）
・4.5 ベイズロジスティック回帰（P217～220）
・4.5.1 ラプラス近似（P217～218）
・4.5.2 予測分布（P218～220）

3. 最頻値（モード）
離散分布の場合は確率関数が，連続分布の場合は密度関数が，
最大となる確率変数の値. 分布が多峰性の場合は，それぞれの
極大値を与える確率変数の値.
このプレゼンテーションでは, 最頻値を以下のように扱う.

4. アブストラクト
事後分布に, ラプラス近似を行う. ラプラス近似では, ある分布を, 最頻
値を中心としたガウス分布で近似する. 近似するガウス分布の平均を最
頻値, 分散共分散行列をヘッセ行列の逆行列とする. モデルエビデンス
でのラプラス近似についても説明する.
ベイズロジスティック回帰にラプラス近似を行い, w の事後分布を求め
る. 求めた事後分布を用いて, 予測分布を計算する.

5. 4.4 ラプラス近似

6. ベイズ的ロジスティック回帰
w の事後分布
がシグモイド関数の積となるため, w の事後分布がガウス分布にならない.
⇒ w 上で正確に積分できないので近似する.
・解析的な近似（10章）
・数値的なサンプリング（11章）
t の予測分布

7. ラプラス近似の概要
ある分布を, 最頻値を中心とするガウス分布で近似する.

8. 一変数のラプラス近似（１）
z : 連続な一変数
: 正規化係数
以下の式で表されるp(z)を仮定する.
Zの値は未知であるとする.
⇒p(z)の式はよくわかっていない.

9. 一変数のラプラス近似（２）
まず, 以下を満たす を求める.
ガウス分布の対数が変数の二次関数
⇒F(z) の対数を 付近で二次までテーラー展開する.
指数を取り,
ただし,

10. 一変数のラプラス近似（３）
指数を取り,
一変数ガウス分布の式
(4.129) にガウス分布の正規化の結果を利用して,
A > 0 （ が局所最大）の場合のみ適切な近似

11. 一変数のラプラス近似（４）
p(z)q(z)

12. 多変数のラプラス近似（１）
z : M次元の連続な変数
: 正規化係数
まず, 以下の式で表されるp(z)を仮定する.
次に, となる を求め, その点
付近で, 対数を二次までテーラー展開する.
指数を取り,

13. 多変数のラプラス近似（２）
(4.133) にガウス分布の正規化の結果を利用して,
近似が適切となるのは,
A が正定値行列の場合⇔ が局所最大である場合
（局所最小または鞍点でない）

14. ラプラス近似の特徴
最頻値を見つけ, その点でヘッセ行列を評価する必要がある.
- 最頻値を数値最適化アルゴリズムで求めることが多い.
- 多峰性を持つ場合, 一つの最頻値を選択する必要がある.
真の分布の正規化係数 Z を知る必要がない.
中心極限定理により, データが増えると近似が良くなる.

15. ラプラス近似の欠点
実数変数の場合のみにしか直接適用できない.
真の分布のある一点における局面にのみ基づく.
- 全体の特性は捉えられない.
⇒全体的な特性を捉えられるアプローチもある（10章）.

16. 4.4.1 モデルの比較とBIC

17. モデルエビデンスのラプラス近似（１）
Z : モデルエビデンス（正規化係数）
モデルエビデンス：そのモデルが妥当であるかを計る指標

18. モデルエビデンスのラプラス近似（２）
モデルの条件付けを省略すると, ベイズの定理より,
：モデルエビデンス
：尤度関数
：事前確率
とし(4.135)を適用.
ただし,

19. モデルエビデンスのラプラス近似（３）
Occcam係数：モデルの複雑さにペナルティーを科す係数
事前確率分布にガウス分布が広がっていて, 最頻値でのヘッセ行列が
非退化とすると, 定数項を省略して,

20. ベイズ情報量基準
ベイズ情報量基準, シュワルツ情報量基準
赤池情報量基準よりも, モデルの複雑さMに対するペナルティが重い
評価が簡単であるが誤った結果を与えてしまうことがある.
多くのパラメータが「well-determined」でないため, ヘッセ行列が非退化で
あるといえない.
問題点
ニューラルネットでは, もっと精度良くモデルエビデンスを推定可能

21. 4.5 ベイズロジスティック回帰

22. ベイズ的ロジスティック回帰（再掲）
w の事後分布
がシグモイド関数の積となるため, w の事後分布がガウス分布にならない.
⇒ w 上で正確に積分できないので近似する.
・解析的な近似（10章）
・数値的なサンプリング（11章）
t の予測分布

23. 4.5.1 ラプラス近似

24. ラプラス近似の概要（再掲）
ある確率密度分布を最頻値を中心とするガウス分布で近似する

25. ラプラス近似
ヘッセ行列を見つけることと等価.
多変数のラプラス近似

26. ロジスティック回帰のラプラス近似（１）
事前分布：
対数をとり, (4.140), (4.89) を代入すると,

27. ロジスティック回帰のラプラス近似（２）
：事後分布の最頻値（MAP解）
この分布を周辺化し, 予測を行う.

28. 4.5.2 予測分布

29. 予測分布（１）
予測分布にラプラス近似を行うと,
多変数の積分
⇒積分計算が難しい
ディラックのデルタ関数を導入し, 単変数の積分にする！

30. ディラックのデルタ関数
定義： を満たす関数
定理： （f（x）は任意の実連続関数）
⇒
ただし,

31. 予測分布（２）
(4.145)に(4.146)を代入して,
w の基底ベクトルとの直交成分で周辺化
ガウス分布を周辺化したものなので, この分布もガウス分布(2.3.2節)

32. aの確率分布
平均：
分散：
平均と分散がわかったので,

33. プロビット関数の逆関数による近似
計算できない
⇒プロビット関数の逆関数で近似
赤：ロジスティックシグモイド関数
青：プロビット関数の逆関数
原点で２つの関数が同じ傾きを持つように λ
を選び,

34. プロビット関数の逆関数の性質
演習4.26 より,以下の式が成り立つ.
を適用すると,
ただし,

35. 予測分布（３）
(4.153) を (4.151)に適用して,
の場所が決定境界となる.
⇒MAP値を使用して得られる決定境界と同じ.
事前分布が等しく, 決定基準が誤分類率最適化なら, 周辺化効果なし.
⇒より複雑な決定基準に対しては, 重要な役割.
変分推論（10章）で, シグモイドモデルの周辺化を説明