「パターン認識と機械学習(PRML)」読書会（第８回） (http://sites.google.com/site/ikomadokushokai/prml/prml08)発表資料

1. PRML勉強会(第8回)
坪坂 正志
Twitter @tsubosaka
Mail: m{dot}tsubosaka@gmail.com
2009/10/24 PRML勉強会第8回 1

2. 概要
• 6.4.5 ガウス過程による分類
– ロジスティックシグモイド関数を利用
– 解析的に解くのは難しい
• ラプラス近似(6.4.6 今回解説)
• 変分推論
• EP法
• 6.4.6 ラプラス近似
– 3回目(4.4,5.7)
– あともう一回出ます(7.2.3)
2009/10/24 PRML勉強会第8回 2

3. [復習]ラプラス近似
• 確率分布 のモードを としたときに、確
率分布を と近似する方
法
–
• これは を においてテイラー展開して、
2次近似を行っていることに相当する。
• モードは適当な数値解析手法を用いて求め
ることが多い
2009/10/24 PRML勉強会第8回 3

4. ロジスティック回帰(4.3.2)
• ２クラス
• 入力変数
• 特徴ベクトル
• 帰属確率
2009/10/24 PRML勉強会第8回 4

5. ガウス過程への拡張
• ２クラス
• 入力変数
• 特徴ベクトル
• 帰属確率
2009/10/24 PRML勉強会第8回 5

6. 事前分布
• 図6.11
ロジスティック変換
ガウス過程からの 変換結果
サンプル
2009/10/24 PRML勉強会第8回 6

7. 予測分布
• 訓練集合
• 観測値
• テスト入力
• 目標変数値
予測分布 を計算する
2009/10/24 PRML勉強会第8回 7

8. 予測分布の計算
• 予測分布は式(6.76)で与えられる
• をガウス分布による近似を求め
てやれば式(4.153)の近似公式をつかって予
測分布を求めることができる
2009/10/24 PRML勉強会第8回 8

9. の近似のアプローチ
• 変分推論 (Chapter 10.1)
– ロジスティックシグモイド関数の局所的な変分近
似(10.144)を利用
• EP法(expectation propagation method)
(Chapter 10.7)
– 真の事後分布が単峰性を持つため良い結果とな
る
• ラプラス近似(6.4.6)
– 今から解説する方法
2009/10/24 PRML勉強会第8回 9

10. 同時分布
• ベクトル
の同時分布は
で与えられる
• 共分散項はノイズ項を含まないが正定値性
のため
とする
2009/10/24 PRML勉強会第8回 10

11. の計算
• を使うと
2009/10/24 PRML勉強会第8回 11

12. の計算(conn)
• ガウス過程における回帰の結果(6.66,6.67)から
なので の値は をラプ
ラス近似してやれば2つのガウス分布のたたみ
こみで計算できる
2009/10/24 PRML勉強会第8回 12

13. の計算
• ベイズ公式から
• 事前分布はガウス過程によって与えられ、
データについての項は独立性を仮定すると
2009/10/24 PRML勉強会第8回 13

14. の計算
• テイラー展開により の対数を展開
すると
となり、この分布のモードを求める必要があ
る
2009/10/24 PRML勉強会第8回 14

15. の計算
• この値を0とおいて、直接モードの計算はでき
ない
• ニュートンーラフソン法を用いる
2009/10/24 PRML勉強会第8回 15

16. ニュートンーラフソン法
• 2階微分の値
• は を要素に持つ対角
行列
• 逐次更新式
• ヘッセ行列が正定値より、 は大域的最適
解に収束する
2009/10/24 PRML勉強会第8回 16

17. 演習6.24 ヘッセ行列の正定値性
• 2つの正定値行列の和が正定値になることを
示せばよい
• 行列Aが正定値 <=>
• 行列A,Bが正定値ならば
2009/10/24 PRML勉強会第8回 17

18. 演習6.25 逐次更新式の導出
• 式(4.92)より
2009/10/24 PRML勉強会第8回 18

19. 事後分布の近似
• 事後分布のモード が求まれば事後分布
のガウス分布による近似は
• ここで
である、また の値は以降 を用いて
評価を行う
2009/10/24 PRML勉強会第8回 19

20. の計算
• 上の式は2つのガウス分布のたたみこみであ
るため、(2.115)を用いると
2009/10/24 PRML勉強会第8回 20

21. 決定面の決定
• 近似式(4.153)を使って
を計算すると決定面は
であることが分かる
2009/10/24 PRML勉強会第8回 21

22. カーネルパラメータの学習
• 共分散関数のパラメータ を決定する
– ガウスカーネルならば
• 最尤推定を用いて行う
(6.89)
を最大化
2009/10/24 PRML勉強会第8回 22

23. カーネルパラメータの学習
• (6.89)の積分は解析的に求まらないので、ラ
プラス近似を用いる
• 上記の式の に関する勾配を求めることによ
り、非線形最適化アルゴリズムを用いて、最
適な の値を決定する。
2009/10/24 PRML勉強会第8回 23

24. 6.4.7 ニューラルネットワークとの関係
• ベイズニューラルネット
– パラメータ の事前分布と、ネットワーク関数
によって 出力の分布が決まる
隠れ層の数 => ∞ 出力の分布がガウ
ス過程に近づく
2009/10/24 PRML勉強会第8回 24

25. 参考文献
• Rasmussen and Williams: Gaussian Processes
for Machine Learning, MIT Press, 2006
• 赤穂昭太郎: カーネル多変量解析 非線形
データ解析の新しい展開, 岩波書店, 2008
2009/10/24 PRML勉強会第8回 25

26. ご静聴ありがとうございました
2009/10/24 PRML勉強会第8回 26