More Related Content
Similar to PRML 6.4-6.5 (20)
PRML 6.4-6.5
- 1. PRML勉強会(第8回)
坪坂 正志
Twitter @tsubosaka
Mail: m{dot}tsubosaka@gmail.com
2009/10/24 PRML勉強会第8回 1
- 2. 概要
• 6.4.5 ガウス過程による分類
– ロジスティックシグモイド関数を利用
– 解析的に解くのは難しい
• ラプラス近似(6.4.6 今回解説)
• 変分推論
• EP法
• 6.4.6 ラプラス近似
– 3回目(4.4,5.7)
– あともう一回出ます(7.2.3)
2009/10/24 PRML勉強会第8回 2
- 3. [復習]ラプラス近似
• 確率分布 のモードを としたときに、確
率分布を と近似する方
法
–
• これは を においてテイラー展開して、
2次近似を行っていることに相当する。
• モードは適当な数値解析手法を用いて求め
ることが多い
2009/10/24 PRML勉強会第8回 3
- 5. ガウス過程への拡張
• 2クラス
• 入力変数
• 特徴ベクトル
• 帰属確率
2009/10/24 PRML勉強会第8回 5
- 6. 事前分布
• 図6.11
ロジスティック変換
ガウス過程からの 変換結果
サンプル
2009/10/24 PRML勉強会第8回 6
- 7. 予測分布
• 訓練集合
• 観測値
• テスト入力
• 目標変数値
予測分布 を計算する
2009/10/24 PRML勉強会第8回 7
- 9. の近似のアプローチ
• 変分推論 (Chapter 10.1)
– ロジスティックシグモイド関数の局所的な変分近
似(10.144)を利用
• EP法(expectation propagation method)
(Chapter 10.7)
– 真の事後分布が単峰性を持つため良い結果とな
る
• ラプラス近似(6.4.6)
– 今から解説する方法
2009/10/24 PRML勉強会第8回 9
- 11. の計算
• を使うと
2009/10/24 PRML勉強会第8回 11
- 14. の計算
• テイラー展開により の対数を展開
すると
となり、この分布のモードを求める必要があ
る
2009/10/24 PRML勉強会第8回 14
- 19. 事後分布の近似
• 事後分布のモード が求まれば事後分布
のガウス分布による近似は
• ここで
である、また の値は以降 を用いて
評価を行う
2009/10/24 PRML勉強会第8回 19
- 25. 参考文献
• Rasmussen and Williams: Gaussian Processes
for Machine Learning, MIT Press, 2006
• 赤穂昭太郎: カーネル多変量解析 非線形
データ解析の新しい展開, 岩波書店, 2008
2009/10/24 PRML勉強会第8回 25