PRML 6.4-6.5

  • 3,866 views
Uploaded on

「パターン認識と機械学習(PRML)」読書会(第8回) (http://sites.google.com/site/ikomadokushokai/prml/prml08)発表資料

「パターン認識と機械学習(PRML)」読書会(第8回) (http://sites.google.com/site/ikomadokushokai/prml/prml08)発表資料

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
3,866
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
75
Comments
0
Likes
4

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. PRML勉強会(第8回) 坪坂 正志 Twitter @tsubosaka Mail: m{dot}tsubosaka@gmail.com 2009/10/24 PRML勉強会第8回 1
  • 2. 概要 • 6.4.5 ガウス過程による分類 – ロジスティックシグモイド関数を利用 – 解析的に解くのは難しい • ラプラス近似(6.4.6 今回解説) • 変分推論 • EP法 • 6.4.6 ラプラス近似 – 3回目(4.4,5.7) – あともう一回出ます(7.2.3) 2009/10/24 PRML勉強会第8回 2
  • 3. [復習]ラプラス近似 • 確率分布 のモードを としたときに、確 率分布を と近似する方 法 – • これは を においてテイラー展開して、 2次近似を行っていることに相当する。 • モードは適当な数値解析手法を用いて求め ることが多い 2009/10/24 PRML勉強会第8回 3
  • 4. ロジスティック回帰(4.3.2) • 2クラス • 入力変数 • 特徴ベクトル • 帰属確率 2009/10/24 PRML勉強会第8回 4
  • 5. ガウス過程への拡張 • 2クラス • 入力変数 • 特徴ベクトル • 帰属確率 2009/10/24 PRML勉強会第8回 5
  • 6. 事前分布 • 図6.11 ロジスティック変換 ガウス過程からの 変換結果 サンプル 2009/10/24 PRML勉強会第8回 6
  • 7. 予測分布 • 訓練集合 • 観測値 • テスト入力 • 目標変数値 予測分布 を計算する 2009/10/24 PRML勉強会第8回 7
  • 8. 予測分布の計算 • 予測分布は式(6.76)で与えられる • をガウス分布による近似を求め てやれば式(4.153)の近似公式をつかって予 測分布を求めることができる 2009/10/24 PRML勉強会第8回 8
  • 9. の近似のアプローチ • 変分推論 (Chapter 10.1) – ロジスティックシグモイド関数の局所的な変分近 似(10.144)を利用 • EP法(expectation propagation method) (Chapter 10.7) – 真の事後分布が単峰性を持つため良い結果とな る • ラプラス近似(6.4.6) – 今から解説する方法 2009/10/24 PRML勉強会第8回 9
  • 10. 同時分布 • ベクトル の同時分布は で与えられる • 共分散項はノイズ項を含まないが正定値性 のため とする 2009/10/24 PRML勉強会第8回 10
  • 11. の計算 • を使うと 2009/10/24 PRML勉強会第8回 11
  • 12. の計算(conn) • ガウス過程における回帰の結果(6.66,6.67)から なので の値は をラプ ラス近似してやれば2つのガウス分布のたたみ こみで計算できる 2009/10/24 PRML勉強会第8回 12
  • 13. の計算 • ベイズ公式から • 事前分布はガウス過程によって与えられ、 データについての項は独立性を仮定すると 2009/10/24 PRML勉強会第8回 13
  • 14. の計算 • テイラー展開により の対数を展開 すると となり、この分布のモードを求める必要があ る 2009/10/24 PRML勉強会第8回 14
  • 15. の計算 • この値を0とおいて、直接モードの計算はでき ない • ニュートンーラフソン法を用いる 2009/10/24 PRML勉強会第8回 15
  • 16. ニュートンーラフソン法 • 2階微分の値 • は を要素に持つ対角 行列 • 逐次更新式 • ヘッセ行列が正定値より、 は大域的最適 解に収束する 2009/10/24 PRML勉強会第8回 16
  • 17. 演習6.24 ヘッセ行列の正定値性 • 2つの正定値行列の和が正定値になることを 示せばよい • 行列Aが正定値 <=> • 行列A,Bが正定値ならば 2009/10/24 PRML勉強会第8回 17
  • 18. 演習6.25 逐次更新式の導出 • 式(4.92)より 2009/10/24 PRML勉強会第8回 18
  • 19. 事後分布の近似 • 事後分布のモード が求まれば事後分布 のガウス分布による近似は • ここで である、また の値は以降 を用いて 評価を行う 2009/10/24 PRML勉強会第8回 19
  • 20. の計算 • 上の式は2つのガウス分布のたたみこみであ るため、(2.115)を用いると 2009/10/24 PRML勉強会第8回 20
  • 21. 決定面の決定 • 近似式(4.153)を使って を計算すると決定面は であることが分かる 2009/10/24 PRML勉強会第8回 21
  • 22. カーネルパラメータの学習 • 共分散関数のパラメータ を決定する – ガウスカーネルならば • 最尤推定を用いて行う (6.89) を最大化 2009/10/24 PRML勉強会第8回 22
  • 23. カーネルパラメータの学習 • (6.89)の積分は解析的に求まらないので、ラ プラス近似を用いる • 上記の式の に関する勾配を求めることによ り、非線形最適化アルゴリズムを用いて、最 適な の値を決定する。 2009/10/24 PRML勉強会第8回 23
  • 24. 6.4.7 ニューラルネットワークとの関係 • ベイズニューラルネット – パラメータ の事前分布と、ネットワーク関数 によって 出力の分布が決まる 隠れ層の数 => ∞ 出力の分布がガウ ス過程に近づく 2009/10/24 PRML勉強会第8回 24
  • 25. 参考文献 • Rasmussen and Williams: Gaussian Processes for Machine Learning, MIT Press, 2006 • 赤穂昭太郎: カーネル多変量解析 非線形 データ解析の新しい展開, 岩波書店, 2008 2009/10/24 PRML勉強会第8回 25
  • 26. ご静聴ありがとうございました 2009/10/24 PRML勉強会第8回 26