Upcoming SlideShare
×

Chapter6.4

4,072 views

Published on

PRML読書会発表資料

Published in: Spiritual
5 Likes
Statistics
Notes
• Full Name
Comment goes here.

Are you sure you want to Yes No
• It's my pleasure!

Are you sure you want to  Yes  No
• Thank you very much! This helps me a lot. Though I can't read in Japanese, these slides help me prove those formulas in PRML.

Are you sure you want to  Yes  No
Views
Total views
4,072
On SlideShare
0
From Embeds
0
Number of Embeds
3,080
Actions
Shares
0
12
2
Likes
5
Embeds 0
No embeds

No notes for slide

Chapter6.4

1. 1. PRML読書会復々讐レーン6.4.6, 6.4.72013/05/05Presented by takmin
2. 2. 概要• ガウス過程の分類問題   111 ,   NNNp C0aa   )exp(1111111NNNNaaatp ガウス過程分類問題ロジスティックシグモイド関数 TNNN aaa 111 ,,,   a(6.74)
3. 3. 目的• ガウス過程の分類問題– 以下の予測分布を求めたい。        11111 11 NNNNNNN daapatptp tt近似して解く• 変分推論法（10.1節）• EP法（10.7節）• ラプラス近似（6.4.6節）解析的に解けない(6.76)
4. 4. 導出の流れ   )exp(1111111NNNNaaatp         11111 11 NNNNNNN daapatptp tt予測分布ロジスティックシグモイド関数
5. 5. 導出の流れ        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11(6.77)この導出は後ほど
6. 6. 導出の流れ        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   NNTNNTNNN caap kCktCka1111 , (6.77)(6.78)この導出は後ほど
7. 7. 導出の流れ        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   1*,)(  Haaata NNNNN qpラプラス近似(6.86)(6.77)
8. 8. 導出の流れ        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   1*,)(  Haaata NNNNN qpラプラス近似(6.86)(6.77)
9. 9. の導出 NNap t1   NNNN dap ata,1     NNNNNNNdapappaatat,,)(111       NNNNNNNdppappaataat1)(1     NNNNN dpap ataa1ベイズの定理(6.77)tNはaN+1とは無関係ベイズの定理 NNap t1
10. 10. の導出        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11(6.77) NNap t1
11. 11.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   21111 )(),(   NNNNN maap xxa (6.77)ガウス過程(6.66) (6.67)の導出 NNap a1
12. 12.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   NNTNNTNNN caap kCktCka1111 , (6.77)(6.78)の導出 NNap a1
13. 13.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11(6.77)ガウス分布もしガウス分布なら、(6.77)が解析的に計算可能！ラプラス近似を使う！の導出 NNp ta
14. 14. ラプラス近似(復習))(1)( zz fZp   zz dfZ )( 10,)(  Azzzp0)(0 zzzf0)(ln1zzzA  f確率分布p(z)が以下で表せる時、ガウス分布で次のように近似できる。
15. 15.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11(6.77) NNp ta    NNNNppptaatベイズの定理ラプラス近似のために、対数の1次微分、2次微分を求める。の導出 NNp ta
16. 16.  NNp ta    NNNNppptaat       NNNNNN pppp taatta lnlnlnln 対数   NNNN pp aata lnln)(  (6.80)定数略の導出 NNp ta
17. 17.    NntntnNNnnaap11)(1)( at (6.79)(6.80)   NNNN pp aata lnln)( の導出 NNp at
18. 18.    NntntnNNnnaap11)(1)( atNnntaNnataNnaataNnaataNntatataNntaataNntataaeeeeeeeeeeeeeeeennnnnnnnnnnnnnnnnnnnnnnnnnnn111111)1(1111)(11111111111111111 (6.79)の導出 NNp at
19. 19. (6.79)(6.80)  NnntaNN aep nn1)(at   NNNN pp aata lnln)( の導出 NNp at
20. 20. の導出(6.79)(6.80)  NnntaNN aep nn1)(at  NnaNTNNnannNnntaNNnnnneetaaep1111ln11ln)(lnlnatat 対数   NNNN pp aata lnln)(  Na
21. 21. (6.80)   NnaNTNNNnep11lnln atat   NNNN pp aata lnln)( の導出 Na
22. 22. (6.80) NNNp Caa ,0)( (6.60)  NNTNNNNTNNNNNpaCaCaCaCa112/12/21ln212ln221exp121lnln対数   NNNN pp aata lnln)( の導出 Na
23. 23. (6.80)  NNTNNNNp aCaCa121ln212ln2ln    NnaNTNNNnep11lnln atat   NNNN pp aata lnln)( の導出 Na
24. 24. (6.80) NNTNNNnaNTNNe naCaCat1121ln212ln21ln    NNNN pp aata lnln)( の導出 Na
25. 25. ラプラス近似(6.80)  NNNnaNNne aCta111ln)(  NNTNNNnaNTNNe naCaCat1121ln212ln21ln    NNNN pp aata lnln)( 
26. 26. ラプラス近似  NNNnaNNne aCta111ln)(    NTNTaaaTaaaaaaNnaaaaeeeeeeeeeeNNNnσ)(,),(),(11,,11,111,,1,11ln211212211 
27. 27. ラプラス近似NNNNN aCσta1)( TNN aaa )(,),(),( 21  σ1)( NNN Cσa )(1)()(nnnnaaaa (4.88) TNN aa )(,),( 1  σ     NNN aaaadiag W )(1)(,,)(1)( 11  より(6.81)
28. 28. ラプラス近似NNNNN aCσta1)( TNN aaa )(,),(),( 21  σ1)( NNN CWa    )(1)(,,)(1)( 11 NNNNaaaadiag  σW(6.81)(6.82)
29. 29. ラプラス近似0)(  Na となる をニュートン-ラフソン法で求める。Naニュートン-ラフソン法 )(1)()( oldoldnewE wHww   )(oldE wH (4.92)(4.94)Naw     )(ln NpE awtw 
30. 30. ラプラス近似0)(  Na となる をニュートン-ラフソン法で求める。Na)( NaH ニュートン-ラフソン法 )(1)()( oldNoldNnewN aHaa  
31. 31. 演習6.25                     NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNnewNσtaWICWCσtaWCICWσtaWCWσtaWaCWCWaaCσtCWaaaaaHaa1111111111111)(
32. 32. ラプラス近似0)(  Na となる をニュートン-ラフソン法で求める。Na)( NaH ニュートン-ラフソン法   NNNNNNNNnewN σtaWICWCa 1)((6.83)
33. 33. ラプラス近似0)(  Na となる をニュートン-ラフソン法で求める。Na0)(*1*NNNNN aCσta NNNN σtCa *(6.84)*Na に収束1)( NNN CWaH (6.85)
34. 34. ラプラス近似 NNNN σtCa *(6.84)1)( NNN CWaH (6.85)   1*,)(  Haaata NNNNN qp (6.86)
35. 35.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   1*,)(  Haaata NNNNN qpラプラス近似(6.86)(6.77)求まった！の導出 NNp ta
36. 36.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   1*,)(  Haaata NNNNN qpラプラス近似(6.86)(6.77)の導出 NNap t1
37. 37.         NNNNNNN dpapap ataat 11   1*,)(  Haaata NNNNN qp (6.86)(6.77)   NNTNNTNNN caap kCktCka1111 ,  (6.78)の導出 NNap t1
38. 38. 演習6.26   1,  Λμxxp   1,  LbAxyxyp   Tp AAΛLbAμyy 11, Nax (2.113)(2.114)(2.115)の時、以下が成り立つ1 Nay*Naμ  11  HΛ1 NTCkA 0b kCkL11  NTc
39. 39. 演習6.26   1*,  Haaa NNNp   kCkaCka1111 ,  NTNNTNNN caap      NNNNNN aap tata 1111 var,  (6.86)(6.78)の時、以下が成り立つ  *11 NNTNN aCkta   TNTNTNTNNc11111var CkHCkkCkta
40. 40. 演習6.26  *11 NNTNN aCkta  NNNN σtCa *(6.84)より  NNTNNNNTσtkσtCCk1(6.87)
41. 41. 演習6.26      kCCWCCkkCCWCkkCkCkHCkkCkta111111111111111varNNNNNTNNNNTNTTNTNTNTNNccc    1111111  CABCADBAACBDA  kWCk11  NNTc(C.7)より(6.88)
42. 42. 演習6.26   1*,  Haaa NNNp   kCkaCka1111 ,  NTNNTNNN caap      NNNNNN aap tata 1111 var,  (6.86)(6.78)の時、以下が成り立つ   NNTNN σtkta  1    kWCkta111var  NNTNN c(6.87)(6.88)
43. 43. 予測分布の導出        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11(6.77)    NNNNNa tata 111 var,  
44. 44. 予測分布の導出        11111 11 NNNNNNN daapatptp tt (6.76)予測分布      NNNNNNN aap tatat 1111 var,     )exp(1111111NNNNaaatp     )(,)( 22 daμaa  2/1228/1)( (4.153)(4.154)
45. 45. 予測分布の導出        11111 11 NNNNNNN daapatptp tt (6.76)予測分布     NNNN tata 11var      NNTNN σtkta  1    kWCkta111var  NNTNN c(6.87)(6.88)
46. 46. ガウス過程による分類（ラプラス近似）アルゴリズムまとめ1. ガウス過程のパラメータを計算2. ニュートン-ラフソン法により を計算*Na3. 予測分布を計算する。
47. 47. ガウス過程による分類（ラプラス近似）アルゴリズムまとめ1. 以下のガウス過程のパラメータを計算   111 ,   NNNp C0aacTNNkkCC 1 IxxxxxxxxC ),(),(),(),(1111NNNNNkkkk TNNN kk ),(,),,( 111  xxxxk   ),( 11 NNkc xx
48. 48. ガウス過程による分類（ラプラス近似）アルゴリズムまとめ2. ニュートン-ラフソン法により を計算   NNNNNNNNnewN σtaWICWCa 1)( NNNN σtCa *    )(1)(,,)(1)( 11 NNN aaaadiag   W TNN aaa )(,),(),( 21  σ更新式以下に収束*Na
49. 49. ガウス過程による分類（ラプラス近似）アルゴリズムまとめ3. 予測分布が以下の通り求まる       NNNNNNtp tatat 111 var1     2/1228/1)(    NNTNN σtkta  1    kWCkta111var  NNTNN c(6.87)(6.88)
50. 50. パラメータの推定      NNNNN dppp aθaatθt (6.89)mTnnmmnk xxxxxx 322102exp),(   (6.63)カーネル関数のパラメータ を推定したい。θ例：最尤推定：を最大化する を求める。θ
51. 51. パラメータの推定2/12/0)2()()(AzzzMfdfZ  (4.135))(1)( zz fZp  10,)()(  Azzzz qp(4.125)が、以下のラプラス近似で表わされる時、Zは以下で近似できる   NNN ppf aatz )(
52. 52. パラメータの推定(6.86)が、以下のラプラス近似で表わされる時、p(t)は以下で近似できる         2/12/** )2(HaataθaattNNNNNNNNNppdppp    1*,)(  Haaata NNNNN qp     NNNNNN pppp aattta1 (ベイズの定理)
53. 53. パラメータの推定      NNNNN dppp aθaatθt (6.89)    2/12/** )2(HaatNNNN pp      )2ln(2ln21lnln**Nppp NNNN  Haatθt対数)(*Na (6.80)1 NN CW (6.85)==
54. 54. パラメータの推定      )2ln(2ln21lnln**Nppp NNNN  Haatθt  )2ln(2ln21 1*NNNN CWa (6.90) θtNplnθ に対する勾配を求めることで、 の最大値をとる を非線形最適化で求める。θ
55. 55. 対数尤度の勾配    1*ln21ln NNjNjjNpCWaθtを変更θ NC が変更*Na が変更 NW が変更Nσ が変更
56. 56.     1*ln21ln NNjNjjNpCWaθtを変更θ NC が変更*Na が変更 NW が変更Nσ が変更対数尤度の勾配( 依存)NC
57. 57. 対数尤度の勾配( 依存)    1*ln21ln NNjNjjNpCWaθt(6.80) NNTNNNnaNTNNNe naCaCata1121ln212ln21ln)( NC
58. 58. 対数尤度の勾配( 依存)ICWaCaCWaCaCNNjNNTNjNNjNNTNjNjln21ln2121ln21*1*1*1*NC    1*ln21ln NNjNjjNpCWaθt
59. 59. 対数尤度の勾配( 依存)NC  ICWaCaθtNNjNNTNjjNpln21ln *1**1*NNTNjaCaICW NNjlnをそれぞれ として計算0*jNaと
60. 60. 対数尤度の勾配( 依存)NC*1*NNTNjaCa*11*NNjNNTN aCCCa  111 AAAAxx(C.21)より*1*NjNTN aCa
61. 61. ICW NNjln  jNNNNCWIWC1Tr   ICWICW NNjNN1Tr対数尤度の勾配( 依存)NC xxAAA 1Trln (C.22)より対称行列
62. 62. 対数尤度の勾配( 依存)NC  ICWaCaθtNNjNNTNjjNpln21ln *1**11**1*NNjNNTNNNTNjaCCCaaCa  jNNNNNNj CWWCICW1Trln
63. 63. 対数尤度の勾配( 依存)NC  ICWaCaθtNNjNNTNjjNpln21ln *1* jNNNNNNjNNTNCWWCaCCCa1*11*Tr2121(6.91)
64. 64.     1*ln21ln NNjNjjNpCWaθtを変更θ NC が変更*Na が変更 NW が変更Nσ が変更対数尤度の勾配( 依存)*Na
65. 65. 対数尤度の勾配( 依存)    1*ln21ln NNjNjjNpCWaθt*Na Nn jnNNNnaa1*1**ln21CWaNn jnnNN aa1**1ln21CW勾配=0
66. 66. Nn jnnNN aa1**1ln21CW対数尤度の勾配( 依存)*Na
67. 67. 対数尤度の勾配( 依存)*Na       *11*111*1TrTrlnnNNNnNNNNnNNaaaWCWCWCWCW(C.22)より  0)(1)(***,*nnnjinNaaaaW    )(1)(,,)(1)( 11 NNN aaaadiag   Wなので)( nji others     )(21)(1)()(1)(****** nnnnnnaaaaaa 
68. 68. 対数尤度の勾配( 依存)*Na       *11*111*1TrTrlnnNNNnNNNNnNNaaaWCWCWCWCW(C.22)より     )(21)(1)(***11nnnnnNN aaa  CW       NNNNNNNN CWCIIWCCCW11111      )(21)(1)(***1nnnnnNNN aaa  CWCI
69. 69. Nn jnnNN aa1**1ln21CW(6.92)対数尤度の勾配( 依存)*Na     Nn jnnnnnnNNNa1****121121WWC     )(21)(1)(ln ***1*1nnnnnNNNnNNaaaa  CWCICWより
70. 70.      jNNNNNjNNNNjjN ****σtCσtCσtCa(6.84)対数尤度の勾配( 依存)*Na jNNNNn jnnNNjNNNaa  *1****aWCσCσtC jNNNNNjN ** aWCσtC(6.93)
71. 71.  jNNNNNjNjN ***aWCσtCa対数尤度の勾配( 依存)*Na(6.93)’   **NNjNjNNN σtCaWCI    *1*NNjNNNjNσtCWCIa    nNNjNNNnjNjna  *1**σtCWCIa(6.94)’
72. 72. パラメータ推定まとめ• 最尤推定でカーネルのパラメータを計算する。• 対数尤度のパラメータ の勾配を求める。– に依存する項:(6.91)式– に依存する項:(6.92)+(6.94)式• この勾配から非線形最適化のアルゴリズムを用いてパラメータの値を決定する。θNCNa疑問：具体的にどのように(6.91)と(6.92)を使い分けて最適化するのか？
73. 73. ガウス過程による分類黒線：ガウス過程で求まった決定面緑線：最適な決定面 赤・青：それぞれのクラスの事後分布黒線：ガウス過程で求まった決定面
74. 74. 6.4.7 ニューラルネットワークとの関係• ニューラルネットによる識別問題（復習）・・・・・・ ・・・xkt閾値)1(w )2(wky Kktktkkkyyp11),(1),(),|( wxwxwxt (5.22)
75. 75. 6.4.7 ニューラルネットワークとの関係• ベイズニューラルネット（復習）),|()|( 1I0ww   Np (5.162)事前分布を追加予測分布を求める wwwxtxt dDppDp )|(),|(),|( (5.168) Kktktkkkyyp11),(1),(),|( wxwxwxt (5.22)
76. 76. 6.4.7 ニューラルネットワークとの関係• ベイズニューラルネットの中間層の数MがM→∞の極限において、ガウス過程に近づく。– 出力変数が独立になる。• ベイズニューラルネットからカーネル関数を計算– 重みの事前分布を平均0のガウス分布とした場合、カーネル関数 は不変にならない。),( xx k