• Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
3,228
On Slideshare
0
From Embeds
0
Number of Embeds
5

Actions

Shares
Downloads
10
Comments
0
Likes
3

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. PRML読書会復々讐レーン6.4.6, 6.4.72013/05/05Presented by takmin
  • 2. 概要• ガウス過程の分類問題   111 ,   NNNp C0aa   )exp(1111111NNNNaaatp ガウス過程分類問題ロジスティックシグモイド関数 TNNN aaa 111 ,,,   a(6.74)
  • 3. 目的• ガウス過程の分類問題– 以下の予測分布を求めたい。        11111 11 NNNNNNN daapatptp tt近似して解く• 変分推論法(10.1節)• EP法(10.7節)• ラプラス近似(6.4.6節)解析的に解けない(6.76)
  • 4. 導出の流れ   )exp(1111111NNNNaaatp         11111 11 NNNNNNN daapatptp tt予測分布ロジスティックシグモイド関数
  • 5. 導出の流れ        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11(6.77)この導出は後ほど
  • 6. 導出の流れ        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   NNTNNTNNN caap kCktCka1111 , (6.77)(6.78)この導出は後ほど
  • 7. 導出の流れ        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   1*,)(  Haaata NNNNN qpラプラス近似(6.86)(6.77)
  • 8. 導出の流れ        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   1*,)(  Haaata NNNNN qpラプラス近似(6.86)(6.77)
  • 9. の導出 NNap t1   NNNN dap ata,1     NNNNNNNdapappaatat,,)(111       NNNNNNNdppappaataat1)(1     NNNNN dpap ataa1ベイズの定理(6.77)tNはaN+1とは無関係ベイズの定理 NNap t1
  • 10. の導出        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11(6.77) NNap t1
  • 11.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   21111 )(),(   NNNNN maap xxa (6.77)ガウス過程(6.66) (6.67)の導出 NNap a1
  • 12.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   NNTNNTNNN caap kCktCka1111 , (6.77)(6.78)の導出 NNap a1
  • 13.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11(6.77)ガウス分布もしガウス分布なら、(6.77)が解析的に計算可能!ラプラス近似を使う!の導出 NNp ta
  • 14. ラプラス近似(復習))(1)( zz fZp   zz dfZ )( 10,)(  Azzzp0)(0 zzzf0)(ln1zzzA  f確率分布p(z)が以下で表せる時、ガウス分布で次のように近似できる。
  • 15.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11(6.77) NNp ta    NNNNppptaatベイズの定理ラプラス近似のために、対数の1次微分、2次微分を求める。の導出 NNp ta
  • 16.  NNp ta    NNNNppptaat       NNNNNN pppp taatta lnlnlnln 対数   NNNN pp aata lnln)(  (6.80)定数略の導出 NNp ta
  • 17.    NntntnNNnnaap11)(1)( at (6.79)(6.80)   NNNN pp aata lnln)( の導出 NNp at
  • 18.    NntntnNNnnaap11)(1)( atNnntaNnataNnaataNnaataNntatataNntaataNntataaeeeeeeeeeeeeeeeennnnnnnnnnnnnnnnnnnnnnnnnnnn111111)1(1111)(11111111111111111 (6.79)の導出 NNp at
  • 19. (6.79)(6.80)  NnntaNN aep nn1)(at   NNNN pp aata lnln)( の導出 NNp at
  • 20. の導出(6.79)(6.80)  NnntaNN aep nn1)(at  NnaNTNNnannNnntaNNnnnneetaaep1111ln11ln)(lnlnatat 対数   NNNN pp aata lnln)(  Na
  • 21. (6.80)   NnaNTNNNnep11lnln atat   NNNN pp aata lnln)( の導出 Na
  • 22. (6.80) NNNp Caa ,0)( (6.60)  NNTNNNNTNNNNNpaCaCaCaCa112/12/21ln212ln221exp121lnln対数   NNNN pp aata lnln)( の導出 Na
  • 23. (6.80)  NNTNNNNp aCaCa121ln212ln2ln    NnaNTNNNnep11lnln atat   NNNN pp aata lnln)( の導出 Na
  • 24. (6.80) NNTNNNnaNTNNe naCaCat1121ln212ln21ln    NNNN pp aata lnln)( の導出 Na
  • 25. ラプラス近似(6.80)  NNNnaNNne aCta111ln)(  NNTNNNnaNTNNe naCaCat1121ln212ln21ln    NNNN pp aata lnln)( 
  • 26. ラプラス近似  NNNnaNNne aCta111ln)(    NTNTaaaTaaaaaaNnaaaaeeeeeeeeeeNNNnσ)(,),(),(11,,11,111,,1,11ln211212211 
  • 27. ラプラス近似NNNNN aCσta1)( TNN aaa )(,),(),( 21  σ1)( NNN Cσa )(1)()(nnnnaaaa (4.88) TNN aa )(,),( 1  σ     NNN aaaadiag W )(1)(,,)(1)( 11  より(6.81)
  • 28. ラプラス近似NNNNN aCσta1)( TNN aaa )(,),(),( 21  σ1)( NNN CWa    )(1)(,,)(1)( 11 NNNNaaaadiag  σW(6.81)(6.82)
  • 29. ラプラス近似0)(  Na となる をニュートン-ラフソン法で求める。Naニュートン-ラフソン法 )(1)()( oldoldnewE wHww   )(oldE wH (4.92)(4.94)Naw     )(ln NpE awtw 
  • 30. ラプラス近似0)(  Na となる をニュートン-ラフソン法で求める。Na)( NaH ニュートン-ラフソン法 )(1)()( oldNoldNnewN aHaa  
  • 31. 演習6.25                     NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNnewNσtaWICWCσtaWCICWσtaWCWσtaWaCWCWaaCσtCWaaaaaHaa1111111111111)(
  • 32. ラプラス近似0)(  Na となる をニュートン-ラフソン法で求める。Na)( NaH ニュートン-ラフソン法   NNNNNNNNnewN σtaWICWCa 1)((6.83)
  • 33. ラプラス近似0)(  Na となる をニュートン-ラフソン法で求める。Na0)(*1*NNNNN aCσta NNNN σtCa *(6.84)*Na に収束1)( NNN CWaH (6.85)
  • 34. ラプラス近似 NNNN σtCa *(6.84)1)( NNN CWaH (6.85)   1*,)(  Haaata NNNNN qp (6.86)
  • 35.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   1*,)(  Haaata NNNNN qpラプラス近似(6.86)(6.77)求まった!の導出 NNp ta
  • 36.         11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11   1*,)(  Haaata NNNNN qpラプラス近似(6.86)(6.77)の導出 NNap t1
  • 37.         NNNNNNN dpapap ataat 11   1*,)(  Haaata NNNNN qp (6.86)(6.77)   NNTNNTNNN caap kCktCka1111 ,  (6.78)の導出 NNap t1
  • 38. 演習6.26   1,  Λμxxp   1,  LbAxyxyp   Tp AAΛLbAμyy 11, Nax (2.113)(2.114)(2.115)の時、以下が成り立つ1 Nay*Naμ  11  HΛ1 NTCkA 0b kCkL11  NTc
  • 39. 演習6.26   1*,  Haaa NNNp   kCkaCka1111 ,  NTNNTNNN caap      NNNNNN aap tata 1111 var,  (6.86)(6.78)の時、以下が成り立つ  *11 NNTNN aCkta   TNTNTNTNNc11111var CkHCkkCkta
  • 40. 演習6.26  *11 NNTNN aCkta  NNNN σtCa *(6.84)より  NNTNNNNTσtkσtCCk1(6.87)
  • 41. 演習6.26      kCCWCCkkCCWCkkCkCkHCkkCkta111111111111111varNNNNNTNNNNTNTTNTNTNTNNccc    1111111  CABCADBAACBDA  kWCk11  NNTc(C.7)より(6.88)
  • 42. 演習6.26   1*,  Haaa NNNp   kCkaCka1111 ,  NTNNTNNN caap      NNNNNN aap tata 1111 var,  (6.86)(6.78)の時、以下が成り立つ   NNTNN σtkta  1    kWCkta111var  NNTNN c(6.87)(6.88)
  • 43. 予測分布の導出        11111 11 NNNNNNN daapatptp tt (6.76)予測分布        NNNNNNN dpapap ataat 11(6.77)    NNNNNa tata 111 var,  
  • 44. 予測分布の導出        11111 11 NNNNNNN daapatptp tt (6.76)予測分布      NNNNNNN aap tatat 1111 var,     )exp(1111111NNNNaaatp     )(,)( 22 daμaa  2/1228/1)( (4.153)(4.154)
  • 45. 予測分布の導出        11111 11 NNNNNNN daapatptp tt (6.76)予測分布     NNNN tata 11var      NNTNN σtkta  1    kWCkta111var  NNTNN c(6.87)(6.88)
  • 46. ガウス過程による分類(ラプラス近似)アルゴリズムまとめ1. ガウス過程のパラメータを計算2. ニュートン-ラフソン法により を計算*Na3. 予測分布を計算する。
  • 47. ガウス過程による分類(ラプラス近似)アルゴリズムまとめ1. 以下のガウス過程のパラメータを計算   111 ,   NNNp C0aacTNNkkCC 1 IxxxxxxxxC ),(),(),(),(1111NNNNNkkkk TNNN kk ),(,),,( 111  xxxxk   ),( 11 NNkc xx
  • 48. ガウス過程による分類(ラプラス近似)アルゴリズムまとめ2. ニュートン-ラフソン法により を計算   NNNNNNNNnewN σtaWICWCa 1)( NNNN σtCa *    )(1)(,,)(1)( 11 NNN aaaadiag   W TNN aaa )(,),(),( 21  σ更新式以下に収束*Na
  • 49. ガウス過程による分類(ラプラス近似)アルゴリズムまとめ3. 予測分布が以下の通り求まる       NNNNNNtp tatat 111 var1     2/1228/1)(    NNTNN σtkta  1    kWCkta111var  NNTNN c(6.87)(6.88)
  • 50. パラメータの推定      NNNNN dppp aθaatθt (6.89)mTnnmmnk xxxxxx 322102exp),(   (6.63)カーネル関数のパラメータ を推定したい。θ例:最尤推定:を最大化する を求める。θ
  • 51. パラメータの推定2/12/0)2()()(AzzzMfdfZ  (4.135))(1)( zz fZp  10,)()(  Azzzz qp(4.125)が、以下のラプラス近似で表わされる時、Zは以下で近似できる   NNN ppf aatz )(
  • 52. パラメータの推定(6.86)が、以下のラプラス近似で表わされる時、p(t)は以下で近似できる         2/12/** )2(HaataθaattNNNNNNNNNppdppp    1*,)(  Haaata NNNNN qp     NNNNNN pppp aattta1 (ベイズの定理)
  • 53. パラメータの推定      NNNNN dppp aθaatθt (6.89)    2/12/** )2(HaatNNNN pp      )2ln(2ln21lnln**Nppp NNNN  Haatθt対数)(*Na (6.80)1 NN CW (6.85)==
  • 54. パラメータの推定      )2ln(2ln21lnln**Nppp NNNN  Haatθt  )2ln(2ln21 1*NNNN CWa (6.90) θtNplnθ に対する勾配を求めることで、 の最大値をとる を非線形最適化で求める。θ
  • 55. 対数尤度の勾配    1*ln21ln NNjNjjNpCWaθtを変更θ NC が変更*Na が変更 NW が変更Nσ が変更
  • 56.     1*ln21ln NNjNjjNpCWaθtを変更θ NC が変更*Na が変更 NW が変更Nσ が変更対数尤度の勾配( 依存)NC
  • 57. 対数尤度の勾配( 依存)    1*ln21ln NNjNjjNpCWaθt(6.80) NNTNNNnaNTNNNe naCaCata1121ln212ln21ln)( NC
  • 58. 対数尤度の勾配( 依存)ICWaCaCWaCaCNNjNNTNjNNjNNTNjNjln21ln2121ln21*1*1*1*NC    1*ln21ln NNjNjjNpCWaθt
  • 59. 対数尤度の勾配( 依存)NC  ICWaCaθtNNjNNTNjjNpln21ln *1**1*NNTNjaCaICW NNjlnをそれぞれ として計算0*jNaと
  • 60. 対数尤度の勾配( 依存)NC*1*NNTNjaCa*11*NNjNNTN aCCCa  111 AAAAxx(C.21)より*1*NjNTN aCa
  • 61. ICW NNjln  jNNNNCWIWC1Tr   ICWICW NNjNN1Tr対数尤度の勾配( 依存)NC xxAAA 1Trln (C.22)より対称行列
  • 62. 対数尤度の勾配( 依存)NC  ICWaCaθtNNjNNTNjjNpln21ln *1**11**1*NNjNNTNNNTNjaCCCaaCa  jNNNNNNj CWWCICW1Trln
  • 63. 対数尤度の勾配( 依存)NC  ICWaCaθtNNjNNTNjjNpln21ln *1* jNNNNNNjNNTNCWWCaCCCa1*11*Tr2121(6.91)
  • 64.     1*ln21ln NNjNjjNpCWaθtを変更θ NC が変更*Na が変更 NW が変更Nσ が変更対数尤度の勾配( 依存)*Na
  • 65. 対数尤度の勾配( 依存)    1*ln21ln NNjNjjNpCWaθt*Na Nn jnNNNnaa1*1**ln21CWaNn jnnNN aa1**1ln21CW勾配=0
  • 66. Nn jnnNN aa1**1ln21CW対数尤度の勾配( 依存)*Na
  • 67. 対数尤度の勾配( 依存)*Na       *11*111*1TrTrlnnNNNnNNNNnNNaaaWCWCWCWCW(C.22)より  0)(1)(***,*nnnjinNaaaaW    )(1)(,,)(1)( 11 NNN aaaadiag   Wなので)( nji others     )(21)(1)()(1)(****** nnnnnnaaaaaa 
  • 68. 対数尤度の勾配( 依存)*Na       *11*111*1TrTrlnnNNNnNNNNnNNaaaWCWCWCWCW(C.22)より     )(21)(1)(***11nnnnnNN aaa  CW       NNNNNNNN CWCIIWCCCW11111      )(21)(1)(***1nnnnnNNN aaa  CWCI
  • 69. Nn jnnNN aa1**1ln21CW(6.92)対数尤度の勾配( 依存)*Na     Nn jnnnnnnNNNa1****121121WWC     )(21)(1)(ln ***1*1nnnnnNNNnNNaaaa  CWCICWより
  • 70.      jNNNNNjNNNNjjN ****σtCσtCσtCa(6.84)対数尤度の勾配( 依存)*Na jNNNNn jnnNNjNNNaa  *1****aWCσCσtC jNNNNNjN ** aWCσtC(6.93)
  • 71.  jNNNNNjNjN ***aWCσtCa対数尤度の勾配( 依存)*Na(6.93)’   **NNjNjNNN σtCaWCI    *1*NNjNNNjNσtCWCIa    nNNjNNNnjNjna  *1**σtCWCIa(6.94)’
  • 72. パラメータ推定まとめ• 最尤推定でカーネルのパラメータを計算する。• 対数尤度のパラメータ の勾配を求める。– に依存する項:(6.91)式– に依存する項:(6.92)+(6.94)式• この勾配から非線形最適化のアルゴリズムを用いてパラメータの値を決定する。θNCNa疑問:具体的にどのように(6.91)と(6.92)を使い分けて最適化するのか?
  • 73. ガウス過程による分類黒線:ガウス過程で求まった決定面緑線:最適な決定面 赤・青:それぞれのクラスの事後分布黒線:ガウス過程で求まった決定面
  • 74. 6.4.7 ニューラルネットワークとの関係• ニューラルネットによる識別問題(復習)・・・・・・ ・・・xkt閾値)1(w )2(wky Kktktkkkyyp11),(1),(),|( wxwxwxt (5.22)
  • 75. 6.4.7 ニューラルネットワークとの関係• ベイズニューラルネット(復習)),|()|( 1I0ww   Np (5.162)事前分布を追加予測分布を求める wwwxtxt dDppDp )|(),|(),|( (5.168) Kktktkkkyyp11),(1),(),|( wxwxwxt (5.22)
  • 76. 6.4.7 ニューラルネットワークとの関係• ベイズニューラルネットの中間層の数MがM→∞の極限において、ガウス過程に近づく。– 出力変数が独立になる。• ベイズニューラルネットからカーネル関数を計算– 重みの事前分布を平均0のガウス分布とした場合、カーネル関数 は不変にならない。),( xx k