Download as PDF, PPTX
![4.2.2 変分推論4.2.2 変分推論
複雑な分布を単純な分布で近似することを考える
分布の近さを評価するためにKLダイバージェンスを考える
つまりKLダイバージェンスの最⼩化問題を考える
( , , ) = KL [ ( , , ) ‖ ( , , )] opt. 1 2 3 argmin 1 2 3 1 2 3](https://image.slidesharecdn.com/bayesch4slides-190625152922/85/slide-28-320.jpg)
![の最適解は次のようなものである()1
( ) = argmi KL[ ( ) ( ) ( )][p( , , )]1,opt 1 n ( )q1
z1
q1 z1 q2 z2 q3 z3 z1 z2 z3](https://image.slidesharecdn.com/bayesch4slides-190625152922/85/slide-32-320.jpg)
![KL[ ( ) ( ) ( )][ ( , , )]1 1 2 2 3 3 1 2 3
= −⟨ln
( , , )1 2 3
( ) ( ) ( )1 1 2 2 3 3
⟩1,2,3
= −⟨⟨ln ( , , ) − ⟨ln ( ) − ⟨ln ( ) − ⟨ln ( ) ⟩1 2 3 ⟩2,3 1 1 ⟩2,3 2 2 ⟩2,3 3 3 ⟩2,3 1
= − + const.⟨⟨ln ( , , ) − ln ( )⟩1 2 3 ⟩2,3 1 1 1
= − + const.
⟨
ln
⟩
exp{⟨ln ( , , ) }1 2 3 ⟩2,3
( )1 1 1
= KL[ ( )][exp{⟨ln p( , , ) }] + const.q1 z1 z1 z2 z3 ⟩2,3
∼ ( | , )
( )
1 1
( −1)
2
( −1)
3](https://image.slidesharecdn.com/bayesch4slides-190625152922/85/slide-33-320.jpg)
![[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder](https://cdn.slidesharecdn.com/ss_thumbnails/nvaeadeephierarchicalvariationalautoencoder-201113004930-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Ridge-i 論文よみかい] Wasserstein auto encoder](https://cdn.slidesharecdn.com/ss_thumbnails/wassersteinauto-encoder-181006055019-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]逆強化学習とGANs](https://cdn.slidesharecdn.com/ss_thumbnails/irlgans-171128063119-thumbnail.jpg?width=640&height=640&fit=bounds)
ベイズ推論による機械学習入門 第４章
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11. 1. 事前分布からクラスタの混合⽐率が⽣成される 2. それぞれのクラスタに対する観測モデルのパラメータが事前分布から⽣成され る 3. に対応するクラスタの割当 が⽐率によって選ばれる 4. によって選択された 番⽬の確率分布からデータ が⽣成される
- 12.
- 13. 結果的にこの様になる ( , ,Θ, ) = ( | , Θ) ( | ) (Θ) ( ) = { ( | , Θ) ( | ) } { ( ) } ( ) ∏ =1 ∏ =1
- 14.
- 15.
- 16.
- 17. 4.1.3 混合モデルの事後分布4.1.3 混合モデルの事後分布 混合モデルの事後分布は次のようになる。 ( , ,| ) = ( , , , ) ( ) = ( , , , ) ∬ ( , , , )dΘd∑ = ( , , , ) ( , )∑
- 18.
- 19.
- 20.
- 21.
- 22.
- 23. ギブスサンプリングギブスサンプリング 次のような同時分布に従うデータをサンプルしたい。 ただし、同時分布を計算することは難しい , , ∼( , , ) for = 1, 2, … (1) 1 ( ) 2 ( ) 3 1 2 3
- 24. ギブスサンプリングでは、すべての変数を同時にサンプルしない。 他の変数を仮ぎめしたまま、変数を⼀つずつサンプルする。 （⼀つずつサンプルすることは容易であるという仮定がある） 適当な初期値からスタートして、繰り返しサンプルを続ける はじめのサンプルは初期値に依存するが、⼗分な数をサンプルすれば得られた でーたは、求めたい同時分布に従う（ことが証明されている） ∼ ( |, ) ( ) 1 1 ( −1) 2 ( −1) 3 ∼ ( | , ) ( ) 2 2 ( ) 1 ( −1) 3 ∼ ( | , ) ( ) 3 3 ( ) 1 ( ) 2
- 25.
- 26.
- 27.
- 28. 4.2.2 変分推論4.2.2 変分推論 複雑な分布を単純な分布で近似することを考える 分布の近さを評価するためにKLダイバージェンスを考える つまりKLダイバージェンスの最⼩化問題を考える ( , ,) = KL [ ( , , ) ‖ ( , , )] opt. 1 2 3 argmin 1 2 3 1 2 3
- 29. KLダイバージェンスは のとき0になり最⼩ 制約を設けずに上の最⼩化問題をとけば、 になる。 それでは意味がないので、の表現に制約を設けて、その制約の中で最⼩化問 題をとく () = () =opt ()
- 30. 次のような制約を考える つまり、 が各変数についての関数の積で表現されるとする。 この条件を満たす の中で、上のKLダイバージェンスを最⼩にするものを計算する ( ,, ) ≈ ( ) ( ) ( )1 2 3 1 1 2 2 3 3 () ()
- 31. と がすでに与えられているとする。 についての最適化問題をとく ( )22 ( )3 3 ( )1 1
- 32. の最適解は次のようなものである()1 ( ) =argmi KL[ ( ) ( ) ( )][p( , , )]1,opt 1 n ( )q1 z1 q1 z1 q2 z2 q3 z3 z1 z2 z3
- 33. KL[ ( )( ) ( )][ ( , , )]1 1 2 2 3 3 1 2 3 = −⟨ln ( , , )1 2 3 ( ) ( ) ( )1 1 2 2 3 3 ⟩1,2,3 = −⟨⟨ln ( , , ) − ⟨ln ( ) − ⟨ln ( ) − ⟨ln ( ) ⟩1 2 3 ⟩2,3 1 1 ⟩2,3 2 2 ⟩2,3 3 3 ⟩2,3 1 = − + const.⟨⟨ln ( , , ) − ln ( )⟩1 2 3 ⟩2,3 1 1 1 = − + const. ⟨ ln ⟩ exp{⟨ln ( , , ) }1 2 3 ⟩2,3 ( )1 1 1 = KL[ ( )][exp{⟨ln p( , , ) }] + const.q1 z1 z1 z2 z3 ⟩2,3 ∼ ( | , ) ( ) 1 1 ( −1) 2 ( −1) 3
- 34. というわけで、⼀般的な解は以下の通り 同時分布の対数の期待値を 、 で取る （この期待値の計算も容易でないことがあり、その場合はサンプリングなどで 近似的に計算する） ln( ) = + const. 1 ⟨ln ( , , )⟩1 2 3 ( ) ( )2 3 ( )2 2 ( )3 3
- 35. 変分推論のアルゴリズム変分推論のアルゴリズム 1. 上の式をつかって、最適解を計算する（ガウス分布などの具体的な式を代⼊す る。整理すると、パラメータの更新式が得られる） 2. を⼀旦仮で決める 3. まず を更新する。更新したと を使って、 を更新する。次に を更新す る。また を更新する。 4. このように順次更新を繰り返していく ,2 3 1 1 3 2 3 1
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45. モデルの説明モデルの説明 基本的に始めに説明した混合モデルと同じ 混合モデルの同時分布（再掲） ( , ,Θ, ) = ( | , Θ) ( | ) (Θ) ( ) = { ( | , Θ) ( | ) } { ( ) } ( ) ∏ =1 ∏ =1
- 46. 観測モデル観測モデル ( | ,) = { , } = ( | , ) −1
- 47. 潜在変数も含めた条件付き分布潜在変数も含めた条件付き分布 ( | ,, ) = ∏ =1 ( | , ) −1 ,
- 48. ハイパーパラメータの事前分布ハイパーパラメータの事前分布 ガウス分布の平均・分散の両⽅が未知のパターンなのでガウス・ウィシャーと 分布を採⽤する ( , )= ( | , ) ( | , )( ) −1
- 49.
- 50. ギブスサンプリングのアルゴリズムを導出する ギブスサンプリングの⼀般的な形は以下の通り（再掲） 今、観測モデル・事前分布のそれぞれについて具体的な式の形を決めた それをもとに、 の具体的な形を導出し、計算できるように する ∼ (| , ) ( ) 1 1 ( −1) 2 ( −1) 3 ∼ ( | , ) ( ) 2 2 ( ) 1 ( −1) 3 ∼ ( | , ) ( ) 3 3 ( ) 1 ( ) 2 ( | , )1 ( −1) 2 ( −1) 3
- 51. いま関⼼のある事後分布は したがって、（例えば） を計算する必要がある ここでは、パラメータと潜在変数を分けてサンプリングする つまり との２つを求める（「混合分布では、潜 在変数とパラメータを分けてサンプルすると⼗分に簡単な確率分布が得られる ことが知られています」（p.130）） ( , , Λ, | ) ( | , , Λ, ) ( | , , Λ, ) ( , Λ, | , )
- 52. 事後分布は基本的に同時分布に⽐例する( ) ので、まずは同時分布を整理する ( |, , Λ, ) ∝ ( , , , Λ, )
- 53. 同時分布の式に、諸々代⼊すると以下のようになる ( , ,, Λ, ) = ( ( | , ( | ) ) ( | ) ∏ =1 ∏ =1 Λ −1 ) , ( , | , , , ) ∏ =1 Λ
- 54. 対数をとる。この式を（ ）とする♣ ln (, , , Λ, ) = ∑ =1 ( ln ( | , ) + ln Cat( | ) ) + ln Dir( | ) ∑ =1 , Λ −1 + ln ( , | , , , ) ∑ =1 Λ
- 55.
- 56. 先ほどの( )から を含む部分（とする）のみ抜き出して、計算する( は に定数を除いて⼀致する。 以外は観測済みという仮定があり、 を含まない項はすべて定数とみなせるからである) ♣ ⋆ ⋆ ln ( | , , Λ, ) ( ln ( | , ) + ln ( | ) )∑ =1 ∑ =1 , Λ −1
- 57. 個々の要素は次⽤に計算できる。（要は の形になる）∗ ℎ+ const∑ , ln N( | , ) ∑ =1 , Λ ln Cat( | ) = { − ( − ) + ln| | } + c ∑ =1 , 1 2 ( − ) ⊤ 1 2 = ln ∑ =1 ,
- 58. まとめると次のようになる この結果は がカテゴリ分布に従うことを⽰している (⋆) = { −( − ) + ln| | + ln } + const. ∑ =1 , 1 2 ( − ) ⊤ 1 2
- 59. 具体的には次の通り , ∼ Cat( |) ∝ exp(…)
- 60.
- 61.
- 62. のサンプリングのサンプリング に関連する箇所のみ抜きだす この結果は、 がディリクレ分布に従うことを⽰している ln Cat(| ) + ln Dir( | ) ∑ =1 = ln + ( − 1) ln + const. ∑ =1 ∑ =1 , ∑ =1 = ( + − 1) ln + const. ∑ =1 ∑ =1 ,
- 63. ̂ ∼ Dir( |)̂ = + ∑ =1 ,
- 64. とと のサンプリングのサンプリング と は分割できないので、同時分布を導出する それぞれに関連する箇所を抜き出す（ガウス・ウィシャート分布の定義はp102 にあります） Λ Λ ( lnN( | , ) + ln N( | , ( ) + ln W( | , W) )∑ =1 ∑ , Λ −1 Λ ) −1 Λ
- 65. シグマの中⾝を計算する（つらい） ∑ , ( − ( −( − ) + ln det ) 1 2 ) Λ 1 2 Λ − ( − ( )( − ) + ln det 1 2 ) Λ 1 2 Λ + ln det − ( ) + const. − − 1 2 Λ 1 2 −1 Λ
- 66. 掛け算を⼀旦ばらして、まとめ直す − 1 2 ( ( +) ) + ( + ) ∑ , Λ ∑ Λ − ln det + (( + + ) ) + const. + −∑ , 2 Λ −1 Λ
- 67. について「平⽅完成」する（頑張る） ただし − 1 2 ( − ()( − )̂ ) ̂ Λ ̂ + ln det − (( + + − ) ) + −∑ , 2 Λ 1 2 −1 ̂ ̂ ̂ Λ ̂ ̂ = + ∑ , = +∑ ̂
- 68.
- 69. Λ ∼ ( |, ( )^ ^ Λ ) −1 ∼ ( | , )Λ ^ ^
- 70.
- 71. 4.4.3 変分推論4.4.3 変分推論 次のように近似する ( , ,Λ, | ) ≈ ( ) ( , Λ) ( ),Λ
- 72. 変分推論の公式（再掲） これを使う。 ln ( )= + const. 1 ⟨ln ( , , )⟩1 2 3 ( ) ( )2 3
- 73. 同時分布の対数の期待値が出てくる 以下は先程の式（ ）♣ ln (, , , Λ, ) = ∑ =1 ( ln ( | , ) + ln ( | ) ) + ln ∑ =1 , Λ −1 + ln ( , | , , , ) ∑ =1 Λ
- 74. の導出の導出 と で期待値を取る。 を含まない項⽬は に回収されるので考えなくて良い () ( , Λ) ( ) const
- 75. ∑( ⟨ln ( |, ) + ⟨ln ( | ) )∑ , Λ −1 ⟩ ( ,Λ) ⟩ ( ) = { − ⟨ ⟩ ( − ⟨ ⟩) + ln ⟨ ⟩ + ln⟨ ⟩ }∑ ∑ =1 , 1 2 ( − ⟨ ⟩) ⊤ 1 2 ∣∣ ∣∣ + const.
- 76. この式は、 や が期待値に変わっただけで、ギブスサンプリングのときに出て きた式と同じ。 はカテゴリ分布になる。 具体的なパラメータはなどを計算しないとわからないが、解析的に計算で きることはすぐあとにわかる Λ ( ) ⟨ ⟩
- 77.
- 78.
- 79. 次のように、ハイパーパラメータを積分除去した分布からサンプルすることを考える （ただし、以下の積分を直接計算するのではない） ( , )= ∭ ( , , , , )d d
- 80. がすでにサンプルされたとして、 をサンプルするアルゴリズムを考える∖ ( |, , )∖ ∖ ∝ ( , , , )∖ ∖ = ( | , , ) ( | , ) ( | ) ( )∖ ∖ ∖ ∖ ∖ ∖ ∝ ( | , , ) ( | )∖ ∖ ∖
- 81. は関係ないので無視 で、やはり関係ないので無視（ と は共同 親にならず、条件付き独⽴が成り⽴つため。詳しくはグラフィカルモデルの節 で） あるいはを と で条件つけられた の事後分布とみな せば、上の式展開はベイズの定理である ( )∖ ( | , ) = ( | )∖ ∖ ∖ ∖ ∖ ( | , , )∖ ∖ ∖ ∖
- 82. 1. であるが、 は結局ディリクレ分布 になる 2. したがって、はカテゴリ分布になる ( | ) = ∫ ( | ) ( | )∖ ∖ ( | )∖ ( | )∖
- 83. あとは が計算できればよい( |, , )∖ ∖
- 84. あらためて、周辺化の計算を書き下す。 ( | ,, ) = ∬ ( | , , Λ) ( , Λ| , )d d∖ ∖ ∖ ∖
- 85. → と の事後分布。ガウス・ウィシャート分布になる についてのそれぞれのケースについて上の積分を 実⾏する を無視すれば、精度・分散が未知の場合のガウス分布の予測分布になる これば多次元スチューデント分布になる（第３章参照） ( , Λ| , )∖ ∖ Λ = 1 for k = 1, 2, 3, …,
- 86. 崩壊型ギブスサンプリングまとめ（崩壊型ギブスサンプリングまとめ（ のサンプリングアルゴリズム）のサンプリングアルゴリズム） 1. はカテゴリ分布に従う。 2. から の場合まで、上の多次元スチューデント分布を計算する 3. その結果を使って、 が従うカテゴリ分布のパラメタを計算する 4. サンプルする 5. をサンプルする オンラインでパラメタの更新ができます = 1,1 = 1, +1
- 87.
- 88.