Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Chapter2.3.6

11,904 views

Published on

Published in: Sports
  • Be the first to comment

Chapter2.3.6

  1. 1. 第2回PRML読書会復讐レーン 2.3.6 ガウス分布に対するベイズ 推論 2010/05/08 Presented by takmin
  2. 2. おさらい • ガウス分布(1次元)  p( x |  ,  )  N x |  ,  2  1  1   exp ( x   )2  (2 2 )1/ 2  2 2  正規化係数 二次形式  μ x
  3. 3. おさらい • ガウス分布(D次元) p(x | μ, Σ)  N x | μ, Σ  1 1  1 T 1   exp (x  μ) Σ (x  μ) (2 ) D/2 Σ 1/ 2  2  正規化係数 二次形式 Σ μ x
  4. 4. おさらい • 最尤推定 N p(x | θ)   p( xn | θ) 尤度 n 1 観測データ パラメータ サンプル データが観測されたとき,そのデータが発生する確 率(尤度)を最大化するパラメータを求めること
  5. 5. おさらい • ベイズ推論 p(x | θ) p(θ) p(θ | x)  p ( x) 事後分布 N  p(x | θ) p(θ)  p(θ) p( xn | θ) n 1 尤度 事前分布 データが観測されたとき,パラメータがとる確率分布 を求める
  6. 6. この節の流れ ガウス分布の各パラメータの事後分布を求める 1. 平均が未知の場合のベイズ推論 2. 分散が未知の場合のベイズ推論 3. 平均と分散が未知の場合のベイズ推論  今回はとにかく数式だらけ! μ
  7. 7. 平均が未知の場合 平均の事後分布: p( | x)  p(x |  ) p( ) 尤度関数: N N p ( x |  )   p ( xn |  )   N ( x n |  ,  2 ) μについてもガウス 分布になっている n 1 n 1 1  1 N   (2 ) 2 N /2 exp 2  2  ( xn   )  n 1  2 (2.137) 何か事前分布を仮定してやる必要がある
  8. 8. 平均が未知の場合 試しに平均の事前分布もガウス分布で表わしてみる 事前分布: p( )  N  | 0 ,  2 0  事後分布:   N x N p (  | x)  p ( x |  ) p (  )  N  |  0 ,  0 2 n | ,  n 1 (2.138)+(2.139)
  9. 9. 平均が未知の場合 演習 2.38   N x N p(x |  ) p(  )  N  | 0 ,  2 0 n |  ,  n 1 1  1 2 1  1 N 2  exp 2 (   0 )   exp 2  ( xn   )  (2 0 )2 1/ 2  2 0  (2 ) 2 N /2  2 n 1  1  1 1 N 2  exp 2 (   0 )  2  ( xn   )  2 (2 ) ( N 1) / 2  0 N  2 0 2 n 1  ここだけ取り出して計算
  10. 10. 平均が未知の場合 演習 2.38 (続き) N 1 1  2 0 2 (  0 )  2 2 2  ( xn   ) 2 n 1  N 1  2  1 N 1    2   2    2 2  2 0    xn   2 0   const    n 1 0   N 1  2  2 0 2 N 2 2     2   2    2 2  2 0   N  2  xn   2 N   2 0    const    0 n 1 0     xn    0  2 1  2 2  N   2   2    2  0   const 2 0  0 N  2 2     1    2  2    N 2  const  平方完成!  N 
  11. 11. 平均が未知の場合 演習 2.38 (続き) 事後分布は  p( | x)  N  |  N ,  2 N  (2.140) ただし, 2 N 02 1 1 N N  0   ML   N 0   2 2 N 0   2 2 (2.141)  2 N  2 0 2 (2.142) N 1  ML  N x n 1 n (2.143)
  12. 12. 平均が未知の場合 まとめると p( | x)  p(x |  ) p( ) N  |  N ,  2 N  N N  | 0 ,  2 0   N ( xn |  ,  2 ) n 1 尤度関数、事前分布、事後分布がみんな平均μにつ いてのガウス分布になった!
  13. 13. 平均が未知の場合 共役事前分布: 尤度関数と同じ関数型の事前分布で,事 後分布を同じ関数型にする事前分布 この節の残りでは,同じようなやり方を分散が未知の 場合や平均と分散の両方が未知の場合に適用して るだけ
  14. 14. 結論 ガウス分布に対する,平均及び分散の共役事前 分布は以下のようにまとめられる 平均が未知 分散が未知 平均と分散が 未知 1次元 ガウス分布 ガンマ分布 ガウス-ガンマ 分布 D次元 ガウス分布 ウィシャート分 ガウス-ウィ 布 シャート分布
  15. 15. 平均が未知の場合 平均の事後分布:  p( | x)  N  |  N ,  2 N  2 N 02 1 1 N N  0   ML   N 0   2 2 N 0   2 2  2 N  2 0 2 N=0の時、  N  0  N  0 観測データがない場合,事後分布=事前分布
  16. 16. 平均が未知の場合 平均の事後分布:  p( | x)  N  |  N ,  2 N  2 N 02 1 1 N N  0   ML   N 0   2 2 N 0   2 2  2 N  2 0 2 N→∞の時、  N   ML N  0 観測データ多いと事後分布は最尤推定解に近づく
  17. 17. 平均が未知の場合 データ数と平均の事後分布の関係:
  18. 18. 平均が未知の場合 D次元ガウス分布の場合(演習2.40): N N p ( X | μ) p (μ)  p (μ) p(x n | μ)  N μ | μ 0 , Σ 0  N x n | μ, Σ  n 1 n 1 1 1  1 1 N   exp (μ  μ 0 ) Σ 0 (μ  μ 0 )   (x n  μ) T Σ 1 (x n  μ) T 1 (2 ) ( N 1) D / 2 Σ ( N 1) / 2  2 2 n 1 
  19. 19. 平均が未知の場合 D次元ガウス分布の場合(演習2.40): 1 1 N  (μ  μ 0 ) Σ 0 (μ  μ 0 )   (x n  μ) T Σ 1 (x n  μ) T 1 2 2 n 1 1 T 1 2  1 1 T 1 2 1 T 1 1 N T 1    μ Σ 0  NΣ μ  μ Σ 0 μ 0  μ 0 Σ 0 μ   μ Σ x n  μΣ1x T  const 2 2 n 1 n  T  1    N 1 T 1   μ Σ 0  NΣ μ  μ  Σ 0 μ 0  Σ  x n   const 1 1 2  n 1  1  μ  μ N T Σ 1 μ  μ N   const N 2 ただし  1 μ N  Σ  NΣ 0  Σ 1 1 1 0 1 μ 0  Σ μ ML  μ ML  1 N x n N  Σ  n 1 1 ΣN 0  NΣ1
  20. 20. 平均が未知の場合 逐次更新式: N p(  | x)  p(  ) p( xn |  ) n 1  N 1    p(  ) p( xn |  ) p( xN |  )  n 1  (2.144) 新たな事前分布とみなす
  21. 21. 分散が未知の場合 1 分散の代わりに精度を用いる   2 p( | x)  p(x |  ) p( ) 尤度関数: N   N 2 p(x |  )   N ( xn |  ,  )   exp  ( xn   )  1 N /2 n 1  2 n1  (2.145) 共役事前分布: λについて同じ関数形! 1 a a 1 p( )  Gam( | a, b)  b  exp( b ) (a) (2.146) ガンマ分布
  22. 22. 分散が未知の場合 演習2.41 1 a a 1 Gam(  | a, b)  b  exp( b ) ( a ) が、正規化されていることを証明  1 a a 1 b  0 (a) b  exp(b )d  (a) 0 (b ) a 1 exp( b )d 1 z  b とおくと、 d  dz なので、 b b  1  a 1 0 (b ) exp(b )d  (a) 0 z exp( z)dz a 1 (a)
  23. 23. 分散が未知の場合 演習2.41 (続き)  (a)   u a 1 exp( u)du 0 なので、 1  a 1 (a) 0 z exp( z)dz  1 よって正規化されている。
  24. 24. 分散が未知の場合 ガンマ分布: 1 a a 1 Gam(  | a, b)  b  exp( b ) ( a )
  25. 25. 分散が未知の場合 ガンマ分布の期待値(演習 2.42)    E[ ]    Gam(  | a, b)d   b a a 1 exp( b )d 0 0 ( a ) 1 z  b とおくと、 d  dz なので、 b  1 1  a    Gam(  | a, b)d  0 z exp( z)dz 0 ( a ) b (a  1) a(a) a    b(a) b(a) b 演習1.17参照
  26. 26. 分散が未知の場合 ガンマ分布の分散(演習 2.42)   var[  ]   (  E[ ]) Gam(  | a, b)d   2 Gam(  | a, b)d  E[ ]2 2 0 0 2 2  1 a a 1 a 1 1  a  (a) b 0 b  exp( b )d     b a 1a 1 exp( b )d    0 ( a ) b b 2 2 1 1  a (a  2) 1  a   ( a ) b 2  0 z a 1 exp(  z )dz     b   ( a ) b  b  2 2 (a  1)a(a) 1  a  a     2 ( a ) b2  b  b
  27. 27. 分散が未知の場合 事後分布: p( | x)  p(x |  ) p( ) 尤度関数: N   N 2 p(x |  )   N ( xn |  ,  )   exp  ( xn   )  1 N /2 n 1  2 n1  (2.145) 共役事前分布: 1 p( )  Gam(  | a0 , b0 )  b  exp( b0 ) a0 a0 1 (a0 ) (2.146)
  28. 28. 分散が未知の場合 事後分布:   N 2 p( | x)    exp b0   ( xn   )  a0 1 N / 2  2 n 1 (2.149) 尤度関数: N   N 2 p(x |  )   N ( xn |  ,  )   exp  ( xn   )  1 N /2 n 1  2 n1  (2.145) 共役事前分布: 1 p( )  Gam(  | a0 , b0 )  b  exp( b0 ) a0 a0 1 (a0 ) (2.146)
  29. 29. 分散が未知の場合 事後分布:   N 2 p( | x)    exp b0    ( xn   )  a0 1 N / 2  2 n 1 (2.149)   exp( bN  ) a N 1 ここで、 N 1 N N 2 a N  a0  bN  b0   ( xn   ) 2  b0   ML とする 2 2 n1 2 従って事後分布もガンマ分布になる 1 p( | x)  Gam(  | aN , bN )  b  exp( bN  ) a N a N 1 ( a N )
  30. 30. 分散が未知の場合 事後分布: 1 p( | x)  Gam(  | aN , bN )  b  exp( bN  ) a N a N 1 ( a N ) N 1 N N 2 a N  a0  (2.150) bN  b0   ( xn   )  b0   ML 2 (2.151) 2 2 n1 2 a0 ,b0 は、分散が b0 / a0 であるような 2a0 個の「有効な」 観測値が事前にあると解釈できる
  31. 31. 分散が未知の場合 D次元ガウス分布の場合: p(Λ | X)  p(X | Λ) p(Λ) 尤度関数: N  1 N  p( X | Λ)   N (x n | μ, Λ )  Λ 1 N /2 exp  (x n  μ) Λ(x n  μ) T n 1  2 n 1  共役事前分布: ( v  D 1) / 2  1  p( Λ)  W ( Λ | W, )  B Λ 1 exp  Tr( W Λ)  ウィシャート分布  2  (2.155)
  32. 32. 分散が未知の場合 ウィシャート分布: ( v  D 1) / 2  1  p( Λ)  W ( Λ | W, )  B Λ 1 exp  Tr( W Λ)   2  (2.155) 1  D / 2 D ( D 1) / 4 D   1  i     2   v / 2 B( W, )  W 2    (2.156)  i 1  
  33. 33. 分散が未知の場合 ウィシャート分布が共役事前分布であることの確認(演習 2.45) N p( Λ | X)  p( X | Λ) p( Λ)  W ( Λ | W, ) N (x n | μ, Λ 1 ) n 1  1  N /2  1 N  exp  Tr( W 1Λ)   Λ exp  (x n  μ) T Λ(x n  μ) ( v  D 1) / 2 Λ  2   2 n 1  (x  μ) T Λ (x  μ)  Tr (x  μ)(x  μ) T Λ   より  1  1 N T   p ( Λ | X)  Λ (  D 1 N ) / 2 exp  Tr  W   (x n  μ)(x n  μ)  Λ   2   n 1   
  34. 34. 分散が未知の場合 ウィシャート分布が共役事前分布であることの確認(演習 2.45)  1  1 N T   p ( Λ | X)  Λ (  D 1 N ) / 2 exp  Tr  W   (x n  μ)(x n  μ)  Λ   2   n 1    従って、事後分布も以下のようなウィシャート分布になる p ( Λ | X)  W ( Λ |  N , WN ) N  N   N W  W   (x n  μ)(x n  μ) T 1 N 1 n 1
  35. 35. 平均と分散が未知の場合 事後分布: p(,  | x)  p(x | ,  ) p(,  ) 尤度関数: 1/ 2 N      2 p(x |  ,  )     exp ( xn   )  n 1  2   2  N  1/ 2   2   N  N 2   exp   2  exp  xn   xn       n 1 2 n 1  (2.152)
  36. 36. 平均と分散が未知の場合 尤度関数: N  1/ 2   2   N  N 2 p(x |  ,  )   exp   2  exp  xn   xn       n 1 2 n 1  (2.152) 共役事前分布:   1/ 2   2  p(  ,  )   exp   2  expc  d          /2   c2    exp (   c /  ) 2  exp  d     (2.153)  2    2   
  37. 37. 平均と分散が未知の場合 共役事前分布:   1/ 2   2  p(  ,  )   exp   2  expc  d          /2   c2    exp (   c /  ) 2  exp  d     2   (2.153)  2     0  c /  a  1  / 2 b  d  c 2 / 2 p( ,  )  N  | 0 , ( ) 1 Gam( | a, b) (2.154) 正規-ガンマ分布
  38. 38. 平均と分散が未知の場合 正規-ガンマ分布: p( ,  )  N  | 0 , ( ) 1 Gam( | a, b)
  39. 39. 平均と分散が未知の場合 D次元ガウス分布の場合: 共役事前分布: p(μ, Λ | μ0 ,  , W, )  N (μ | μ0 , (Λ) )W (Λ | W, ) 1 正規-ウィシャート分布 (2.157)
  40. 40. まとめ ガウス分布に対する,平均及び分散の共役事前 分布は以下のようにまとめられる 平均が未知 分散が未知 平均と分散が 未知 1次元 ガウス分布 ガンマ分布 ガウス-ガンマ 分布 D次元 ガウス分布 ウィシャート分 ガウス-ウィ 布 シャート分布
  41. 41. ご静聴ありがとうございました。

×