Chapter2.3.6

5,168 views

Published on

Published in: Sports
0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
5,168
On SlideShare
0
From Embeds
0
Number of Embeds
1,989
Actions
Shares
0
Downloads
54
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide

Chapter2.3.6

  1. 1. 第2回PRML読書会復讐レーン 2.3.6 ガウス分布に対するベイズ 推論 2010/05/08 Presented by takmin
  2. 2. おさらい • ガウス分布(1次元)  p( x |  ,  )  N x |  ,  2  1  1   exp ( x   )2  (2 2 )1/ 2  2 2  正規化係数 二次形式  μ x
  3. 3. おさらい • ガウス分布(D次元) p(x | μ, Σ)  N x | μ, Σ  1 1  1 T 1   exp (x  μ) Σ (x  μ) (2 ) D/2 Σ 1/ 2  2  正規化係数 二次形式 Σ μ x
  4. 4. おさらい • 最尤推定 N p(x | θ)   p( xn | θ) 尤度 n 1 観測データ パラメータ サンプル データが観測されたとき,そのデータが発生する確 率(尤度)を最大化するパラメータを求めること
  5. 5. おさらい • ベイズ推論 p(x | θ) p(θ) p(θ | x)  p ( x) 事後分布 N  p(x | θ) p(θ)  p(θ) p( xn | θ) n 1 尤度 事前分布 データが観測されたとき,パラメータがとる確率分布 を求める
  6. 6. この節の流れ ガウス分布の各パラメータの事後分布を求める 1. 平均が未知の場合のベイズ推論 2. 分散が未知の場合のベイズ推論 3. 平均と分散が未知の場合のベイズ推論  今回はとにかく数式だらけ! μ
  7. 7. 平均が未知の場合 平均の事後分布: p( | x)  p(x |  ) p( ) 尤度関数: N N p ( x |  )   p ( xn |  )   N ( x n |  ,  2 ) μについてもガウス 分布になっている n 1 n 1 1  1 N   (2 ) 2 N /2 exp 2  2  ( xn   )  n 1  2 (2.137) 何か事前分布を仮定してやる必要がある
  8. 8. 平均が未知の場合 試しに平均の事前分布もガウス分布で表わしてみる 事前分布: p( )  N  | 0 ,  2 0  事後分布:   N x N p (  | x)  p ( x |  ) p (  )  N  |  0 ,  0 2 n | ,  n 1 (2.138)+(2.139)
  9. 9. 平均が未知の場合 演習 2.38   N x N p(x |  ) p(  )  N  | 0 ,  2 0 n |  ,  n 1 1  1 2 1  1 N 2  exp 2 (   0 )   exp 2  ( xn   )  (2 0 )2 1/ 2  2 0  (2 ) 2 N /2  2 n 1  1  1 1 N 2  exp 2 (   0 )  2  ( xn   )  2 (2 ) ( N 1) / 2  0 N  2 0 2 n 1  ここだけ取り出して計算
  10. 10. 平均が未知の場合 演習 2.38 (続き) N 1 1  2 0 2 (  0 )  2 2 2  ( xn   ) 2 n 1  N 1  2  1 N 1    2   2    2 2  2 0    xn   2 0   const    n 1 0   N 1  2  2 0 2 N 2 2     2   2    2 2  2 0   N  2  xn   2 N   2 0    const    0 n 1 0     xn    0  2 1  2 2  N   2   2    2  0   const 2 0  0 N  2 2     1    2  2    N 2  const  平方完成!  N 
  11. 11. 平均が未知の場合 演習 2.38 (続き) 事後分布は  p( | x)  N  |  N ,  2 N  (2.140) ただし, 2 N 02 1 1 N N  0   ML   N 0   2 2 N 0   2 2 (2.141)  2 N  2 0 2 (2.142) N 1  ML  N x n 1 n (2.143)
  12. 12. 平均が未知の場合 まとめると p( | x)  p(x |  ) p( ) N  |  N ,  2 N  N N  | 0 ,  2 0   N ( xn |  ,  2 ) n 1 尤度関数、事前分布、事後分布がみんな平均μにつ いてのガウス分布になった!
  13. 13. 平均が未知の場合 共役事前分布: 尤度関数と同じ関数型の事前分布で,事 後分布を同じ関数型にする事前分布 この節の残りでは,同じようなやり方を分散が未知の 場合や平均と分散の両方が未知の場合に適用して るだけ
  14. 14. 結論 ガウス分布に対する,平均及び分散の共役事前 分布は以下のようにまとめられる 平均が未知 分散が未知 平均と分散が 未知 1次元 ガウス分布 ガンマ分布 ガウス-ガンマ 分布 D次元 ガウス分布 ウィシャート分 ガウス-ウィ 布 シャート分布
  15. 15. 平均が未知の場合 平均の事後分布:  p( | x)  N  |  N ,  2 N  2 N 02 1 1 N N  0   ML   N 0   2 2 N 0   2 2  2 N  2 0 2 N=0の時、  N  0  N  0 観測データがない場合,事後分布=事前分布
  16. 16. 平均が未知の場合 平均の事後分布:  p( | x)  N  |  N ,  2 N  2 N 02 1 1 N N  0   ML   N 0   2 2 N 0   2 2  2 N  2 0 2 N→∞の時、  N   ML N  0 観測データ多いと事後分布は最尤推定解に近づく
  17. 17. 平均が未知の場合 データ数と平均の事後分布の関係:
  18. 18. 平均が未知の場合 D次元ガウス分布の場合(演習2.40): N N p ( X | μ) p (μ)  p (μ) p(x n | μ)  N μ | μ 0 , Σ 0  N x n | μ, Σ  n 1 n 1 1 1  1 1 N   exp (μ  μ 0 ) Σ 0 (μ  μ 0 )   (x n  μ) T Σ 1 (x n  μ) T 1 (2 ) ( N 1) D / 2 Σ ( N 1) / 2  2 2 n 1 
  19. 19. 平均が未知の場合 D次元ガウス分布の場合(演習2.40): 1 1 N  (μ  μ 0 ) Σ 0 (μ  μ 0 )   (x n  μ) T Σ 1 (x n  μ) T 1 2 2 n 1 1 T 1 2  1 1 T 1 2 1 T 1 1 N T 1    μ Σ 0  NΣ μ  μ Σ 0 μ 0  μ 0 Σ 0 μ   μ Σ x n  μΣ1x T  const 2 2 n 1 n  T  1    N 1 T 1   μ Σ 0  NΣ μ  μ  Σ 0 μ 0  Σ  x n   const 1 1 2  n 1  1  μ  μ N T Σ 1 μ  μ N   const N 2 ただし  1 μ N  Σ  NΣ 0  Σ 1 1 1 0 1 μ 0  Σ μ ML  μ ML  1 N x n N  Σ  n 1 1 ΣN 0  NΣ1
  20. 20. 平均が未知の場合 逐次更新式: N p(  | x)  p(  ) p( xn |  ) n 1  N 1    p(  ) p( xn |  ) p( xN |  )  n 1  (2.144) 新たな事前分布とみなす
  21. 21. 分散が未知の場合 1 分散の代わりに精度を用いる   2 p( | x)  p(x |  ) p( ) 尤度関数: N   N 2 p(x |  )   N ( xn |  ,  )   exp  ( xn   )  1 N /2 n 1  2 n1  (2.145) 共役事前分布: λについて同じ関数形! 1 a a 1 p( )  Gam( | a, b)  b  exp( b ) (a) (2.146) ガンマ分布
  22. 22. 分散が未知の場合 演習2.41 1 a a 1 Gam(  | a, b)  b  exp( b ) ( a ) が、正規化されていることを証明  1 a a 1 b  0 (a) b  exp(b )d  (a) 0 (b ) a 1 exp( b )d 1 z  b とおくと、 d  dz なので、 b b  1  a 1 0 (b ) exp(b )d  (a) 0 z exp( z)dz a 1 (a)
  23. 23. 分散が未知の場合 演習2.41 (続き)  (a)   u a 1 exp( u)du 0 なので、 1  a 1 (a) 0 z exp( z)dz  1 よって正規化されている。
  24. 24. 分散が未知の場合 ガンマ分布: 1 a a 1 Gam(  | a, b)  b  exp( b ) ( a )
  25. 25. 分散が未知の場合 ガンマ分布の期待値(演習 2.42)    E[ ]    Gam(  | a, b)d   b a a 1 exp( b )d 0 0 ( a ) 1 z  b とおくと、 d  dz なので、 b  1 1  a    Gam(  | a, b)d  0 z exp( z)dz 0 ( a ) b (a  1) a(a) a    b(a) b(a) b 演習1.17参照
  26. 26. 分散が未知の場合 ガンマ分布の分散(演習 2.42)   var[  ]   (  E[ ]) Gam(  | a, b)d   2 Gam(  | a, b)d  E[ ]2 2 0 0 2 2  1 a a 1 a 1 1  a  (a) b 0 b  exp( b )d     b a 1a 1 exp( b )d    0 ( a ) b b 2 2 1 1  a (a  2) 1  a   ( a ) b 2  0 z a 1 exp(  z )dz     b   ( a ) b  b  2 2 (a  1)a(a) 1  a  a     2 ( a ) b2  b  b
  27. 27. 分散が未知の場合 事後分布: p( | x)  p(x |  ) p( ) 尤度関数: N   N 2 p(x |  )   N ( xn |  ,  )   exp  ( xn   )  1 N /2 n 1  2 n1  (2.145) 共役事前分布: 1 p( )  Gam(  | a0 , b0 )  b  exp( b0 ) a0 a0 1 (a0 ) (2.146)
  28. 28. 分散が未知の場合 事後分布:   N 2 p( | x)    exp b0   ( xn   )  a0 1 N / 2  2 n 1 (2.149) 尤度関数: N   N 2 p(x |  )   N ( xn |  ,  )   exp  ( xn   )  1 N /2 n 1  2 n1  (2.145) 共役事前分布: 1 p( )  Gam(  | a0 , b0 )  b  exp( b0 ) a0 a0 1 (a0 ) (2.146)
  29. 29. 分散が未知の場合 事後分布:   N 2 p( | x)    exp b0    ( xn   )  a0 1 N / 2  2 n 1 (2.149)   exp( bN  ) a N 1 ここで、 N 1 N N 2 a N  a0  bN  b0   ( xn   ) 2  b0   ML とする 2 2 n1 2 従って事後分布もガンマ分布になる 1 p( | x)  Gam(  | aN , bN )  b  exp( bN  ) a N a N 1 ( a N )
  30. 30. 分散が未知の場合 事後分布: 1 p( | x)  Gam(  | aN , bN )  b  exp( bN  ) a N a N 1 ( a N ) N 1 N N 2 a N  a0  (2.150) bN  b0   ( xn   )  b0   ML 2 (2.151) 2 2 n1 2 a0 ,b0 は、分散が b0 / a0 であるような 2a0 個の「有効な」 観測値が事前にあると解釈できる
  31. 31. 分散が未知の場合 D次元ガウス分布の場合: p(Λ | X)  p(X | Λ) p(Λ) 尤度関数: N  1 N  p( X | Λ)   N (x n | μ, Λ )  Λ 1 N /2 exp  (x n  μ) Λ(x n  μ) T n 1  2 n 1  共役事前分布: ( v  D 1) / 2  1  p( Λ)  W ( Λ | W, )  B Λ 1 exp  Tr( W Λ)  ウィシャート分布  2  (2.155)
  32. 32. 分散が未知の場合 ウィシャート分布: ( v  D 1) / 2  1  p( Λ)  W ( Λ | W, )  B Λ 1 exp  Tr( W Λ)   2  (2.155) 1  D / 2 D ( D 1) / 4 D   1  i     2   v / 2 B( W, )  W 2    (2.156)  i 1  
  33. 33. 分散が未知の場合 ウィシャート分布が共役事前分布であることの確認(演習 2.45) N p( Λ | X)  p( X | Λ) p( Λ)  W ( Λ | W, ) N (x n | μ, Λ 1 ) n 1  1  N /2  1 N  exp  Tr( W 1Λ)   Λ exp  (x n  μ) T Λ(x n  μ) ( v  D 1) / 2 Λ  2   2 n 1  (x  μ) T Λ (x  μ)  Tr (x  μ)(x  μ) T Λ   より  1  1 N T   p ( Λ | X)  Λ (  D 1 N ) / 2 exp  Tr  W   (x n  μ)(x n  μ)  Λ   2   n 1   
  34. 34. 分散が未知の場合 ウィシャート分布が共役事前分布であることの確認(演習 2.45)  1  1 N T   p ( Λ | X)  Λ (  D 1 N ) / 2 exp  Tr  W   (x n  μ)(x n  μ)  Λ   2   n 1    従って、事後分布も以下のようなウィシャート分布になる p ( Λ | X)  W ( Λ |  N , WN ) N  N   N W  W   (x n  μ)(x n  μ) T 1 N 1 n 1
  35. 35. 平均と分散が未知の場合 事後分布: p(,  | x)  p(x | ,  ) p(,  ) 尤度関数: 1/ 2 N      2 p(x |  ,  )     exp ( xn   )  n 1  2   2  N  1/ 2   2   N  N 2   exp   2  exp  xn   xn       n 1 2 n 1  (2.152)
  36. 36. 平均と分散が未知の場合 尤度関数: N  1/ 2   2   N  N 2 p(x |  ,  )   exp   2  exp  xn   xn       n 1 2 n 1  (2.152) 共役事前分布:   1/ 2   2  p(  ,  )   exp   2  expc  d          /2   c2    exp (   c /  ) 2  exp  d     (2.153)  2    2   
  37. 37. 平均と分散が未知の場合 共役事前分布:   1/ 2   2  p(  ,  )   exp   2  expc  d          /2   c2    exp (   c /  ) 2  exp  d     2   (2.153)  2     0  c /  a  1  / 2 b  d  c 2 / 2 p( ,  )  N  | 0 , ( ) 1 Gam( | a, b) (2.154) 正規-ガンマ分布
  38. 38. 平均と分散が未知の場合 正規-ガンマ分布: p( ,  )  N  | 0 , ( ) 1 Gam( | a, b)
  39. 39. 平均と分散が未知の場合 D次元ガウス分布の場合: 共役事前分布: p(μ, Λ | μ0 ,  , W, )  N (μ | μ0 , (Λ) )W (Λ | W, ) 1 正規-ウィシャート分布 (2.157)
  40. 40. まとめ ガウス分布に対する,平均及び分散の共役事前 分布は以下のようにまとめられる 平均が未知 分散が未知 平均と分散が 未知 1次元 ガウス分布 ガンマ分布 ガウス-ガンマ 分布 D次元 ガウス分布 ウィシャート分 ガウス-ウィ 布 シャート分布
  41. 41. ご静聴ありがとうございました。

×