0
第2回PRML読書会復讐レーン
2.3.6 ガウス分布に対するベイズ
          推論
        2010/05/08
    Presented by takmin
おさらい
• ガウス分布(1次元)
                     
  p( x |  ,  )  N x |  ,  2   
                         1            1    ...
おさらい
• ガウス分布(D次元)
p(x | μ, Σ)  N x | μ, Σ 
                 1       1         1       T 1      
                   ...
おさらい
• 最尤推定
             N
  p(x | θ)   p( xn | θ)
  尤度        n 1
                 観測データ   パラメータ
                 サンプル...
おさらい
• ベイズ推論
            p(x | θ) p(θ)
 p(θ | x) 
               p ( x)
 事後分布
                                N
         ...
この節の流れ
ガウス分布の各パラメータの事後分布を求める

1. 平均が未知の場合のベイズ推論
2. 分散が未知の場合のベイズ推論
3. 平均と分散が未知の場合のベイズ推論
    
           今回はとにかく数式だらけ!


  ...
平均が未知の場合
平均の事後分布:
      p( | x)  p(x |  ) p( )
尤度関数:
               N                  N
  p ( x |  )   p ( xn |  ...
平均が未知の場合
試しに平均の事前分布もガウス分布で表わしてみる

事前分布:

               p( )  N  | 0 ,         2
                                   ...
平均が未知の場合
演習 2.38

                                      N x
                                       N
p(x |  ) p(  ) ...
平均が未知の場合
演習 2.38 (続き)
                                 N
      1                    1
 
     2 0
        2
            (...
平均が未知の場合
演習 2.38 (続き)

 事後分布は

                                  
             p( | x)  N  |  N ,             2
    ...
平均が未知の場合
まとめると
       p( | x)  p(x |  ) p( )

 N  |  N ,    2
                  N       N
                       ...
平均が未知の場合

共役事前分布:
尤度関数と同じ関数型の事前分布で,事
後分布を同じ関数型にする事前分布

この節の残りでは,同じようなやり方を分散が未知の
場合や平均と分散の両方が未知の場合に適用して
るだけ
結論
ガウス分布に対する,平均及び分散の共役事前
分布は以下のようにまとめられる

      平均が未知   分散が未知   平均と分散が
                      未知
1次元   ガウス分布   ガンマ分布   ガウス-...
平均が未知の場合
平均の事後分布:

                               
              p( | x)  N  |  N ,    2
                           ...
平均が未知の場合
平均の事後分布:

                              
              p( | x)  N  |  N ,    2
                            ...
平均が未知の場合
データ数と平均の事後分布の関係:
平均が未知の場合
      D次元ガウス分布の場合(演習2.40):

                                 N                                N
p ( X | μ) p (μ) ...
平均が未知の場合
    D次元ガウス分布の場合(演習2.40):
 1                           1 N
 (μ  μ 0 ) Σ 0 (μ  μ 0 )   (x n  μ) T Σ 1 (x n ...
平均が未知の場合
逐次更新式:
                  N
p(  | x)  p(  ) p( xn |  )
                 n 1


                 N 1
       ...
分散が未知の場合
                             1
分散の代わりに精度を用いる  
                             2
         p( | x)  p(x |  ) p(...
分散が未知の場合
演習2.41
                         1 a a 1
       Gam(  | a, b)         b  exp( b )
                        (...
分散が未知の場合
演習2.41 (続き)
          
  (a)   u a 1 exp( u)du
          0


 なので、
   1  a 1
  (a) 0 z exp( z)dz  1
 ...
分散が未知の場合
ガンマ分布:
                  1 a a 1
Gam(  | a, b)         b  exp( b )
                 ( a )
分散が未知の場合
ガンマ分布の期待値(演習 2.42)
                                     
E[ ]    Gam(  | a, b)d             b a a 1 ...
分散が未知の場合
    ガンマ分布の分散(演習 2.42)

                                                          
var[  ]   (  E[ ]) Gam(...
分散が未知の場合
事後分布:

         p( | x)  p(x |  ) p( )
尤度関数:
          N
                                         N        ...
分散が未知の場合
事後分布:
                          N          2
p( | x)    exp b0   ( xn   ) 
            a0 1 N / 2...
分散が未知の場合
事後分布:
                           N          2
p( | x)    exp b0    ( xn   ) 
            a0 1 N /...
分散が未知の場合
事後分布:
                                  1
p( | x)  Gam(  | aN , bN )           b  exp( bN  )
             ...
分散が未知の場合
D次元ガウス分布の場合:

           p(Λ | X)  p(X | Λ) p(Λ)
尤度関数:
           N
                                            ...
分散が未知の場合
ウィシャート分布:
                                        ( v  D 1) / 2       1          
p( Λ)  W ( Λ | W, )  B Λ...
分散が未知の場合
 ウィシャート分布が共役事前分布であることの確認(演習 2.45)
                                                              N
p( Λ | X)  p( ...
分散が未知の場合
 ウィシャート分布が共役事前分布であることの確認(演習 2.45)

                                           1  1 N                      T ...
平均と分散が未知の場合
事後分布:
p(,  | x)  p(x | ,  ) p(,  )
尤度関数:
                            1/ 2
                 N
          ...
平均と分散が未知の場合
尤度関数:
                                    N
                 1/ 2     2
                                  ...
平均と分散が未知の場合
共役事前分布:
                                    
                 1/ 2     2
                                ...
平均と分散が未知の場合
正規-ガンマ分布:
  p( ,  )  N  | 0 , ( ) 1 Gam( | a, b)
平均と分散が未知の場合
D次元ガウス分布の場合:

共役事前分布:

p(μ, Λ | μ0 ,  , W, )  N (μ | μ0 , (Λ) )W (Λ | W, )
                              ...
まとめ
ガウス分布に対する,平均及び分散の共役事前
分布は以下のようにまとめられる

      平均が未知   分散が未知   平均と分散が
                      未知
1次元   ガウス分布   ガンマ分布   ガウス...
ご静聴ありがとうございました。
Upcoming SlideShare
Loading in...5
×

Chapter2.3.6

3,718

Published on

Published in: Sports
0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
3,718
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
43
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide

Transcript of "Chapter2.3.6"

  1. 1. 第2回PRML読書会復讐レーン 2.3.6 ガウス分布に対するベイズ 推論 2010/05/08 Presented by takmin
  2. 2. おさらい • ガウス分布(1次元)  p( x |  ,  )  N x |  ,  2  1  1   exp ( x   )2  (2 2 )1/ 2  2 2  正規化係数 二次形式  μ x
  3. 3. おさらい • ガウス分布(D次元) p(x | μ, Σ)  N x | μ, Σ  1 1  1 T 1   exp (x  μ) Σ (x  μ) (2 ) D/2 Σ 1/ 2  2  正規化係数 二次形式 Σ μ x
  4. 4. おさらい • 最尤推定 N p(x | θ)   p( xn | θ) 尤度 n 1 観測データ パラメータ サンプル データが観測されたとき,そのデータが発生する確 率(尤度)を最大化するパラメータを求めること
  5. 5. おさらい • ベイズ推論 p(x | θ) p(θ) p(θ | x)  p ( x) 事後分布 N  p(x | θ) p(θ)  p(θ) p( xn | θ) n 1 尤度 事前分布 データが観測されたとき,パラメータがとる確率分布 を求める
  6. 6. この節の流れ ガウス分布の各パラメータの事後分布を求める 1. 平均が未知の場合のベイズ推論 2. 分散が未知の場合のベイズ推論 3. 平均と分散が未知の場合のベイズ推論  今回はとにかく数式だらけ! μ
  7. 7. 平均が未知の場合 平均の事後分布: p( | x)  p(x |  ) p( ) 尤度関数: N N p ( x |  )   p ( xn |  )   N ( x n |  ,  2 ) μについてもガウス 分布になっている n 1 n 1 1  1 N   (2 ) 2 N /2 exp 2  2  ( xn   )  n 1  2 (2.137) 何か事前分布を仮定してやる必要がある
  8. 8. 平均が未知の場合 試しに平均の事前分布もガウス分布で表わしてみる 事前分布: p( )  N  | 0 ,  2 0  事後分布:   N x N p (  | x)  p ( x |  ) p (  )  N  |  0 ,  0 2 n | ,  n 1 (2.138)+(2.139)
  9. 9. 平均が未知の場合 演習 2.38   N x N p(x |  ) p(  )  N  | 0 ,  2 0 n |  ,  n 1 1  1 2 1  1 N 2  exp 2 (   0 )   exp 2  ( xn   )  (2 0 )2 1/ 2  2 0  (2 ) 2 N /2  2 n 1  1  1 1 N 2  exp 2 (   0 )  2  ( xn   )  2 (2 ) ( N 1) / 2  0 N  2 0 2 n 1  ここだけ取り出して計算
  10. 10. 平均が未知の場合 演習 2.38 (続き) N 1 1  2 0 2 (  0 )  2 2 2  ( xn   ) 2 n 1  N 1  2  1 N 1    2   2    2 2  2 0    xn   2 0   const    n 1 0   N 1  2  2 0 2 N 2 2     2   2    2 2  2 0   N  2  xn   2 N   2 0    const    0 n 1 0     xn    0  2 1  2 2  N   2   2    2  0   const 2 0  0 N  2 2     1    2  2    N 2  const  平方完成!  N 
  11. 11. 平均が未知の場合 演習 2.38 (続き) 事後分布は  p( | x)  N  |  N ,  2 N  (2.140) ただし, 2 N 02 1 1 N N  0   ML   N 0   2 2 N 0   2 2 (2.141)  2 N  2 0 2 (2.142) N 1  ML  N x n 1 n (2.143)
  12. 12. 平均が未知の場合 まとめると p( | x)  p(x |  ) p( ) N  |  N ,  2 N  N N  | 0 ,  2 0   N ( xn |  ,  2 ) n 1 尤度関数、事前分布、事後分布がみんな平均μにつ いてのガウス分布になった!
  13. 13. 平均が未知の場合 共役事前分布: 尤度関数と同じ関数型の事前分布で,事 後分布を同じ関数型にする事前分布 この節の残りでは,同じようなやり方を分散が未知の 場合や平均と分散の両方が未知の場合に適用して るだけ
  14. 14. 結論 ガウス分布に対する,平均及び分散の共役事前 分布は以下のようにまとめられる 平均が未知 分散が未知 平均と分散が 未知 1次元 ガウス分布 ガンマ分布 ガウス-ガンマ 分布 D次元 ガウス分布 ウィシャート分 ガウス-ウィ 布 シャート分布
  15. 15. 平均が未知の場合 平均の事後分布:  p( | x)  N  |  N ,  2 N  2 N 02 1 1 N N  0   ML   N 0   2 2 N 0   2 2  2 N  2 0 2 N=0の時、  N  0  N  0 観測データがない場合,事後分布=事前分布
  16. 16. 平均が未知の場合 平均の事後分布:  p( | x)  N  |  N ,  2 N  2 N 02 1 1 N N  0   ML   N 0   2 2 N 0   2 2  2 N  2 0 2 N→∞の時、  N   ML N  0 観測データ多いと事後分布は最尤推定解に近づく
  17. 17. 平均が未知の場合 データ数と平均の事後分布の関係:
  18. 18. 平均が未知の場合 D次元ガウス分布の場合(演習2.40): N N p ( X | μ) p (μ)  p (μ) p(x n | μ)  N μ | μ 0 , Σ 0  N x n | μ, Σ  n 1 n 1 1 1  1 1 N   exp (μ  μ 0 ) Σ 0 (μ  μ 0 )   (x n  μ) T Σ 1 (x n  μ) T 1 (2 ) ( N 1) D / 2 Σ ( N 1) / 2  2 2 n 1 
  19. 19. 平均が未知の場合 D次元ガウス分布の場合(演習2.40): 1 1 N  (μ  μ 0 ) Σ 0 (μ  μ 0 )   (x n  μ) T Σ 1 (x n  μ) T 1 2 2 n 1 1 T 1 2  1 1 T 1 2 1 T 1 1 N T 1    μ Σ 0  NΣ μ  μ Σ 0 μ 0  μ 0 Σ 0 μ   μ Σ x n  μΣ1x T  const 2 2 n 1 n  T  1    N 1 T 1   μ Σ 0  NΣ μ  μ  Σ 0 μ 0  Σ  x n   const 1 1 2  n 1  1  μ  μ N T Σ 1 μ  μ N   const N 2 ただし  1 μ N  Σ  NΣ 0  Σ 1 1 1 0 1 μ 0  Σ μ ML  μ ML  1 N x n N  Σ  n 1 1 ΣN 0  NΣ1
  20. 20. 平均が未知の場合 逐次更新式: N p(  | x)  p(  ) p( xn |  ) n 1  N 1    p(  ) p( xn |  ) p( xN |  )  n 1  (2.144) 新たな事前分布とみなす
  21. 21. 分散が未知の場合 1 分散の代わりに精度を用いる   2 p( | x)  p(x |  ) p( ) 尤度関数: N   N 2 p(x |  )   N ( xn |  ,  )   exp  ( xn   )  1 N /2 n 1  2 n1  (2.145) 共役事前分布: λについて同じ関数形! 1 a a 1 p( )  Gam( | a, b)  b  exp( b ) (a) (2.146) ガンマ分布
  22. 22. 分散が未知の場合 演習2.41 1 a a 1 Gam(  | a, b)  b  exp( b ) ( a ) が、正規化されていることを証明  1 a a 1 b  0 (a) b  exp(b )d  (a) 0 (b ) a 1 exp( b )d 1 z  b とおくと、 d  dz なので、 b b  1  a 1 0 (b ) exp(b )d  (a) 0 z exp( z)dz a 1 (a)
  23. 23. 分散が未知の場合 演習2.41 (続き)  (a)   u a 1 exp( u)du 0 なので、 1  a 1 (a) 0 z exp( z)dz  1 よって正規化されている。
  24. 24. 分散が未知の場合 ガンマ分布: 1 a a 1 Gam(  | a, b)  b  exp( b ) ( a )
  25. 25. 分散が未知の場合 ガンマ分布の期待値(演習 2.42)    E[ ]    Gam(  | a, b)d   b a a 1 exp( b )d 0 0 ( a ) 1 z  b とおくと、 d  dz なので、 b  1 1  a    Gam(  | a, b)d  0 z exp( z)dz 0 ( a ) b (a  1) a(a) a    b(a) b(a) b 演習1.17参照
  26. 26. 分散が未知の場合 ガンマ分布の分散(演習 2.42)   var[  ]   (  E[ ]) Gam(  | a, b)d   2 Gam(  | a, b)d  E[ ]2 2 0 0 2 2  1 a a 1 a 1 1  a  (a) b 0 b  exp( b )d     b a 1a 1 exp( b )d    0 ( a ) b b 2 2 1 1  a (a  2) 1  a   ( a ) b 2  0 z a 1 exp(  z )dz     b   ( a ) b  b  2 2 (a  1)a(a) 1  a  a     2 ( a ) b2  b  b
  27. 27. 分散が未知の場合 事後分布: p( | x)  p(x |  ) p( ) 尤度関数: N   N 2 p(x |  )   N ( xn |  ,  )   exp  ( xn   )  1 N /2 n 1  2 n1  (2.145) 共役事前分布: 1 p( )  Gam(  | a0 , b0 )  b  exp( b0 ) a0 a0 1 (a0 ) (2.146)
  28. 28. 分散が未知の場合 事後分布:   N 2 p( | x)    exp b0   ( xn   )  a0 1 N / 2  2 n 1 (2.149) 尤度関数: N   N 2 p(x |  )   N ( xn |  ,  )   exp  ( xn   )  1 N /2 n 1  2 n1  (2.145) 共役事前分布: 1 p( )  Gam(  | a0 , b0 )  b  exp( b0 ) a0 a0 1 (a0 ) (2.146)
  29. 29. 分散が未知の場合 事後分布:   N 2 p( | x)    exp b0    ( xn   )  a0 1 N / 2  2 n 1 (2.149)   exp( bN  ) a N 1 ここで、 N 1 N N 2 a N  a0  bN  b0   ( xn   ) 2  b0   ML とする 2 2 n1 2 従って事後分布もガンマ分布になる 1 p( | x)  Gam(  | aN , bN )  b  exp( bN  ) a N a N 1 ( a N )
  30. 30. 分散が未知の場合 事後分布: 1 p( | x)  Gam(  | aN , bN )  b  exp( bN  ) a N a N 1 ( a N ) N 1 N N 2 a N  a0  (2.150) bN  b0   ( xn   )  b0   ML 2 (2.151) 2 2 n1 2 a0 ,b0 は、分散が b0 / a0 であるような 2a0 個の「有効な」 観測値が事前にあると解釈できる
  31. 31. 分散が未知の場合 D次元ガウス分布の場合: p(Λ | X)  p(X | Λ) p(Λ) 尤度関数: N  1 N  p( X | Λ)   N (x n | μ, Λ )  Λ 1 N /2 exp  (x n  μ) Λ(x n  μ) T n 1  2 n 1  共役事前分布: ( v  D 1) / 2  1  p( Λ)  W ( Λ | W, )  B Λ 1 exp  Tr( W Λ)  ウィシャート分布  2  (2.155)
  32. 32. 分散が未知の場合 ウィシャート分布: ( v  D 1) / 2  1  p( Λ)  W ( Λ | W, )  B Λ 1 exp  Tr( W Λ)   2  (2.155) 1  D / 2 D ( D 1) / 4 D   1  i     2   v / 2 B( W, )  W 2    (2.156)  i 1  
  33. 33. 分散が未知の場合 ウィシャート分布が共役事前分布であることの確認(演習 2.45) N p( Λ | X)  p( X | Λ) p( Λ)  W ( Λ | W, ) N (x n | μ, Λ 1 ) n 1  1  N /2  1 N  exp  Tr( W 1Λ)   Λ exp  (x n  μ) T Λ(x n  μ) ( v  D 1) / 2 Λ  2   2 n 1  (x  μ) T Λ (x  μ)  Tr (x  μ)(x  μ) T Λ   より  1  1 N T   p ( Λ | X)  Λ (  D 1 N ) / 2 exp  Tr  W   (x n  μ)(x n  μ)  Λ   2   n 1   
  34. 34. 分散が未知の場合 ウィシャート分布が共役事前分布であることの確認(演習 2.45)  1  1 N T   p ( Λ | X)  Λ (  D 1 N ) / 2 exp  Tr  W   (x n  μ)(x n  μ)  Λ   2   n 1    従って、事後分布も以下のようなウィシャート分布になる p ( Λ | X)  W ( Λ |  N , WN ) N  N   N W  W   (x n  μ)(x n  μ) T 1 N 1 n 1
  35. 35. 平均と分散が未知の場合 事後分布: p(,  | x)  p(x | ,  ) p(,  ) 尤度関数: 1/ 2 N      2 p(x |  ,  )     exp ( xn   )  n 1  2   2  N  1/ 2   2   N  N 2   exp   2  exp  xn   xn       n 1 2 n 1  (2.152)
  36. 36. 平均と分散が未知の場合 尤度関数: N  1/ 2   2   N  N 2 p(x |  ,  )   exp   2  exp  xn   xn       n 1 2 n 1  (2.152) 共役事前分布:   1/ 2   2  p(  ,  )   exp   2  expc  d          /2   c2    exp (   c /  ) 2  exp  d     (2.153)  2    2   
  37. 37. 平均と分散が未知の場合 共役事前分布:   1/ 2   2  p(  ,  )   exp   2  expc  d          /2   c2    exp (   c /  ) 2  exp  d     2   (2.153)  2     0  c /  a  1  / 2 b  d  c 2 / 2 p( ,  )  N  | 0 , ( ) 1 Gam( | a, b) (2.154) 正規-ガンマ分布
  38. 38. 平均と分散が未知の場合 正規-ガンマ分布: p( ,  )  N  | 0 , ( ) 1 Gam( | a, b)
  39. 39. 平均と分散が未知の場合 D次元ガウス分布の場合: 共役事前分布: p(μ, Λ | μ0 ,  , W, )  N (μ | μ0 , (Λ) )W (Λ | W, ) 1 正規-ウィシャート分布 (2.157)
  40. 40. まとめ ガウス分布に対する,平均及び分散の共役事前 分布は以下のようにまとめられる 平均が未知 分散が未知 平均と分散が 未知 1次元 ガウス分布 ガンマ分布 ガウス-ガンマ 分布 D次元 ガウス分布 ウィシャート分 ガウス-ウィ 布 シャート分布
  41. 41. ご静聴ありがとうございました。
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×