1. 第２回PRML読書会復讐レーン
2.3.6 ガウス分布に対するベイズ
推論
2010/05/08
Presented by takmin

2. おさらい
• ガウス分布（１次元）

p( x |  ,  )  N x |  ,  2 
1  1 
 exp ( x   )2 
(2 2 )1/ 2  2 2 
正規化係数 二次形式

μ x

3. おさらい
• ガウス分布（D次元）
p(x | μ, Σ)  N x | μ, Σ 
1 1  1 T 1 
 exp (x  μ) Σ (x  μ)
(2 ) D/2
Σ
1/ 2
 2 
正規化係数 二次形式
Σ
μ x

4. おさらい
• 最尤推定
N
p(x | θ)   p( xn | θ)
尤度 n 1
観測データ パラメータ
サンプル
データが観測されたとき，そのデータが発生する確
率（尤度）を最大化するパラメータを求めること

5. おさらい
• ベイズ推論
p(x | θ) p(θ)
p(θ | x) 
p ( x)
事後分布
N
 p(x | θ) p(θ)  p(θ) p( xn | θ)
n 1
尤度 事前分布
データが観測されたとき，パラメータがとる確率分布
を求める

6. この節の流れ
ガウス分布の各パラメータの事後分布を求める
1. 平均が未知の場合のベイズ推論
2. 分散が未知の場合のベイズ推論
3. 平均と分散が未知の場合のベイズ推論

今回はとにかく数式だらけ！
μ

7. 平均が未知の場合
平均の事後分布：
p( | x)  p(x |  ) p( )
尤度関数：
N N
p ( x |  )   p ( xn |  )   N ( x n |  ,  2 ) μについてもガウス
分布になっている
n 1 n 1
1  1 N


(2 )
2 N /2
exp 2
 2
 ( xn   ) 
n 1 
2
(2.137)
何か事前分布を仮定してやる必要がある

8. 平均が未知の場合
試しに平均の事前分布もガウス分布で表わしてみる
事前分布：
p( )  N  | 0 ,  2
0 
事後分布：
  N x
N
p (  | x)  p ( x |  ) p (  )  N  |  0 ,  0
2
n | , 
n 1
(2.138)+(2.139)

9. 平均が未知の場合
演習 2.38
  N x
N
p(x |  ) p(  )  N  | 0 ,  2
0 n |  , 
n 1
1  1 2 1  1 N 2
 exp 2 (   0 )   exp 2  ( xn   ) 
(2 0 )2 1/ 2
 2 0  (2 )
2 N /2
 2 n 1 
1  1 1 N 2
 exp 2 (   0 )  2  ( xn   ) 
2
(2 ) ( N 1) / 2
 0
N
 2 0 2 n 1 
ここだけ取り出して計算

10. 平均が未知の場合
演習 2.38 （続き）
N
1 1

2 0
2
(  0 ) 
2
2 2
 ( xn   ) 2
n 1
 N 1  2  1 N
1 
  2 
 2    2
2 
2 0    xn   2 0   const

  n 1 0 
 N 1  2  2 0 2 N
2 2  
  2 
 2    2
2 
2 0   N  2  xn   2 N   2 0    const

  0 n 1 0  
  xn    0 
2
1 
2 2
 N
  2 
 2   
2 
0
  const
2 0  0 N 
2 2 
 
 1 
  2
 2    N 2  const
 平方完成！
 N 

11. 平均が未知の場合
演習 2.38 （続き）
事後分布は

p( | x)  N  |  N ,  2
N  (2.140)
ただし，
2 N 02 1 1 N
N  0   ML  
N 0  
2 2
N 0  
2 2
(2.141)  2
N  2
0 2 (2.142)
N
1
 ML 
N
x
n 1
n
(2.143)

12. 平均が未知の場合
まとめると
p( | x)  p(x |  ) p( )
N  |  N ,  2
N  N
N  | 0 ,  2
0 
 N ( xn |  ,  2 )
n 1
尤度関数、事前分布、事後分布がみんな平均μにつ
いてのガウス分布になった！

13. 平均が未知の場合
共役事前分布：
尤度関数と同じ関数型の事前分布で，事
後分布を同じ関数型にする事前分布
この節の残りでは，同じようなやり方を分散が未知の
場合や平均と分散の両方が未知の場合に適用して
るだけ

14. 結論
ガウス分布に対する，平均及び分散の共役事前
分布は以下のようにまとめられる
平均が未知 分散が未知 平均と分散が
未知
１次元 ガウス分布 ガンマ分布 ガウス－ガンマ
分布
D次元 ガウス分布 ウィシャート分 ガウス－ウィ
布 シャート分布

15. 平均が未知の場合
平均の事後分布：

p( | x)  N  |  N ,  2
N 
2 N 02
1 1 N
N  0   ML  
N 0  
2 2
N 0  
2 2
 2
N  2
0 2
N=0の時、
 N  0  N  0
観測データがない場合，事後分布＝事前分布

16. 平均が未知の場合
平均の事後分布：

p( | x)  N  |  N ,  2
N 
2 N 02
1 1 N
N  0   ML  
N 0  
2 2
N 0  
2 2
 2
N  2
0 2
N→∞の時、
 N   ML N  0
観測データ多いと事後分布は最尤推定解に近づく

17. 平均が未知の場合
データ数と平均の事後分布の関係：

18. 平均が未知の場合
D次元ガウス分布の場合（演習2.40）：
N N
p ( X | μ) p (μ)  p (μ) p(x n | μ)  N μ | μ 0 , Σ 0  N x n | μ, Σ 
n 1 n 1
1 1  1 1 N 
 exp (μ  μ 0 ) Σ 0 (μ  μ 0 )   (x n  μ) T Σ 1 (x n  μ)
T 1
(2 ) ( N 1) D / 2 Σ ( N 1) / 2  2 2 n 1 

19. 平均が未知の場合
D次元ガウス分布の場合（演習2.40）：
1 1 N
 (μ  μ 0 ) Σ 0 (μ  μ 0 )   (x n  μ) T Σ 1 (x n  μ)
T 1
2 2 n 1
1 T 1
2
 1 1 T 1
2
1 T 1 1 N T 1

  μ Σ 0  NΣ μ  μ Σ 0 μ 0  μ 0 Σ 0 μ   μ Σ x n  μΣ1x T  const
2 2 n 1
n 
T  1 
 
N
1 T 1
  μ Σ 0  NΣ μ  μ  Σ 0 μ 0  Σ  x n   const
1 1
2  n 1 
1
 μ  μ N T Σ 1 μ  μ N   const
N
2
ただし
 1
μ N  Σ  NΣ
0  Σ
1 1 1
0
1
μ 0  Σ μ ML  μ ML 
1 N
x n
N
 Σ 
n 1
1
ΣN 0  NΣ1

20. 平均が未知の場合
逐次更新式：
N
p(  | x)  p(  ) p( xn |  )
n 1
 N 1

  p(  ) p( xn |  ) p( xN |  )
 n 1  (2.144)
新たな事前分布とみなす

21. 分散が未知の場合
1
分散の代わりに精度を用いる  
2
p( | x)  p(x |  ) p( )
尤度関数：
N
  N 2
p(x |  )   N ( xn |  ,  )   exp  ( xn   ) 
1 N /2
n 1  2 n1 
(2.145)
共役事前分布： λについて同じ関数形！
1 a a 1
p( )  Gam( | a, b)  b  exp( b )
(a) (2.146)
ガンマ分布

22. 分散が未知の場合
演習2.41
1 a a 1
Gam(  | a, b)  b  exp( b )
( a )
が、正規化されていることを証明
 1 a a 1 b 
0 (a) b  exp(b )d 
(a) 0
(b ) a 1 exp( b )d
1
z  b とおくと、 d  dz なので、
b
b  1  a 1
0 (b ) exp(b )d  (a) 0 z exp( z)dz
a 1
(a)

23. 分散が未知の場合
演習2.41 （続き）

(a)   u a 1 exp( u)du
0
なので、
1  a 1
(a) 0 z exp( z)dz  1
よって正規化されている。

24. 分散が未知の場合
ガンマ分布：
1 a a 1
Gam(  | a, b)  b  exp( b )
( a )

25. 分散が未知の場合
ガンマ分布の期待値（演習 2.42）
  
E[ ]    Gam(  | a, b)d   b a a 1 exp( b )d
0 0 ( a )
1
z  b とおくと、 d  dz なので、
b
 1 1  a
   Gam(  | a, b)d  0 z exp( z)dz
0 ( a ) b
(a  1) a(a) a
  
b(a) b(a) b
演習1.17参照

26. 分散が未知の場合
ガンマ分布の分散（演習 2.42）
 
var[  ]   (  E[ ]) Gam(  | a, b)d   2 Gam(  | a, b)d  E[ ]2
2
0 0
2 2
 1 a a 1 a 1 1  a

(a) b 0
b  exp( b )d     b a 1a 1 exp( b )d   
0 ( a ) b b
2 2
1 1  a (a  2) 1  a 

( a ) b 2 
0
z a 1 exp(  z )dz    
b
 
( a ) b  b 
2
2
(a  1)a(a) 1  a  a
    2
( a ) b2  b  b

27. 分散が未知の場合
事後分布：
p( | x)  p(x |  ) p( )
尤度関数：
N
  N 2
p(x |  )   N ( xn |  ,  )   exp  ( xn   ) 
1 N /2
n 1  2 n1 
(2.145)
共役事前分布：
1
p( )  Gam(  | a0 , b0 )  b  exp( b0 )
a0 a0 1
(a0 ) (2.146)

28. 分散が未知の場合
事後分布：
  N 2
p( | x)    exp b0   ( xn   ) 
a0 1 N / 2
 2 n 1 (2.149)
尤度関数：
N
  N 2
p(x |  )   N ( xn |  ,  )   exp  ( xn   ) 
1 N /2
n 1  2 n1 
(2.145)
共役事前分布：
1
p( )  Gam(  | a0 , b0 )  b  exp( b0 )
a0 a0 1
(a0 ) (2.146)

29. 分散が未知の場合
事後分布：
  N 2
p( | x)    exp b0    ( xn   ) 
a0 1 N / 2
 2 n 1 (2.149)
  exp( bN  )
a N 1
ここで、
N 1 N N 2
a N  a0  bN  b0   ( xn   ) 2  b0   ML とする
2 2 n1 2
従って事後分布もガンマ分布になる
1
p( | x)  Gam(  | aN , bN )  b  exp( bN  )
a N a N 1
( a N )

30. 分散が未知の場合
事後分布：
1
p( | x)  Gam(  | aN , bN )  b  exp( bN  )
a N a N 1
( a N )
N 1 N N 2
a N  a0  (2.150) bN  b0   ( xn   )  b0   ML
2
(2.151)
2 2 n1 2
a0 ,b0 は、分散が b0 / a0 であるような 2a0 個の「有効な」
観測値が事前にあると解釈できる

31. 分散が未知の場合
D次元ガウス分布の場合：
p(Λ | X)  p(X | Λ) p(Λ)
尤度関数：
N
 1 N 
p( X | Λ)   N (x n | μ, Λ )  Λ
1 N /2
exp  (x n  μ) Λ(x n  μ)
T
n 1  2 n 1 
共役事前分布：
( v  D 1) / 2  1 
p( Λ)  W ( Λ | W, )  B Λ 1
exp  Tr( W Λ) 
ウィシャート分布  2 
(2.155)

32. 分散が未知の場合
ウィシャート分布：
( v  D 1) / 2  1 
p( Λ)  W ( Λ | W, )  B Λ 1
exp  Tr( W Λ) 
 2 
(2.155)
1
 D / 2 D ( D 1) / 4 D
  1  i  
  2  
v / 2
B( W, )  W 2 
 
(2.156)
 i 1  

33. 分散が未知の場合
ウィシャート分布が共役事前分布であることの確認（演習 2.45）
N
p( Λ | X)  p( X | Λ) p( Λ)  W ( Λ | W, ) N (x n | μ, Λ 1 )
n 1
 1  N /2  1 N 
exp  Tr( W 1Λ)   Λ exp  (x n  μ) T Λ(x n  μ)
( v  D 1) / 2
Λ
 2   2 n 1 
(x  μ) T Λ (x  μ)  Tr (x  μ)(x  μ) T Λ   より
 1  1 N T 

p ( Λ | X)  Λ (  D 1 N ) / 2
exp  Tr  W   (x n  μ)(x n  μ)  Λ 
 2 
 n 1   

34. 分散が未知の場合
ウィシャート分布が共役事前分布であることの確認（演習 2.45）
 1  1 N T 

p ( Λ | X)  Λ (  D 1 N ) / 2
exp  Tr  W   (x n  μ)(x n  μ)  Λ 
 2 
 n 1   
従って、事後分布も以下のようなウィシャート分布になる
p ( Λ | X)  W ( Λ |  N , WN )
N
 N   N W  W   (x n  μ)(x n  μ) T
1
N
1
n 1

35. 平均と分散が未知の場合
事後分布：
p(,  | x)  p(x | ,  ) p(,  )
尤度関数：
1/ 2
N
     2
p(x |  ,  )     exp ( xn   ) 
n 1  2   2 
N
 1/ 2   2
  N
 N 2
  exp 
 2  exp  xn   xn 

    n 1 2 n 1  (2.152)

36. 平均と分散が未知の場合
尤度関数：
N
 1/ 2   2
  N
 N 2
p(x |  ,  )   exp 
 2  exp  xn   xn 

    n 1 2 n 1 
(2.152)
共役事前分布：

 1/ 2   2

p(  ,  )   exp 
 2  expc  d 

  
    /2   c2  
 exp (   c /  ) 2  exp  d 
   (2.153)
 2    2  


37. 平均と分散が未知の場合
共役事前分布：

 1/ 2   2

p(  ,  )   exp 
 2  expc  d 

  
    /2   c2  
 exp (   c /  ) 2  exp  d 
  
2  
(2.153)
 2    
0  c / 
a  1  / 2
b  d  c 2 / 2
p( ,  )  N  | 0 , ( ) 1 Gam( | a, b) (2.154)
正規－ガンマ分布

38. 平均と分散が未知の場合
正規－ガンマ分布：
p( ,  )  N  | 0 , ( ) 1 Gam( | a, b)

39. 平均と分散が未知の場合
D次元ガウス分布の場合：
共役事前分布：
p(μ, Λ | μ0 ,  , W, )  N (μ | μ0 , (Λ) )W (Λ | W, )
1
正規－ウィシャート分布 (2.157)

40. まとめ
ガウス分布に対する，平均及び分散の共役事前
分布は以下のようにまとめられる
平均が未知 分散が未知 平均と分散が
未知
１次元 ガウス分布 ガンマ分布 ガウス－ガンマ
分布
D次元 ガウス分布 ウィシャート分 ガウス－ウィ
布 シャート分布

41. ご静聴ありがとうございました。