14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)
- 1. 2.3.3 ガウス変数に対するベイズの定理 2.3.4 ガウス分布の最尤推定 2.3.5 逐次推定 2.3.6 ガウス分布に対するベイズ推論
PRML 第 2 章
2.3.3-2.3.6 (pp.88-100)
藤原 由来 (@sky_y)
May 25, 2014
1/19
- 2. 2.3.3 ガウス変数に対するベイズの定理 2.3.4 ガウス分布の最尤推定 2.3.5 逐次推定 2.3.6 ガウス分布に対するベイズ推論
今回の内容
第 2 章 確率分布
• 2.1 二値変数
• 2.2 多値変数
• 2.3 ガウス分布
• 2.3.1 条件付きガウス分布
• 2.3.2 周辺ガウス分布
• 2.3.3 ガウス変数に対するベイズの定理
• 2.3.4 ガウス分布の最尤推定
• 2.3.5 逐次推定
• 2.3.6 ガウス分布に対するベイズ推論
2/19
- 4. 2.3.3 ガウス変数に対するベイズの定理 2.3.4 ガウス分布の最尤推定 2.3.5 逐次推定 2.3.6 ガウス分布に対するベイズ推論
前提と問題
前提
• あるガウス周辺分布 p(x)
• 平均が x の線形関数で、共分散は x と独立であるようなガウ
ス条件付き分布 p(y|x)
問題
• 周辺分布 p(y) と条件付き分布 p(x|y) を求める
4/19
- 5. 2.3.3 ガウス変数に対するベイズの定理 2.3.4 ガウス分布の最尤推定 2.3.5 逐次推定 2.3.6 ガウス分布に対するベイズ推論
(2.102) の準備
p(x) = N(x|µ, Λ−1
)
=
1
2πD/2
1
|Λ−1
|1/2
exp
{
−
1
2
(x − µ)T
Λ(x − µ)
}
p(y|x) = N(y|Ax + b, L−1
)
=
1
2πD/2
1
|L−1|1/2
exp
{
−
1
2
(x − Ax − b)T
L(x − Ax − b)
}
5/19
- 6. 2.3.3 ガウス変数に対するベイズの定理 2.3.4 ガウス分布の最尤推定 2.3.5 逐次推定 2.3.6 ガウス分布に対するベイズ推論
(2.102)
ln p(z) = ln p(x) + ln p(y|x)
= −
1
2
(x − µ)T
Λ(x − µ) −
1
2
(y − Ax − b)T
L(y − Ax − b)
+ const.
= −
1
2
{
xT
Λx − µT
Λx − xT
Λµ + µT
Λµ
}
−
1
2
{yT
Ly − xT
AT
Ly − bT
Ly
− yT
LAx + xT
AT
LAx + bT
LAx
− yT
Lb + xT
AT
Lb + bT
Lb} + const.
6/19
- 8. 2.3.3 ガウス変数に対するベイズの定理 2.3.4 ガウス分布の最尤推定 2.3.5 逐次推定 2.3.6 ガウス分布に対するベイズ推論
2 次形式の微分
∂
∂x
xT
Ax = (A + AT
)x (1)
A が対称の場合
∂
∂x
xT
Ax = 2Ax (2)
8/19
- 13. 2.3.3 ガウス変数に対するベイズの定理 2.3.4 ガウス分布の最尤推定 2.3.5 逐次推定 2.3.6 ガウス分布に対するベイズ推論
問題設定 1: 分散が既知のとき、平均を推定する問題
問題設定
• 既知の分散 σ2
• 与えられた N 個の観測値集合 x = {x1, ..., xN }
このとき、平均 µ をベイズ推論によって推定したい。
13/19
- 14. 2.3.3 ガウス変数に対するベイズの定理 2.3.4 ガウス分布の最尤推定 2.3.5 逐次推定 2.3.6 ガウス分布に対するベイズ推論
演習 2.38
(2.139) の右辺を計算し、(2.140) を得る問題。
ポイント:
• 指数部分を次の形に整理する(平方完成):
−
1
2
1
σ2
N
{
µ2
− 2µN µ + const.
}
• (2.143) より
N∑
n=1
xn = NµML
• (おまけ)以下のようにすると分かりやすくなるかも:
N∑
n=1
x2
n = x2
14/19
- 16. 2.3.3 ガウス変数に対するベイズの定理 2.3.4 ガウス分布の最尤推定 2.3.5 逐次推定 2.3.6 ガウス分布に対するベイズ推論
問題設定 2: 平均が既知のとき、精度(分散)を推定する問題
問題設定
• 既知の平均 µ
• 与えられた N 個の観測値集合 x = {x1, ..., xN }
このとき、精度 λ = 1/σ2 をベイズ推論によって推定したい。
16/19
- 17. 2.3.3 ガウス変数に対するベイズの定理 2.3.4 ガウス分布の最尤推定 2.3.5 逐次推定 2.3.6 ガウス分布に対するベイズ推論
図 2.13
λ
a = 0.1
b = 0.1
0 1 2
0
1
2
λ
a = 1
b = 1
0 1 2
0
1
2
λ
a = 4
b = 6
0 1 2
0
1
2
17/19
- 19. 2.3.3 ガウス変数に対するベイズの定理 2.3.4 ガウス分布の最尤推定 2.3.5 逐次推定 2.3.6 ガウス分布に対するベイズ推論
演習 2.42
ポイント:
• t = bλ とおく
• ガンマ関数の定義を利用する:
Γ(a) =
∫ ∞
0
λa−1
exp(−λ)dλ
• ガンマ関数の性質:
Γ(a + 1) = aΓ(a)
19/19