25. 二乗誤差
推定量の二乗誤差 (mean squared error) を用いることで,バイアスと分散
を同時に考慮することが出来る
MSE θ = E θ − θ
2
= E θ − E (θ) + E (θ) − θ
2
= E θ − E (θ)
2
+ E (E (θ) − θ)
2
+ 2E θ − E (θ) (E (θ) − θ)
= Var θ + bias θ
2
20/27
28. ガウス分布のサンプル平均(不偏性)okasii
• このとき,サンプル平均(sample mean)
µm =
1
m
m
i=1
x(i)
はガウス平均パラメータ µ の不偏推定量である
E (µm) = E
1
m
m
i=1
x(i)
=
1
m
m
i=1
E x(i)
=
1
m
m
i=1
µ = µ
• なお,推定量の分散と標準誤差は以下で求まる
Var (µm) = Var
1
m
m
i=1
x(i)
=
1
m2
m
i=1
Var x(i)
=
1
m2
m
i=1
σ2
=
1
m
σ2
SE (µm) = Var (µm) =
σ
√
m
23/27
30. ガウス分布のサンプル分散
• 一方で,サンプル分散(sample variance)
σ2
m =
1
m
m
i=1
x(i)
− µm
2
は不偏推定量ではない:
E σ2
m = E
1
m
m
i=1
x(i)
− µm
2
= E
1
m
m
i=1
x(i)
− µ
2
− (µm − µ)
2
=
1
m
m
i=1
E x(i)
− µ
2
− E (µm − µ)
2
=
m − 1
m
σ2
• ただし,漸近不偏ではある:
E σ2
m =
m − 1
σ2
→ σ2
as m → ∞ 25/27