41. 指数型分布族
最尤推定Ⅰ
関数 𝑔(η) が分布を正規化するための係数と解釈でき
𝑔 η ℎ x exp η 𝑇 𝒖 x 𝑑x = 1
η について微分をすると,
𝛻𝑔 η ℎ x exp η 𝑇 𝒖 x 𝑑x + 𝑔 η ℎ x exp η 𝑇 𝒖 x 𝒖 x 𝑑x = 0
整理すると, −
𝛻𝑔 η
𝑔 η = 𝑔 η ℎ x exp η 𝑇
𝒖 x 𝒖 x 𝑑x = E[𝒖 x ]
−𝛻ln𝑔 η = E[𝒖 x ]
𝒖 x の期待値は 𝑔(η) で表現可能,共分散も同様
41
指数型分布族の一般形 𝑝 x η = ℎ x 𝑔 η)exp{η 𝑇 𝒖 x の
パラメータベクトル η の推定
42. 指数型分布族
最尤推定Ⅱ
𝛻ln𝑝 𝐗 η = 0 の時,
−𝛻ln𝑔 η 𝑀𝐿 =
1
𝑁
σ 𝑛=1
𝑁
𝒖 x 𝑛
1
𝑁
σ 𝑛=1
𝑁
𝒖 x 𝑛 は η 𝑀𝐿 の十分統計量
⇒ データ集合全体を保持する必要がない
𝑁 → ∞ の極限の時,真の値に近づく
42
尤度関数は
𝑝(𝐗|η)=( ς 𝑛=1
𝑁
ℎ(x 𝑛))𝑔 η 𝑁
exp{η 𝑇 σ 𝑛=1
𝑁
𝒖 x 𝑛 }
対数を取って,
ln𝑝(𝐗|η) = σ 𝑛=1
𝑁
lnℎ(x 𝑛) + Nlng(η)+η 𝑇 σ 𝑛=1
𝑁
𝒖 x 𝑛
独立に同分布に従うデータ集合 𝐗 = {x1,…, x 𝑛} において