機械学習理論入門 7章 emアルゴリズム_遠藤
- 7. 最尤推定法とは
(さいゆうすいていほう : Maximum Likelihood Estimation)
ひとことで言うと？
あるデータが得られる確率を推定し、
特徴変数と目的変数の関数関係を説明できる、
もっとも良いパラメータを設定する方法のこと
最小二乗法とは何が違う？
最小二乗法では、誤差を最小にすることで、
もっとも良いパラメータを見つけた
誤差は誤差関数として定義した
最尤推定法では、尤度を最大にすることで、
もっとも良いパラメータを見つける
尤度は尤度関数として定義する
最尤推定は何が嬉しい？
「どの程度の範囲で外れそうか？」が分かる
- 9. 尤度関数
(ゆうどかんすう Likelihood function)
トレーニングセットに含まれるデータが得られる
確率を計算し、尤度関数を求める
𝑡 = 𝑡 𝑛を代入すると次式が得られる
𝑁 𝑡 𝑛|𝑓(𝑥 𝑛), 𝜎2
=
1
2𝜋𝜎2
𝑒
−
1
2𝜎2(𝑡 𝑛−𝑓(𝑥 𝑛))2
(3.7)
すべての観測点 𝑥 𝑛 𝑛=1
𝑁
について考えると、トレーニ
ングセット 𝑥 𝑛, 𝑡 𝑛 𝑛=1
𝑁
それぞれの確率の積になる
𝑃 = 𝑁 𝑡1 𝑓 𝑥1 , 𝜎2 × ⋯ × 𝑁 𝑡 𝑁 𝑓 𝑥 𝑁 , 𝜎2
= 𝑛=1
𝑁
𝑁(𝑡 𝑛|𝑓 𝑥 𝑛 , 𝜎2
) (3.8)
↑これが尤度関数
パラメータを入力とし、トレーニングセットのデータが得ら
れる確率が出力される関数ととらえることができる
