1. 数理と機械と統計学（3-4 回生向け）
2014 年11 月10 日12:00-13:00
今日の話の内容
たった1 時間で専門書を読むのは無理なので, 数理の連想ゲーム的に話を進めます.
よくある(フィッティングの) 例
数理の立場
確率モデルP := fp(x; ) j 2 g
MLE ^ := arg max
2
L()
具体的な例: P = fN(; 2) j (; 2) =: 2 := R R0g
観測値x1; :::; xn とすると尤度関数は
L() =
Πn
i=1
ϕ(xi; ; 2); ( = (; 2))
であるから, MLE は
arg max
2
L() =
0
@1
n
Σn
i=1
xi;
1
n
Σn
i=1
x2i
{
1
n
Σn
i=1
xi
}2
1
A
となっている. この場合, 厳密解が求まって嬉しい1.
(普通の) 数理統計学. 稲垣本に載ってる.
機械の立場
arg max
2
L() は求まるか?
モデルによっては(解析的に) 計算するのが難しい. 仕方ないから勾配法.
L( + d) L()
d
= j∇L()j cos + o(1)
! j∇L()j cos (d ! 0)
1嬉しいは大事
1

2. より
L( + d) L() + j∇L()j cos d
(ただし は∇L() とd のなす角.) ∇L() = d のときL( + d) L(). よって から∇L()
方向に動けば関数を最大化出来るはず….
(0) = 0
(i+1) = (i) + ∇L()

6. =(i)
(うまくいけば)(i) ! ^. 「最適化」の分野.
面倒な計算が不要: 機械を使えば万事解決?
パラメータは無限の彼方へ…: (i) ! 1.
じゃぁどうする
チューニングパラメータ 0 の設定: