prmlのリッジ・lassoについて

1. 3.1.4 正則化最小二乗法に入る前に
41
1章にて多項式フィッティングの過学習が紹介
訓練データにすべ
て対応してるが真
の函数(緑線)は捉
えられてない

2. 3.1.4 正則化最小二乗法には入る前に
42
パラメータの次数が大きくなるのを防ぐ
→罰則項をつける(正則化)
罰則項
こんな感じや

3. 3.1.4 正則化最小二乗法
正則化について議論
二乗誤差 に正則化項 を加える
43
誤差関数

4. 誤差関数を展開してwで微分
展開
wについて微分 (行列の微分はmatrix cookbookで)
上=0を解く
44

5. 実は疑似逆行列のランク補正している
非正規行列なので、逆行列が計算できない可能性がある
正則化で計算できるよう補正しているのだ 45
疑似逆行列

6. より一般的な正則化項
一般的な正則化項の式
46
lasso ridge

7. Lasso : Least absolute shrinkage and selection operator
lassoは, スパース(疎)な解が得られるという話がある
スパースで何がうれしいのか？
毎回この図でてくるけど何なん？ 47
lassoridge

8. そろそろ理解したいぜ
(M=2の時の図らしい)
青線 : 正則化されていない誤差関数の等高線
赤線で囲まれた領域 : 正則化項の制約条件を満たす領域
48
lassoridge 青と赤が満たすのが誤差最小化条件
ridge :
lasso :
条件が減る = 次元が減る
→特徴量も減る(変数選択)
→モデル推定と変数選択を一括