スパース性に基づく機械学習 3.2 L1ノルム正則化 間違えているところや疑問点などがありましたら下記のツイッターアカウントまでご一報ください。 @gen_goose_gen

1. スパース性に基づく機械学習
~3.2 l1ノルム正則化~
@gen_goose_gen

2. 自己紹介と注意
● @gen_goose_gen
●
某高専 電気系学科 卒業
● 関西の某国立大の情報系学科に編入（作成時B3）
●
情報・機械学習ともに初学者
– 間違えている可能性があるので疑問がある場合は上記の
ツイッターアカウントまでご一報ください

3. 発表スタンス
●
テキストの式について追っていきます
●
テキストが間違えていそうなところがあるのでそこ
は随時皆様と確認していきます
●
参考文献に投げている部分は認めるものとして発
表します
（全部探して読む時間なんてありませんでした…）
●
実装系は実行できてないです…

4. スライドで用いる表記
●
スカラー：ローマン体
●
ベクトル：小文字のボールド体
●
行列：大文字のボールド体
●
集合：カリグラフィー文字
（特に断らない場合列ベクトルとする）

5. 導入
◯2.1：スパース性を導入
→同程度の誤差を持つものならその中でパラメータ数
が少ないものが嬉しい
→同程度のパラメータ数をもつならその中で誤差が小
さいものが嬉しい

6. 導入
◯2.1：スパース性を導入
→同程度の誤差を持つものならその中でパラメータ数
が少ないものが嬉しい
→同程度のパラメータ数をもつならその中で誤差が小
さいものが嬉しい
探索にかかる計算量が膨大
（組み合わせ爆発）
→代わりの方法が必要

7. l1ノルム
→非ゼロ要素の数を表現する指標としてl1ノルムを導入
パラメータベクトルの非ゼロ要素数を
カウント
カウントと同じ性質：非ゼロ要素数が増えるほど大きくなる
カウントと違う性質：非ゼロ要素の大きさも加味して評価
（ベクトルの長さに比例する）

8. l1ノルム正則化付き学習
が凸関数→凸最適化問題へ
:正則化パラメータ
凸関数の条件：

9. l1ノルム正則化の効果の例
~パラメータが1次元の場合~
青：誤差関数
緑：正則化項
赤：誤差関数と正則化項の和の1階（劣）微分
（勾配）
λ＝0 λ：小 λ：大

10. l1ノルム正則化の効果の例
~パラメータが1次元の場合~
誤差関数と正則化項の和が最小になる点
（求めたいパラメータの値）
λ＝0 λ：小 λ：大

11. l1ノルム正則化の効果の例
~パラメータが1次元の場合~
λ＝0 λ：小 λ：大
λ＞０の時、誤差関数の軸上では勾配は一意に定まらない
（範囲幅が２λの集合値を取る）
λ＞０の時、誤差関数の軸上では勾配は一意に定まらない
（範囲幅が２λの集合値を取る）

12. l1ノルム正則化の効果の例
~パラメータが1次元の場合~
λ＝0 λ：小 λ：大
大きくするに連れて
軸に近づく
ある大きさ以上のλになるとそれ以上大きくしても誤差関数と
正規化項の和を最小にするパラメータの値がゼロになる
正規化パラメータを大きくすることによってl1ノルムで
スパースな解が得られる

13. l1ノルム正則化の効果の例
~パラメータが2次元の場合~
楕円：誤差関数の等高線
破線：各λに対するl1ノルムの制約集合
（ノルムサイズを決めた時の軌跡）

14. l1ノルム正則化の効果の例
~パラメータが2次元の場合~
大きくなるほど
ある方向へ近づく
ある1つのパラメータがゼロになった
正規化パラメータを大きくすることによってl1ノルムで
スパースな解が得られる

15. ありがとうございました！