スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ)の勉強会の資料です。 4.2節のスライドです。

1. スパース性に基づく機械学習
4.2節
機械学習プロフェッショナルシリーズ
@St_Hakky

2. 自己紹介と告知
• Twitter : @St_Hakky
• ブログ：http://st-hakky.hatenablog.com/
• 関西で機械学習勉強会を実施中!!
• 団体のモットー：
• 圧倒的スピード感で大量の書物と論文をぶった切る
• 「えっ、まだ読んでないの？」と煽り奉り、輪講会を乱立させる
• 過去のイベント例
• PRML輪講会、PRML上巻/下巻一気読み
• データ解析のための統計モデリング入門の輪講会
• わかりやすいパターン認識(続)の輪講会
• 参加したい方は、Facebookのグループにまずは参加を。
• URL :https://www.facebook.com/groups/1767916400127792/

3. スパース性に基づく機械学習の
4.2節をやります

4. コンテンツ
• 4.2 : 幾何学的考察

5. 今回の最小化問題
• (4.2)の最小化問題を考える
• この問題の幾何学的考察を行うために、まずは図
の説明を行う。

6. 幾何学的考察を行うための図の説明
𝑤∗ : 真のベクトル
𝑤∗
= (1, 0) 𝑇
𝑤∗
= (1, 0) 𝑇
𝑤∗
= (0.5, 0.5) 𝑇
スパース！ スパース！ スパースじゃない！

7. 幾何学的考察を行うための図の説明
ピンク色の直線は、最小化問題(4.2)の等式制約を満たす𝑤の集合、
を示す。

8. 幾何学的考察を行うための図の説明
水色の領域は真のベクトル𝑤∗を中心として、𝑙1ノルムが減少する方
向からなる錐
を表す。ただし、cl(・)は集合の閉包を表す。

9. 錐・凸錐
ここで、𝐷( ・ 1; 𝒘∗)を𝑙1ノルムの点𝒘∗における降下錐と呼ぶ

10. d=2の場合の幾何学的考察
どちらも𝑤∗ = (1, 0) 𝑇が真のスパースベクトル。
(a)と(b)の比較
(a)：ピンク色の直線𝑁(𝑤∗
)が水色の領域𝐷( ・ 1; 𝒘∗
)と唯一𝒘∗
で交わる
(b)：𝑤∗を端点とする線分で、水色領域の内部で交わる

11. d=2の場合の幾何学的考察
水色の領域の内部は𝑙1ノルムが真のスパースベクトル𝑤∗
よりも減少す
る方向なので、共通部分があるということは𝑤∗が𝑙1ノルム最小化問題
の解ではないことを意味する。
𝑤∗
が𝑙1ノルム最小化問題の解 𝑤∗
が𝑙1ノルム最小化問題の
解ではない

12. 一般の𝑙1ノルム最小化問題
一般に真のスパースベクトル𝑤∗が𝑙1ノルム最小化問題(4.2)の唯一の
解である必要十分条件は、
である(Chandrasekaran[15])。
この条件を満たすためには、直感的には部分空間N(𝒘∗)及び降下錐
𝐷( ・ 1; 𝒘∗)は小さければ小さいほどいいということがわかる。

13. 一般の𝑙1ノルム最小化問題
部分空間N(𝒘∗)：この次元は𝑑 − 𝑛なので、 N(𝒘∗)はサンプル数が増
えるほど小さくなる。

14. 一般の𝑙1ノルム最小化問題
降下錐𝐷( ・ 1; 𝒘∗)：真のスパースベクトル𝒘∗
がスパースであればあるほど小さくなる
例えば図(c)のように𝒘∗がスパースでない場合は𝐷( ・ 1; 𝒘∗)半平面と
なり、 N(𝒘∗)と𝐷( ・ 1; 𝒘∗)は𝑛 ≥ 𝑑でない限り必ず𝒘∗以外の共通部分
を持つ

15. 参考文献
• [15] Chandrasekaran, Venkat, et al. "The convex geometry of linear
inverse problems." Foundations of Computational mathematics 12.6
(2012): 805-849.
• http://link.springer.com/article/10.1007/s10208-012-9135-7

16. おしまい