Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節

1,069 views

Published on

スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ)の勉強会の資料です。

4.2節のスライドです。

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節

  1. 1. スパース性に基づく機械学習 4.2節 機械学習プロフェッショナルシリーズ @St_Hakky
  2. 2. 自己紹介と告知 • Twitter : @St_Hakky • ブログ:http://st-hakky.hatenablog.com/ • 関西で機械学習勉強会を実施中!! • 団体のモットー: • 圧倒的スピード感で大量の書物と論文をぶった切る • 「えっ、まだ読んでないの?」と煽り奉り、輪講会を乱立させる • 過去のイベント例 • PRML輪講会、PRML上巻/下巻一気読み • データ解析のための統計モデリング入門の輪講会 • わかりやすいパターン認識(続)の輪講会 • 参加したい方は、Facebookのグループにまずは参加を。 • URL :https://www.facebook.com/groups/1767916400127792/
  3. 3. スパース性に基づく機械学習の 4.2節をやります
  4. 4. コンテンツ • 4.2 : 幾何学的考察
  5. 5. 今回の最小化問題 • (4.2)の最小化問題を考える • この問題の幾何学的考察を行うために、まずは図 の説明を行う。
  6. 6. 幾何学的考察を行うための図の説明 𝑤∗ : 真のベクトル 𝑤∗ = (1, 0) 𝑇 𝑤∗ = (1, 0) 𝑇 𝑤∗ = (0.5, 0.5) 𝑇 スパース! スパース! スパースじゃない!
  7. 7. 幾何学的考察を行うための図の説明 ピンク色の直線は、最小化問題(4.2)の等式制約を満たす𝑤の集合、 を示す。
  8. 8. 幾何学的考察を行うための図の説明 水色の領域は真のベクトル𝑤∗を中心として、𝑙1ノルムが減少する方 向からなる錐 を表す。ただし、cl(・)は集合の閉包を表す。
  9. 9. 錐・凸錐 ここで、𝐷( ・ 1; 𝒘∗)を𝑙1ノルムの点𝒘∗における降下錐と呼ぶ
  10. 10. d=2の場合の幾何学的考察 どちらも𝑤∗ = (1, 0) 𝑇が真のスパースベクトル。 (a)と(b)の比較 (a):ピンク色の直線𝑁(𝑤∗ )が水色の領域𝐷( ・ 1; 𝒘∗ )と唯一𝒘∗ で交わる (b):𝑤∗を端点とする線分で、水色領域の内部で交わる
  11. 11. d=2の場合の幾何学的考察 水色の領域の内部は𝑙1ノルムが真のスパースベクトル𝑤∗ よりも減少す る方向なので、共通部分があるということは𝑤∗が𝑙1ノルム最小化問題 の解ではないことを意味する。 𝑤∗ が𝑙1ノルム最小化問題の解 𝑤∗ が𝑙1ノルム最小化問題の 解ではない
  12. 12. 一般の𝑙1ノルム最小化問題 一般に真のスパースベクトル𝑤∗が𝑙1ノルム最小化問題(4.2)の唯一の 解である必要十分条件は、 である(Chandrasekaran[15])。 この条件を満たすためには、直感的には部分空間N(𝒘∗)及び降下錐 𝐷( ・ 1; 𝒘∗)は小さければ小さいほどいいということがわかる。
  13. 13. 一般の𝑙1ノルム最小化問題 部分空間N(𝒘∗):この次元は𝑑 − 𝑛なので、 N(𝒘∗)はサンプル数が増 えるほど小さくなる。
  14. 14. 一般の𝑙1ノルム最小化問題 降下錐𝐷( ・ 1; 𝒘∗):真のスパースベクトル𝒘∗ がスパースであればあるほど小さくなる 例えば図(c)のように𝒘∗がスパースでない場合は𝐷( ・ 1; 𝒘∗)半平面と なり、 N(𝒘∗)と𝐷( ・ 1; 𝒘∗)は𝑛 ≥ 𝑑でない限り必ず𝒘∗以外の共通部分 を持つ
  15. 15. 参考文献 • [15] Chandrasekaran, Venkat, et al. "The convex geometry of linear inverse problems." Foundations of Computational mathematics 12.6 (2012): 805-849. • http://link.springer.com/article/10.1007/s10208-012-9135-7
  16. 16. おしまい

×