Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Sparse estimation tutorial 2014

6,229 views

Published on

スパース推定チュートリアル

Published in: Data & Analytics
  • Be the first to comment

Sparse estimation tutorial 2014

  1. 1. スパース推定概観:モデル・理論・応用 y 鈴木 大慈 yTokyo Institute of Technology Department of Mathematical and Computing Sciences 2014 年9 月15 日 統計連合大会@東京大学 1 / 56
  2. 2. Outline 1 スパース推定のモデル 2 いろいろなスパース正則化 3 スパース推定の理論 n ≫ p の理論 n ≪ p の理論 4 高次元線形回帰の検定 5 スパース推定の最適化手法 2 / 56
  3. 3. 高次元データでの問題意識 ゲノムデータ 金融データ 協調フィルタリング コンピュータビジョン 音声認識 次元d = 10000 の時,サンプル数n = 1000 で推定ができるか? どのような条件があれば推定が可能か? 何らかの低次元性(スパース性) を利用. 3 / 56
  4. 4. 歴史: スパース推定の手法と理論 1992 Donoho and Johnstone Wavelet shrinkage (Soft-thresholding) 1996 Tibshirani Lasso の提案 2000 Knight and Fu Lasso の漸近分布 (n ≫ p) 2006 Candes and Tao, 圧縮センシング Donoho (制限等長性,完全復元,p ≫ n) 2009 Bickel et al., Zhang 制限固有値条件 (Lasso のリスク評価, p ≫ n) 2013 van de Geer et al., スパース推定における検定 Lockhart et al. (p ≫ n) これ以前にも反射法地震探査や画像雑音除去,忘却付き構造学習にL1 正則化は使われて いた.詳しくは田中利幸(2010) を参照. 4 / 56
  5. 5. Outline 1 スパース推定のモデル 2 いろいろなスパース正則化 3 スパース推定の理論 n ≫ p の理論 n ≪ p の理論 4 高次元線形回帰の検定 5 スパース推定の最適化手法 5 / 56
  6. 6. 高次元データ解析 サンプル数≪ 次元 バイオインフォテキストデータ画像データ 6 / 56
  7. 7. 高次元データ解析 サンプル数≪ 次元 × 古典的数理統計学:サンプル数≫ 次元 バイオインフォテキストデータ画像データ 6 / 56
  8. 8. スパース推定 サンプル数≪ 次元 無駄な情報を切り落とす→スパース性 Lasso 推定量 R. Tsibshirani (1996). Regression shrinkage and selection via the lasso. J. Royal. Statist. Soc B., Vol. 58, No. 1, pages 267{288. 引用数:10185 (2014 年5 月25 日) 7 / 56
  9. 9. 変数選択の問題(線形回帰) デザイン行列X = (Xij ) 2 Rnp. p (次元) ≫ n (サンプル数). 真のベクトル
  10. 10. 2 Rp: 非ゼロ要素の個数がたかだかd 個(スパース). モデル: Y = X
  11. 11. + : (Y ; X) から
  12. 12. を推定. 実質推定しなくてはいけない変数の数はd 個→変数選択. 8 / 56
  13. 13. 変数選択の問題(線形回帰) デザイン行列X = (Xij ) 2 Rnp. p (次元) ≫ n (サンプル数). 真のベクトル
  14. 14. 2 Rp: 非ゼロ要素の個数がたかだかd 個(スパース). モデル: Y = X
  15. 15. + : (Y ; X) から
  16. 16. を推定. 実質推定しなくてはいけない変数の数はd 個→変数選択. Mallows' Cp, AIC: ^
  17. 17. MC = argmin
  18. 18. 2Rp ∥Y

×