Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと

3,751 views

Published on

Stochastic optimization
http://owl-learn.connpass.com/event/28739/

Published in: Science
  • Be the first to comment

“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと

  1. 1. “確率的最適化” を読む前に知っておくと いいかもしれない関数解析のこと 新年度!実務家が集まる春の機械学習LT大会! 工藤 啓朗 (Gunosy Inc.) 2016/04/08
  2. 2. 自己紹介 くどう ひろあき (@Hmj_kd) 株式会社Gunosy データ分析部 所属 - 北海道釧路市出身, 30代, 妻子あり - 高専 : 情報工学科 - 大学 : ブラックホール, インフレーション宇宙論 - 前職 : プログラマー → Pandas データマエショリスト, データ分析 - 現在 : 3ヶ月目 - 好きな食べ物 : 中本の蒙古タンメン、二郎
  3. 3. 以前 こんな発表をした者です・・・ http://www.slideshare.net/owllearnbiz/lagrange-50543837
  4. 4. 自己紹介(数学勉強歴) 確率微分方程式 ファイバー束 トポロジー 微分幾何学 関数解析学 群、環、体 微分方程式 線形代数 微分積分 t
  5. 5. 今日のお話 1. 確率的最適化を読んでみた感想 2. 上記を読む前に前提として知っておくとよいことは ?? a. 関数解析 ?? 3. まとめ
  6. 6. ➔ 教師あり学習のお話 ➔ 確率的勾配降下法(SGD) や AdaGrad などの理論面を理解できる。 確率的最適化を読んだ感想
  7. 7. でも,数学の基礎的なこと がわからないと 読むのは辛いっす!!
  8. 8. 確率的最適化を読んだ感想 ➔ 数学の基礎的なことがわからないと読むのは辛い!! ➔ 凸最適化問題のエッセンスを知っている方が,理解しやすいかも ➔ (数学の)事前知識としてどういったことが必要かわからない
  9. 9. 例えば - そもそも,微分積分,ベクトル空間などがわからない - どうして,凸関数や凸集合を扱うの ? - 劣勾配,劣微分って何だ !? - なんで逐次処理なんだろう !?
  10. 10. 前提知識はどんな分野 ? 関数解析学 という分野です 全部理解しなくてもいいと思いますが...
  11. 11. 最適化問題の例
  12. 12. 一般の最適化問題を まるっと解決する方法はない
  13. 13. 気になること 1. 最適解が存在するか ? 2. 最適解は何個あるのか ? 3. 最適解を求めるアルゴリズムがあるか ? 4. より速く求まるアルゴリズムはあるか ? a. 計算量と収束の速さ
  14. 14. 凸最適化問題なら 1. 最適解が存在するか ? a. → 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! でも トピックス - 不動点定理 - ノルムの等価性 - 凸集合と凸関数
  15. 15. トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 完備な(X, d) 縮小写像 F → || F(x0 ) - F(x1 ) || ≦ k || x0 - x1 ||, k < 1 x0 x1 x2 y0 y1 y2 F F F F z = F(z) 不動点
  16. 16. トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 縮小写像 F を,別のノルムで評価したらどうなるか? 収束するのか ? → 有限次元のベクトル空間では,定義可能なノルムは等価です → 等価なノルムを用いる限り「ある点に収束するかどうかの結論」は変わ りません
  17. 17. トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 凸関数 閉凸集合 PC (I - η * f ’) : 縮小写像 C f PC
  18. 18. 凸最適化問題なら 1. 最適解が存在するか ? a. → 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! 縮小写像を改良する 事前に知っているといいエッセンス まとめ 凸集合,凸関数の最小値の存在 縮小写像を手作りできれば, 不動点定理により最適解へ収束 !!
  19. 19. 1. 関数 f が,微分できないとき a. 単純には勾配法が使えない ...... → 劣勾配法 2. 非可算無限個の解をもつ問題もある a. 縮小写像の不動点定理はそのままは使えない 3. 縮小写像の勾配計算など,大規模データでは計算コストが高い a. データを分割して,部分的に最適化を解きたい 凸最適化問題で万事OK ではない... 確率的最適化,が必要だね
  20. 20. さいごに
  21. 21. Gunosy データ分析部メンバーの発表資料 http://www.slideshare.net/keisukeosone/ss-60014333 https://speakerdeck.com/ij_spitz/gunosyniokeruabtesuto
  22. 22. メンバー募集 ➔ Gunosy では,データ分析エンジニアを募集して おります !! ➔ Webエンジニアだけど ”分析をしてみたい” という 方もぜひ !!
  23. 23. ご清聴 ありがとうございます

×