Stochastic optimization http://owl-learn.connpass.com/event/28739/

1. “確率的最適化”
を読む前に知っておくと
いいかもしれない関数解析のこと
新年度！実務家が集まる春の機械学習LT大会！
工藤 啓朗 (Gunosy Inc.)
2016/04/08

2. 自己紹介
くどう ひろあき (@Hmj_kd)
株式会社Gunosy データ分析部 所属
- 北海道釧路市出身, 30代, 妻子あり
- 高専 : 情報工学科
- 大学 : ブラックホール, インフレーション宇宙論
- 前職 : プログラマー → Pandas データマエショリスト, データ分析
- 現在 : 3ヶ月目
- 好きな食べ物 : 中本の蒙古タンメン、二郎

3. 以前
こんな発表をした者です・・・
http://www.slideshare.net/owllearnbiz/lagrange-50543837

4. 自己紹介（数学勉強歴）
確率微分方程式
ファイバー束
トポロジー
微分幾何学
関数解析学
群、環、体
微分方程式
線形代数
微分積分
t

5. 今日のお話
1. 確率的最適化を読んでみた感想
2. 上記を読む前に前提として知っておくとよいことは ??
a. 関数解析 ??
3. まとめ

6. ➔ 教師あり学習のお話
➔ 確率的勾配降下法(SGD) や AdaGrad などの理論面を理解できる。
確率的最適化を読んだ感想

7. でも，数学の基礎的なこと
がわからないと
読むのは辛いっす!!

8. 確率的最適化を読んだ感想
➔ 数学の基礎的なことがわからないと読むのは辛い!!
➔ 凸最適化問題のエッセンスを知っている方が，理解しやすいかも
➔ （数学の）事前知識としてどういったことが必要かわからない

9. 例えば
- そもそも，微分積分，ベクトル空間などがわからない
- どうして，凸関数や凸集合を扱うの ?
- 劣勾配，劣微分って何だ !?
- なんで逐次処理なんだろう !?

10. 前提知識はどんな分野 ?
関数解析学 という分野です
全部理解しなくてもいいと思いますが...

11. 最適化問題の例

12. 一般の最適化問題を
まるっと解決する方法はない

13. 気になること
1. 最適解が存在するか ?
2. 最適解は何個あるのか ?
3. 最適解を求めるアルゴリズムがあるか ?
4. より速く求まるアルゴリズムはあるか ?
a. 計算量と収束の速さ

14. 凸最適化問題なら
1. 最適解が存在するか ?
a. → 存在する
2. 最適解は何個あるのか ?
a. → 唯一存在する
3. 最適解を求めるアルゴリズムがあるか ?
a. → ある
4. より速く求まるアルゴリズムはあるか ?
a. → 枠組みのなかで改良可能 !!
でも
トピックス
- 不動点定理
- ノルムの等価性
- 凸集合と凸関数

15. トピックス
距離，ノルム，内積
不動点定理
ノルムの等価性
凸関数と凸集合、最小値の存在
完備な(X, d)
縮小写像 F
→ || F(x0
) - F(x1
) || ≦ k || x0
- x1
||, k < 1
x0
x1
x2
y0
y1
y2
F
F
F
F
z = F(z) 不動点

16. トピックス
距離，ノルム，内積
不動点定理
ノルムの等価性
凸関数と凸集合、最小値の存在
縮小写像 F を，別のノルムで評価したらどうなるか?
収束するのか ?
→ 有限次元のベクトル空間では，定義可能なノルムは等価です
→ 等価なノルムを用いる限り「ある点に収束するかどうかの結論」は変わ
りません

17. トピックス
距離，ノルム，内積
不動点定理
ノルムの等価性
凸関数と凸集合、最小値の存在
凸関数
閉凸集合
PC
(I - η * f ’) : 縮小写像
C
f
PC

18. 凸最適化問題なら
1. 最適解が存在するか ?
a. → 存在する
2. 最適解は何個あるのか ?
a. → 唯一存在する
3. 最適解を求めるアルゴリズムがあるか ?
a. → ある
4. より速く求まるアルゴリズムはあるか ?
a. → 枠組みのなかで改良可能 !!
縮小写像を改良する
事前に知っているといいエッセンス まとめ
凸集合，凸関数の最小値の存在
縮小写像を手作りできれば，
不動点定理により最適解へ収束 !!

19. 1. 関数 f が，微分できないとき
a. 単純には勾配法が使えない ...... → 劣勾配法
2. 非可算無限個の解をもつ問題もある
a. 縮小写像の不動点定理はそのままは使えない
3. 縮小写像の勾配計算など，大規模データでは計算コストが高い
a. データを分割して，部分的に最適化を解きたい
凸最適化問題で万事OK ではない...
確率的最適化，が必要だね

20. さいごに

21. Gunosy データ分析部メンバーの発表資料
http://www.slideshare.net/keisukeosone/ss-60014333 https://speakerdeck.com/ij_spitz/gunosyniokeruabtesuto

22. メンバー募集
➔ Gunosy では，データ分析エンジニアを募集して
おります !!
➔ Webエンジニアだけど ”分析をしてみたい” という
方もぜひ !!

23. ご清聴
ありがとうございます