ICLR 2018 Best papers 3本を紹介
•
7 likes•2,792 views
ICLR 2018 Best papers3本をざっくり紹介したスライドです。 On the convergence of Adam and Beyond Spherical CNNs Continuous adaptation via meta-learning in nonstationary and competitive environments
More Related Content
More from Katsuya Ito
More from Katsuya Ito (10)
Recently uploaded
Recently uploaded (15)
ICLR 2018 Best papers 3本を紹介
- 1. ICLR 2018 Best papers 1 2018/5/5 k1ito @UTokyo
- 2. 概要 ●ICLR 2018 iclr.cc 2018/4/30 ～ 5/3 @Vancouver ●Chair: Bengio・Lecun ●Best paper Award は3本 ●On the convergence of Adam and Beyond ●Spherical CNNs ●Continuous adaptation via meta-learning in nonstationary and competitive environments 2
- 3. 今日の内容① ●論文： ON THE CONVERGENCE OF ADAM AND BEYOND. Sashank J. Reddi, Satyen Kale & Sanjiv Kumar ３人ともGoogle NY所属 最初２人は最適化専門・最後１人は並列処理とかハッシュなど色々 一言でいうと、 Adamが収束しない状況を考察し、それに対処した 3
- 4. Introductionをしっかり読もう① ●確率的勾配降下（SGD）は、DNNを訓練するための支配的な方法 ●SGDは、 ○モデルのパラメータを（ミニバッチごとの）ロスの勾配の逆方向に移動 ●SGDの派生系の中で特に有用なものは、 ○√Mean((過去の勾配)^2)によって勾配を調節するもの。 ○これは、自動的に学習率を調節するため有用。 ●この方向性の研究で最初に有名となったアルゴリズムには、 ○ADAGRAD（Duchi et al。2011; McMahan＆Streeter、2010）がある。 ○ADAGRADは勾配がスパースで小さいとき、優れたパフォーマンスを達成。 4
- 6. Introductionをしっかり読もう③ ●本稿ではこの状況を詳細に分析する。 ○ =上記の直感が本当に正しいことを厳密に証明 ○ =過去のわずかな勾配にのみ制限する→収束問題を引き起こす 貢献 ①RMSPROPとADAMの収束しない例の証明。 ● ＝最適解に収束しない単純な凸最適化問題の例を提供する ②収束の保証には過去の勾配の「長期記憶」が必要。 ● Kingma＆Ba（2015）のADAMの収束証明の問題点を指摘 ● 我々は長期的に依存するADAMの新しい変種を提案 ● 元のADAMアルゴリズムと同じ時間と空間の要件で実装可能 ③提案手法が収束することの実証的な検証 6
- 7. 最適化アルゴリズム復習 7 ●SGD(stochastic gradient descent) Θ：パラメータ・(x,y):学習セット・J：損失関数・η：学習率 𝜃𝜃 ← 𝜃𝜃 − 𝜂𝜂 ⋅ 𝛻𝛻𝜃𝜃 𝐽𝐽 𝜃𝜃; 𝑥𝑥(𝑖𝑖); 𝑦𝑦(𝑖𝑖)
- 8. 最適化アルゴリズム復習 8 ●Adagrad Θ：パラメータ・(x,y):学習セット・J：損失関数・η：学習率 スパースなとき学習率がさがる。 𝜃𝜃 ← 𝜃𝜃 − 𝜂𝜂 ⋅ 𝛻𝛻𝜃𝜃 𝐽𝐽 𝜃𝜃; 𝑥𝑥 𝑖𝑖 ; 𝑦𝑦 𝑖𝑖 ∑𝑗𝑗 𝛻𝛻𝜃𝜃 𝐽𝐽 𝜃𝜃,𝑥𝑥 𝑗𝑗 ,𝑦𝑦 𝑗𝑗 2
- 9. 最適化アルゴリズム復習 9 ●Adam・RMSprop・Adadelta Θ：パラメータ・(x,y):学習セット・J：損失関数・η：学習率 直近に重みを置く 𝜃𝜃 ← 𝜃𝜃 − 𝜂𝜂 ⋅ 𝛻𝛻𝜃𝜃 𝐽𝐽 𝜃𝜃; 𝑥𝑥 𝑖𝑖 ; 𝑦𝑦 𝑖𝑖 ∑𝑗𝑗 𝛽𝛽𝑡𝑡−𝑗𝑗 𝛻𝛻𝜃𝜃 𝐽𝐽 𝜃𝜃,𝑥𝑥 𝑗𝑗 ,𝑦𝑦 𝑗𝑗 2
- 10. 最適化アルゴリズム復習 10 ●Adam・RMSprop・Adadeltaが収束しない例 ●𝐽𝐽𝑡𝑡 𝑥𝑥 = 20𝑥𝑥 for t=1,21,41,… = −𝑥𝑥 otherwise 時間平均 min x∈[−1,1] 𝐽𝐽 𝑥𝑥 = 1 20 20𝑥𝑥 + 19 20 −1𝑥𝑥 = 1 20 𝑥𝑥 よって最適解はx=-1であるが、Adam・RMSpropでは収束しない
- 11. 最適化アルゴリズム 11 ●AMSgrad(提案手法) Θ：パラメータ・(x,y):学習セット・J：損失関数・η：学習率 大きな勾配が持続する 𝜃𝜃 ← 𝜃𝜃 − 𝜂𝜂 ⋅ 𝛻𝛻𝜃𝜃 𝐽𝐽 𝜃𝜃; 𝑥𝑥 𝑖𝑖 ; 𝑦𝑦 𝑖𝑖 max k ∑𝑗𝑗=1 𝑘𝑘 𝛽𝛽 𝑘𝑘−𝑗𝑗 𝛻𝛻𝜃𝜃 𝐽𝐽 𝜃𝜃,𝑥𝑥 𝑗𝑗 ,𝑦𝑦 𝑗𝑗 2
- 14. 今日の内容② ●論文： SPHERICAL CNNS Taco S. Cohen, Mario Geiger, Jonas Koehler, Max Welling Amsterdam大学の人たち Max Welling LabはAuto-encoding variational bayesなどで有名 一言でいうと： 球の表面で観測される画像を回転しても大丈夫なようなCNNを作った 14
- 18. Introductionをしっかり読もう① ●球上の回転に関係なくパターン検出ができるCNNを作りたい。 ○CNN＝画像内の位置に関係なく局所パターンを検出 ○平面画像の移動 ≠ 3D球面上の移動 ●球面では、並進畳み込み・相互相関ができない ○→相互相関の定義を変更（フィルターの平行移動を回転で置き換える） ○→平面と球の微妙ではあるが重要な違いがある。 ○＝2Dの変換群 ≅ 𝑅𝑅2 、3D回転全体≅ SO 3 ≢ 𝑆𝑆2 ●SO(3):S2の回転群・直交行列のうちdetが1のもの。 18
- 20. 難点の解説 ●CNNの肝＝Convolution R^2平面の場合、 Z^2 と Z^2 を convolutionすると Z^2 20
- 21. 難点の解説 ●CNNの肝＝畳み込み R^2平面の場合、 Z^2 とZ^2 を畳み込みすると Z^2 S^2平面の場合、 S^2 とS^2 を畳み込みすると SO(3) ← 3次元 めんどい。。。 S^2のConvolutionの定義。（R^2の平行移動に相当するのがSO(3)) 21
- 26. Result （球面上に表示したMNIST) ●NR/NR=Trainは回転してない/Testも回転してない ●R/R =Trainは回転した/Testも回転した ●NR/R =Trainは回転してない/Testは回転した Planar=平面に投影する→回転するとダメ Spherical=提案手法→すべてにおいて高いAccuracy 26
- 28. 今日の内容③ ●論文： Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments Maruan Al-Shedivat, Trapit Bansal, Yuri Burda, Ilya Sutskever, Igor Mordatch, Pieter Abbeel OpenAIのインターンで作ったらしい 一言でいうと： 環境が変化しても大丈夫な強化学習を、Meta-Learningで作った 28
- 30. Introductionをしっかり読もう② ●非定常＝定常の連なったもの ○→マルチタスク学習すれば良い ● Meta-Learning(今年のICLRを見る限り流行） ○ 少ない教師データでも有効 ○ 一般化された柔軟な学習結果を出す ● 提案手法 ○ 勾配ベース・非定常な場合にも使える・Meta-Learning ○ 特に、マルチエージェントな非定常状態を扱う ● 提案手法の実装(RoboSumo) ○ 環境が非定常・相手が敵対的な環境でのゲーム ○ さらに様々な条件を持つエージェントを大量に作り実験 30
- 34. Model-agnostic meta-learning (MAML) ●SGDでパラーメータを調節し ●Meta-learningする P：taskとdatasets 34
- 39. 計算手順 39
- 40. Result 比較する手法 ●adaptation (環境変化を無視する) ●Tracking (Sutton et al., ‘07) (fine-tuningをする) ●RL^2 (Duan et al., ‘16) (actionとrewardを観測変数とする) ●meta-learned updates for continuous adaptation 40
- 43. Result 43