Download as PDF, PPTX
![・No
Free
Lunch
Theorems
for
OpDmizaDon
全ての問題に対して高性能な最適化アルゴリズムは存在しない．
[Wolpert
and
Macready
1997]
解くべき問題の性質に応じて，利用する最適化アルゴリズムを
使い分ける必要がある．](https://image.slidesharecdn.com/2nips-170226094440/85/2-nips-Learning-to-learn-by-gradient-decent-by-gradient-decent-8-320.jpg)
![・現状，gはヒューリスティックに作り込まれている
勾配法をベースに，高次元で，非凸な目的関数に対しても良い
性能を示すような最適化アルゴリズムは多く“作り込まれて”いる
・momentumSGD
[Nesterov
1983,
Tseng
1998]
・Adagrad
[Duchi
et
al.
2011]
・RMSprop
[Tieleman
and
Hinton
2012]
・ADAM
[Kingma
and
Ba
2015]
参考：hap://postd.cc/opDmizing-‐gradient-‐descent/
例： 勾配降下法（一番単純な場合）
-‐ナイーブすぎて，これは多くの場合うまくいかない](https://image.slidesharecdn.com/2nips-170226094440/85/2-nips-Learning-to-learn-by-gradient-decent-by-gradient-decent-9-320.jpg)
![・問題意識
問題に応じて，データから自動で最適な変換 g を学習さ
せることはできないだろうか？
-‐もっとTask
specificに
g
を作り込むことができれば性能は上がる
(
No
Free
Lunch
Theorem
[Wolpert
and
Macready
1997]
)
-‐現状，g
はある程度の汎用性を持つ形で作られている](https://image.slidesharecdn.com/2nips-170226094440/85/2-nips-Learning-to-learn-by-gradient-decent-by-gradient-decent-10-320.jpg)
![・”Meta-‐Learning”という系譜
OpDmizer
g
をデータから学習するという話は昔からあって，Meta-‐
learning(learning
to
learn)という一連の流れとして位置づけられる．
①,変換 g の関数形自体を遺伝的プログラミングを用いて最適化
[Y.Bengio
et
al
1995]
②,変換 g をパラメタ φ
で特徴付けられたRNNの出力としてとらえ，
誤差の微分情報を用いてφを更新する[S.
Hochreiter
et
al
2001]
微分をするか，しないか](https://image.slidesharecdn.com/2nips-170226094440/85/2-nips-Learning-to-learn-by-gradient-decent-by-gradient-decent-12-320.jpg)
![・問題設定：[S.
Hochreiter
et
al
2001],[M.Andrychowicz
et
al. 2016]
L(φ)がφに関して微分可能であれば，OpDmizer
g(φ)
を，
期待損失 L(φ) の微分情報を用いて逆誤差伝播で最適
化できる．
-‐
OpDmizer
g
をパラメータφで直接特徴付ける g(∇f, φ)
-‐ そのため，OpDmizeeの最適なパラメタθ*は，θ(f, φ)と書ける
-‐ そのため，期待損失関数 L(φ) はφの関数として書ける](https://image.slidesharecdn.com/2nips-170226094440/85/2-nips-Learning-to-learn-by-gradient-decent-by-gradient-decent-13-320.jpg)
![・問題設定：[S.
Hochreiter
et
al
2001],[M.Andrychowicz
et
al. 2016]
-‐Opimizerのupdate
step
gtをリカレントニューラルネットワーク
m
の出力として表現
-‐計算グラフを遡ることで，RNNのパラメタφが更新可能
を仮定](https://image.slidesharecdn.com/2nips-170226094440/85/2-nips-Learning-to-learn-by-gradient-decent-by-gradient-decent-14-320.jpg)
![・[S.
Hochreiter
et
al
2001]ではFully
connected
LSTM
-‐
θ
の次元が大きいと，LSTMのパラメタ数が大きくなり，
最適化が難しいし，計算的にも重い．
-‐ Deep
neural
networkのようなパラメタθの次元が大きい
問題に対して適用することは難しかった．(θの次元は数万〜)](https://image.slidesharecdn.com/2nips-170226094440/85/2-nips-Learning-to-learn-by-gradient-decent-by-gradient-decent-18-320.jpg)
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]DropBlock: A regularization method for convolutional networks](https://cdn.slidesharecdn.com/ss_thumbnails/dlyokota20190222-190222002832-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...](https://cdn.slidesharecdn.com/ss_thumbnails/dl0114-220114032933-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Neural Ordinary Differential Equations](https://cdn.slidesharecdn.com/ss_thumbnails/nnasode1-190111001755-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](https://cdn.slidesharecdn.com/ss_thumbnails/nerfdlseminar1-200327021512-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]ODT: Online Decision Transformer](https://cdn.slidesharecdn.com/ss_thumbnails/20220318-220322065805-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]YOLO9000: Better, Faster, Stronger](https://cdn.slidesharecdn.com/ss_thumbnails/dlreadingpaper20170804-170803075138-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder](https://cdn.slidesharecdn.com/ss_thumbnails/nvaeadeephierarchicalvariationalautoencoder-201113004930-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...](https://cdn.slidesharecdn.com/ss_thumbnails/ahigher-dimensionalrepresentationfortopologicallyvaryingneuralradiancefields1-210924021911-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Pay Attention to MLPs （gMLP）](https://cdn.slidesharecdn.com/ss_thumbnails/kobayashi-210528032327-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL Hacks] Deterministic Variational Inference for RobustBayesian Neural Netw...](https://cdn.slidesharecdn.com/ss_thumbnails/adobepdffile2-190628001736-thumbnail.jpg?width=640&height=640&fit=bounds)
第2回nips+読み会: Learning to learn by gradient decent by gradient decent
- 1. Learning to learn by gradient decent by gradient decent ＠第2回NIPS+読み会・関西 2016/12/26 発表者：大阪大学 都築拓
- 2. ・自己紹介 ・都築拓 (@tsukamakiri) ・大阪大学生命機能研究科M1 細胞の状態推定，予測 ＠理化学研究所Qbic 実験プロトコル最適化 @RoboDc Biology InsDtute ・理化学研究所Qbic生化学シミュレーションチーム研究生 ・研究内容
- 3. ・Outline • 概要 • 問題設定 • 先行研究 • 本論文のアイデア • 実験結果 • まとめ，今後の展望
- 4. ・Outline • 概要 • 問題設定 • 先行研究 • 本論文のアイデア • 実験結果 • まとめ，今後の展望
- 5. ・論文概要 ・この論文はどんなものか？ ・先行研究と比べて何がすごいか？ ・キーアイデアは？ ・どんな結果が得られたか？ -‐最適化問題において，目的関数を最適化するための勾配方による 最適化アルゴリズム(OpDmizer)自体を勾配法により学習させる -‐OpDmizerをLSTMとして表現し，逆誤差伝播によりそれを最適化 -‐目的関数の成分ごと独立に，パラメタを共有したLSTMで最適化を行うことで 最適化すべきOpDmizerのパラメタ数を小さく抑える -‐OpDmizerを直接最適化する，meta-‐learningの枠組みを，Deeplearning による画像識別，合成課題という，大規模な課題に適用 -‐MNIST, CIFAR のラベリングタスク，及びNeural Artによる画風合 成タスクで，既存のOpDmizerを凌ぐ性能を確認
- 6. ・Outline • 概要 • 問題設定 • 先行研究 • 本論文のアイデア • 実験結果 • まとめ，今後の展望
- 7. ・この研究の目的は何か？ 機械学習において，目的関数 f(θ) (OpDmizee)を最適化するため の勾配法の最適化アルゴリズム g (OpDmizer)をデータから学習 させる f(θ） Θt+1=θt＋g(∇f ) OpDmizer OpDmizee パラメータθ を更新 Errrorシグナル
- 8. ・No Free Lunch Theorems for OpDmizaDon 全ての問題に対して高性能な最適化アルゴリズムは存在しない． [Wolpert and Macready 1997] 解くべき問題の性質に応じて，利用する最適化アルゴリズムを 使い分ける必要がある．
- 9. ・現状，gはヒューリスティックに作り込まれている 勾配法をベースに，高次元で，非凸な目的関数に対しても良い 性能を示すような最適化アルゴリズムは多く“作り込まれて”いる ・momentumSGD [Nesterov 1983, Tseng 1998] ・Adagrad [Duchi et al. 2011] ・RMSprop [Tieleman and Hinton 2012] ・ADAM [Kingma and Ba 2015] 参考：hap://postd.cc/opDmizing-‐gradient-‐descent/ 例： 勾配降下法（一番単純な場合） -‐ナイーブすぎて，これは多くの場合うまくいかない
- 10. ・問題意識 問題に応じて，データから自動で最適な変換 g を学習さ せることはできないだろうか？ -‐もっとTask specificに g を作り込むことができれば性能は上がる ( No Free Lunch Theorem [Wolpert and Macready 1997] ) -‐現状，g はある程度の汎用性を持つ形で作られている
- 11. ・Outline • 概要 • 問題設定 • 先行研究 • 本論文のアイデア • 実験結果 • まとめ，今後の展望
- 12. ・”Meta-‐Learning”という系譜 OpDmizer g をデータから学習するという話は昔からあって，Meta-‐ learning(learning to learn)という一連の流れとして位置づけられる． ①,変換 g の関数形自体を遺伝的プログラミングを用いて最適化 [Y.Bengio et al 1995] ②,変換 g をパラメタ φ で特徴付けられたRNNの出力としてとらえ， 誤差の微分情報を用いてφを更新する[S. Hochreiter et al 2001] 微分をするか，しないか
- 13. ・問題設定：[S. Hochreiter et al 2001],[M.Andrychowicz et al. 2016] L(φ)がφに関して微分可能であれば，OpDmizer g(φ) を， 期待損失 L(φ) の微分情報を用いて逆誤差伝播で最適 化できる． -‐ OpDmizer g をパラメータφで直接特徴付ける g(∇f, φ) -‐ そのため，OpDmizeeの最適なパラメタθ*は，θ(f, φ)と書ける -‐ そのため，期待損失関数 L(φ) はφの関数として書ける
- 14. ・問題設定：[S. Hochreiter et al 2001],[M.Andrychowicz et al. 2016] -‐Opimizerのupdate step gtをリカレントニューラルネットワーク m の出力として表現 -‐計算グラフを遡ることで，RNNのパラメタφが更新可能 を仮定
- 15.
- 16. ・Outline • 概要 • 問題設定 • 先行研究 • 本論文のアイデア • 実験結果 • まとめ，今後の展望
- 17.
- 18. ・[S. Hochreiter et al 2001]ではFully connected LSTM -‐ θ の次元が大きいと，LSTMのパラメタ数が大きくなり， 最適化が難しいし，計算的にも重い． -‐ Deep neural networkのようなパラメタθの次元が大きい 問題に対して適用することは難しかった．(θの次元は数万〜)
- 19. ・Coordinatewise LSTM opDmizer ・本論文の提案手法 -‐目的： -‐アイデア： ・θが高次元なモデルに対しても，最適化可能な OpDmizer m を構築したい． ・θの各成分(θ1~θn)を個別に最適化するn個のLSTM LSTM1~LSTMn を構築する． ・n個のLSTM，LSTM1~LSTMn は 共通のパラメタをシェアしている．
- 20.
- 21. ・Outline • 概要 • 問題設定 • 先行研究 • 本論文のアイデア • 実験結果 • まとめ
- 22. ①：QuadraDc funcDons Task ・実験 ②：MNIST classificaDon Task ③：CIFAR-‐10 classificaDon Task ④：Neural Art Task 以下の4つのタスクで性能を検証 -‐従来法(SGD, RMSprop, ADAM, NAG)と性能を比較した なお，TensorflowのコードはGithubに落ちている (haps://github.com/deepmind/learning-‐to-‐learn)
- 23. ・実験条件 -‐ 期待損失L(φ)における，各時刻の f にかかる重みwtは全て1とする -‐ 各 LSTM OpDmizer の 隠れ層は2層， 隠れユニット数は20とした．
- 24. ①：QuadraDc funcDons Task 以下で定義された関数 f(θ) を最小化する問題 提案手法は，従来法を上回る -yは正規分布によって生成された 10次元ベクトル -Wは10×10の各成分が正規分布 に従う行列 f(θ)を最小化するθを学習する
- 25. ②：MNIST classificaDon Task 0〜9の手書き数字を分類するタスク -‐モデルは隠れ層20の多層パーセプトロン -‐活性化関数は，sigmoid, 損失関数はcross entropy 提案手法は，収束の速さ，最終的な精度ともに従来法を上回る
- 26.
- 27. ③：CIFAR-‐10 classificaDon Task 自然画像を10クラスに分類するタスク -‐畳み込み+Maxpooling3層＋隠れユニット数32の全結合層 -‐活性化関数はReLU, 各層でbatch normalizaDonを適用 ・使用したモデル： ・注意点： -‐全結合層を最適化するLSTMと， 畳み込み層を最適化するLSTMは，別のものを使用
- 28.
- 29. ④：Neural Art Task コンテンツ画像(左)と，スタイル画像(右)を合成して 新たな画像(中)を生成するタスク
- 30. ・Outline • 概要 • 問題設定 • 先行研究 • 本論文のアイデア • 実験結果 • まとめ，今後の展望
- 31. ・まとめ ・この論文はどんなものか？ ・先行研究と比べて何がすごいか？ ・キーアイデアは？ ・どんな結果が得られたか？ -‐最適化問題において，目的関数を最適化するための 最適化アルゴリズム(OpDmizer)自体をデータから学習させる -‐OpDmizerをLSTMとしてモデル化し，逆誤差伝播によりそれを最適化 -‐目的関数の成分ごと独立に，パラメタを共有したLSTMで最適化を行うことで 最適化すべきOpDmizerのパラメタ数を小さく抑える -‐OpDmizerを直接最適化する，meta-‐learningの枠組みを，Deeplearning による画像識別，合成課題という，現代的で大規模な課題に適用 -‐MNIST, CIFAR のラベリングタスク，及びNeural Artによる画風合 成タスクで，既存のOpDmizerを凌ぐ性能を確認
- 32. ・今後の展望 -‐Transfer learningへの適用 ・似たクラスの問題は，OpDmizerのパラメタφが 同じような値をとるはず． ・よって，ある問題Aを学習済みのOpDmizerは， それとよく似た性質を持つ問題Bをより少ない 学習で解くことができるはず -‐OpDmizerのパラメタφをクラスタリングすることで， あるタスクとあるタスクの“類似度”のようなものを 定量的に評価できるのではないか？
- 33.