[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−
•
3 likes•2,418 views
2019/04/15 Deep Learning JP: http://deeplearning.jp/seminar-2/
![この発表について
• Neural Processes関連の実装がDeepMindから公開されたので，読んで動かしてみる
• Github: https://github.com/deepmind/neural-processes
• Colabで動くようにもなっている
• Neural Process Family
• Conditional Neural Processes (CNPs)
• Neural Processes (NPs)
• Attentive Neural Processes (ANPs)
• 論文の詳細はDL輪読資料を読むと良さげ
• [DL輪読会]Conditional Neural Processes
https://www.slideshare.net/DeepLearningJP2016/dlconditional-neural-processes
• [DL輪読会]Attentive neural processes
https://www.slideshare.net/DeepLearningJP2016/dlattentive-neural-processes
2](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to [DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−
Similar to [DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる− (20)
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (9)
[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−
- 1. 1 【DLHacks LT】The Neural Process Family −Neural Processes関連の実装を読んで動かしてみる− Presenter:Tatsuya Matsushima @__tmats__ , Matsuo Lab
- 2. この発表について • Neural Processes関連の実装がDeepMindから公開されたので，読んで動かしてみる • Github: https://github.com/deepmind/neural-processes • Colabで動くようにもなっている • Neural Process Family • Conditional Neural Processes (CNPs) • Neural Processes (NPs) • Attentive Neural Processes (ANPs) • 論文の詳細はDL輪読資料を読むと良さげ • [DL輪読会]Conditional Neural Processes https://www.slideshare.net/DeepLearningJP2016/dlconditional-neural-processes • [DL輪読会]Attentive neural processes https://www.slideshare.net/DeepLearningJP2016/dlattentive-neural-processes 2
- 3. NP Familyのお気持ち NP Familyでやりたいこと • データセット何らかの構造を共有しており，新たなcontextのデータセットが得られた場 合に，contextのデータセット全体を入力しとして，targetに対する予測を行う • 例) パラメータを持つ関数から，データセットごとにパラメータが違う関数からデータがやっ てくる(ただし関数形はずっと同じ)．few-shot learning • MAMLなどメタ学習手法とやりたいことは似ている • meta-trainとmeta-testの関係 • 出力された関数に関して不確実性もモデリングしたい • データが少ない部分に関してはちゃんと不確実性が高いようにモデリングしたい 3
- 4. Conditional Neural Processes (CNPs) Conditional Neural Processes • https://arxiv.org/abs/1807.01613 (Submitted on 4 Jul 2018) • Marta Garnelo, Dan Rosenbaum, Chris J. Maddison, Tiago Ramalho, David Saxton, Murray Shanahan, Yee Whye Teh, Danilo J. Rezende, S. M. Ali Eslami • DeepMind • 著者実装 • https://github.com/deepmind/neural-processes/blob/master/conditional_neural_process.ipynb • DeepMindが実装公開するのめずらしい... 4
- 5. CNPsの全体像 Encoder (e) • contextのデータ点(xとyのペア)で共通のネットワーク • ここではMLP Aggregator (a) • contextの情報を集約して一つの変数にする • ここでは，mean aggregation(Encoderの出力の平均)を用いている Decoder (d) • ターゲットのxに対する予測yの分布を出力 • 分布のパラメータを出力する (ここではMLPでガウス分布のパラメータを出力) 5
- 6. 1D Regressionのデータセット Gaussian Kernelを用いたガウス過程(GP)を使ってデータを作成 (1D Regression) • Gaussian Kernel • Gaussian Kernelを使って関数をサンプリング • ここでは各iterationごとにGPのパラメータは固定 6 k(x, x′$) = σ2 f exp ( − |x − x′$|2 2l2 ) Knn′$ = k(xn, xn′$) f ∼ p( f ) = N( f |0,K)
- 7. 1D Regressionのデータセット Data generator • Gaussian kernel 7 x − x′$ |x − x′$|2 l2 σ2 f exp ( − |x − x′$|2 2l2 ) あとでコレスキー分解するので
- 8. 1D Regressionのデータセット Data generator • 関数をサンプル 8 共分散行列をコレスキー分解 ・・・ ・・・ ガウス分布にスケールとしてかける queryはcontextの(x,y)のペアとtargetのx
- 12. CNPs実装を回した結果 • なんかうまくできているような気もする (context数は最大10とした) • データが少ないところでの不確実性の評価ができてる • GPのように滑らかではない そもそもGPみたいにGaussianカーネルの 仮定をしてないので当然といえば当然 12 100,000 iter 200,000 iter40,000 iter 0 iter 20,000 iter
- 13. Neural Processes (NPs) Neural Processes • https://arxiv.org/abs/1807.01622 (Submitted on 4 Jul 2018) • Marta Garnelo, Jonathan Schwarz, Dan Rosenbaum, Fabio Viola, Danilo J. Rezende, S.M. Ali Eslami, Yee Whye Teh • DeepMind • 著者実装 • https://github.com/deepmind/neural-processes/blob/master/attentive_neural_process.ipynb • contextのデータペアから潜在変数を推論するのがCNPsとの差分 13 これ
- 14. 1D Regressionのデータセット Gaussian Kernelを用いたガウス過程(GP)を使ってデータを作成 (1D Regression) • iterationごとにカーネルパラメータはランダムに設定する(CNPsの実験との違い) • 各iterationごとに関数の形状は共通している(ガウスカーネル) • CNPの実験より難しくなっているはず • contextを使って新しいカーネルパラメータにadaptする必要がある 14
- 15. NPsの全体像 Encoder (e) • Deterministic PathとLatent Pathを用意 • Deterministic PathはCNPsと同じ • Latent Pathは を推論 Aggregator (a) • 各ペアのcontextを集約して一つの変数にする • ここではmean aggregationを利用 Decoder (d) • ターゲットのxに対する予測yの分布を出力 • 分布のパラメータを出力する (ここではMLPでガウス分布のパラメータを出力) 15 q(z|sc)
- 16. CNPsの実装 EncoderのLatent Path • 分布として出力 16 contextのxとyをconcat 適当なMLPに通す(e) 分布のパラメータを出力 meanでaggregate
- 18. NPs実装を回した結果 • なんかうまくできているような気もする (context数は最大50とした) • 分散の評価はそれなりにちゃんとできてそう • この場合モデルの評価ってどうすれば いいんですかね 18 100,000 iter 200,000 iter40,000 iter 0 iter 20,000 iter
- 19. Attentive Neural Processes (ANPs) Attentive Neural Processes • https://arxiv.org/abs/1807.01622 (Submitted on 17 Jan 2019) • Hyunjik Kim, Andriy Mnih, Jonathan Schwarz, Marta Garnelo, Ali Eslami, Dan Rosenbaum, Oriol Vinyals, Yee Whye Teh • DeepMind • 著者実装 • https://github.com/deepmind/neural-processes/blob/master/attentive_neural_process.ipynb • Mean aggregationによるunder-fittingを避けるためにattentionを導入したのがNPsとの差分 • aggregationで使っているcross-attentionをuniformにすればNPsと同じになる • 論文中になんでmean aggregationのせいなのかはあんまり説明がないような気が…. 19
- 20. ANPsの全体像 Encoder (e) • Deterministic PathとLatent Pathを用意(NPsと同じ) • self-attentionをかける(ただし1D regressionではやってない) Aggregator (a) • Deterministic Pathにkey(contextのx)と query(targetのx)を用いたcross-attentionをかける Decoder (d) • ターゲットのxに対する予測yの分布を出力 • 分布のパラメータを出力する (ここではMLPでガウス分布のパラメータを出力) 20
- 21. ANPsのattention Aggregator (a)にcross-attentionを用いる • Encoderの中でattentionのlayerを通す • 実装のDeterministicEncoderの中 21
- 22. ANPs実装を回した結果 • Colab走りきらなかったごめんなさい(あとで追加します) (context数は最大50とした) • colab参照 22 100,000 iter 200,000 iter40,000 iter 0 iter 20,000 iter
- 23. 感想 • ハイパラいっぱいふってみて実験してみたい • カーネルの形状を事前知識として与えずに，データから学習させたい気持ちはわかる • MAMLとかのmeta-learning系の研究そうだもんね • NPのLatent PathとDeterministic Pathを共存させる意味はなんだったのだろう • 論文的には，両方使ってもいいしどちらかでも良い，みたいな書きかた • グローバルな潜在変数を持つモデル vs one-step adaptationどちらがいつ良いのだろうか • DeepMindはグローバルな潜在変数のモデル推し(NP,GQNなど) • UCバークレー(BAIR)はone-step adaptation推し(MAMLベースの手法) 23