論文紹介　Amortized bayesian meta learning https://openreview.net/forum?id=rkgpy3C5tX

1. 論文紹介

2. 概要
の枠組みを階層変分モデルを用いてスケーラブルに推論を行う。
段階的な分布の変分推論により比較的高速で精度が高いのが

3. 異なるドメインのタスクの学習結果から メタ知識 を推定し未知のタスクの推論を行う
？
http://ibisforest.org/index.php?%E3%83%A1%E3%82%BF%E5%AD%A6%E7%BF%92

4. ある決まったバイアス，すなわち仮説空間の中から，事例に応じて，適切な仮説を獲得する普通の学習器を ベース学習器 とい
う．その上位で，学習対象のタスクやドメインに応じて，学習器のバイアスを決定するための メタ知識を獲得するのが メタ学習
(meta learning)．

5. 先行研究
実装 https://github.com/tristandeleu/pytorch-maml-rl
の分布 を仮定しそこからサンプルした損失関数 から個々の のパラメータ を 最尤 推定す
る

6. 先行研究
直感的は がとる範囲が の全空間よりも次元が小さく の 結果を使って
の推定結果を計算する 行目
手持ちのタスク に関する推定結果 は保持せず新しいタスクの学習には用いない。

7. 先行研究
と のつながりを指摘し、最適化関数を提唱している。

8. 定式化
に対して
仮説の
仮説のの集合
変数の次元
仮説

9. 仮説分布の分布
を考える。
とそこから得られる仮説の分布関数 に対して

10. 汎化誤差が でどの程度抑えられるかを示すのが

11. 観測データ数
経験誤差
に対して任意 の汎化誤差 が
となる確率は少なくとも
導出 等を参照
不等式 の不等式

12. に対して
となる確率が 以上

13. 目的関数
の中の式
と階層ベイズの近似事後分布 以下、 が同義であるとして
の最適化を行うという主張

14. 階層ベイズモデルとの関係
類似部分 完全に一致しているわけではない ？

15. 実装の詳細
を の重みパラメータ としている。 ガウス分布の積を仮定
が特定の形になる などでの実装がやりやすい 参考 。

16. 実装の詳細
https://github.com/ron-amit/meta-learning-adjusting-priors2/blob/master/PriorMetaLearning/Get_Objective_MPB.py#L76

17. 階層ベイズモデルで 問題を表現しパラメータ事後分布を最大化する
のモデル と
数
数
を仮定
では各データを 訓練用
テスト用 に分割している

18. 目的関数
を変分推論で最適化する。 が大きいため重み分布のパラメータ は で求め
る。
の形状は推定結果を用いた多変量ガウス分布

19. 変分推論式の導出
データ とそれに対する局所パラメータ

20. パラメータ の分布のハイパーパラメータ を で決定する 。
階層的に徐々に決定 償却 していると言える。
pyroではguide内部で記述することで対応可能
https://pyro.ai/examples/svi_part_ii.html

21. 段階の推測

22. 正規分布パラメータの点推定

23. の結果を初期
値として 本番の 変分推論

24. つの例
による画像認識

25. 定義
試行系列

26. 定義
∼
それぞれの に最適
な がある。 ∼
その他 ∼
∼

27. 条件
回の試行 から 個の を予測
を と比較
より精度が低いがその差は 範囲内に収まっている。

28. 結果

29. で を と比較

30. と
をプロットし を比較
(a) MAML (b) Probabilistic MAML
(c) proposed model.

32. 層内の の標準偏差

33. 関連文献
●
●
●
●
● DL輪読会での紹介

34. 付録
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling