2019/04/12 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Variational Autoencoder with Arbitrary
Conditioning (ICLR2019)”
Naoki Nonaka

2. 2
目目次次
•
•
•
•
•

3. 3
書書誌誌情情報報
• ��A���������������������������
• ��A�������������
�������������������������C
�����������������C

4. 4
背背景景
これまでの深層生成モデル: p(x)やp(x|y)をモデル化
をモデル化
n U: 全特徴量の集合
n I : Uの任意の部分集合
応用先：特徴量の補完，画像のinpainting

5. 5
提提案案手手法法
再構成誤差 KL Divergence
欠損のない入力(元データ)
と欠損させた部位の情報
欠損のある入力と
欠損させた部位の情報
潜在変数z，欠損のある入力
と欠損させた部位の情報

6. 6
提提案案手手法法
観測されていない変数の情報
観測されていない変数（求めたい変数）
観測された変数（入力として与えられる）
観測されない変数の位置についての確率分布
求めたい分布（観測値から欠損を予測）
実際に求める分布（ψおよびθでパラメータ化）

7. 7
提提案案手手法法
VAE
(Kingma & Welling, 2013)
CVAE
(Sohn et al. 2015)
VAEAC
(This paper)
Prior
Encoder
Decoder

8. 8
提提案案手手法法
再構成誤差 KL Divergence
欠損のない入力(元データ)
と欠損させた部位の情報
欠損のある入力と
欠損させた部位の情報
潜在変数z，欠損のある入力
と欠損させた部位の情報

9. 9
提提案案手手法法
nΨによりパラメータ化される分布には正則化項が存在しない
n学習に安定しない可能性がある（Numeric Instability）
Gamma-Normal priorを事前分布のパラメータに対して置く
事前分布

10. 10
提提案案手手法法
元々データに欠損値が存在する場合
（これまでは学習に用いるデータは欠損がないという前提）
n p(b)をp(b|x)に変更
n ωを元々欠損しているデータ点として，再構成誤差を以下のように変更

11. 11
実実験験
p
n
n
p
n
n
p

12. 12
実実験験
欠損させた値を補完した場合の精度比較
=> 提案手法が最も良い結果となった

13. 13
実実験験
欠損させた値を補完したデータを用いた回帰・分類の精度
=> 提案手法が最も良い

14. 14
実実験験
一つの画像から複数パターンのinpaitingが可能

15. 15
実実験験
2つの先行研究と比較
n Context Encoder(Pathak et al., 2016)
n SIIDGM(Yeh et al., 2017)
（指標はPSNR; ピーク信号対雑音比，画像の劣化の指標）

16. 17
実実験験
Universal Merginalizer (UM)(Douglas et al., 2017)との比較
（UMは一つのNNで観測されていない点の周辺分布を求める手法）
n VAEACの方が学習に時間を要するが，テスト時は高速
（VAEとPixelCNNの関係に似ているとのこと）
n UMで学習できないが，VAEACではできる場合が数多くある（らしい

17. 19
結結論論
n
n
n