Masked autoencoder for Distribution Estimation

1. MADEを実装してみた
Kai Sasaki(@Lewuathe)

2. 自己紹介
• 佐々木 海(@Lewuathe)
• Hadoop, Stormなどの開発、運用
• Spark MLLibの開発も手伝ってます
• Big DataとDeep Learningをつなげるのが夢

3. MADEとは
• “MADE: Masked Autoencoder for Distribution Estimation”
Mathieu Germain, Karol Gregor, Iain Murray, Hugo Larochelle
• Neural Autoencoderを使って条件付き確率分布を推定させる仕組み
• 重みの幾つかをmaskさせるというシンプルな方法で実現
• http://arxiv.org/abs/1502.03509

4. Distribution Estimation as
Autoregression
- p(x) : 推定したい分布
- x_d : d番目の確率変数
- x<d : d-1番目以下の確率変数の集合

5. Distribution Estimation as
Autoregression
cross-entropy誤差関数とみなせる

6. Autoregressive Model

7. Autoregressive Model
2
3
1

8. Deep MADE

9. Experiment
Denoising Autoencoder MADE
※hidden->outputの重みを可視化
※MNIST (784->100->784)

10. 思ったこと
• 特徴同士の関係性みたいなものが取れていそう
• Maskされ結合数が減るから学習速度が速い(?)
• とMNISTの関係

11. https://github.com/Lewuathe/neurallib
ありがとうございました