1. Synthesizing the preferred inputs
for neurons in neural networks
via deep generator networks
Takashi Shinozaki
CiNet, NICT
Nov 12, 2016
tshino@nict.go.jp
2. 紹介論文
• A. Nguyen, A. Dosovitskiy, J. Yosinski, T. Brox, J. Clune
• “Synthesizing the preferred inputs for neurons in
neural networks via deep generator networks”
• メインはワイオミング大学
• フライブルク大学の可視化技術がベース
• Dosovitskiy & Brox 2016 arXiv
• “Generating images with
perceptual similarity metrics
based on deep networks”
7. 可視化の為の生成モデル
• これまでの生成モデル
• Probabilistic model [Lee+2009]
• Auto-encoder [Alain+2014]
• Stochastic model [Kingma+2014]
• Recurrent networks [Theis+2015]
• Generative Adversarial Network (GAN)
• [Goodefellow+2014]
• 最近の流行、特にDCGAN
• Deep Convolutional GAN [Radford+2015]
8. Ex. Arithmetics over semantic space
• Radford et al., 2016
• “Unsupervised Representation Learning with Deep
Convolutional Generative Adversarial Networks”
14. ネットワーク詳細 (1/2)
• 前段階でGenerator Gを学習
• VAEGAN的学習?
Real
or
Fake
圧縮表現
yi=E(xi)
生成画像
G(yi)
元画像
xi
Discriminator
D
Comparator
C
Encoder
E
Generator
G
生成画像
C(G(yi))
C(xi)
判別結果
D(G(yi))
D(xi)
比較
比較
比較