Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ADVERSARIAL AUTOENCODERS

Deeplearning.jpの輪読会で発表したものです
Adversarial Autoencoders
http://arxiv.org/pdf/1511.05644v1.pdf

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all
  • Be the first to comment

ADVERSARIAL AUTOENCODERS

  1. 1. 輪読: ADVERSARIAL AUTOENCODERS 2016年3月11日 計数工学科3年 上原 雅俊
  2. 2. 概要 選定理由:generative modelは面白いから ・トロント大の人とGoogleの人(Goodfellowさんとか)が著者 ・GANをAuto encoderに利用した(これがAdversarial autoencoder) ・半教師とかにも適用 ・するとVAE,GAN単体とかより良かった *Adversarial autoencoderを時々勝手にAAEと略すときがあります
  3. 3. VAEの問題点?(特徴) ここでReparametrization trick を使ってzをサンプリングするわけ だが結局Gausiaanとか単純な分布 に限られてしまう *図と式を岩澤さんのスライドから転用
  4. 4. GANの説明1 ・VAEは推論モデル(事後確率)として決定論的なNNにガウス分布やベルヌーイ 分布をのっけている感じなので確率的(?)な複雑が足りない(ちょっと怪しいで す) ・GANは事後確率を陽に表さずに識別モデル、生成モデルを直接NNで推定 ・直感的な解釈 1:Generator(G)とDiscriminator(D)ある 2: P_data(経験分布:ホントの分布)とZ(なんでもよい:嘘の分布)ある 3: Dはなるべく経験分布からのデータを重要視したい(だからmax) 4:Gはなるべく嘘の分布を生成してDを騙したい(だからmin) ・
  5. 5. GANの説明2 http://evjang.com/articles/genadv1
  6. 6. Adversarial auto encoder(教師なし) ・q(Z)をp(Z)に近づけたい ここに GAN使う ・Algorithm: Reconstruction phase: Encoderとdecoderをupdate(reconstruction errorを減らすように) Regularization phase(GANと同じ): Discriminative networkをupdate Generative networkをupdate (GANのあの式を減らすように) *Generative networkはencoderと同じ DIscriminator Decoder(xの generative model) Encoder (zのgenerator)
  7. 7. Encoder(q(z|X))の選び方 ・3つが提案 1,決定論的 2,Gaussian posterior 3,Universal approximate posterior ・2がVAE+GANになる. ・一見、2,3の方が確率論的でsmoothにデータを生成しそうだが1とそんなに変わらなかった (パラメータチューニングが難しいらしい) ・よって後の実験は1のみでしかやっていない
  8. 8. VAEとの比較 ・VAEのregulation termをGANに置き換えた VAE: q(Z|X)をp(Z)にちょい近づけるためKL divergence AAE: q(Z)をGANでp(Z)に近づけている *VAEにおけるKL_divergenceの計算のため実際に解析的な計算したり、そのためサンプ リングしないところもAAEの良さ Zを2次元としたときのMNISTのz のプロット、左の方が綺麗なこと がわかる *上と下はp(Z)の違い
  9. 9. GANとGMMNsの比較 ・GANはP(Z)の選択が難しい ・AAEはP(Z)をシンプルにしてもよい.AAEは一旦、低次元にしてからGANを適用しているから(こ こらへん怪しいです) ・GMMNs (Generative moment matching networks)はモーメントを近づけていく方法. (追えてないです、詳しいことは論文参照)
  10. 10. Semi-supervised AAE ・2つのapproach (xのgenerative modelにlabelを配置する方法 or discriminator にlabelを配置する方法)
  11. 11. Semi supervised AAE. A ・こっちは潜在空間をうまく推定したときに使う ・MNISTの場合、10次元に加えて配置してラベ ルありなしを意味する1次元を追加 ・Semi-supervised VAEみたいにちょい複雑に する必要なく自然に拡張できる One hot vector
  12. 12. Semi supervised AAE.B ・こっちは生成モデルとして使いたと きに向いている. ・Semi supervised VAEみたいに”style” 成分を自在に変えて生成可能 One hot vector
  13. 13. Likelihood analysis テストデータの周辺尤度を図っている AAEが一番よいことがわかる
  14. 14. まとめと感想 ・AAEはVAE単体よりよい ・AAEはGAN単体よりよい(つまりGANは高次元でいきなりやるより低 次元に落としてこんでから適用した方が吉) ・VAE+GANは。。。 ・semi supervisedのAAEの識別器とxの生成器どっちともに教師情報 を利用したら。。。 ・これから生成モデルはどうなっていくんでしょうか。。。(意見とか あったらぜひ)
  15. 15. 参考資料 ・Adversarial auto encoders http://arxiv.org/pdf/1511.05644v1.pdf ・Generative http://arxiv.org/pdf/1406.2661v1.pdf ・Semi supervised VAE http://papers.nips.cc/paper/5352-semi-supervised-learning-with-deep-generative-models.pdf ・VAE http://arxiv.org/pdf/1312.6114v10.pdf ・GANのわかりやすいtutorial http://evjang.com/articles/genadv1 ・VAEのスライド https://ift6266h15.files.wordpress.com/2015/04/20_vae.pdf ・Variational inferenceのスライド http://www.shakirm.com/papers/VITutorial.pdf ・岩澤さんのsemi supervised VAEのスライド ・鈴木さんのVariational Inference with Rényi Divergenceのスライド ・tokui seiyaさんの生成モデルのdeep learningのスライド

    Be the first to comment

    Login to see the comments

  • skitaoka

    Apr. 11, 2017
  • takatsugunokubi

    Apr. 12, 2017
  • karupagyu

    Apr. 17, 2017
  • ku21fan

    May. 12, 2017
  • okitworks

    Aug. 11, 2017
  • ihiroky

    Apr. 4, 2019

Deeplearning.jpの輪読会で発表したものです Adversarial Autoencoders http://arxiv.org/pdf/1511.05644v1.pdf

Views

Total views

6,631

On Slideshare

0

From embeds

0

Number of embeds

4,320

Actions

Downloads

29

Shares

0

Comments

0

Likes

6

×