Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3

8,130 views

Published on

全脳アーキテクチャ若手の会カジュアルトーク #3

Published in: Science

Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3

  1. 1. 全脳アーキテクチャ若⼿の会 カジュアルトーク#3 (2016.6.4) Adversarial Networks による画像⽣成に迫る 全脳アーキテクチャ若⼿の会 法政⼤学⼤学院 理⼯学研究科 修⼠課程 島⽥ ⼤樹
  2. 2. ⾃⼰紹介 島⽥ ⼤樹 (SHIMADA Daiki) @sheema_sheema (Twitter) • 法政⼤学⼤学院 理⼯学研究科 M2 • 画像解析による授業受講者の態度推定 • 深層学習関連⼿法の提案 • 全脳アーキテクチャ若⼿の会 副代表 • 会全体の運営 (運営メンバー⼤募集中!!) • 2014年第2回勉強会 発表者 1
  3. 3. 前回のあらすじ l カジュアルにCNN系⽂献64本ノック! http://www.slideshare.net/sheemap/convolutional-neural-networks-wbafl2 Convolutional Neural Networks (CNN) の研究動向 2 l 今⽇はこの中の画像⽣成を ちょっとだけ追ってみます!
  4. 4. ⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3 Adversarial Networks による 画像⽣成に迫る 1. Why 画像⽣成? 2. Generative Adversarial Nets (GAN) 3. GANとならできること 4. まとめ 3
  5. 5. Why 画像⽣成? l 普通に⾒ていて⾯⽩い l (絵が下⼿な⼈もクリエイティブになれる…?) 絵を描く機械って⾯⽩くないですか?
  6. 6. Why 画像⽣成? l 機械に物体のパーツの構成を理解させたい 視覚情報の特徴を学習するための⼿段 5
  7. 7. Why 画像⽣成? l 機械に物体のパーツの構成を理解させたい 視覚情報の特徴を学習するための⼿段 6
  8. 8. ⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3 Adversarial Networks による 画像⽣成に迫る 1. Why 画像⽣成? 2. Generative Adversarial Nets (GAN) 3. GANとならできること 4. まとめ 7
  9. 9. Generative Adversarial Nets (GAN) l Generator (⽣成部) と Discriminator (判別部) で構成 Generative Adversarial Nets [1] 8[1] I.J. Goodfellow et al. Generative Adversarial Nets. arXiv:1406.2661, 2014. Generator Network (G) Discriminator Network (D) … … ? ⽣成画像 Z G(Z) ⼊⼒画像が 本物の確率
  10. 10. Generative Adversarial Nets (GAN) l ⽬標1: Dは⼊⼒が本物の画像がどうか⾒分ける Generative Adversarial Nets の学習 [1] 9[1] I.J. Goodfellow et al. Generative Adversarial Nets. arXiv:1406.2661, 2014. Discriminator Network (D) …? ⽣成画像 G(Z) ⼊⼒画像が 本物の確率 [0, 1] 本物画像 x X か G(Z) どちらかが ⼊⼒される
  11. 11. Generative Adversarial Nets (GAN) l ⽬標2: GはDを騙すような画像を⽣成する Generative Adversarial Nets の学習 [1] 10[1] I.J. Goodfellow et al. Generative Adversarial Nets. arXiv:1406.2661, 2014. Generator Network (G) Discriminator Network (D) … … ? ⽣成画像 Z G(Z) ⼊⼒画像が 本物の確率 D(G(Z)) の フィードバック D(G(Z))
  12. 12. Generative Adversarial Nets (GAN) Generative Adversarial Nets の学習 [1] 11[1] I.J. Goodfellow et al. Generative Adversarial Nets. arXiv:1406.2661, 2014. … … ? ⽣成画像 Z G(Z) ⼊⼒画像が 本物の確率 本物画像 x D(x)
  13. 13. Generative Adversarial Nets (GAN) Generative Adversarial Nets の学習 [1] 12[1] I.J. Goodfellow et al. Generative Adversarial Nets. arXiv:1406.2661, 2014. … … ? ⽣成画像 Z G(Z) ⼊⼒画像が 本物の確率 本物画像 x D(G(Z))
  14. 14. Generative Adversarial Nets (GAN) Laplacian Pyramid of Generative Adversarial Nets [2] 13 [2] E. Denton, S. Chintala et al. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks. arXiv:1506.05751, 2015. l 画像処理のテクニックと組み合わせて画像⽣成へ 周波数帯ごとに画像を⽣成していく
  15. 15. Generative Adversarial Nets (GAN) Laplacian Pyramid of Generative Adversarial Nets [2] 14 [2] E. Denton, S. Chintala et al. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks. arXiv:1506.05751, 2015. l 画像処理のテクニックと組み合わせて画像⽣成へ 周波数帯ごとに画像を⽣成していく
  16. 16. Generative Adversarial Nets (GAN) Deep Convolutional Generative Adversarial Nets [3] 15 [3] A. Radford et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Netwroks. arXiv: 1511.06434, 2015. l ネットワークを Convolutional Neural Net にすることで より複雑な,よりリアルな画像が⽣成出来るように
  17. 17. Generative Adversarial Nets (GAN) Deep Convolutional Generative Adversarial Nets [3] 16 [3] A. Radford et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Netwroks. arXiv: 1511.06434, 2015. l ネットワークを Convolutional Neural Net にすることで より複雑な,よりリアルな画像が⽣成出来るように
  18. 18. Generative Adversarial Nets (GAN) Deep Convolutional Generative Adversarial Nets [3] 17 [3] A. Radford et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Netwroks. arXiv: 1511.06434, 2015. l Zの値を変えていくと,部屋の家具や背景が徐々に変化する
  19. 19. Generative Adversarial Nets (GAN) Deep Convolutional Generative Adversarial Nets [3] 18 [3] A. Radford et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Netwroks. arXiv: 1511.06434, 2015. l ある属性の画像を⽣成するZ の平均ベクトルの演算で ⽣成される画像の操作が可能
  20. 20. ⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3 Adversarial Networks による 画像⽣成に迫る 1. Why 画像⽣成? 2. Generative Adversarial Nets (GAN) 3. GANとならできること 4. まとめ 19
  21. 21. Generative Adversarial Nets (GAN) とならできること Style Extraction [4] 20 l Autoencoder の中間層表現がある分布っぽいかどうかを Dが判断する構造 l データ表現を任意の分布に落とし込める [4] A. Makhzani et al. Adversarial Autoencoders. arXiv: 1511.05644, 2015. Ex.) ここの表現を 正規分布にしたい!
  22. 22. Generative Adversarial Nets (GAN) とならできること Style Extraction [4] l 途中でカテゴリ情報を⼊れてやると, Autoencoderはカテゴリに関係しない特徴 (Style)を獲得 [4] A. Makhzani et al. Adversarial Autoencoders. arXiv: 1511.05644, 2015. 途中でどのカテゴリか 教えてやる スタイル情報を 好きな分布に落としこむ (イメージ)
  23. 23. Generative Adversarial Nets (GAN) とならできること Style Extraction [4] 22 l ⽣成したいカテゴリ情報 + 好きなスタイル特徴から 任意のスタイルの数字画像が⽣成できる [4] A. Makhzani et al. Adversarial Autoencoders. arXiv: 1511.05644, 2015.
  24. 24. Generative Adversarial Nets (GAN) とならできること Text to Image [5] 23 l Character-level convolutional-recurrent network で コードされたテキストをGとDへ付与 l G はテキスト情報と乱数から画像を⽣成, D は画像とテキストのマッチングも含めて判断 [5] S. Reed et al. Generative Adversarial Text to Image Synthesis. arXiv:1605.05396, 2016.
  25. 25. Generative Adversarial Nets (GAN) とならできること Text to Image [5] 24 [5] S. Reed et al. Generative Adversarial Text to Image Synthesis. arXiv:1605.05396, 2016. l CUB(bird), Oxford-102(flower), MS-COCO で実験
  26. 26. Generative Adversarial Nets (GAN) とならできること Text to Image [5] 25 [5] S. Reed et al. Generative Adversarial Text to Image Synthesis. arXiv:1605.05396, 2016. l CUB(bird), Oxford-102(flower), MS-COCO で実験
  27. 27. Generative Adversarial Nets (GAN) とならできること Text to Image [5] 26 [5] S. Reed et al. Generative Adversarial Text to Image Synthesis. arXiv:1605.05396, 2016. l CUB(bird), Oxford-102(flower), MS-COCO で実験
  28. 28. Generative Adversarial Nets (GAN) とならできること Text to Image [5] 27 [5] S. Reed et al. Generative Adversarial Text to Image Synthesis. arXiv:1605.05396, 2016. l テキストとスタイル画像から所望の画像を⽣成する Gと逆向きの (Zを推定する) ⽅向の学習器を作る
  29. 29. Generative Adversarial Nets (GAN) とならできること Inpainting [6] 28[6] D. Pathak et al. Context Encoders: Feature Learning by Inpainting. arXiv: 1604.07379, 2016. l G が⼀部がマスクされた画像を⽳埋めするように学習 à “真の画像との誤差(L2)”と”Dを騙したかの誤差”を最⼩化 l L2だけではボケた画像が⽣成されるが, Adversarial Nets を使うことでシャープな inpainting Generator Network (G) Encoder Network Discriminator Network (D) L2 loss real/fake
  30. 30. Generative Adversarial Nets (GAN) とならできること Inpainting [6] 29 [6] D. Pathak et al. Context Encoders: Feature Learning by Inpainting. arXiv: 1604.07379, 2016.
  31. 31. ⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3 Adversarial Networks による 画像⽣成に迫る 1. Why 画像⽣成? 2. Generative Adversarial Nets (GAN) 3. GANとならできること 4. まとめ 30
  32. 32. まとめ GAN の学習の概要と最近の研究事例 l “敵対的な” 2つの学習器を戦わせるという発想 l データの投げ⽅次第で⾊々なことができる GAN で機械は芸術家の夢をGANGANみれるか? l まだまだ低解像 (64x64程度) の画像までしか上⼿くいかない l 最適化にすさまじい⼈智 (=テクニック) が必要 l しかし,〜っぽさという定量化が難しい問題に対しての アプローチの選択肢になりつつあるのでは?
  33. 33. Fin. 32

×