Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
全脳アーキテクチャ若⼿の会 カジュアルトーク#3 (2016.6.4)
Adversarial Networks による画像⽣成に迫る
全脳アーキテクチャ若⼿の会
法政⼤学⼤学院 理⼯学研究科 修⼠課程
島⽥ ⼤樹
⾃⼰紹介
島⽥ ⼤樹 (SHIMADA Daiki)
@sheema_sheema (Twitter)
• 法政⼤学⼤学院 理⼯学研究科 M2
• 画像解析による授業受講者の態度推定
• 深層学習関連⼿法の提案
• 全脳アーキテクチャ若⼿の会 ...
前回のあらすじ
l カジュアルにCNN系⽂献64本ノック!
http://www.slideshare.net/sheemap/convolutional-neural-networks-wbafl2
Convolutional Neural ...
⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3
Adversarial Networks による
画像⽣成に迫る
1. Why 画像⽣成?
2. Generative Adversarial Nets (GAN)
3. GANとならでき...
Why 画像⽣成?
l 普通に⾒ていて⾯⽩い
l (絵が下⼿な⼈もクリエイティブになれる…?)
絵を描く機械って⾯⽩くないですか?
Why 画像⽣成?
l 機械に物体のパーツの構成を理解させたい
視覚情報の特徴を学習するための⼿段
5
Why 画像⽣成?
l 機械に物体のパーツの構成を理解させたい
視覚情報の特徴を学習するための⼿段
6
⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3
Adversarial Networks による
画像⽣成に迫る
1. Why 画像⽣成?
2. Generative Adversarial Nets (GAN)
3. GANとならでき...
Generative Adversarial Nets (GAN)
l Generator (⽣成部) と Discriminator (判別部) で構成
Generative Adversarial Nets [1]
8[1] I.J. Go...
Generative Adversarial Nets (GAN)
l ⽬標1: Dは⼊⼒が本物の画像がどうか⾒分ける
Generative Adversarial Nets の学習 [1]
9[1] I.J. Goodfellow et al...
Generative Adversarial Nets (GAN)
l ⽬標2: GはDを騙すような画像を⽣成する
Generative Adversarial Nets の学習 [1]
10[1] I.J. Goodfellow et al....
Generative Adversarial Nets (GAN)
Generative Adversarial Nets の学習 [1]
11[1] I.J. Goodfellow et al. Generative Adversarial ...
Generative Adversarial Nets (GAN)
Generative Adversarial Nets の学習 [1]
12[1] I.J. Goodfellow et al. Generative Adversarial ...
Generative Adversarial Nets (GAN)
Laplacian Pyramid of Generative Adversarial Nets [2]
13
[2] E. Denton, S. Chintala et al...
Generative Adversarial Nets (GAN)
Laplacian Pyramid of Generative Adversarial Nets [2]
14
[2] E. Denton, S. Chintala et al...
Generative Adversarial Nets (GAN)
Deep Convolutional Generative Adversarial Nets [3]
15
[3] A. Radford et al. Unsupervised...
Generative Adversarial Nets (GAN)
Deep Convolutional Generative Adversarial Nets [3]
16
[3] A. Radford et al. Unsupervised...
Generative Adversarial Nets (GAN)
Deep Convolutional Generative Adversarial Nets [3]
17
[3] A. Radford et al. Unsupervised...
Generative Adversarial Nets (GAN)
Deep Convolutional Generative Adversarial Nets [3]
18
[3] A. Radford et al. Unsupervised...
⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3
Adversarial Networks による
画像⽣成に迫る
1. Why 画像⽣成?
2. Generative Adversarial Nets (GAN)
3. GANとならでき...
Generative Adversarial Nets (GAN) とならできること
Style Extraction [4]
20
l Autoencoder の中間層表現がある分布っぽいかどうかを
Dが判断する構造
l データ表現を任意の分...
Generative Adversarial Nets (GAN) とならできること
Style Extraction [4]
l 途中でカテゴリ情報を⼊れてやると,
Autoencoderはカテゴリに関係しない特徴 (Style)を獲得
[4...
Generative Adversarial Nets (GAN) とならできること
Style Extraction [4]
22
l ⽣成したいカテゴリ情報 + 好きなスタイル特徴から
任意のスタイルの数字画像が⽣成できる
[4] A. M...
Generative Adversarial Nets (GAN) とならできること
Text to Image [5]
23
l Character-level convolutional-recurrent network で
コードされた...
Generative Adversarial Nets (GAN) とならできること
Text to Image [5]
24
[5] S. Reed et al. Generative Adversarial Text to Image Sy...
Generative Adversarial Nets (GAN) とならできること
Text to Image [5]
25
[5] S. Reed et al. Generative Adversarial Text to Image Sy...
Generative Adversarial Nets (GAN) とならできること
Text to Image [5]
26
[5] S. Reed et al. Generative Adversarial Text to Image Sy...
Generative Adversarial Nets (GAN) とならできること
Text to Image [5]
27
[5] S. Reed et al. Generative Adversarial Text to Image Sy...
Generative Adversarial Nets (GAN) とならできること
Inpainting [6]
28[6] D. Pathak et al. Context Encoders: Feature Learning by Inp...
Generative Adversarial Nets (GAN) とならできること
Inpainting [6]
29
[6] D. Pathak et al. Context Encoders: Feature Learning by In...
⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3
Adversarial Networks による
画像⽣成に迫る
1. Why 画像⽣成?
2. Generative Adversarial Nets (GAN)
3. GANとならでき...
まとめ
GAN の学習の概要と最近の研究事例
l “敵対的な” 2つの学習器を戦わせるという発想
l データの投げ⽅次第で⾊々なことができる
GAN で機械は芸術家の夢をGANGANみれるか?
l まだまだ低解像 (64x64程度) の画像まで...
Fin.
32
Upcoming SlideShare
Loading in …5
×

25

Share

Download to read offline

Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3

Download to read offline

全脳アーキテクチャ若手の会カジュアルトーク #3

Related Audiobooks

Free with a 30 day trial from Scribd

See all

Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3

  1. 1. 全脳アーキテクチャ若⼿の会 カジュアルトーク#3 (2016.6.4) Adversarial Networks による画像⽣成に迫る 全脳アーキテクチャ若⼿の会 法政⼤学⼤学院 理⼯学研究科 修⼠課程 島⽥ ⼤樹
  2. 2. ⾃⼰紹介 島⽥ ⼤樹 (SHIMADA Daiki) @sheema_sheema (Twitter) • 法政⼤学⼤学院 理⼯学研究科 M2 • 画像解析による授業受講者の態度推定 • 深層学習関連⼿法の提案 • 全脳アーキテクチャ若⼿の会 副代表 • 会全体の運営 (運営メンバー⼤募集中!!) • 2014年第2回勉強会 発表者 1
  3. 3. 前回のあらすじ l カジュアルにCNN系⽂献64本ノック! http://www.slideshare.net/sheemap/convolutional-neural-networks-wbafl2 Convolutional Neural Networks (CNN) の研究動向 2 l 今⽇はこの中の画像⽣成を ちょっとだけ追ってみます!
  4. 4. ⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3 Adversarial Networks による 画像⽣成に迫る 1. Why 画像⽣成? 2. Generative Adversarial Nets (GAN) 3. GANとならできること 4. まとめ 3
  5. 5. Why 画像⽣成? l 普通に⾒ていて⾯⽩い l (絵が下⼿な⼈もクリエイティブになれる…?) 絵を描く機械って⾯⽩くないですか?
  6. 6. Why 画像⽣成? l 機械に物体のパーツの構成を理解させたい 視覚情報の特徴を学習するための⼿段 5
  7. 7. Why 画像⽣成? l 機械に物体のパーツの構成を理解させたい 視覚情報の特徴を学習するための⼿段 6
  8. 8. ⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3 Adversarial Networks による 画像⽣成に迫る 1. Why 画像⽣成? 2. Generative Adversarial Nets (GAN) 3. GANとならできること 4. まとめ 7
  9. 9. Generative Adversarial Nets (GAN) l Generator (⽣成部) と Discriminator (判別部) で構成 Generative Adversarial Nets [1] 8[1] I.J. Goodfellow et al. Generative Adversarial Nets. arXiv:1406.2661, 2014. Generator Network (G) Discriminator Network (D) … … ? ⽣成画像 Z G(Z) ⼊⼒画像が 本物の確率
  10. 10. Generative Adversarial Nets (GAN) l ⽬標1: Dは⼊⼒が本物の画像がどうか⾒分ける Generative Adversarial Nets の学習 [1] 9[1] I.J. Goodfellow et al. Generative Adversarial Nets. arXiv:1406.2661, 2014. Discriminator Network (D) …? ⽣成画像 G(Z) ⼊⼒画像が 本物の確率 [0, 1] 本物画像 x X か G(Z) どちらかが ⼊⼒される
  11. 11. Generative Adversarial Nets (GAN) l ⽬標2: GはDを騙すような画像を⽣成する Generative Adversarial Nets の学習 [1] 10[1] I.J. Goodfellow et al. Generative Adversarial Nets. arXiv:1406.2661, 2014. Generator Network (G) Discriminator Network (D) … … ? ⽣成画像 Z G(Z) ⼊⼒画像が 本物の確率 D(G(Z)) の フィードバック D(G(Z))
  12. 12. Generative Adversarial Nets (GAN) Generative Adversarial Nets の学習 [1] 11[1] I.J. Goodfellow et al. Generative Adversarial Nets. arXiv:1406.2661, 2014. … … ? ⽣成画像 Z G(Z) ⼊⼒画像が 本物の確率 本物画像 x D(x)
  13. 13. Generative Adversarial Nets (GAN) Generative Adversarial Nets の学習 [1] 12[1] I.J. Goodfellow et al. Generative Adversarial Nets. arXiv:1406.2661, 2014. … … ? ⽣成画像 Z G(Z) ⼊⼒画像が 本物の確率 本物画像 x D(G(Z))
  14. 14. Generative Adversarial Nets (GAN) Laplacian Pyramid of Generative Adversarial Nets [2] 13 [2] E. Denton, S. Chintala et al. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks. arXiv:1506.05751, 2015. l 画像処理のテクニックと組み合わせて画像⽣成へ 周波数帯ごとに画像を⽣成していく
  15. 15. Generative Adversarial Nets (GAN) Laplacian Pyramid of Generative Adversarial Nets [2] 14 [2] E. Denton, S. Chintala et al. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks. arXiv:1506.05751, 2015. l 画像処理のテクニックと組み合わせて画像⽣成へ 周波数帯ごとに画像を⽣成していく
  16. 16. Generative Adversarial Nets (GAN) Deep Convolutional Generative Adversarial Nets [3] 15 [3] A. Radford et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Netwroks. arXiv: 1511.06434, 2015. l ネットワークを Convolutional Neural Net にすることで より複雑な,よりリアルな画像が⽣成出来るように
  17. 17. Generative Adversarial Nets (GAN) Deep Convolutional Generative Adversarial Nets [3] 16 [3] A. Radford et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Netwroks. arXiv: 1511.06434, 2015. l ネットワークを Convolutional Neural Net にすることで より複雑な,よりリアルな画像が⽣成出来るように
  18. 18. Generative Adversarial Nets (GAN) Deep Convolutional Generative Adversarial Nets [3] 17 [3] A. Radford et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Netwroks. arXiv: 1511.06434, 2015. l Zの値を変えていくと,部屋の家具や背景が徐々に変化する
  19. 19. Generative Adversarial Nets (GAN) Deep Convolutional Generative Adversarial Nets [3] 18 [3] A. Radford et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Netwroks. arXiv: 1511.06434, 2015. l ある属性の画像を⽣成するZ の平均ベクトルの演算で ⽣成される画像の操作が可能
  20. 20. ⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3 Adversarial Networks による 画像⽣成に迫る 1. Why 画像⽣成? 2. Generative Adversarial Nets (GAN) 3. GANとならできること 4. まとめ 19
  21. 21. Generative Adversarial Nets (GAN) とならできること Style Extraction [4] 20 l Autoencoder の中間層表現がある分布っぽいかどうかを Dが判断する構造 l データ表現を任意の分布に落とし込める [4] A. Makhzani et al. Adversarial Autoencoders. arXiv: 1511.05644, 2015. Ex.) ここの表現を 正規分布にしたい!
  22. 22. Generative Adversarial Nets (GAN) とならできること Style Extraction [4] l 途中でカテゴリ情報を⼊れてやると, Autoencoderはカテゴリに関係しない特徴 (Style)を獲得 [4] A. Makhzani et al. Adversarial Autoencoders. arXiv: 1511.05644, 2015. 途中でどのカテゴリか 教えてやる スタイル情報を 好きな分布に落としこむ (イメージ)
  23. 23. Generative Adversarial Nets (GAN) とならできること Style Extraction [4] 22 l ⽣成したいカテゴリ情報 + 好きなスタイル特徴から 任意のスタイルの数字画像が⽣成できる [4] A. Makhzani et al. Adversarial Autoencoders. arXiv: 1511.05644, 2015.
  24. 24. Generative Adversarial Nets (GAN) とならできること Text to Image [5] 23 l Character-level convolutional-recurrent network で コードされたテキストをGとDへ付与 l G はテキスト情報と乱数から画像を⽣成, D は画像とテキストのマッチングも含めて判断 [5] S. Reed et al. Generative Adversarial Text to Image Synthesis. arXiv:1605.05396, 2016.
  25. 25. Generative Adversarial Nets (GAN) とならできること Text to Image [5] 24 [5] S. Reed et al. Generative Adversarial Text to Image Synthesis. arXiv:1605.05396, 2016. l CUB(bird), Oxford-102(flower), MS-COCO で実験
  26. 26. Generative Adversarial Nets (GAN) とならできること Text to Image [5] 25 [5] S. Reed et al. Generative Adversarial Text to Image Synthesis. arXiv:1605.05396, 2016. l CUB(bird), Oxford-102(flower), MS-COCO で実験
  27. 27. Generative Adversarial Nets (GAN) とならできること Text to Image [5] 26 [5] S. Reed et al. Generative Adversarial Text to Image Synthesis. arXiv:1605.05396, 2016. l CUB(bird), Oxford-102(flower), MS-COCO で実験
  28. 28. Generative Adversarial Nets (GAN) とならできること Text to Image [5] 27 [5] S. Reed et al. Generative Adversarial Text to Image Synthesis. arXiv:1605.05396, 2016. l テキストとスタイル画像から所望の画像を⽣成する Gと逆向きの (Zを推定する) ⽅向の学習器を作る
  29. 29. Generative Adversarial Nets (GAN) とならできること Inpainting [6] 28[6] D. Pathak et al. Context Encoders: Feature Learning by Inpainting. arXiv: 1604.07379, 2016. l G が⼀部がマスクされた画像を⽳埋めするように学習 à “真の画像との誤差(L2)”と”Dを騙したかの誤差”を最⼩化 l L2だけではボケた画像が⽣成されるが, Adversarial Nets を使うことでシャープな inpainting Generator Network (G) Encoder Network Discriminator Network (D) L2 loss real/fake
  30. 30. Generative Adversarial Nets (GAN) とならできること Inpainting [6] 29 [6] D. Pathak et al. Context Encoders: Feature Learning by Inpainting. arXiv: 1604.07379, 2016.
  31. 31. ⽬次 全脳アーキテクチャ若⼿の会 カジュアルトーク#3 Adversarial Networks による 画像⽣成に迫る 1. Why 画像⽣成? 2. Generative Adversarial Nets (GAN) 3. GANとならできること 4. まとめ 30
  32. 32. まとめ GAN の学習の概要と最近の研究事例 l “敵対的な” 2つの学習器を戦わせるという発想 l データの投げ⽅次第で⾊々なことができる GAN で機械は芸術家の夢をGANGANみれるか? l まだまだ低解像 (64x64程度) の画像までしか上⼿くいかない l 最適化にすさまじい⼈智 (=テクニック) が必要 l しかし,〜っぽさという定量化が難しい問題に対しての アプローチの選択肢になりつつあるのでは?
  33. 33. Fin. 32
  • none53

    Dec. 17, 2018
  • ClaireChung8

    Oct. 22, 2018
  • ssuserd62938

    May. 15, 2017
  • hiroyukinagata16503

    May. 8, 2017
  • KenichiKobayashi1

    May. 2, 2017
  • karupagyu

    Apr. 19, 2017
  • YoshiakiAmano

    Mar. 5, 2017
  • HirofumiInaguma

    Feb. 17, 2017
  • ArimaHisao

    Feb. 7, 2017
  • ssuser6300c8

    Feb. 7, 2017
  • MasayukiOkamoto1

    Feb. 2, 2017
  • KanSakamoto

    Jan. 31, 2017
  • ku21fan

    Jan. 24, 2017
  • H-Kawata

    Jan. 16, 2017
  • yuzogoda

    Dec. 30, 2016
  • suguruw

    Dec. 29, 2016
  • koyanagid

    Dec. 21, 2016
  • masatoshiyoshida

    Dec. 16, 2016
  • iriomoteyamaneco

    Dec. 5, 2016
  • inakoshi

    Nov. 27, 2016

全脳アーキテクチャ若手の会カジュアルトーク #3

Views

Total views

9,127

On Slideshare

0

From embeds

0

Number of embeds

761

Actions

Downloads

155

Shares

0

Comments

0

Likes

25

×