This is a material I used to show how to write generative adversarial networks to generate MNIST hand-written digit images with KERAS (Ver2) in Shibuya, Tokyo in January, 2019. Source code can be found on Gist (https://gist.github.com/asterisk37n/0875a3d8ec08d81128308b2baaef838a) and it was written as simple as possible without loosing an essence of network.

1. 【Supporterz 勉強会】
基本のGAN
https://supporterzcolab.com/event/661
WATANABE Naoki
January 21, 2019, 19:30
ソースコード: http://qq3q.biz/PtS4
1

2. 自己紹介
大学、大学院では素粒子物理実験の研究
IBMに新卒入社し辞めた
スタートアップ創業2回目
性格: よくスマホと仕事と家をなくす
2

3. Goal
基本的なGANの概念を理解して、kerasで実装できるようになること。
下記のソースコードが理解できること。
http://qq3q.biz/PtS4
3

4. Contents
1. GANの例
2. GANの概念の説明
3. GANの実装
4

5. GANの例
5

6. 6

7. 7

8. 8

9. 9

10. 10

11. 11

12. 12

13. GANの概念
13

14. 二つのモデル (ネットワーク)を訓練する
Generator: ノイズを入力とし、画像を生成する
Discriminator: 画像を入力とし、その画像が本物かGeneratorの生成したものか判別する
14

15. 15

16. 学習の方向
Generator の学習
● noise → Generator → Discriminator → 1
Discriminatorの学習
● noise → Generator → Discriminator → 0
● データセットの画像 → Discriminator → 1
16

17. 17

18. Discriminatorの学習
18

19. 19

20. loss
20

21. ソースコードの解説
21

22. 実装の注意点
● generatorの学習時は、generator単体ではなく、generator + discriminator (frozen) を学習する
● そのため、discriminatorをcompile後にdiscriminatorをtrainable=Falseとし、generatorにつなぐ
● MNIST データセット全体で1epochにすると、学習がおそらく1-3エポックて終わってしまう。
● 学習データは[-1, 1]に正規化して分類器に入力。
● Generatorのoutputはtanhを使って[-1, 1]とする。
22

23. 環境
● Python 3.6.5
● Tensorflow 1.12
● keras 2.2.4
23

24. MNISTを学習
手書き文字
縦28, 横28、チャンネル数1（白黒)
Q. なぜ今回MNISTを選んだなのか
A.サイズが小さいので、
学習がすぐ終わり、
CPUでも学習できる
24

25. 学習結果 (100, 500, 999 epoch)
MacBook Pro (Core i7) で17分間学習
25

26. 26

27. 27

28. 28

29. 参考および引用
今さら聞けないGAN（1） 基本構造の理解 - Qiita (図を借りました)
https://qiita.com/triwave33/items/1890ccc71fab6cbca87e#%E3%81%BE%E3%81%A8%E3%82%81
GAN(Generative Adversarial Networks)を学習させる際の14のテクニック - Qiita
https://qiita.com/underfitting/items/a0cbb035568dea33b2d7
Progressive Growing of GANs for Improved Quality, Stability, and Variation
https://arxiv.org/abs/1710.10196
29