20200323にオンラインで行われた、CDLEミートアップ（北海道×関西合同）のLT資料。 途中のgifが見れなくてすみません。

1. 恐竜図鑑を作ろう！
~もしも恐竜が生きていたら ~

2. CONTENT
01 GANとは？
基本のおさらい
02 恐竜図鑑を作りたい！！
GANとの出会いと、恐竜図鑑を作りたくなった経緯
03 恐竜が生まれるまで...
紆余曲折っていうか山あり谷ありの谷しかなかった ...
04 今後（恐竜図鑑のその先へ？）
今回の結果をもとに、今後継続してやっていきたいこと、夢

3. I am Shiori Kawakami
Hello!
自己紹介
You can find me at:
@sk_we11dan
http://facebook.com/shiori.kawakami.75
株式会社エクスにて、エンジニア？をしています
主なミッションは流行りそうな技術の調査研究
G検定2018#1

4. GANってなに？
01

5. GANとは
GAN(Generative Adversarial Network, 敵対的生成ネットワーク)
Goodfellow et al. (2014)で発表された、生成モデルの一種。
GANは学習は不安定だが、他の生成モデルと比較して鮮明な画像が生成
される傾向にある。
偽物を本物だと騙そうとするGenerator（生成器）と、真偽を正しく識別しよう
とするDiscriminator（識別器）という2つのネットワークがそれぞれ学習を進
め、より精度の高いモデルを作成するコンセプト。
※生成モデルとは、訓練データを学習して似たような新しいデータを生成するモデル。
よく知られている生成モデルには、他に VAE（Variational Autoencorder）などがある。

6. GANの仕組み
改めて、GANのアーキテクチャを簡単に。GANでは、Generator(G)と
Discriminator(D)が互いに敵対的に学習を行う。
Gはノイズから本物に近い画像を生成するように学習を進め、Dが本物とG
が生成した画像を区別できなくなると学習が収束する。

7. GANの仕組み
次にGを固定してDが本物のデータと偽物のデータを上手く区別できるよう
に最適化する。
これを、交互に繰り返してより本物に近い画像が生成できるようになる。

8. 恐竜図鑑を作ろう！
02

9. GANでできそうなこと
本物でない、つまり存在しなかった画像を作ることができる。
⇒ポケモン作ってる人、結構いたな...
⇒架空のアイドルを作るサービスもあったな...
⇒あれ？これって新しい生物？
⇒ん〜、なんかおもろ〜！？

10. GANでなにしよう？
GANで何か画像を作ってみようと思った時に、
パッと思いついたのが、
● ええ感じのロゴ
● かっこいい恐竜
そのあと悶々と考えて、謎のテンションに...
「新種の恐竜図鑑がつくれたら楽しいやん！」
ということに

11. 恐竜が生まれるまで
03

12. GANで図鑑をつくろう①
恐竜図鑑に必要な物
● 写真やイラスト
● キャプション
恐竜図鑑（の写真部分）をつくるのに必要なステップ
● 元画像を集める
● GANを理解する
● とりあえず試しに作ってみる

13. GANで図鑑をつくろう②
やってみた：その1
DCGAN
CNNを使ったGAN。
Discriminatorでプーリングを使っての
ダウンサンプリングではなく、
ストライド2の畳み込みや
活性化関数にLeakyReLUを採用したり
またGenerator・Discriminator双方で
Batch Normalizationを行ったり

14. GANで図鑑をつくろう③
実装（DCGAN（Keras））
Generator
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
dense_1 (Dense) (None, 1024) 103424
_________________________________________________________________
batch_normalization_1 (Batch (None, 1024) 4096
_________________________________________________________________
activation_1 (Activation) (None, 1024) 0
_________________________________________________________________
dense_2 (Dense) (None, 131072) 134348800
_________________________________________________________________
batch_normalization_2 (Batch (None, 131072) 524288
_________________________________________________________________
activation_2 (Activation) (None, 131072) 0
_________________________________________________________________
reshape_1 (Reshape) (None, 32, 32, 128) 0
_________________________________________________________________
up_sampling2d_1 (UpSampling2 (None, 64, 64, 128) 0
_________________________________________________________________
conv2d_1 (Conv2D) (None, 64, 64, 64) 204864
_________________________________________________________________
batch_normalization_3 (Batch (None, 64, 64, 64) 256
_________________________________________________________________
conv2d_2 (Conv2D) (None, 64, 64, 64) 16448
_________________________________________________________________
batch_normalization_4 (Batch (None, 64, 64, 64) 256
_________________________________________________________________
activation_3 (Activation) (None, 64, 64, 64) 0
_________________________________________________________________
up_sampling2d_2 (UpSampling2 (None, 128, 128, 64) 0
_________________________________________________________________
conv2d_3 (Conv2D) (None, 128, 128, 64) 16448
_________________________________________________________________
batch_normalization_5 (Batch (None, 128, 128, 64) 256
_________________________________________________________________
conv2d_4 (Conv2D) (None, 128, 128, 3) 4803
_________________________________________________________________
activation_4 (Activation) (None, 128, 128, 3) 0
=================================================================
Total params: 135,223,939
Trainable params: 134,959,363
Non-trainable params: 264,576

15. GANで図鑑をつくろう③
実装（DCGAN（Keras））
Discriminator
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
conv2d_5 (Conv2D) (None, 64, 64, 64) 4864
_________________________________________________________________
leaky_re_lu_1 (LeakyReLU) multiple 0
_________________________________________________________________
conv2d_6 (Conv2D) (None, 32, 32, 128) 204928
_________________________________________________________________
flatten_1 (Flatten) (None, 131072) 0
_________________________________________________________________
dense_3 (Dense) (None, 256) 33554688
_________________________________________________________________
dropout_1 (Dropout) (None, 256) 0
_________________________________________________________________
dense_4 (Dense) (None, 1) 257
_________________________________________________________________
activation_5 (Activation) (None, 1) 0
=================================================================
Total params: 33,764,737
Trainable params: 33,764,737
Non-trainable params: 0

16. GANで図鑑をつくろう④
結果はこんな感じ。
100000 epoch頑張ると
鮮明な画像が得られたが、
同じようなやつが作られてる
...モード崩壊したっぽい

17. GANで図鑑をつくろう⑤
モード崩壊したっぽい。。。
データが少なすぎたことが
いちばんの反省点かも。。
モード崩壊
GeneratorがDiscriminatorをたまたま騙せてしまった場合、
その画像は損失関数を効率よく小さくするので、
似たような画像ばかり生成されるようになってしまう。
GANの大きな問題点としていられていて、このほかにGANの大きな問題点としては
勾配消失問題（とくに学習初期）がある。

18. GANで図鑑をつくろう⑤
モード崩壊したっぽい。。。
データが少なすぎたことが
いちばんの反省点かも。。
データを増やす + ついでに生成するクラスもコントロールしたい
⇒データ各クラス2000枚
⇒クラス数は7（0〜6）

19. GANで図鑑をつくろう⑥
やってみた：その2
Conditional GAN
Generatorの入力にノイズベクトル
だけでなく、条件ベクトルも与える。
代表的なものにはpix2pixがある。
条件ベクトルはone-hot表現の
ベクトルとして与える。

20. GANで図鑑をつくろう⑦
0：肉食（陸上） 1：肉食（海棲） 2：肉食（飛行可）
3：草食 4：首長竜 5：小型竜 6：モンハンぽい
クラス 肉食 草食 陸 海 空 長い首 小型 MH感
0 1 0 1 0 0 0 0 0
1 1 0 0 1 0 0 0 0
2 1 0 0 0 1 0 0 0
3 0 1 1 0 0 0 0 0
4 0 0 0 0 0 1 0 0
5 0 0 0 0 0 0 1 0
6 0 0 0 0 0 0 0 1

21. GANで図鑑をつくろう⑦
0：肉食（陸上） 1：肉食（海棲） 2：肉食（飛行可）
3：草食 4：首長竜 5：小型竜 6：モンハンぽい
クラス 肉食 草食 陸 海 空 長い首 小型 MH感
0 1 0 1 0 0 0 0 0
1 1 0 0 1 0 0 0 0
2 1 0 0 0 1 0 0 0
3 0 1 1 0 0 0 0 0
4 0 0 0 0 0 1 0 0
5 0 0 0 0 0 0 1 0
6 0 0 0 0 0 0 0 1

22. GANで図鑑をつくろう⑦
0：肉食（陸上） 1：肉食（海棲） 2：肉食（飛行可）
3：草食 4：首長竜 5：小型竜 6：モンハンぽい
クラス 肉食 草食 陸 海 空 長い首 小型 MH感
0 1 0 1 0 0 0 0 0
1 1 0 0 1 0 0 0 0
2 1 0 0 0 1 0 0 0
3 0 1 1 0 0 0 0 0
4 0 0 0 0 0 1 0 0
5 0 0 0 0 0 0 1 0
6 0 0 0 0 0 0 0 1

23. GANで図鑑をつくろう⑦
0：肉食（陸上） 1：肉食（海棲） 2：肉食（飛行可）
3：草食 4：首長竜 5：小型竜 6：モンハンぽい
クラス 肉食 草食 陸 海 空 長い首 小型 MH感
0 1 0 1 0 0 0 0 0
1 1 0 0 1 0 0 0 0
2 1 0 0 0 1 0 0 0
3 0 1 1 0 0 0 0 0
4 0 0 0 0 0 1 0 0
5 0 0 0 0 0 0 1 0
6 0 0 0 0 0 0 0 1

24. GANで図鑑をつくろう⑦
0：肉食（陸上） 1：肉食（海棲） 2：肉食（飛行可）
3：草食 4：首長竜 5：小型竜 6：モンハンぽい
クラス 肉食 草食 陸 海 空 長い首 小型 MH感
0 1 0 1 0 0 0 0 0
1 1 0 0 1 0 0 0 0
2 1 0 0 0 1 0 0 0
3 0 1 1 0 0 0 0 0
4 0 0 0 0 0 1 0 0
5 0 0 0 0 0 0 1 0
6 0 0 0 0 0 0 0 1

25. GANで図鑑をつくろう⑦
0：肉食（陸上） 1：肉食（海棲） 2：肉食（飛行可）
3：草食 4：首長竜 5：小型竜 6：モンハンぽい
クラス 肉食 草食 陸 海 空 長い首 小型 MH感
0 1 0 1 0 0 0 0 0
1 1 0 0 1 0 0 0 0
2 1 0 0 0 1 0 0 0
3 0 1 1 0 0 0 0 0
4 0 0 0 0 0 1 0 0
5 0 0 0 0 0 0 1 0
6 0 0 0 0 0 0 0 1

26. GANで図鑑をつくろう⑦
0：肉食（陸上） 1：肉食（海棲） 2：肉食（飛行可）
3：草食 4：首長竜 5：小型竜 6：モンハンぽい
クラス 肉食 草食 陸 海 空 長い首 小型 MH感
0 1 0 1 0 0 0 0 0
1 1 0 0 1 0 0 0 0
2 1 0 0 0 1 0 0 0
3 0 1 1 0 0 0 0 0
4 0 0 0 0 0 1 0 0
5 0 0 0 0 0 0 1 0
6 0 0 0 0 0 0 0 1

27. GANで図鑑をつくろう⑦
0：肉食（陸上） 1：肉食（海棲） 2：肉食（飛行可）
3：草食 4：首長竜 5：小型竜 6：モンハンぽい
… 超主観です(^◇^;)
クラス 肉食 草食 陸 海 空 長い首 小型 MH感
0 1 0 1 0 0 0 0 0
1 1 0 0 1 0 0 0 0
2 1 0 0 0 1 0 0 0
3 0 1 1 0 0 0 0 0
4 0 0 0 0 0 1 0 0
5 0 0 0 0 0 0 1 0
6 0 0 0 0 0 0 0 1

28. GANで図鑑をつくろう⑧
実装（Conditional GAN（PyTorch））
Generator
layer0:
(0): ConvTranspose2d(107, 512, kernel_size=(4, 4), stride=(1, 1))
(1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(2): ReLU()
layer1
(0): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
(1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(2): ReLU()
layer2
(0): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
(1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(2): ReLU()
layer3
(0): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
(1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(2): ReLU()
layer4
(0): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
(1): Tanh()

29. GANで図鑑をつくろう⑧
実装（Conditional GAN（PyTorch））
Discriminator
layer0
(0): Conv2d(10, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
(1): LeakyReLU(negative_slope=0.2)
layer1
(0): Conv2d(64, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
(1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(2): LeakyReLU(negative_slope=0.2)
layer2
(0): Conv2d(128, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
(1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(2): LeakyReLU(negative_slope=0.2)
layer3
(0): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
(1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(2): LeakyReLU(negative_slope=0.2)
layer4: Conv2d(512, 1, kernel_size=(4, 4), stride=(1, 1))

30. GANで図鑑をつくろう⑨
結果
画像が微妙＆上手くクラス分けできていない気もする？
学習率は 0.0002、β1
は0.5 と論文通り。
学習率小さくしてみたりしたけどあまり変わらなかった。
epoch=0
ざらざら!!
epoch=30
半分終わったけど...
嫌な予感
epoch=50
若干はっきりしてきた
けど...

31. GANで図鑑をつくろう⑨
結果
学習は安定しているように見える。（lrの調整は意味なかったか ...）
既存ソースを参考にしたので、1番の原因はデータ？

32. GANで図鑑をつくろう⑨
残念な事実
アップロードしたファイルを再確認したところ、
一部のフォルダに画像がほとんどアップロードできてなかったことに気づ
く。。。
ちゃんと確認しなかった自分が悪いが、
ローカルで作ったファイルをそのままポンとアップしたので、
全く気にしてなかった😭😭😭

33. GANで図鑑をつくろう⑨
データを入れ直して、
epoch350に増やしてみた！
だいぶ鮮明に。
なんとなーく、
クラス分けもできてる気が！
でもまだまだ。。。

34. まとめ(恐竜図鑑のその先へ?)
04

35. まとめ
やったこと・わかったこと
● GANの基本や研究動向が理解できた
● GANの実装を体験できた！（徐々ににそれっぽくなっていく様子が可愛い）
● なんとなく思い通りの画像も作れた感
できなかったこと・わからなかったこと
● DCGANやった際はデータが少なすぎたし、多分モード崩壊した
● そもそもデータの確認を怠るという大失態
● 実はWGAN、VCGANにも手をつけてみたが、
全然良い感じにできなかった

36. GANで図鑑の今後
今回やらなかった、キャプション系の部分をやりたい
⇒image to Text的な
テキストから画像生成
（StackGAN、HDGANなどのtext-to-imageタスク系）
⇒画像をもっと狙った通りに変化させる
進化の予測みたいなことも加味できるかも
※そもそも、初心者すぎてハイパーパラメータのチューニングや
条件ラベルの結合などをいろいろ研究できていない。
まずはその辺もっと勉強したい！！うぉぉぉ

37. THANK YOU!!