pix2pixでグレースケール化した画像をカラー画像に復元

1. pix2pixで
ハンバーガーの自動着色
慶應SFC 環境情報 3年 都築本成

2. 目次
● 結果
○ 画像
○ データセット
○ 実験の詳細
● pix2pixとは
○ AutoEncoder + GAN
■ 全体画像
○ AutoEncoderはU-Net
○ GANはPatchGAN
●

3. 結果 (test-data)

4. 結果 (test-data)

5. データセット
● Instagramからハンバーガー画像を大量に集めてくれた人がいる
○ https://qiita.com/knok/items/5bc8386a57c157279455
● そこからさらに
- ハンバーガーがメイン
- おいしそう
な画像を目視で選んだ
● お腹が空く
● Train = 400枚
● Test = 140枚
● データは画像単位でユニークを確認。TrainとTestに重複なし
● データセットを見せる

6. 実験の詳細
● 1epoch = 400画像しかつかっていない
● 200epoch
● 手元のGTX1060 6Gで3時間30分
● 簡単なタスクを選んだとはいえ、GANにしては非常に安定しており、収束が速い
● pix2pixすごい！

7. 実験の詳細

8. 結果 (test-data)

9. 結果
● ham_test/index.htmlを見せる

10. さらに結果
● trainデータはハンバーガーのみ
● きちんとtrainデータから学習しているかどうかを確かめるため、
ハンバーガー以外の白黒画像をGeneratorに入れてみる

11. 結果

12. 結果

13. 結果
● ham_random/index.htmlを見せる

14. pix2pixとは
● 画像の変換ができる
● 色塗り、航空写真から地図、超解像にも使える
● PaintsChainerもこれの亜種らしい
● 2016/11がv1
● 林くんの発表と似ています

15. GAN

16. pix2pixとは
cGANの亜種
- Generator: AutoEncoderが画像を変換する。Discriminatorを騙すように学習。
- Discriminator: CNNが(線画, 本物画像)を与えられた時はreal,
(線画, 変換画像)を与えられた時はfakeと見分けられるように学習
GeneratorとDiscriminatorが敵対的に学習する

17. AutoEncoderとは
- Encoder: 画像をCNNで畳み込んで、20次元程度に落とす
- Decoder: 20次元からもとの(256*256)次元に復元する。
inputとoutputの画素単位の違いが少なくなるように学習すると、EndoderとDecoderの
接続点で画像の情報が圧縮される。
画素単位の誤差をL1 Lossという

18. U-Net AutoEncoderの亜種
skip-connection

19. U-Net
● AutoEncoder + Skip-Connection
● Skip-Connectionで詳細情報を捉え、深いEncoderで全体の情報を捉える

20. pix2pixとは
cGANの亜種
- Generator: AutoEncoderが画像を変換する。Discriminatorを騙すように学習。
- Discriminator: CNNが(線画, 本物画像)を与えられた時はreal,
(線画, 変換画像)を与えられた時はfakeと見分けられるように学習
GeneratorとDiscriminatorが敵対的に学習する

21. PatchGAN
● モノクロ絵と生成画像をlayer方向に重ねる
● 最終Mapが30*30*1になるように5回畳み込み。kerner_size4, stride2
● それぞれの場所の本物度を出力。最終出力はそれらの平均
● 最終Mapから逆にたどると、そのpixelは画像の一部しか見ていないことになる

22. PatchGAN
● 論文だと70 * 70patchが良いとされている
● patchが何を指すかは論文を読んでもよくわからない

23. AutoEncoder vs pix2pix
● AutoEncoderはDがL1 loss (pixel誤差）
● pix2pixはDがGAN

24. AutoEncoder vs pix2pix
● pix2pixではAutoEncoderで使われていたL1 LossをGANに置き換えたと
ころがキモっぽい
● L1 Lossは画素ごとの誤差なので、Ｇが汎化するためにはぼやけた画像を
出力したほうが有利
● GANならぼやけた画像を簡単に見破り、GのLossが上がるため、Gは鮮明
な画像を出力するようになる

25. L1 Loss vs PatchGAN
● L1+GANのLossが優秀
● あわせ技
● 今回はLoss(G)=Loss(GAN)+100*Loss(L1)

26. 資料
● pix2pix paper
[1611.07004] Image-to-Image Translation with Conditional Adversarial Networks:
https://arxiv.org/abs/1611.07004
● 使用した実装
affinelayer/pix2pix-tensorflow: https://github.com/affinelayer/pix2pix-tensorflow
● ラーメンでやっている記事
Qiita: https://qiita.com/octpath/items/acaf5b4dbcb4e105a8d3