「第２回 NIPS2017 理論と実装を話し合う会」で報告した内容です

1. CycleGAN について
Unpaired Image-to-Image Translation using
Cycle-Consistent Adversarial Networks
2018.02.13
hei4

2. 概要
●
論文の紹介
●
GAN の発展
●
CycleGAN の概要
●
実装について

3. 論文の紹介
●
著者： ジュンヤン・ジュー（カリフォルニア大学バークレー校）
●
タイトル： Unpaired Image-to-Image Translation using
Cycle-Consistent Adversarial Networks
●
カンファレンス： ICCV (2017)

4. ＧＡＮの発展 〜ベーシック
ドメイン Xドメイン Z
x∈X
G(z)=^x∈Xz∈Z
generator
G discriminator
D
D
real / fake
D(G(z))=D( ^x)
D(x)
real / fake

5. ＧＡＮの発展 〜ＤＣＧＡＮ
笑った女性
（の元の z ）
女性
（の元の z ）
男性
（の元の z ）
笑った男性
（の元の z ）
Unsupervised Representation Learning with
Deep Convolutional Generative Adversarial Networks (2015)
●
ＣＮＮを導入して安定した画像生成に成功
●
入力 z を指定することで任意の画像を生成可能
●
z の演算によって生成画像の種類を選択可能

6. ＧＡＮの発展 〜ｐｉｘ２ｐｉｘ
変換系へのモチベーション
●
生成画像の構図を指定したい
●
画像のコンテンツ（内容）を保ったままスタイル（細部）を変化させたい
●
高精度なスタイル変換に成功
●
学習データは、変換前後のペアであることが必要
●
タスクによっては、学習データをペアで準備することは困難
Image-to-Image Translation with Conditional Adversarial Networks (2016) 著者らの一人に、ＣｙｃｌｅＧＡＮのジュンヤン・ジューも

7. ＣｙｃｌｅＧＡＮの概要
generator
G
generator
F
generator
G
generator
G
discriminator
DY
discriminator
DX domain
X
domain
Y
●
学習データは、ペアである必要なし
●
生成器と判別器が２組ある構造

8. ＣｙｃｌｅＧＡＮの概要
DY
X YG
x
y
G(x)
real
fake

9. ＣｙｃｌｅＧＡＮの概要
X YG
x G(x)
F(G(x))
F
|F(G(x))−x|
reconstruct
reconstruct real
realcycle consistency loss

10. ＣｙｃｌｅＧＡＮの概要
F
DY
DX
X YG
ハイパーパラメータ： 10

11. ＣｙｃｌｅＧＡＮの概要
F
DY
DX
X YG
×
×
ｌｏｓｓＧＡＮ
によって抑制
ｌｏｓｓｃｙｃ
によって抑制
X 以外

12. ＣｙｃｌｅＧＡＮの概要
F
DY
DX
X YG
●
loss の最小化によって、 CycleGAN は X→Y 、 Y→X の写像および、
X→Y→X 、 Y→X→Y の循環性を持つ

13. ＣｙｃｌｅＧＡＮの概要
fakereal reconstruct
ＣｙｃｌｅＧＡＮによる変換の一例

14. ＣｙｃｌｅＧＡＮの概要

15. ＣｙｃｌｅＧＡＮの概要
ターゲットドメインに
遷移できていない
遷移しているが構図が変化している
モードコラプスに
陥っている

16. ＣｙｃｌｅＧＡＮの概要

17. ＣｙｃｌｅＧＡＮの概要
アマゾン・メカニカル・タークでの人による判別

18. ＣｙｃｌｅＧＡＮの概要
Photo→labels
labels→Photo

19. ＣｙｃｌｅＧＡＮの概要
Neural Style Transfer

20. ＣｙｃｌｅＧＡＮの概要
Neural Style Transfer

21. 実装について
CNN CNN Res
Net
Res
Net
CNN CNN．．． ．．． ．．．image image
ダウンサンプリング アップサンプリングResidual-Net
CNN CNN
ダウンサンプリング
image scalar・・・・・・・・・・・・
Generator
Discriminator

22. 実装について
●
loss 中の負対数尤度計算を、誤差二乗和に
●
Adam ソルバー バッチサイズ「１」 （！）
●
学習係数 0.002 ＠ epoch0 〜 100
零に向かって徐々に減衰 ＠ epoch100 〜 200
●
loss の発振を防ぐために、生成画像をバッファリング
→ Discriminator の学習にはバッファ画像を使用

23. まとめ
●
ＣｙｃｌｅＧＡＮは、非ペアの教師データから画像変換を実現
●
他の、非ペア学習の手法に比べて高精度
●
画風変換、彩色変換、写真のフォーカス効果など
様々なアプリケーションに応用が可能