CycleGANを用いてHenri Matisse の作品を学習させた画像変換モデルを作成しました。 https://www.youtube.com/watch?v=Bjbbcng6qOQ

1. CycleGANの画像変換と現代美術への応用
2022/1/29 機械学習の社会実装勉強会 第7回
岩澤 幸太朗

2. GAN (Generative Adversarial Network)
Generative Adversarial Nets
Ian J.Goodfellow et al., 2014
https://arxiv.org/pdf/1406.2661.pdf
G: Generator z: ノイズベクトル
D: Discriminator x: 本物のデータ（教師データ）
G(z): Generator が生成した偽のデータ
MNIST
dataset
z
G
D
G(z)
x
True:1
or
False: 0
偽物
(0.1, 0.4, -0.2 …)

3. D(x) = 1 の時、最大値0
D(x): xがラベル1(本物)であると判断する確
率
2.Generatorの学習
D(G(z)) = 0 の時、最大値0
1−D(G(z)): G(z)がラベル0(偽
物)と判断する確率
D(G(z)) = 1 の時、最小値 -∞
1−D(G(z)): G(z)がラベル0(偽物)と
判断する確率
MNIST dataset
z
G D
G(z)
x G: Generator z: ノイズベクトル
D: Discriminator x: 本物のデータ（教師データ）
G(z): Generator が生成した偽のデータ
True:1
or
False: 0
固定
固定
偽物
BCE ≡
1.Discriminatorの学習
GANの学習
(0.1, 0.4, -0.2 …)

4. Unpaired Image-to-Image
Translation using Cycle-Consistent
Adversarial Networks
Jun-Yan Zhu, Taesung Park et. al 2017
https://arxiv.org/pdf/1703.10593.pdf
Repository: https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
lossの計算: cycle_gan_model.py#L168-L177
Cycle GAN Pix2Pix (線画から写真) Cycle GAN (写真から絵)

5. * Identity Mapping Lossは 割愛
* 図と数式は論文より引用
G: 馬からシマウマ
F: シマウマから馬
Dy: シマウマ判別器
Dx: 馬判別器
Cycle Consistency Loss
Adversarial Loss

6. 19～20世紀に活躍したフランスの画家、彫刻家
フォービスム（野獣派）の代表
Henri Matisse (アンリ・マティス)
緑の筋のあるマティス夫人の肖像 (1905)
王の悲しみ (1952)
at ポンピドゥセンター
赤いハーモニー (1908)
1869 ~ 1954
襟巻の女(1936)
※ 野獣派としての活動は1905~1908の３年間のみ

7. 使用データ 学習環境
https://www.wikiart.org/en/henri-matisse
から取得したマティス作品
1008点
Google colab pro のGPU環境
(1,072円/月)

8. 画像は全て Wikimedia Commonsより取得

9. Loss

10. 制作: P.I.C.S
技術開発: aircode (Project page)
ムンク展ー共鳴する魂の叫び
東京都美術館 2018/10/27 ~ 2019/1/20
https://vimeo.com/307183476

11. identity loss
intuition behind the loss functions loss_idt_A and loss_idt_B #322
https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix/issues/322
論文より: https://arxiv.org/pdf/1703.10593.pdf

12. 参考
- https://arxiv.org/pdf/1406.2661.pdf (GAN 原論文)
- https://arxiv.org/pdf/1703.10593.pdf (CycleGAN 原論文)
- https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix (CycleGAN著者のRepository)
- GANの損失関数
- 今さら聞けないGANの目的関数
- 敵対的生成ネットワーク（ GAN）(slideshare)
- Neural Style Transfer (画風変換)

13. 画像は全て Wikimedia Commonsより取得