1GPUで1日以内という少ない計算量の学習で、高画質の画像を生成できるGAN「Lightweight GAN」を提案した論文の解説資料。 データ不足にも強く100枚程度の画像データからの学習も可能。

1. DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Toward Fast and Stabilized GAN Training for
High-fidelity Few-shot Image Synthesis
Takumi Ohkuma, Nakayama Lab M2

2. 自己紹介
• 大熊 拓海 (オオクマ タクミ)
• 東京大学 情報理工学系研究科 創造情報学専攻 中山研究室修士二年
• 専門分野：Few-shot Learning, マルチモーダル学習, etc
• 松尾研のDL系講座で、生成モデル系をメインに教えている
• という事で今回はGANの論文を選んでみました

3. 書誌情報
• 題名：Toward Fast and Stabilized GAN Training for High-fidelity Few-shot
Image Synthesis
• 出典：ICLR2021 Under Review
• 著者：Anonymous
• URL：https://openreview.net/forum?id=1Fqg133qRaI

4. 概要
• 一言で纏めると「GANの学習に必要な計算量の大幅削減に成功した」とい
う内容
• 「Light-weight GAN」と呼ばれるモデルを提案し、1024×1024サイズのモデ
ルの学習を１GPUで1日以内に完了できる
• 学習コストを減らす工夫として、GANのGeneratorに「skip-layer channel-
wise excitation module」、Discriminatorに「feature-encoder」を導入
• データ不足に対しても強く、100枚程度の訓練画像しか手に入らないような
状況でも学習できる

5. サンプル画像
FFHQ [1]
Size:1024×1024
学習時間:10時間 (RTX 2080-Ti×1枚)
Nature Photograph (unsplash.com)
Size:1024×1024
学習時間:20時間 (RTX 2080-Ti×1枚)

6. 背景
• 近年GANの発展は目覚ましく、高クオリティかつ高画質の画像を生成できる
ようになりつつある（e.g., BigGAN[2], StyleGAN2[3]）
• 一方で、従来のモデルは学習に際して、高い計算コスト及び大量の学習デー
タを必要とし、しばしばボトルネックとなっている
• 上記ボトルネック対策として転移学習[4]やデータ拡張等[5]の方法もあるが、
転移学習は適切な転移元データが無いと使えず、データ拡張を用いても計算
コストは減らせない等の弱点がある
• 根本的に学習コストの小さいモデルが求められる

7. GANの学習における問題点
代表的なGANの学習における問題点
1. 学習に時間がかかる
←パラメータの多さやモデルの構造や深さが原因
2. 少数サンプルでの学習が困難
←元を正すとパラメータの多さやモデルの深さが原因
3. バッチサイズを小さく出来ず、計算資源を多く必要とする
←バッチサイズを小さくすると、Discriminatorの学習が困難になる
「より小さく浅いモデル」、「小バッチサイズで学習可能なD」が必要となる

8. Light-weight GAN
• 前スライドで説明した問題点を緩和するために、
本論文では「Light-Weight GAN」と呼ばれる手法を提案する
• Light-Weight GANはGenerator及びDiscriminatorの両方に対して問題点を解
決するための工夫が盛り込まれている
• G (Generator) に「Skip-layer channel-wise excitation module」を導入
• 計算コスト、モデルの層数の削減に寄与
• 「Self-supervised Discriminator」を導入
• （特に小バッチサイズでの）学習に対する精度向上に貢献

9. Skip-layer Channel-wise excitation module の導入
• 大きい画像を生成するためには、多数のUp-Samplingとそれに伴う畳み込み層が必要
• 層数が増えてくると勾配消失などの問題が起きやすいので、ResBlock[6]等のSkip-
connection が頻繁に用いられるが、更なる計算コスト増加の原因となる
• このパラメータ数増加を極力抑える為、以下に示す「Skip-layer channel-wise
excitation module (SLE Module)」をGに導入する

10. SLE Module の特徴
SLE Module (右図)はResBlockと比較して以下の特徴がある
1. 二つの入力を合わせる際の演算がchannel-wiseの乗法
• ResBlockではelement-wiseの加法
• Channel-wiseの乗法を用いるので、Conv層の出力 (右図右
側)は、チャネル数だけ左側の特徴マップに揃えて、空間方
向の次元は縦横それぞれ1にできる
• Element-wiseの加法が縦横の次元も揃える必要があるのと
比較してConvの計算量を落とせる
2. Connectionの片方の入力（右図右上の入力）がより下
位の層から来ている（Skip-layer）
• 空間方向の次元数を揃える必要がなくなるので、別の層の
入力を使える
• 実質的に深さを増やさずにSkip-connectionを実現（後述）
より下層からの入力
Channel-wiseの乗法

11. Generator の構造
右図にGの全体構造を示す
• 青矢印はUpsample, Conv,
BatchNorm, GLU(活性化関数)である
• 1層のConv層を含むブロック
• 赤矢印はSLE Moduleの入出力であ
• 2つの入力は、128と8の様に直前の
層と4層下を用いる
• 直前の層の入力に対してはchannel-
wiseの乗法が行われるだけなので、
実質的な層数が増加しない
• 512, 1024の特徴マップ数を3と少な
くすることでパラメータ数を削減

12. GANの学習の安定性
• GANの学習における問題点の一つにMode-collapseが挙げられる
• 同じ様な画像しか生成されなくなること
• Discriminatorが不適切であることが主な原因
• WGAN等の手法はバッチサイズが小さい時に不安定
• バッチサイズを大きくするにはGPUの枚数が必要になる
• 自己教師有り学習もGANの学習の安定性に寄与することが知られており[7]、
本研究ではこれを応用する
• Self-supervised Discriminatorの導入

13. Self-supervised Discriminator
• DiscriminatorをEncoderとみなし、元の画像（を縮小したもの）を再構成す
るDecoderを導入する
• 全体を再構成するDecoderと局所部分を再構成するDecoderの二種類が用い
られ、全体及び局所特徴量の両方の獲得に貢献

14. Discriminatorの詳細
• 以下の図の Real imageが10242の入力であり、CNNを用いてReal/Fakeの出力を得る
• このモデルでは52
サイズのlogitの出力を用いている（1次元の値にはしていない）
• 加えて、162および82の特徴マップを入力とするDecoderを用いて入力画像（を加工したもの）を再構成
• 入力画像全体を1/8の1282
にDown Samplingしたもの 𝐼（ 82
の特徴マップから再構成）
• 入力画像の1282
の局所部分をCropしたもの 𝐼 𝑝𝑎𝑟𝑡（ 162
の特徴マップを82
にCropしてから再構成）
• Decoderは「Up sampling + Conv + BatchNorm + GLU」× 4 からなるシンプルな構造
• 学習では通常のReal/FakeのLoss、及び二つのDecoderの再構成誤差を最小化する

15. ロス関数
• 基本的にはAdversarial Loss, 加えてDには以下のReconstruction Lossを追加
• 様々なAdversarial Lossがこれまでに提案されてきたが、本モデルにおいては
Lossの種類によって精度に有意な差が見られないとして、Dに計算量の少な
いヒンジ損失、GにはDの出力をそのまま採用

16. 実験
• 比較的小規模データセット (1000枚以下) に対する性能に関する、提案手法とBaseline,
StyleGAN2との比較がメイン
• Baselineは提案手法の有効性を示すために用いられ、DCGAN [8]に以下の要素を加えたモデルで
ある
• Spectral Normalization [9]
• Exponential-moving-average on Generator [10]
• Differentiable-augmentation [11]
• GLU (活性化関数の一種) [12]
• 提案手法はBaselineにSLE Module, 及び自己教師有り学習を追加したモデル
• 解像度が2562と10242のモデルを用い、バッチサイズは8
• パラメータ数を揃えるため、StyleGAN2はパラメータ数を削減した@0.5を用いる
• パラメータ数が同じくらいでも、提案手法のTraining time, vram (GPUのメモリ) が少ない

17. 結果
• 以下の表に解像度2562のモデルの結果を示す (FID score, 低い方が精度が高い)
• StyleGAN2が20 GPU hours の学習時間であるのに対して提案手法は5 GPU hoursであるにもかか
わらず、提案手法の方がより高い精度を実現している
• StyleGAN2に関してはFFHQを元データとするFinetuningを用いた手法とも比較しているが、（ド
メインが近いObamaの顔データセットを除いて）性能が低下している
• 提案手法に関してはAblation Studyを行っており、SLR Module (Skip), 自己教師有り学習
(decoder) の両方が性能に寄与していることがわかる
• 特に自己教師有り学習の寄与が大きく、これが無いモデルではmode-collapseしたり、学習が不安定で
発散したりするらしい

18. 結果2
• 解像度10242に対する結果を示す
• vram容量の問題でこちらではRTX TITANを用いているが、学習性能に差はない
• こちらの結果もやはり提案手法が最も精度が高い
• 「StyleGAN2の学習時間が不足していて、学習時間を十分に確保すれば提案手法が負けるの
では？」という疑問もあるが、StyleGAN2はデータ不足・小バッチサイズの為そもそも学習
が不安定で上手くいかないらしい
• Decoderが無いのが原因

19. 生成画像例１
Real Data StyleGAN2 提案手法

20. 生成画像例２
Real Data StyleGAN2 提案手法

21. データが多い時の性能
• 今度はデータが豊富に（数千～数万枚）手に入る状況での性能を比較
• Style GANはパラメータを減らさない従来のモデルを使用し、バッチサイズ16、10GPU Days
(5 day × 2枚) の学習を行った
• 提案手法とBaselineに関しては1 GPU Days バッチサイズ8のまま
• この条件だと流石にStyleGAN2の方が性能が高い（特にFFHQ）
• というかStyleGAN2がFFHQに特化しすぎている気が…
• 特定のベンチマークを使い続けている弊害？
• しかしながらデータが比較的少ないときはいい勝負するうえ、一貫してBaselineよりは優位
に性能が高い

22. Back-Tracking
• Back-Trackingとは、画像生成とは逆
に、既存の画像に対応する潜在変数
を求めること
• 要するにその潜在変数を用いれば既
存画像（に近いもの）を生成できる
• これを用いることで任意の画像に対
応する潜在変数が得られ、更に潜在
空間上での画像補間が可能となる

23. Style-mixing
• SLE Moduleは二つの入力を取るので、二つの画像の入力を片方ずつ用いる
ことでStyleGAN2の様なStyle-mixingを行うことが出来る

24. 結論
• 計算コストを抑えつつ、かつ少ないデータしか手に入らない環境下で高い性
能を発揮するGANモデルの提案
• GeneratorにSLE Module, Discriminatorに自己教師有り学習を導入することで、
大幅な性能向上を実現
• これにより学習時間1 GPU Day、データ数100未満という条件でも学習が可
能となった

25. 感想
• 個人レベルでも1024サイズの画像を高精度で生成できるようになったのは非常に画期的
• さらっと書いてるけど、アーキテクチャに関して凄い試行錯誤しているように感じる
• 一番凄いと感じたのは小データセットでも学習できる点
• 計算量問題だけならば計算コストをかければよいが、データが少ないと既存手法では対応不可能
• 論文中には「パラメータ数を減らす」とあるが、よく読んでみると「小パラメータでも精度が
出るモデルの提案」であり、何らかのモジュールで直接的に減らしているのでは無い気がする
• パラメータ数を減らすだけならStyleGAN2のチャネル数を減らせばいいだけ
• 計算リソース縛りをなくすとStyleGAN2に負けているが、今度はLightweight GANのパラメータ
を増やして計算リソースをつぎ込んだら勝てるのか気になる
• 小計算リソース用の手法に、敢えて計算リソースをつぎ込んでみるのはよくあると思う
• 本家のStyleGAN2は学習にV100×8個でトータル80 GPU Dayくらいの計算リソースを割いている

26. 引用
1. Tero Karras, Samuli Laine, and Timo Aila. A style-based generator architecture for generative
adversarial networks. In Proc. of CVPR, 2019.
2. Andrew Brock, Jeff Donahue, and Karen Simonyan. Large scale gan training for high fidelity natural
image synthesis. arXiv preprint arXiv:1809.11096, 2018.
3. Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and
improving the image quality of stylegan. In Proc of CVPR, 2020.
4. Sangwoo Mo, Minsu Cho, and Jinwoo Shin. Freeze discriminator: A simple baseline for fine-tuning
gans. arXiv preprint arXiv:2002.10964, 2020.
5. Tero Karras, Miika Aittala, Janne Hellsten, Samuli Laine, Jaakko Lehtinen, and Timo Aila. Training
generative adversarial networks with limited data. arXiv preprint arXiv:2006.06676, 2020.
6. Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition.
In Proc. of CVPR 2016.
7. Ngoc-Trung Tran, Viet-Hung Tran, Bao-Ngoc Nguyen, Linxiao Yang, and Ngai-Man Man Cheung. Self-
supervised gan: Analysis and improvement with multi-class minimax game. Advances in NeurIPS, 2019.
8. Alec Radford, Luke Metz, and Soumith Chintala. Unsupervised representation learning with deep
convolutional generative adversarial networks. arXiv preprint arXiv:1511.06434, 2015.

27. 引用
9. Takeru Miyato, Toshiki Kataoka, Masanori Koyama, and Yuichi Yoshida. Spectral normalization for
generative adversarial networks. arXiv preprint arXiv:1802.05957, 2018.
10. Yasin Yazıcı, Chuan-Sheng Foo, Stefan Winkler, Kim-Hui Yap, Georgios Piliouras, and Vijay
Chandrasekhar. The unusual effectiveness of averaging in gan training. arXiv preprint
arXiv:1806.04498, 2018.
11. Shengyu Zhao, Zhijian Liu, Ji Lin, Jun-Yan Zhu, and Song Han. Differentiable augmentation for data-
efficient gan training. arXiv preprint arXiv:2006.10738, 2020.
12. Yann N Dauphin, Angela Fan, Michael Auli, and David Grangier. Language modeling with gated
convolutional networks. In Proc of. ICML, 2017.