[DL Hacks]Self-Attention Generative Adversarial Networks

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Self-Attention Generative Adversarial
Networks
1
2018.07.30
m.yokoo

選択理由
• 今回、この論文・実装を選択した理由。
GANから出発し、DCGANを基に
wassesutainGANを基に、spectral正則化、さらにTTURを実装
していることから、さらにself- attensionを追加して完成してい...

GPUの使用
• 実装にあたっては、どうしてもGPUを使用することが必要だっ
たため、AWSのDeepLarning AMIを使って実装しました。
• EC2 インスタンスリージョン: 米国東部（バージニア北部）
プライマリインスタンスタイプ...

• 学習にGPUを使って、５日と3時間57分かかりました。
• 更に、10000枚の画像をawsからdownloadするのに、5時間20
分かかりました。１万枚（100万iterateから100stepで1枚で1
万枚)
4

• GANの問題点
• 学習が難しい
• 勾配消失問題が起こる
• 生成結果のクオリティを損失関数から判断しにくい
• モード崩壊が起こる
6

• GANによるClass-conditionalな画像の生成においてSOTAを達
成
7

• SNGAN-projection(Miyato et al, 2018)でdiscriminatorに適用してい
た spectoral normalizationをGeneratorにも適用した。
• SNGAN-projection(M...

• Two-timescale update rule (TTUR) (Heusel et al, 2017)を適
用した．
• – Generator側の学習率をDiscriminator側の学習率より小さく
するとナッシュ均衡解に収束する...

Self-Attention Generative Adversarial Networks
• arXiv preprint by Zhang et al. 論文
• Han Zhang, Ian Goodfellow, Dimitris M...

• 既存のGANはCNNベースのため局所特徴に依存しており、離れ
た場所の情報を参照することができない。そのため、Attention
の仕組みを導入して離れた局所特徴を重みをかけて参照できる
ようにする手法。局所特徴とAttention情報の利...

• In this paper, we proposed Self-Attention Generative Adversarial
Networks (SAGANs), which incorporate a self-attention
m...

損失関数は以下のものを使用する
21

評価指標
27

実装にあたって
• DeepMindの論文では、コードが出ていませんでしたが、
• Pythorchによる実装が、GitHubに出ましたので、それを参考に
実装しました。
30

• Heykeetae 今回、こちらのSAGANを実装してみた。
• この後に、 christiancosgroveのSAGANの実装も出てきた。
31

実装にあたって
• 論文では、ImageNet 1400枚超の画像とタグのデータセットを
使っていますが、
• この実装では、celebFaces Attribute Dataset 200K (めいめい
40のattribute アノテーショ...

• Meta overview
• This repository provides a PyTorch implementation of SAGAN.
Both wgan-gp and wgan-hinge loss are ready, ...

今回のhyper-parameter
parameter.py
34

Training setting
parameter.py
35

model
sagan_models.py
40

42
Generator

45
Disciminator

学習 trainer.py
47

実装結果 SN on G/D+TTUR 100
56

実装結果 SN on G/D+TTUR 100iter 200iter
57

実装結果 SN on G/D+TTUR 300 400
58

実装結果 SN on G/D+TTUR 500 600
59

実装結果 SN on G/D+TTUR 700 800
60

実装結果 SN on G/D+TTUR 10万回
61

実装結果 SN on G/D+TTUR 50万回
62

実装結果 SN on G/D+TTUR 80万回
63

実装結果 SN on G/D+TTUR 100万回
64

GANs Trained by a Two Time-Scale Update Rule Converge to a
Local Nash Equilibrium
https://arxiv.org/abs/1706.08500 TTURの論文...

2つの時間スケールの更新ルールによって訓練されたGANは、ローカルナッ
シュ均衡に収束する
• Martin Heusel, Hubert Ramsauer, Thomas
Unterthiner, Bernhard Nessler, Sepp...

• Generative Adversarial Networks（GAN）は、最尤が実行不可能な
複雑なモデルを用いて現実的な画像を作成することに優れていま
す。しかし、GANトレーニングのコンバージェンスはまだ証明され
ていません。
• ...

• 画像生成時にGANの性能を評価するために、生成された画像の
類似度を実際のものと比較してInception Scoreよりも優れた
Fr'echet Inception Distance」（FID）を導入する。
• 実験では、TTURはCe...

FIDの計算方法
• http://bluewidz.blogspot.com/2017/12/frechet-inception-
distance.html
• FIDはそのようには計算できません。GANで再現したい真の分
布から生成された...

Inception score
• このスコアは、GAN (Generative Adversarial Network)が生成
した画像の評価値として使われることがあります。
• Inceptionモデルで識別しやすい画像であるほど、かつ、識...

FIDの計算方法
71

Inception scoreの計算
72

Adam Follows an HBF ODE and Ensures
TTUR Convergence
• In our experiments, we aim at using Adam stochastic
approximation t...

Spectral Normalization
• https://arxiv.org/abs/1802.05957 Spectral Normalization
• の論文
• 新しいweight normalization technique...

• 一言でいうと
• GANの要件であるDiscriminatorのLipschitzs制約を重要視し、Discriminatorの各層に
Spectral Normalizationを適用することでGeneratorが精度の高い出力を得られる...

• we used the Adam optimizer
• the number of updates of the discriminator per one update of
the generator and (2) learning...

_
• pytorch-spectral-normalization-gan
• Main.py datasetsはCIFAR10を使用している。
• get resnet model working with wasserstein and ...

• 生成的な反復的ネットワークのためのスペクトル正規化
• 宮藤武人、片岡俊樹、小山正則、吉田祐一
• （2018年2月16日に提出）
• 生成的な対立ネットワークの研究における課題の1つは、そのトレー
ニングの不安定さです。本論...

• Wasserstein GAN
• Martin Arjovsky 、 Soumith Chintala 、 LéonBottou
• （2017年1月26日に提出（ v1 ）、2017年12月6日に最後に改
訂された（このバージョン、v3...

• Wasserstein GAN（以下WGAN）はEarth Mover’s Distance
（またはWasserstein Distance）を最小化する全く新しいGAN
の学習方法を提案しています。
• Wasserstein GAN ...

• この論文の唯一の太字箇所にこう書かれていますが、
• In no experiment did we see evidence of mode collapse
for the WGAN algorithm.
• 確かにWGANはmode ...

84
PyTorchでspectral_normできる

GANの評価指標（ICML2018)
• Assessing Generative Models via Precision and Recall
• Recent advances in generative modeling have le...

GANの評価指標（ICML2018)
• Geometry Score: A Method For Comparing Generative Adversarial Networks
• Recent advances in generativ...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1033581 views
Storytelling For The Web: Integrate... by Chiara Aliotta 945137 views
Artificial Intelligence, Data and C... by OECD Directorate ... 865593 views
How to Leverage AI to Boost Employe... by SocialHRCamp 363144 views
2024 State of Marketing Report – by... by Marius Sescu 206375 views
Everything You Need To Know About C... by Expeed Software 226977 views

View on Slideshare

1 of 86 Ad

View on Slideshare

1 of 86 Ad