http://arxiv.org/abs/1605.05396

1. 論文紹介
S. Reed et al.
Genera-ve Adversarial Text-to-Image Synthesis
(ICML’16)
2016/6/10
hFp://arxiv.org/abs/1605.05396

2. text-condi-onal convolu-onal GAN
基本: textのencoding φ(t) で条件付けたGAN
工夫: (1) encoding φ(t) : char-CNN-RNN
(2) Matching-aware discriminator
(3) Manifold Interpola-on
hFp://www-personal.umich.edu/~reedscot/
paper
supplement
code
S. Reed+: Genera-ve Adversarial Text-to-Image Synthesis (ICML’16)

3. (1) char-CNN-RNN
• 以下の損失を最小化するようにencoderを訓練
• このencodingは学習の速さに寄与
Image encoder
text encoder (character-level CNN or LSTM)
Δ: 0-1loss, yn: class label
vn: image, tn: text
S. Reed+: Learning Deep Representa-ons of Fine-Grained Visual Descrip-on (CVPR’16)

4. (2) Matching-aware Discriminator (GAN-CLS)
• na-ve GAN : 以下のようになるようDを学習
1. D(本物の画像, 正解文章) = 1
2. D(合成画像, 任意の文章) = 0
• 実際に判定すべき誤りには以下の二種類がある
– (合成画像，任意の文章)
– (本物の画像, 間違った文章)
• そこで訓練時に (本物の画像，間違った文章) のペアを利用
するようにアルゴリズムを修正

5. (2) Matching-aware Discriminator (GAN-CLS)
目標出力 : 1
目標出力 : 0

6. (3) Manifold Interpola-on (GAN-INT)
• 多様体仮説
– 訓練データのembeddingsを補間したものもデータの多様体近くに存
在
• φ(t)を重ね合わせたものを訓練に利用
• Generator の目的関数で以下を最小化する
• β=0.5で十分うまくいくことを確認

7. 実験パラメータ
• 画像サイズ (64,64,3)
• text encoder φ(t): 1024 次元
• φ(t)はFCで128次元にした後，leaky-ReLUを掛け，zと結合
• stride2 convolu-on
• 全てのconvolu-onの後にBNを適用
• discriminatorのspa-alな次元: 4x4
• ADAM solver, momentum 0.5, minibatch size 64, 600epoch
1x1 conv, ReLU, 4x4con

8. 実験データ
• CUB birds
– 1万枚程度，200カテゴリ
• Oxford flower 102
– 計8189枚
• MSCOCO
– 8万枚程度
• CUBとflowersは著者らがキャプションをつけた?
– キャプションデータは公開されている
– MSCOCOは大きすぎるので，CUBやflowersは検証データとして良いか
も

9. interpola-onの効果
実験結果 (CUB)
Zero-shot (i.e. condi-oned on text from unseen test set categories) generated bird images

10. 実験結果 (flowers)

11. 実験結果 (MSCOCO)

12. styleとcontentに関する考察
• テキスト情報: content informa-on (鳥の種類，形，大きさ等)
– 背景や鳥の姿勢等の情報(style)は一般に含まない
– ノイズzがstyleを表現するように学習されるべき
• style encoderを学習
• 評価実験
– クラスタリングでposeとbackgroundに関して画像をグループ分け
– 同一グループの画像のペアをstyle encoderに入力し，最終的に得ら
れた出力のコサイン類似度を計算
– AUC-ROCで評価
S: Style Encoder Network

13. styleとcontentに関する考察
• style encoderの評価実験 (CUB dataset)
- text がベースライン (text encoderの特徴量のコサイン類似度)
- 特にbackgroundについてzが寄与

14. textのcontent(色など)を変えた場合

15. 2つのランダムなzを補間 ２つのtext encodingを補間

16. 訓練してみる
• hFps://github.com/reedscot/icml2016
• ベースはdcgan.torch
• 訓練データ (キャプション含む)も公開されている
– ただしCUB, flowersに関しては一部データが不完全なような..?
• まだ自分で訓練できてはいない

17. 学習結果 (MSCOCO, 10epoch (4hr~))
(論文は600epoch?)