Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

CVAE-GAN:fine-grained image generation through asymmetric training

152 views

Published on

CVAE-GAN:fine-grained image generation through asymmetric training
論文読み会資料

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

CVAE-GAN:fine-grained image generation through asymmetric training

  1. 1. CVAE-GAN Fine Grained Image Generation though Asymmetric Training 2018/1/26 AI開発部論文読み会 上総 虎智
  2. 2. 0.Infomation
  3. 3. 1.Introduction • あるIdentityを持った様々なカテゴリーの画像を生成したい • VAEとGANを組み合わせたモデルを提案する • しかし、ナイーブにはうまくいかない、なぜならばVAEの画像はぼやける からCriminatorが簡単に偽物と判別できる • 本物のデータ群の平均の特徴量とのL2距離を損失関数として採用 • 勾配消失が緩和される • Mean feature matching はモード崩壊を軽減するが、モード崩壊は完全 には防げない。ここにVAEとGANの組み合わせが効く。 -潜在空間と画像空間を明確に関連付ける -再構成誤差が画像の構造を保つ • よりリアルな画像を生成する、GANより学習早い • 画像生成、塗り絵、属性変換に役立つ
  4. 4. 2.Related Work
  5. 5. 3. Our Formulation of CVAE-GAN Mean Feature matching を導入。Mode collapseを 防ぐのが一番の目的(言い過ぎ?) 𝐿 𝐺𝐷: バッチ毎にクラス関係無く本物か偽物か 𝐿 𝐺𝐶: あるxについてクラスごとで比較している 𝐿 𝐺: 再構成誤差+Feature Matching Loss関数の重みはハイパラ。。。
  6. 6. 4.Analysis of Toy Example Mean Feature Mappingが生成されるデータの多様性に寄与していると読み取れる。
  7. 7. 5. Experiments 色々実験したよ • 5.1. Visualization comparison with other models • 5.2. Quantitative Comparison • 5.3. Attributes Morphing • 5.4. Image Inpainting • 5.5. Comparing Different Combination of Losses • 5.6. CVAEGAN for Data Augmentation
  8. 8. 5.1. Visualization comparison with other models CVAE-GANの良さは、Realである、画像群の中で多様性がある。
  9. 9. 5.2. Quantitative Comparison • Discriminability:学習済GoogleNetでの識別性 • Realism&Diversity:KLダイバージェンスの期待値 5.3. Attributes Morphing • 潜在変数を徐々に変化させて生成
  10. 10. • Webから拾ってきた画像を一部マスク。何回かCVAE-GANにて画像生成。 5.4. Image Inpainting
  11. 11. 5.5. Comparing Different Combination of Losses 5.6. CVAEGAN for Data Augmentation Generater部分のloss関数を色々変えてみたよ。
  12. 12. • Mean Feature Matching良いよ • 様々な応用法が考えられる • 未知のカテゴリーに含まれるようなデータをどうかして生成したいよ 6.Conclusion

×