Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

CycleGANについて

3,223 views

Published on

「第2回 NIPS2017 理論と実装を話し合う会」で報告した内容です

Published in: Data & Analytics
  • Be the first to comment

CycleGANについて

  1. 1. CycleGAN について Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks 2018.02.13 hei4
  2. 2. 概要 ● 論文の紹介 ● GAN の発展 ● CycleGAN の概要 ● 実装について
  3. 3. 論文の紹介 ● 著者: ジュンヤン・ジュー(カリフォルニア大学バークレー校) ● タイトル:  Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks ● カンファレンス:  ICCV (2017)
  4. 4. GANの発展 〜ベーシック ドメイン Xドメイン Z x∈X G(z)=^x∈Xz∈Z generator G discriminator D D real / fake D(G(z))=D( ^x) D(x) real / fake
  5. 5. GANの発展 〜DCGAN 笑った女性 (の元の z ) 女性 (の元の z ) 男性 (の元の z ) 笑った男性 (の元の z ) Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks (2015) ● CNNを導入して安定した画像生成に成功 ● 入力 z を指定することで任意の画像を生成可能 ● z の演算によって生成画像の種類を選択可能
  6. 6. GANの発展 〜pix2pix 変換系へのモチベーション ● 生成画像の構図を指定したい ● 画像のコンテンツ(内容)を保ったままスタイル(細部)を変化させたい ● 高精度なスタイル変換に成功 ● 学習データは、変換前後のペアであることが必要 ● タスクによっては、学習データをペアで準備することは困難 Image-to-Image Translation with Conditional Adversarial Networks (2016) 著者らの一人に、CycleGANのジュンヤン・ジューも
  7. 7. CycleGANの概要 generator G generator F generator G generator G discriminator DY discriminator DX domain X domain Y ● 学習データは、ペアである必要なし ● 生成器と判別器が2組ある構造
  8. 8. CycleGANの概要 DY X YG x y G(x) real fake
  9. 9. CycleGANの概要 X YG x G(x) F(G(x)) F |F(G(x))−x| reconstruct reconstruct real realcycle consistency loss
  10. 10. CycleGANの概要 F DY DX X YG ハイパーパラメータ:  10
  11. 11. CycleGANの概要 F DY DX X YG × × lossGAN によって抑制 losscyc によって抑制 X 以外
  12. 12. CycleGANの概要 F DY DX X YG ● loss の最小化によって、 CycleGAN は X→Y 、 Y→X の写像および、 X→Y→X 、 Y→X→Y の循環性を持つ
  13. 13. CycleGANの概要 fakereal reconstruct CycleGANによる変換の一例
  14. 14. CycleGANの概要
  15. 15. CycleGANの概要 ターゲットドメインに 遷移できていない 遷移しているが構図が変化している モードコラプスに 陥っている
  16. 16. CycleGANの概要
  17. 17. CycleGANの概要 アマゾン・メカニカル・タークでの人による判別
  18. 18. CycleGANの概要 Photo→labels labels→Photo
  19. 19. CycleGANの概要 Neural Style Transfer
  20. 20. CycleGANの概要 Neural Style Transfer
  21. 21. 実装について CNN CNN Res Net Res Net CNN CNN... ... ...image image ダウンサンプリング アップサンプリングResidual-Net CNN CNN ダウンサンプリング image scalar・・・・・・・・・・・・ Generator Discriminator
  22. 22. 実装について ● loss 中の負対数尤度計算を、誤差二乗和に ● Adam ソルバー バッチサイズ「1」 (!) ● 学習係数  0.002 @ epoch0 〜 100    零に向かって徐々に減衰 @ epoch100 〜 200 ● loss の発振を防ぐために、生成画像をバッファリング  →  Discriminator の学習にはバッファ画像を使用 
  23. 23. まとめ ● CycleGANは、非ペアの教師データから画像変換を実現 ● 他の、非ペア学習の手法に比べて高精度 ● 画風変換、彩色変換、写真のフォーカス効果など  様々なアプリケーションに応用が可能

×