Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

191211 image editing_gan

363 views

Published on

ICCV2019読み会@京都の資料

Published in: Data & Analytics
  • To get professional research papers you must go for experts like ⇒ www.WritePaper.info ⇐
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

191211 image editing_gan

  1. 1. ICCV 2019読み会@京都 画像を自由に編集できるGAN @ICCV2019 Kyoto December 11, 2019 株式会社エクサウィザーズ 藤井亮宏
  2. 2. 自己紹介 名前 : 藤井亮宏(アキヒロ) ExaWizardsにおける仕事内容 • Machine Learning Engineer • 画像分類 • 物体検知 • 時系列解析 • 異常検知 • ML系のイベント主催 • CVPR, AAAI等の重要国際会議 • GAN等の⽣成モデルに絞った勉強会 趣味 • テニス • Civilization ( PC Game) @AkiraTOSEI akihiro_f
  3. 3. STRICTLY CONFIDENTIAL | 3 Summary このスライドでは、ICCV2019で発表された画像に自由に編集できるGANを紹 介します。 1. SinGAN: Learning a Generative Model from a Single Natural Image ICCV2019のベストペーパー。異質なものを画像の雰囲気に合わせこんだ り、物体の外形の編集が可能 2. Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation 線画の⼀部を書くと、それを補完し、その外形に合わせた画像を⽣成す るGAN 3. SC-FEGAN: Face Editing Generative Adversarial Network with Userʼs Sketch and Color ⼈物画像の⼀部をイラストで修正すると、それに合わせて画像を変換し てくれるGAN
  4. 4. About GAN GANとは、Generative Adversarial Networksの略で、ミニマックス問題を解 いてデータを生成するネットワークの総称 Architecture • Generator : ノイズから偽画像を⽣成する • Discriminator : 上記偽画像と真の画像を判別する G D Fake Real Fake Real noise (潜在変数)
  5. 5. About GAN 偽画像を生成するGenerator(G)と偽画像を判別するDiscriminator(D)が交互に 学習し、最終的にGが本物と見分けがつかない画像を生成できるようになる。 Step 1 Dを騙すよう にGが学習 G D Fake Real Fake Real 固定 学習
  6. 6. About GAN 偽画像を生成するGenerator(G)と偽画像を判別するDiscriminator(D)が交互に 学習し、最終的にGが本物と見分けがつかない画像を生成できるようになる。 Step 1 Step 2 Dを騙すよう にGが学習 Gが⽣成した画 像と本物を⾒分 けられるように Dが学習 G D Fake Real Fake Real 固定 学習 G D Fake Real Fake Real 学習 固定
  7. 7. About GAN 偽画像を生成するGenerator(G)と偽画像を判別するDiscriminator(D)が交互に 学習し、最終的にGが本物と見分けがつかない画像を生成できるようになる。 Step 1 Step 2 Dを騙すよう にGが学習 Gが⽣成した画 像と本物を⾒分 けられるように Dが学習 G D Fake Real Fake Real 固定 学習 G D Fake Real Fake Real 学習 固定 Step 3 Dを騙すよう にGが学習 G D Fake Real Fake Real 固定 学習
  8. 8. About GAN 偽画像を生成するGenerator(G)と偽画像を判別するDiscriminator(D)が交互に 学習し、最終的にGが本物と見分けがつかない画像を生成できるようになる。 Step 1 Step 2 Dを騙すよう にGが学習 Gが⽣成した画 像と本物を⾒分 けられるように Dが学習 G D Fake Real Fake Real 固定 学習 G D Fake Real Fake Real 学習 固定 Step 3 Dを騙すよう にGが学習 G D Fake Real Fake Real 固定 学習 ・・・ Step n Gが⽣成した画 像と本物を⾒分 けられるように Dが学習 G D Fake Real Fake Real 学習 固定
  9. 9. About GAN GANは問題設定を変えれば、任意の画像編集ができる。 Generatorに『画像を単純生成する』する以外のタスクを与えれば色々できる。 本日紹介するのは、”任意の画像編集“という問題設定をうまく考えてGANに適 用したもの@ICCV2019 4
  10. 10. 1つ目の論文 SinGAN: Learning a Generative Model from a Single Natural Image ICCV2019のBest Paper。 画像に何らかの変換を与えたものを⾃然なものに変換するSinGANを提案。 元画像に何らかの変化を与え、それを元に条件付きGANで画像を⽣成させる。 ⼭や建造物の形を変えたり、異質なものを元画像に合わせて変化させたりで きる。 ※元論⽂のFig2の⼀部を抜粋Tamar Rott Shaham et al [1](2019)
  11. 11. 画像を編集したものをGeneratorの入力して生成し、 Discriminatorで生成画像と編集前の元データの判別をさせることで、 「編集された画像の特徴を大きく残しつつ、雰囲気(ドメイン)を合わせた」画像 を生成できる。 G D Fake Real Fake Real 編集後画像 (元画像+別のイラスト)元画像 Key Insight 異質なものを、元画像の雰 囲気に似せるように学習 真データは1枚のみなので、異 質なものが混じっていないかで 判別。 ※元論⽂のFig2の⼀部を抜粋Tamar Rott Shaham et al [1](2019)
  12. 12. Method SinGANの学習方法 1枚の画像だけで学習させる。画像を⽣成→解像度を上げる(Upsample) →それを⼊れて ⽣成…を繰り返して学習させる。(拡⼤された)⽣成画像をもとに次の画像を⽣成するの で、⽣成元の特徴を残しつつ、本物っぽい画像が⽣成される 全体図 Generator
  13. 13. Results 生成された画像の例 Tamar Rott Shaham et al [1](2019)
  14. 14. Method SinGANで画像編集 ⽬的の解像度が低い場所で画像を挿⼊し、拡⼤、そしてGeneratorを通す。 低解像度状態で編集済み画像を⼊れることで、その外形を残す。そして微 細な部分の編集はGeneratorを通すことで本物っぽくする 編集後画像 (元画像+別のイラスト) G 拡⼤ (Upsample) Tamar Rott Shaham et al [1](2019)
  15. 15. Results 画像の本物っぽい編集と、異質な物体の画像への調和、をSinGANではうまく できている。 Inputの拡⼤図 (拡⼤するとちょっと、少し違和感あることがわかる) Tamar Rott Shaham et al [1](2019)
  16. 16. Results 画像の高解像度化も可能。また、編集の仕方を工夫すると1枚絵からアニメー ションも作れる。 ※元論⽂のFig2の⼀部を抜粋Tamar Rott Shaham et al [1](2019)
  17. 17. 2つ目の論文 Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation 対話的に画像を作れるGAN(のアプリ)。線画を描いてカテゴリを指定すると、線画に あった画像を⽣成してくれる。線を補完してくれたり、線を修正すると画像も変わ る Arnab Ghosh et al [2] (2019)
  18. 18. Key Insight 線画の一部から完全な線画を構成するGANと、完全な線画から画像を生成する GANの2にわかれており、Gated Conditioningというラベル情報を入れる手 法を提案 ※元論⽂のFig7,Fig8の⼀部を抜粋 2 stage Generator ラベル情報を⼊れる⽅法 通常のResBlock GatingありのResBlock Gatingによるラベル情報の注⼊ 通常のラベル 条件付 Generator Arnab Ghosh et al [2] (2019)
  19. 19. Results 線画の補完と、生成画像 線画の⼀部 (⼊⼒) 補完された線画 (1st stage generator) 補完された線画 (2nd stage generator) Arnab Ghosh et al [2] (2019)
  20. 20. Results 線画の補完と、生成画像 https://github.com/arnabgho/iSketchNFill
  21. 21. 描いたように画像を修正する SC-FEGANを提案 3つ目の論文 SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color Summary 画像をイラストで修正すると、そのように画像を変換してくれるGAN。⾊付き のイラストをもとに、髪型だけでなくアクセサリーも追加・削除が可能 Youngjoo Jo et al[3] 2019
  22. 22. Key Insight 画像の一部をイラストに変換することで、「イラストを本物っぽくGenerator が修正した画像を、Discriminatorが本物の画像のドメインになっているかを 判断する」というタスクに落とし込む。それによってイラスト部を本物っぽく することが可能。 Generator Reconstruction image Original image 画像の⼀部を絵 に変換 Inputs Discriminator Reconstruction? or Original? https://github.com/run-youngjoo/SC-FEGAN より画像を引⽤ イラスト部分を写実的に 変換するように学習 写真にイラスト部分が混 じっていないか判別
  23. 23. Method 学習データの作り方とネットワーク GeneratorDiscriminator イラスト⼊り画像データの作り⽅ 学習ネットワーク 元画像から線画と⾊画像を作り、ラン ダムに⽣成したマスク部分に⾊と線画 を合わせ込む U-net的なGeneratorとSpectral Normを⼊ れたDiscriminator Youngjoo Jo et al[3] 2019
  24. 24. Result 画像にイラストを入れて修正することができる。 https://github.com/run-youngjoo/SC-FEGAN
  25. 25. Results 画像の大部分が欠損していても、色と線画があれば復元可能 Youngjoo Jo et al[3] 2019
  26. 26. Summary このスライドでは、ICCV2019で発表された画像に自由に編集できるGANを紹 介しました。 1. SinGAN: Learning a Generative Model from a Single Natural Image ICCV2019のベストペーパー。異質なものを画像の雰囲気に合わせこんだ り、物体の外形の編集が可能 2. Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation 線画の⼀部を書くと、それを補完し、その外形に合わせた画像を⽣成す るGAN 3. SC-FEGAN: Face Editing Generative Adversarial Network with Userʼs Sketch and Color ⼈物画像の⼀部をイラストで修正すると、それに合わせて画像を変換し てくれるGAN
  27. 27. Reference 1. Tamar Rott Shaham,Tali Dekel ,Tomer Michaeli, SinGAN: Learning a Generative Model from a Single Natural Image, ICCV2019 2. Arnab Ghosh, Richard Zhang, Puneet K. Dokania, Oliver Wang, Alexei A. Efros, Philip H.S. Torr, Eli Shechtman, Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation, ICCV2019 3. Youngjoo Jo, Jongyoul Park, SC-FEGAN: Face Editing Generative Adversarial Network with User's Sketch and Color, ICCV2019

×