Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Image-to-Image Translation
with Conditional Adversarial
Networks
論文紹介
Twitter:@UMU____
何の論文か?
• 画像から画像への変換を行う方法がたくさん開発されてきた.
何の論文か?
• たくさんの手法がある中で,手法の役割/効果について研究.
生成した画像の紹介
• 論文参照(多いので)
https://arxiv.org/pdf/1611.07004.pdf
目次
• GAN
• cGAN
• Encoder-Decoder vs U-Net
• Patch-GAN
• L1 vs cGAN vs L1+cGAN
• 敵対的生成ネットワーク(Generative Adversarial Networks).
• G:画像を生成する.
• D:画像が本物かどうか判別する.
GAN
GAN
• Lは,Gが生成した画像と,本物の画像を,それぞれ,Dが
「Gが生成した」,Dが「本物の画像だ」と判別できた頻度が
高いほど,大きな値を取る.
損失関数Lを,
• Dの重みは,最大化するように学習.
• Gの重みは,最小化するように学...
GAN
• 学習時にはDとGを学習させ,使用時にはGを用いて画像を生
成する.
cGAN
• GANは,Gの入力値として高次元のラ
ンダム値を使用していた.
• cGAN(conditional-GAN)は,GとDの入
力値にお手本画像を与える.
→このようにすることで,お手本画像と
本物の画像の関係性に基づいた画像を,
...
Encoder-Decoder vs U-Net
• Gでは,お手本画像をもとに画
像を生成する.
• E-Dモデル(左)では,
Convolution層でどんどん画像が
畳み込まれて,生成(DeConvoluton)
するときにはお手本画像の...
Encoder-Decoder vs U-Net
• E-DよりもU-
Netの方が,良
い結果を与える.
Patch-GAN
• Patch-GANは,Dによって画像が本物かどうかを識別するとき
に,画像の全体を見るのではなく,局所領域を見て本物かどう
かを判定する.
→これによって,画像の低周波成分の妥当性より,高周波成分の
妥当性が確保される....
Patch-GAN
• Dに入力する局所領域の大きさについて
局所領域を小さくしていくと,全体的な妥当性が失われる.
局所領域を大きくしていくと,局所的な妥当性が失われる
局所領域が大きいと学習すべきパラ
メータが増大するという問題点もあり
局...
L1 vs cGAN vs L1+cGAN
L1 vs cGAN vs L1+cGAN
• 損失関数にL1正規化項を入れることで,全体的な妥当性(低周
波領域での妥当性)が確保される.
• cGANでは(PatchGANの導入によって)高周波成分の妥当性が確
保される
→cGANにL1正...
まとめ
• GANを用いた画像生成で用いられる様々な手法を評価し,良い
構成方法を検討した.
Upcoming SlideShare
Loading in …5
×

Image-to-Image Translation with Conditional Adversarial Networksの紹介

1,283 views

Published on

KCS AI班2017年3月1日の活動。

Published in: Technology
  • Be the first to comment

Image-to-Image Translation with Conditional Adversarial Networksの紹介

  1. 1. Image-to-Image Translation with Conditional Adversarial Networks 論文紹介 Twitter:@UMU____
  2. 2. 何の論文か? • 画像から画像への変換を行う方法がたくさん開発されてきた.
  3. 3. 何の論文か? • たくさんの手法がある中で,手法の役割/効果について研究.
  4. 4. 生成した画像の紹介 • 論文参照(多いので) https://arxiv.org/pdf/1611.07004.pdf
  5. 5. 目次 • GAN • cGAN • Encoder-Decoder vs U-Net • Patch-GAN • L1 vs cGAN vs L1+cGAN
  6. 6. • 敵対的生成ネットワーク(Generative Adversarial Networks). • G:画像を生成する. • D:画像が本物かどうか判別する. GAN
  7. 7. GAN • Lは,Gが生成した画像と,本物の画像を,それぞれ,Dが 「Gが生成した」,Dが「本物の画像だ」と判別できた頻度が 高いほど,大きな値を取る. 損失関数Lを, • Dの重みは,最大化するように学習. • Gの重みは,最小化するように学習. →敵対的生成ネットワーク.
  8. 8. GAN • 学習時にはDとGを学習させ,使用時にはGを用いて画像を生 成する.
  9. 9. cGAN • GANは,Gの入力値として高次元のラ ンダム値を使用していた. • cGAN(conditional-GAN)は,GとDの入 力値にお手本画像を与える. →このようにすることで,お手本画像と 本物の画像の関係性に基づいた画像を, 生成できる.
  10. 10. Encoder-Decoder vs U-Net • Gでは,お手本画像をもとに画 像を生成する. • E-Dモデル(左)では, Convolution層でどんどん画像が 畳み込まれて,生成(DeConvoluton) するときにはお手本画像のどの 部分のピクセルを生成すべきな のかという情報が失われる. • U-Netでは,層を飛び越えて接続 することで,これを解決. Gの中身
  11. 11. Encoder-Decoder vs U-Net • E-DよりもU- Netの方が,良 い結果を与える.
  12. 12. Patch-GAN • Patch-GANは,Dによって画像が本物かどうかを識別するとき に,画像の全体を見るのではなく,局所領域を見て本物かどう かを判定する. →これによって,画像の低周波成分の妥当性より,高周波成分の 妥当性が確保される. Dに入力する局所領域の大きさによっ て生成画像の性質が変化する.
  13. 13. Patch-GAN • Dに入力する局所領域の大きさについて 局所領域を小さくしていくと,全体的な妥当性が失われる. 局所領域を大きくしていくと,局所的な妥当性が失われる 局所領域が大きいと学習すべきパラ メータが増大するという問題点もあり 局所領域が小さいとColorful
  14. 14. L1 vs cGAN vs L1+cGAN
  15. 15. L1 vs cGAN vs L1+cGAN • 損失関数にL1正規化項を入れることで,全体的な妥当性(低周 波領域での妥当性)が確保される. • cGANでは(PatchGANの導入によって)高周波成分の妥当性が確 保される →cGANにL1正規化を追加し, 局所的・全体的に妥当性を生む. ※Semantic segmentationなどのhigh detailedな画 像が要求されない場合は,L1正規化のみの方が良 い.
  16. 16. まとめ • GANを用いた画像生成で用いられる様々な手法を評価し,良い 構成方法を検討した.

×