Download to read offline
![関連研究
n Generative modeling
• Variational autoencoders [Kingma & Welling, arXiv2014]
• 潜在変数𝓏をデータ𝓍に対応づける
• 𝓍に近い分布𝑝!(𝓍)を生成モデルから学習
• Generative adversarial networks [Goodfellow+, NeurIPS2014]
• 生成器：尤もらしい画像の生成
• 識別器：実画像と偽画像の識別
n Conditional image generation
• Conditional VAEs [Sohn+, NIPS2015]
• Autoregressive model [Oord+, PMLR2016]
• Conditional GAN [Mirza & Osindero, arXiv2014]
• ラベル情報を生成器と識別器に入力し，訓練
• 特定のラベルにマッチするサンプルを生成
• マルチモダリティの犠牲](https://image.slidesharecdn.com/20221028towardmultimodalimage-to-imagetranslation-221029130142-0e432cc5/75/Toward-Multimodal-Image-to-Image-Translation-3-2048.jpg)
![ネットワークアーキテクチャ
n生成器
• U-Net [Ronneberger+, arXiv2015]
n識別器
• 異なるスケールで二つのPatchGAN識別器
[Isola+, CVPR2017]
nエンコーダ
• 𝐸!"#$"%: 残差ブロックを持つ分類器 [He+, CVPR2016]
• 𝐸&$$: 畳み込み層とダウンサンプリング層を持つCNN
[Ganokratanaa+, IEEEAccess2020]](https://image.slidesharecdn.com/20221028towardmultimodalimage-to-imagetranslation-221029130142-0e432cc5/75/Toward-Multimodal-Image-to-Image-Translation-9-2048.jpg)
![実験設定
n比較手法
• Pix2pix+noise [Isola+, CVPR2017]
• cAE-GAN
• KL損失を除く
• ノイズ学習が不可
• cVAE-GAN
• cVAE-GAN++
• 𝐿'($(𝐺, 𝐷)の追加
• 識別器がサンプルを見る
• cLR-GAN
• BicycleGAN
nデータセット
• エッジ→写真 [Yu and Grauman,
CVPR2014]，[Zhu+, ECCV2016]
• Googleマップ→衛星
[Isola+, CVPR2017]
• ラベル→画像 [Cordts+, CVPR2016]
• 夜間→昼間画像
[Laffont+, SIGGRAPH2014]
nノイズの次元
• 𝑧 = 2, 8, 256
nエンコーダの比較
• 𝐸!"#$"%
• 𝐸&$$](https://image.slidesharecdn.com/20221028towardmultimodalimage-to-imagetranslation-221029130142-0e432cc5/75/Toward-Multimodal-Image-to-Image-Translation-10-2048.jpg)
![定量的評価
nDivercity
• 平均LPIPS距離 [Zhang+, CVPR2018]
• 特徴空間におけるランダムなサンプルの平均距離を計算](https://image.slidesharecdn.com/20221028towardmultimodalimage-to-imagetranslation-221029130142-0e432cc5/75/Toward-Multimodal-Image-to-Image-Translation-13-2048.jpg)
Uploaded byToru Tamaki
文献紹介：Toward Multimodal Image-to-Image Translation
Jun-Yan Zhu, Richard Zhang, Deepak Pathak, Trevor Darrell, Alexei A. Efros, Oliver Wang, Eli Shechtman, "Toward Multimodal Image-to-Image Translation", NeurIPS2017 https://papers.nips.cc/paper/2017/hash/819f46e52c25763a55cc642422644317-Abstract.html
![[DL輪読会]Image-to-Image Translation with Conditional Adversarial Networks](https://cdn.slidesharecdn.com/ss_thumbnails/readingpaper20160113-170222033302-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Toward Multimodal Image-to-Image Translation (NIPS'17)](https://cdn.slidesharecdn.com/ss_thumbnails/20180427-180514071433-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images](https://cdn.slidesharecdn.com/ss_thumbnails/hologanslideshare-190906010228-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation](https://cdn.slidesharecdn.com/ss_thumbnails/0911mocogan-170911121936-thumbnail.jpg?width=640&height=640&fit=bounds)
![[IBIS2017 講演] ディープラーニングによる画像変換](https://cdn.slidesharecdn.com/ss_thumbnails/ibis2017iizuka-171120134119-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会] GAN系の研究まとめ (NIPS2016とICLR2016が中心)](https://cdn.slidesharecdn.com/ss_thumbnails/dliwasawagansurvey-161220014753-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Few-Shot Unsupervised Image-to-Image Translation](https://cdn.slidesharecdn.com/ss_thumbnails/dlseminarfunit-190517005148-thumbnail.jpg?width=640&height=640&fit=bounds)
文献紹介：Toward Multimodal Image-to-Image Translation
- 1. Toward Multimodal Image-to-Image Translation Jun-YanZhu, Richard Zhang, Deepak Pathak, Trevor Darrel, Alexei A. Efros, Oliver Wang, Eli Shechtman, NIPS2017 杉浦大輝（名工大玉木研） 2022/10/28
- 2. 概要 nBicycleGANの提案 • ノイズを生成するエンコーダの導入 • ノイズを付加し，バリエーションのある画像を生成 •入力画像に忠実な画像を複数生成可能
- 3. 関連研究 n Generative modeling •Variational autoencoders [Kingma & Welling, arXiv2014] • 潜在変数𝓏をデータ𝓍に対応づける • 𝓍に近い分布𝑝!(𝓍)を生成モデルから学習 • Generative adversarial networks [Goodfellow+, NeurIPS2014] • 生成器：尤もらしい画像の生成 • 識別器：実画像と偽画像の識別 n Conditional image generation • Conditional VAEs [Sohn+, NIPS2015] • Autoregressive model [Oord+, PMLR2016] • Conditional GAN [Mirza & Osindero, arXiv2014] • ラベル情報を生成器と識別器に入力し，訓練 • 特定のラベルにマッチするサンプルを生成 • マルチモダリティの犠牲
- 4. アイデア nConditional Variational Autoencoder GAN(cVAE-GAN) • 潜在変数zがBに対して意味を持つ ようにする • 生成器に望ましい出力に対するノ イズを与える • 𝐵 → 𝑧 → $ 𝐵 nConditional Latent Regressor GAN (cLR-GAN) • 出力画像から潜在ベクトルの復元 • 𝑧 → $ 𝐵 → ̂ 𝑧
- 5. 提案手法: BicycleGAN nBicycleGAN • cVAE-GANとcLR-GANのハイブリッドモデル •両者の損失を足し合わせた • 損失関数
- 6. 生成過程 ncVAE-GAN ncLR-GAN 𝑅𝑒𝑎𝑙 𝐿𝑎𝑏𝑒𝑙 encoder noise 𝑍! 𝑄 𝑍!|𝑅𝑒𝑎𝑙 𝐿𝑎𝑏𝑒𝑙+ 𝑍! generator 生成画像 𝐹"#$% Random noise 𝑍" 𝐿𝑎𝑏𝑒𝑙 𝐿𝑎𝑏𝑒𝑙 + 𝑍& generator 生成画像 𝐹"'(
- 7.
- 8. 生成器，エンコーダの学習 n生成器，エンコーダの学習 n生成器の学習 生成画像 𝐹 𝑅𝑒𝑎𝑙 𝐿!損失 + 生成器，エンコーダ の学習 𝑙𝑜𝑠𝑠𝐷#$%&,𝑙𝑜𝑠𝑠𝐷#'( KLダイバージェン ス noise 𝑍! 𝑄 𝑍!|𝑅𝑒𝑎𝑙 生成画像 𝐹"'( encoder noise 𝑍) 𝑄(𝑍)|𝐹#'() Randaom noise 𝑍" 𝐿!損失 生成器を学習
- 9. ネットワークアーキテクチャ n生成器 • U-Net [Ronneberger+,arXiv2015] n識別器 • 異なるスケールで二つのPatchGAN識別器 [Isola+, CVPR2017] nエンコーダ • 𝐸!"#$"%: 残差ブロックを持つ分類器 [He+, CVPR2016] • 𝐸&$$: 畳み込み層とダウンサンプリング層を持つCNN [Ganokratanaa+, IEEEAccess2020]
- 10. 実験設定 n比較手法 • Pix2pix+noise [Isola+,CVPR2017] • cAE-GAN • KL損失を除く • ノイズ学習が不可 • cVAE-GAN • cVAE-GAN++ • 𝐿'($(𝐺, 𝐷)の追加 • 識別器がサンプルを見る • cLR-GAN • BicycleGAN nデータセット • エッジ→写真 [Yu and Grauman, CVPR2014]，[Zhu+, ECCV2016] • Googleマップ→衛星 [Isola+, CVPR2017] • ラベル→画像 [Cordts+, CVPR2016] • 夜間→昼間画像 [Laffont+, SIGGRAPH2014] nノイズの次元 • 𝑧 = 2, 8, 256 nエンコーダの比較 • 𝐸!"#$"% • 𝐸&$$
- 11.
- 12. 定性的評価 n知覚テスト • AMTによるテスト • Googleマップ→衛星タスクで測定 •実画像と生成画像をそれぞれ１秒間ランダムに表示
- 13. 定量的評価 nDivercity • 平均LPIPS距離 [Zhang+,CVPR2018] • 特徴空間におけるランダムなサンプルの平均距離を計算
- 14.
- 15.
- 16. まとめ nBicycleGANの提案 • cVAE-GANとcLR-GANの組み合わせ • ノイズを生成するエンコーダの導入 •ノイズ生成の学習 • Resnetが出力画像をより良く符号化 n出力結果 • 入力に忠実かつ，バリエーションのある画像を生成