SlideShare a Scribd company logo
Few-Shot Unsupervised
Image-to-Image Translation
2019/07/09
1
書誌情報
• 書誌情報
• 論⽂誌 : arXiv
• ⽇時 : 2019/05/05
• 著者 : NVIDIAの研究グループ
• 概要
• Few-shot画像変換
(変換先のクラスを数枚与える
だけでそのクラスに変換)
2
発表内容
• 本発表では, 同じ著者の論⽂を順に追っていきます
• Unsupervised Image-to-Image Translation Networks (UNIT)
• Multimodal Unsupervised Image-to-Image Translation (MUNIT)
• Few-Shot Unsupervised Image-to-Image Translation (FUNIT)
• 全て教師なし画像変換に関する論⽂
• Few-shot画像変換が実現するまで, どのようにアルゴリズムが
発展してきたかを確認
• その他関連する論⽂も適宜紹介
3
発表内容
1. 画像変換とは
2. Unsupervised Image-to-Image Translation Networks
3. Multimodal Unsupervised Image-to-Image Translation
4. Few-Shot Unsupervised Image-to-Image Translation
5. まとめ
4
画像変換とは
• 画像変換とは?
• 画像をあるドメインから異なるドメインへ変換する
• 教師なし画像変換とは?
• 学習データの画像がペアで与えられない
• e.g. ) Cycle GAN
5
P. Isola et al. “Image-to-Image Translation with Conditional Adversarial Networks”, CVPR, 2017.
J. Zhu et al. “Unpaired Image-to-Image
Translation using Cycle-Consistent
Adversarial Networks”, ICCV, 2017.
UNIT : お気持ち
• 教師なし画像変換の問題を以下のように定義
• 2つのドメインの画像集合の周辺分布 , から,
それらの同時確率分布 を推定
• しかし, このような問題では, 無数の同時確率分布が存在する
Ø2つのデータ集合の潜在表現が共通であるという仮定 (制限) を与える
6
p(x)<latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit><latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit><latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit><latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit>
p(y)<latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit><latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit><latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit><latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit>
p(x, y)<latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit><latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit><latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit><latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit>
M. Liu et al. “Unsupervised Image-to-Image
Translation Networks”, NIPS, 2017.
UNIT : 提案⼿法
• ネットワーク構造
• VAE + GAN (VAE-GAN)
• ドメインごとにE, G, Dがある
• ⼀部の層で重みを共有 (右図点線 CoGAN)
• 潜在表現の分布が共通と仮定
• 損失関数
• VAE loss
• GAN loss
• Cycle consistency loss
7
UNIT : 実験 (画像変換)
8M. Liu et al. “Unsupervised Image-to-Image Translation Networks”, NIPS, 2017.
UNIT : 実験 (ドメイン適応)
• 以下のマルチタスク学習
1. ソースドメインとターゲットドメインで画像変換
2. ソースドメインの画像をdiscriminatorから得た特徴で分類
3. 変換前後の画像でdiscriminatorの出⼒が近くなるように
9
M. Liu et al. “Unsupervised Image-to-Image Translation Networks”, NIPS, 2017.
UNIT : まとめ
• 潜在空間が共通であるという仮定を基に, 教師なし画像変換の
フレームワークを提案
• VAE-GAN, Coupled GANベースのネットワーク構造
• VAE loss, GAN loss, Cycle consistency lossでモデルを学習
• 以下の実験で⼿法の有効性を確認
• 複数データセットにおける画像変換を定性的に確認
• ドメイン適応における分類スコアを他の⼿法と⽐較
10
MUNIT : お気持ち
• ターゲットドメインがマルチモーダルという問題設定
• 既存⼿法(pix2pixやcycle GAN)ではマルチモーダルな変換を扱うことができない
• ⼊⼒にノイズを⼊れて⽣成を確率的にしているが, あまり効いていない (pix2pix 参照)
• 本論⽂では潜在表現をcontentとstyleにdisentangle (分解) することにより実現
• Content … 空間的な構造に関する情報, ドメイン不変
• Style … rendering (外観)に関する情報,ドメイン固有
11
Big catから
house cat
への変換
House catには
⾊々な種類がいる
(マルチモーダル)
X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
MUNIT : 提案⼿法
• どのようにdisentangleするか
• それぞれの潜在表現に以下の仮定を適⽤
• Content codeは空間情報を含む⾼次元の特徴マップ
• 複雑な空間的構造を表現できるように
• Style codeは空間情報を含まない⽐較的次元が低い特徴ベクトル
• ガウシアンからサンプル
• Style codeの効果は⼤域的かつ⽐較的シンプルであるため
12
X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
MUNIT : 提案⼿法
• 以下のLossで学習
• 再構成誤差
• 潜在表現の再構成誤差
• Adversarial Loss (⽣成画像の質)
13
X. Huang et al. “Multimodal Unsupervised Image-to-
Image Translation”, ECCV, 2018.
MUNIT : 実験結果
• Edge to Shoe
• スタイルは正規分布からサンプル
14X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
既存⼿法でマルチモー
ダルな変換は難しい
提案⼿法は多様な画像
を⽣成できた
教師ありの⼿法
MUNIT : 実験結果
• Animal to Animal
• かなり多様な画像に変換できている感じがある
• 顔の向きは保存されている (content と style をうまくdisentangleできている)
15X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
MUNIT : 実験結果
• Example-basedな画像変換
• 2枚の画像の content と style を⼊れ替える
16X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
MUNIT : まとめ
• 特徴空間をcontentとstyleにdisentangleすることにより, 教師
なし学習によるマルチモーダルな画像変換を実現
• 実験では画像の質と多様性を評価
• 既存の教師なしの⼿法を⼤きく上回った
• 教師ありの⼿法に近い結果
17
FUNIT : 概要
• Few-shot 教師なし画像変換
• ソースクラスからターゲットクラスへの画像変換
• テスト時は, 未知のターゲットクラスの画像が数枚のみ与えられる
• 過去の経験を活⽤して未知のクラスも効率的に対処できることを⽬指す
• 例) ⾊々な⽝を⾒た経験があれば未知の⽝種でも特徴を捉えられる/整理できる
• いくつかのデータセットで検証
• 動物の顔
• ⿃
• 花
• ⾷べ物
18
FUNIT : お気持ち
• 特徴表現のdisentangleの活⽤
• クラス不変な特徴 … 空間的な構造に関する情報
• クラス固有の特徴 … 外観に関する構造
ØFew-shotの画像変換では, クラス固有の特徴を少ないデータか
ら, いかに取り出し, 変換に反映させるかが課題となる
• ネットワークアーキテクチャの⼯夫
• 学習⽅法の⼯夫
19
FUNIT : ネットワーク構造
• Generatorは3つの部分からなる
• content encoder
• class encoder
• decoder
20
FUNIT : ネットワーク構造
• Generatorは3つの部分からなる
• content encoder
• class encoder
• decoder
21
Content image (変換元画像)
をContent Code (ドメイン不
変の特徴) に変換
FUNIT : ネットワーク構造
• Generatorは3つの部分からなる
• content encoder
• class encoder
• decoder
22
Class Image (変換先画像) か
らClass Code (クラス固有の特
徴) を抽出
• 複数枚の結果を平均
FUNIT : ネットワーク構造
• Generatorは3つの部分からなる
• content encoder
• class encoder
• decoder
23
Content Code (ドメイン不変の特徴) とClass
Code (ドメイン固有の特徴)から画像を⽣成
• ResBlockの正規化はAdaIN (Adaptive
Instance Normalization)
• Class Codeは, AdaINの際のAffine変換の
パラメータとして⼊⼒される
Adaptive Instance Normalization (AdaIN)
• スタイル変換の論⽂(8で紹介された⼿法
• 特徴マップを平均, 分散で正規化したのちにスケールとバイアスを与える
• スケールとバイアスによりスタイルを制御
• 特徴マップのスケールはGANでも重要
• 最新のcGANでは, クラスを特徴マップのスケールにより制御(9, 10
Ø特徴マップのスケールを学習することで狙ったクラスの画像が⽣成できるように
なる?
24
AdaIN(x, y) = (y)(
x µ(x)
(x)
) + µ(y)
<latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit><latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit><latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit><latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit>
μ(x), σ(x)は特徴マップの平均・分
散
X. Huang and S. Belongie. Arbitrary style transfer in
realtime with adaptive instance normalization. ICCV, 2017.
FUNIT : ネットワーク構造
• Discriminator
• 出⼒次元がクラス数と同じ
• クラス の真偽を判定
25
cx<latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit><latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit><latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit><latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit>
FUNIT : 学習⽅法
• : ⼊⼒画像, : 変換画像, : ターゲット画像 (全K枚)
• Adversarial loss
• 再構成誤差
• feature matching loss
• これらの和を⽬的関数とする
26
x<latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit><latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit><latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit><latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit>
x<latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit><latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit><latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit><latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit>
yk<latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit><latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit><latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit><latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit>
⽣成画像とターゲット
画像間のfeatureの誤差
は最終層を除いた
discriminator
Df<latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit><latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit><latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit><latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit>
FUNIT : 実験
• ハイパーパラメータ
•
• 学習率 : 0.0001
• 最適化 : RMSProp
• Adversarial loss : hinge loss
• K : 学習時 1, テスト時1, 5, 10, 15, 20
• データセット
• Animal Faces : ImageNetから⾁⾷獣のクラスを抽出し構築
• Birds : 北⽶の555種類の⿃の種類を集めたデータセット, 全48527枚
• Flowers : 102種類の花の画像, 全8189枚
• Foods : 256種類の⾷べ物画像のデータセット, 全31395枚, 電通⼤
• いずれも学習時に⽤いるソースクラスと, テスト時に⽤いられるターゲットクラスに分割
27
R = 0.1, F = 0.1<latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit><latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit><latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit><latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit>
T. Miyato and M. Koyama. “cGANs with projection discriminator”, ICLR, 2018.
FUNIT : 実験
• ベースライン
• Fair … FUNITと同じ条件 (ターゲットクラスは学習時に⽤いない)
• StarGAN-Fair-K : StarGAN(12の拡張
• Unfair … ターゲットクラス (K枚) も使⽤して学習
• StarGAN-Unfair-K
• CycleGAN-Unfair-K
• UNIT-Unfair-K
• MUNIT-Unfair-K
28
FUNIT : 実験
• 評価⽅法
• ソースクラスから25,000枚の画像をサンプル
• ターゲットクラスの画像を各クラスK枚ずつサンプル (K=1, 5, 10, 15, 20)
• 画像変換を⾏い結果を⽐較
• 評価指標
• 4つの観点から評価
1. Translation Accuracy … 分類器により, ⽣成された画像が正しいクラスに分類されるか
2. Content Preservation … domain invariant perceptual distance (Instance
Normalization してから特徴マップの距離を計算する)
3. Photorealizm … Inception Scoreで計算
4. Distribution Matching … FID score (ターゲットクラスごとに計算し平均)
29
FUNIT : 実験結果
• Animal Faces と North
American Birds データセッ
トにおける実験結果
• 全ての指標で提案⼿法は⾼
い性能を⽰した
• Unfairよりも良い
30
FUNIT : 実験結果
• StarGANとの⽐較
31
FUNIT : 実験結果
• 学習データのクラス数と画像⽣成の性能の関連
• ⽣成画像の質の外観に関する指標は上昇
• ドメイン不変の特徴に関する指標はそんなに変わらず
32
FUNIT : 実験結果
• Content CodeはそのままでClass codeをinterpolation
33
FUNIT : 実験結果
• (上) クラウドソーシングを利⽤し画像の質を評価
してもらった結果
• ほとんど勝っている
34
FUNIT : 実験結果
• ソース画像とターゲット画
像が⼤きく異なる場合
• うまく変換できない
• ⾊が変わるだけ
• 当たり前な気がする
35
FUNIT : 実験結果
• ⽣成画像の例
(K=5)
36
FUNIT : 実験結果
• ⽣成画像の例
(K=5)
37
FUNIT : まとめ
• Few-shot 教師なし画像変換⼿法を提案
• 特徴表現のdisentangleを活⽤
• クラス固有の表現の抽出をうまく汎化できた
• 以下の要因が⽣成画像の質を左右
• 学習データのクラス数
• テスト時のターゲットデータの数
• ソース画像とターゲット画像が⼤きく異なると変換不可能
38
参考⽂献
1. M. Liu et al. “Few-Shot Unsupervised Image-to-Image Translation”, arXiv, 2019.
2. M. Liu et al. “Unsupervised Image-to-Image Translation Networks”, NIPS, 2017.
3. X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
4. P. Isola et al. “Image-to-Image Translation with Conditional Adversarial Networks”, CVPR, 2017.
5. J. Zhu et al. “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”,
ICCV, 2017.
6. A. B. L. Larsen, S. K. Sønderby, H. Larochelle, and O. Winther. “Autoencoding beyond pixels using a
learned similarity metric”, International Conference on Machine Learning, 2016.
7. M.-Y. Liu and O. Tuzel. “Coupled generative adversarial networks”, Advances in Neural Information
Processing Systems, 2016.
8. X. Huang and S. Belongie. Arbitrary style transfer in realtime with adaptive instance normalization.
In IEEE International Conference on Computer Vision (ICCV), 2017.
9. T. Miyato and M. Koyama. “cGANs with projection discriminator”, ICLR, 2018.
10. T. Park et al. “Semantic Image Synthesis with Spatially-Adaptive Normalization”, arXiv, 2019.
11. A. Noguchi et al. “Image Generation from Small Datasets via Batch Statistics Adaptation”, arXiv,
2019.
39
参考⽂献
12. Y. Choi et al. “StarGAN: Unified Generative Adversarial Networks for Multi-Domain
Image-to-Image Translation”, CVPR, 2018.
40

More Related Content

Similar to Few-Shot Unsupervised Image-to-Image Translation

論文紹介 LexToMap: lexical-based topological mapping
論文紹介 LexToMap: lexical-based topological mapping論文紹介 LexToMap: lexical-based topological mapping
論文紹介 LexToMap: lexical-based topological mapping
Akira Taniguchi
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Deep Learning JP
 
画像処理入門
画像処理入門画像処理入門
画像処理入門
Hiroaki Murayama
 
文献紹介:Spatially-Adaptive Pixelwise Networks for Fast Image Translation
文献紹介:Spatially-Adaptive Pixelwise Networks for Fast Image Translation文献紹介:Spatially-Adaptive Pixelwise Networks for Fast Image Translation
文献紹介:Spatially-Adaptive Pixelwise Networks for Fast Image Translation
Toru Tamaki
 
AIがAIを生み出す?
AIがAIを生み出す?AIがAIを生み出す?
AIがAIを生み出す?
Daiki Tsuchiya
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
atsushi061452
 
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
Deep Learning JP
 
論文紹介:OneFormer: One Transformer To Rule Universal Image Segmentation
論文紹介:OneFormer: One Transformer To Rule Universal Image Segmentation論文紹介:OneFormer: One Transformer To Rule Universal Image Segmentation
論文紹介:OneFormer: One Transformer To Rule Universal Image Segmentation
Toru Tamaki
 
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
Shintaro Yoshida
 
Intalio japan special cloud workshop
Intalio japan special cloud workshopIntalio japan special cloud workshop
Intalio japan special cloud workshopDaisuke Sugai
 
増加するコアを使い切れ!!
増加するコアを使い切れ!!増加するコアを使い切れ!!
増加するコアを使い切れ!!guestc06e54
 
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
Deep Learning JP
 
[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像
Rei Takami
 
災害監視無人機システムと 災害監視無人機システムとFOSS4Gとの関わり ((独)宇宙航空研究開発機構 都甲 様)
災害監視無人機システムと 災害監視無人機システムとFOSS4Gとの関わり ((独)宇宙航空研究開発機構 都甲 様)災害監視無人機システムと 災害監視無人機システムとFOSS4Gとの関わり ((独)宇宙航空研究開発機構 都甲 様)
災害監視無人機システムと 災害監視無人機システムとFOSS4Gとの関わり ((独)宇宙航空研究開発機構 都甲 様)OSgeo Japan
 
静的解析Klocwork とJenkins CIの連携
静的解析Klocwork とJenkins CIの連携静的解析Klocwork とJenkins CIの連携
静的解析Klocwork とJenkins CIの連携
Masaru Horioka
 
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
Deep Learning JP
 
【CVPR 2019】Defense Against Adversarial Images using Web-Scale Nearest-Neighbo...
【CVPR 2019】Defense Against Adversarial Images using Web-Scale Nearest-Neighbo...【CVPR 2019】Defense Against Adversarial Images using Web-Scale Nearest-Neighbo...
【CVPR 2019】Defense Against Adversarial Images using Web-Scale Nearest-Neighbo...
cvpaper. challenge
 
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Kento Doi
 
動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )
cvpaper. challenge
 
2019/5/24 Chainer familyで始める深層学習 ハンズオンの部
2019/5/24 Chainer familyで始める深層学習 ハンズオンの部2019/5/24 Chainer familyで始める深層学習 ハンズオンの部
2019/5/24 Chainer familyで始める深層学習 ハンズオンの部
belltailjp
 

Similar to Few-Shot Unsupervised Image-to-Image Translation (20)

論文紹介 LexToMap: lexical-based topological mapping
論文紹介 LexToMap: lexical-based topological mapping論文紹介 LexToMap: lexical-based topological mapping
論文紹介 LexToMap: lexical-based topological mapping
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
 
画像処理入門
画像処理入門画像処理入門
画像処理入門
 
文献紹介:Spatially-Adaptive Pixelwise Networks for Fast Image Translation
文献紹介:Spatially-Adaptive Pixelwise Networks for Fast Image Translation文献紹介:Spatially-Adaptive Pixelwise Networks for Fast Image Translation
文献紹介:Spatially-Adaptive Pixelwise Networks for Fast Image Translation
 
AIがAIを生み出す?
AIがAIを生み出す?AIがAIを生み出す?
AIがAIを生み出す?
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
 
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
 
論文紹介:OneFormer: One Transformer To Rule Universal Image Segmentation
論文紹介:OneFormer: One Transformer To Rule Universal Image Segmentation論文紹介:OneFormer: One Transformer To Rule Universal Image Segmentation
論文紹介:OneFormer: One Transformer To Rule Universal Image Segmentation
 
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
 
Intalio japan special cloud workshop
Intalio japan special cloud workshopIntalio japan special cloud workshop
Intalio japan special cloud workshop
 
増加するコアを使い切れ!!
増加するコアを使い切れ!!増加するコアを使い切れ!!
増加するコアを使い切れ!!
 
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
 
[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像
 
災害監視無人機システムと 災害監視無人機システムとFOSS4Gとの関わり ((独)宇宙航空研究開発機構 都甲 様)
災害監視無人機システムと 災害監視無人機システムとFOSS4Gとの関わり ((独)宇宙航空研究開発機構 都甲 様)災害監視無人機システムと 災害監視無人機システムとFOSS4Gとの関わり ((独)宇宙航空研究開発機構 都甲 様)
災害監視無人機システムと 災害監視無人機システムとFOSS4Gとの関わり ((独)宇宙航空研究開発機構 都甲 様)
 
静的解析Klocwork とJenkins CIの連携
静的解析Klocwork とJenkins CIの連携静的解析Klocwork とJenkins CIの連携
静的解析Klocwork とJenkins CIの連携
 
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
【DL輪読会】Investigating Tradeoffs in Real-World Video Super-Resolution
 
【CVPR 2019】Defense Against Adversarial Images using Web-Scale Nearest-Neighbo...
【CVPR 2019】Defense Against Adversarial Images using Web-Scale Nearest-Neighbo...【CVPR 2019】Defense Against Adversarial Images using Web-Scale Nearest-Neighbo...
【CVPR 2019】Defense Against Adversarial Images using Web-Scale Nearest-Neighbo...
 
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
 
動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )
 
2019/5/24 Chainer familyで始める深層学習 ハンズオンの部
2019/5/24 Chainer familyで始める深層学習 ハンズオンの部2019/5/24 Chainer familyで始める深層学習 ハンズオンの部
2019/5/24 Chainer familyで始める深層学習 ハンズオンの部
 

More from Kento Doi

Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
Kento Doi
 
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent R...
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent R...GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent R...
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent R...
Kento Doi
 
Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
Learning Spatial Common Sense with Geometry-Aware Recurrent NetworksLearning Spatial Common Sense with Geometry-Aware Recurrent Networks
Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
Kento Doi
 
HoloGAN: Unsupervised Learning of 3D Representations from Natural Images
HoloGAN: Unsupervised Learning of 3D Representations from Natural ImagesHoloGAN: Unsupervised Learning of 3D Representations from Natural Images
HoloGAN: Unsupervised Learning of 3D Representations from Natural Images
Kento Doi
 
StyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNAStyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNA
Kento Doi
 
20190406_nlp/cv_勉強会
20190406_nlp/cv_勉強会20190406_nlp/cv_勉強会
20190406_nlp/cv_勉強会
Kento Doi
 
Semi-convolutional Operators for Instance Segmentation
Semi-convolutional Operators for Instance SegmentationSemi-convolutional Operators for Instance Segmentation
Semi-convolutional Operators for Instance Segmentation
Kento Doi
 
Style-GAN
Style-GANStyle-GAN
Style-GAN
Kento Doi
 
カメラキャリブレーション
カメラキャリブレーションカメラキャリブレーション
カメラキャリブレーション
Kento Doi
 
CVPR2018読み会_20180701
CVPR2018読み会_20180701CVPR2018読み会_20180701
CVPR2018読み会_20180701
Kento Doi
 
“Domain Adaptive Faster R-CNN for Object Detection in theWild (CVPR 2018) 他
 “Domain Adaptive Faster R-CNN for Object Detection in theWild (CVPR 2018)  他 “Domain Adaptive Faster R-CNN for Object Detection in theWild (CVPR 2018)  他
“Domain Adaptive Faster R-CNN for Object Detection in theWild (CVPR 2018) 他
Kento Doi
 

More from Kento Doi (11)

Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
 
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent R...
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent R...GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent R...
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent R...
 
Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
Learning Spatial Common Sense with Geometry-Aware Recurrent NetworksLearning Spatial Common Sense with Geometry-Aware Recurrent Networks
Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
 
HoloGAN: Unsupervised Learning of 3D Representations from Natural Images
HoloGAN: Unsupervised Learning of 3D Representations from Natural ImagesHoloGAN: Unsupervised Learning of 3D Representations from Natural Images
HoloGAN: Unsupervised Learning of 3D Representations from Natural Images
 
StyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNAStyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNA
 
20190406_nlp/cv_勉強会
20190406_nlp/cv_勉強会20190406_nlp/cv_勉強会
20190406_nlp/cv_勉強会
 
Semi-convolutional Operators for Instance Segmentation
Semi-convolutional Operators for Instance SegmentationSemi-convolutional Operators for Instance Segmentation
Semi-convolutional Operators for Instance Segmentation
 
Style-GAN
Style-GANStyle-GAN
Style-GAN
 
カメラキャリブレーション
カメラキャリブレーションカメラキャリブレーション
カメラキャリブレーション
 
CVPR2018読み会_20180701
CVPR2018読み会_20180701CVPR2018読み会_20180701
CVPR2018読み会_20180701
 
“Domain Adaptive Faster R-CNN for Object Detection in theWild (CVPR 2018) 他
 “Domain Adaptive Faster R-CNN for Object Detection in theWild (CVPR 2018)  他 “Domain Adaptive Faster R-CNN for Object Detection in theWild (CVPR 2018)  他
“Domain Adaptive Faster R-CNN for Object Detection in theWild (CVPR 2018) 他
 

Recently uploaded

Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
harmonylab
 
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
chiefujita1
 
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
Matsushita Laboratory
 
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援しますキンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
Takayuki Nakayama
 
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
t m
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
Toru Tamaki
 
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさJSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
0207sukipio
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
 

Recently uploaded (8)

Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
 
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
 
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
 
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援しますキンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
 
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
 
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさJSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
 

Few-Shot Unsupervised Image-to-Image Translation

  • 2. 書誌情報 • 書誌情報 • 論⽂誌 : arXiv • ⽇時 : 2019/05/05 • 著者 : NVIDIAの研究グループ • 概要 • Few-shot画像変換 (変換先のクラスを数枚与える だけでそのクラスに変換) 2
  • 3. 発表内容 • 本発表では, 同じ著者の論⽂を順に追っていきます • Unsupervised Image-to-Image Translation Networks (UNIT) • Multimodal Unsupervised Image-to-Image Translation (MUNIT) • Few-Shot Unsupervised Image-to-Image Translation (FUNIT) • 全て教師なし画像変換に関する論⽂ • Few-shot画像変換が実現するまで, どのようにアルゴリズムが 発展してきたかを確認 • その他関連する論⽂も適宜紹介 3
  • 4. 発表内容 1. 画像変換とは 2. Unsupervised Image-to-Image Translation Networks 3. Multimodal Unsupervised Image-to-Image Translation 4. Few-Shot Unsupervised Image-to-Image Translation 5. まとめ 4
  • 5. 画像変換とは • 画像変換とは? • 画像をあるドメインから異なるドメインへ変換する • 教師なし画像変換とは? • 学習データの画像がペアで与えられない • e.g. ) Cycle GAN 5 P. Isola et al. “Image-to-Image Translation with Conditional Adversarial Networks”, CVPR, 2017. J. Zhu et al. “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”, ICCV, 2017.
  • 6. UNIT : お気持ち • 教師なし画像変換の問題を以下のように定義 • 2つのドメインの画像集合の周辺分布 , から, それらの同時確率分布 を推定 • しかし, このような問題では, 無数の同時確率分布が存在する Ø2つのデータ集合の潜在表現が共通であるという仮定 (制限) を与える 6 p(x)<latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit><latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit><latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit><latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit> p(y)<latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit><latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit><latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit><latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit> p(x, y)<latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit><latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit><latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit><latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit> M. Liu et al. “Unsupervised Image-to-Image Translation Networks”, NIPS, 2017.
  • 7. UNIT : 提案⼿法 • ネットワーク構造 • VAE + GAN (VAE-GAN) • ドメインごとにE, G, Dがある • ⼀部の層で重みを共有 (右図点線 CoGAN) • 潜在表現の分布が共通と仮定 • 損失関数 • VAE loss • GAN loss • Cycle consistency loss 7
  • 8. UNIT : 実験 (画像変換) 8M. Liu et al. “Unsupervised Image-to-Image Translation Networks”, NIPS, 2017.
  • 9. UNIT : 実験 (ドメイン適応) • 以下のマルチタスク学習 1. ソースドメインとターゲットドメインで画像変換 2. ソースドメインの画像をdiscriminatorから得た特徴で分類 3. 変換前後の画像でdiscriminatorの出⼒が近くなるように 9 M. Liu et al. “Unsupervised Image-to-Image Translation Networks”, NIPS, 2017.
  • 10. UNIT : まとめ • 潜在空間が共通であるという仮定を基に, 教師なし画像変換の フレームワークを提案 • VAE-GAN, Coupled GANベースのネットワーク構造 • VAE loss, GAN loss, Cycle consistency lossでモデルを学習 • 以下の実験で⼿法の有効性を確認 • 複数データセットにおける画像変換を定性的に確認 • ドメイン適応における分類スコアを他の⼿法と⽐較 10
  • 11. MUNIT : お気持ち • ターゲットドメインがマルチモーダルという問題設定 • 既存⼿法(pix2pixやcycle GAN)ではマルチモーダルな変換を扱うことができない • ⼊⼒にノイズを⼊れて⽣成を確率的にしているが, あまり効いていない (pix2pix 参照) • 本論⽂では潜在表現をcontentとstyleにdisentangle (分解) することにより実現 • Content … 空間的な構造に関する情報, ドメイン不変 • Style … rendering (外観)に関する情報,ドメイン固有 11 Big catから house cat への変換 House catには ⾊々な種類がいる (マルチモーダル) X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
  • 12. MUNIT : 提案⼿法 • どのようにdisentangleするか • それぞれの潜在表現に以下の仮定を適⽤ • Content codeは空間情報を含む⾼次元の特徴マップ • 複雑な空間的構造を表現できるように • Style codeは空間情報を含まない⽐較的次元が低い特徴ベクトル • ガウシアンからサンプル • Style codeの効果は⼤域的かつ⽐較的シンプルであるため 12 X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
  • 13. MUNIT : 提案⼿法 • 以下のLossで学習 • 再構成誤差 • 潜在表現の再構成誤差 • Adversarial Loss (⽣成画像の質) 13 X. Huang et al. “Multimodal Unsupervised Image-to- Image Translation”, ECCV, 2018.
  • 14. MUNIT : 実験結果 • Edge to Shoe • スタイルは正規分布からサンプル 14X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018. 既存⼿法でマルチモー ダルな変換は難しい 提案⼿法は多様な画像 を⽣成できた 教師ありの⼿法
  • 15. MUNIT : 実験結果 • Animal to Animal • かなり多様な画像に変換できている感じがある • 顔の向きは保存されている (content と style をうまくdisentangleできている) 15X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
  • 16. MUNIT : 実験結果 • Example-basedな画像変換 • 2枚の画像の content と style を⼊れ替える 16X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
  • 17. MUNIT : まとめ • 特徴空間をcontentとstyleにdisentangleすることにより, 教師 なし学習によるマルチモーダルな画像変換を実現 • 実験では画像の質と多様性を評価 • 既存の教師なしの⼿法を⼤きく上回った • 教師ありの⼿法に近い結果 17
  • 18. FUNIT : 概要 • Few-shot 教師なし画像変換 • ソースクラスからターゲットクラスへの画像変換 • テスト時は, 未知のターゲットクラスの画像が数枚のみ与えられる • 過去の経験を活⽤して未知のクラスも効率的に対処できることを⽬指す • 例) ⾊々な⽝を⾒た経験があれば未知の⽝種でも特徴を捉えられる/整理できる • いくつかのデータセットで検証 • 動物の顔 • ⿃ • 花 • ⾷べ物 18
  • 19. FUNIT : お気持ち • 特徴表現のdisentangleの活⽤ • クラス不変な特徴 … 空間的な構造に関する情報 • クラス固有の特徴 … 外観に関する構造 ØFew-shotの画像変換では, クラス固有の特徴を少ないデータか ら, いかに取り出し, 変換に反映させるかが課題となる • ネットワークアーキテクチャの⼯夫 • 学習⽅法の⼯夫 19
  • 20. FUNIT : ネットワーク構造 • Generatorは3つの部分からなる • content encoder • class encoder • decoder 20
  • 21. FUNIT : ネットワーク構造 • Generatorは3つの部分からなる • content encoder • class encoder • decoder 21 Content image (変換元画像) をContent Code (ドメイン不 変の特徴) に変換
  • 22. FUNIT : ネットワーク構造 • Generatorは3つの部分からなる • content encoder • class encoder • decoder 22 Class Image (変換先画像) か らClass Code (クラス固有の特 徴) を抽出 • 複数枚の結果を平均
  • 23. FUNIT : ネットワーク構造 • Generatorは3つの部分からなる • content encoder • class encoder • decoder 23 Content Code (ドメイン不変の特徴) とClass Code (ドメイン固有の特徴)から画像を⽣成 • ResBlockの正規化はAdaIN (Adaptive Instance Normalization) • Class Codeは, AdaINの際のAffine変換の パラメータとして⼊⼒される
  • 24. Adaptive Instance Normalization (AdaIN) • スタイル変換の論⽂(8で紹介された⼿法 • 特徴マップを平均, 分散で正規化したのちにスケールとバイアスを与える • スケールとバイアスによりスタイルを制御 • 特徴マップのスケールはGANでも重要 • 最新のcGANでは, クラスを特徴マップのスケールにより制御(9, 10 Ø特徴マップのスケールを学習することで狙ったクラスの画像が⽣成できるように なる? 24 AdaIN(x, y) = (y)( x µ(x) (x) ) + µ(y) <latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit><latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit><latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit><latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit> μ(x), σ(x)は特徴マップの平均・分 散 X. Huang and S. Belongie. Arbitrary style transfer in realtime with adaptive instance normalization. ICCV, 2017.
  • 25. FUNIT : ネットワーク構造 • Discriminator • 出⼒次元がクラス数と同じ • クラス の真偽を判定 25 cx<latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit><latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit><latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit><latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit>
  • 26. FUNIT : 学習⽅法 • : ⼊⼒画像, : 変換画像, : ターゲット画像 (全K枚) • Adversarial loss • 再構成誤差 • feature matching loss • これらの和を⽬的関数とする 26 x<latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit><latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit><latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit><latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit> x<latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit><latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit><latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit><latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit> yk<latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit><latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit><latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit><latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit> ⽣成画像とターゲット 画像間のfeatureの誤差 は最終層を除いた discriminator Df<latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit><latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit><latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit><latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit>
  • 27. FUNIT : 実験 • ハイパーパラメータ • • 学習率 : 0.0001 • 最適化 : RMSProp • Adversarial loss : hinge loss • K : 学習時 1, テスト時1, 5, 10, 15, 20 • データセット • Animal Faces : ImageNetから⾁⾷獣のクラスを抽出し構築 • Birds : 北⽶の555種類の⿃の種類を集めたデータセット, 全48527枚 • Flowers : 102種類の花の画像, 全8189枚 • Foods : 256種類の⾷べ物画像のデータセット, 全31395枚, 電通⼤ • いずれも学習時に⽤いるソースクラスと, テスト時に⽤いられるターゲットクラスに分割 27 R = 0.1, F = 0.1<latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit><latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit><latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit><latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit> T. Miyato and M. Koyama. “cGANs with projection discriminator”, ICLR, 2018.
  • 28. FUNIT : 実験 • ベースライン • Fair … FUNITと同じ条件 (ターゲットクラスは学習時に⽤いない) • StarGAN-Fair-K : StarGAN(12の拡張 • Unfair … ターゲットクラス (K枚) も使⽤して学習 • StarGAN-Unfair-K • CycleGAN-Unfair-K • UNIT-Unfair-K • MUNIT-Unfair-K 28
  • 29. FUNIT : 実験 • 評価⽅法 • ソースクラスから25,000枚の画像をサンプル • ターゲットクラスの画像を各クラスK枚ずつサンプル (K=1, 5, 10, 15, 20) • 画像変換を⾏い結果を⽐較 • 評価指標 • 4つの観点から評価 1. Translation Accuracy … 分類器により, ⽣成された画像が正しいクラスに分類されるか 2. Content Preservation … domain invariant perceptual distance (Instance Normalization してから特徴マップの距離を計算する) 3. Photorealizm … Inception Scoreで計算 4. Distribution Matching … FID score (ターゲットクラスごとに計算し平均) 29
  • 30. FUNIT : 実験結果 • Animal Faces と North American Birds データセッ トにおける実験結果 • 全ての指標で提案⼿法は⾼ い性能を⽰した • Unfairよりも良い 30
  • 31. FUNIT : 実験結果 • StarGANとの⽐較 31
  • 32. FUNIT : 実験結果 • 学習データのクラス数と画像⽣成の性能の関連 • ⽣成画像の質の外観に関する指標は上昇 • ドメイン不変の特徴に関する指標はそんなに変わらず 32
  • 33. FUNIT : 実験結果 • Content CodeはそのままでClass codeをinterpolation 33
  • 34. FUNIT : 実験結果 • (上) クラウドソーシングを利⽤し画像の質を評価 してもらった結果 • ほとんど勝っている 34
  • 35. FUNIT : 実験結果 • ソース画像とターゲット画 像が⼤きく異なる場合 • うまく変換できない • ⾊が変わるだけ • 当たり前な気がする 35
  • 36. FUNIT : 実験結果 • ⽣成画像の例 (K=5) 36
  • 37. FUNIT : 実験結果 • ⽣成画像の例 (K=5) 37
  • 38. FUNIT : まとめ • Few-shot 教師なし画像変換⼿法を提案 • 特徴表現のdisentangleを活⽤ • クラス固有の表現の抽出をうまく汎化できた • 以下の要因が⽣成画像の質を左右 • 学習データのクラス数 • テスト時のターゲットデータの数 • ソース画像とターゲット画像が⼤きく異なると変換不可能 38
  • 39. 参考⽂献 1. M. Liu et al. “Few-Shot Unsupervised Image-to-Image Translation”, arXiv, 2019. 2. M. Liu et al. “Unsupervised Image-to-Image Translation Networks”, NIPS, 2017. 3. X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018. 4. P. Isola et al. “Image-to-Image Translation with Conditional Adversarial Networks”, CVPR, 2017. 5. J. Zhu et al. “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”, ICCV, 2017. 6. A. B. L. Larsen, S. K. Sønderby, H. Larochelle, and O. Winther. “Autoencoding beyond pixels using a learned similarity metric”, International Conference on Machine Learning, 2016. 7. M.-Y. Liu and O. Tuzel. “Coupled generative adversarial networks”, Advances in Neural Information Processing Systems, 2016. 8. X. Huang and S. Belongie. Arbitrary style transfer in realtime with adaptive instance normalization. In IEEE International Conference on Computer Vision (ICCV), 2017. 9. T. Miyato and M. Koyama. “cGANs with projection discriminator”, ICLR, 2018. 10. T. Park et al. “Semantic Image Synthesis with Spatially-Adaptive Normalization”, arXiv, 2019. 11. A. Noguchi et al. “Image Generation from Small Datasets via Batch Statistics Adaptation”, arXiv, 2019. 39
  • 40. 参考⽂献 12. Y. Choi et al. “StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation”, CVPR, 2018. 40