FUNITの解説です UNIT, MUNITも資料に入ってます

1. Few-Shot Unsupervised
Image-to-Image Translation
2019/07/09
1

2. 書誌情報
• 書誌情報
• 論⽂誌 : arXiv
• ⽇時 : 2019/05/05
• 著者 : NVIDIAの研究グループ
• 概要
• Few-shot画像変換
(変換先のクラスを数枚与える
だけでそのクラスに変換)
2

3. 発表内容
• 本発表では, 同じ著者の論⽂を順に追っていきます
• Unsupervised Image-to-Image Translation Networks (UNIT)
• Multimodal Unsupervised Image-to-Image Translation (MUNIT)
• Few-Shot Unsupervised Image-to-Image Translation (FUNIT)
• 全て教師なし画像変換に関する論⽂
• Few-shot画像変換が実現するまで, どのようにアルゴリズムが
発展してきたかを確認
• その他関連する論⽂も適宜紹介
3

4. 発表内容
1. 画像変換とは
2. Unsupervised Image-to-Image Translation Networks
3. Multimodal Unsupervised Image-to-Image Translation
4. Few-Shot Unsupervised Image-to-Image Translation
5. まとめ
4

5. 画像変換とは
• 画像変換とは？
• 画像をあるドメインから異なるドメインへ変換する
• 教師なし画像変換とは？
• 学習データの画像がペアで与えられない
• e.g. ) Cycle GAN
5
P. Isola et al. “Image-to-Image Translation with Conditional Adversarial Networks”, CVPR, 2017.
J. Zhu et al. “Unpaired Image-to-Image
Translation using Cycle-Consistent
Adversarial Networks”, ICCV, 2017.

6. UNIT : お気持ち
• 教師なし画像変換の問題を以下のように定義
• 2つのドメインの画像集合の周辺分布 , から,
それらの同時確率分布 を推定
• しかし, このような問題では, 無数の同時確率分布が存在する
Ø2つのデータ集合の潜在表現が共通であるという仮定 (制限) を与える
6
p(x)<latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit><latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit><latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit><latexit sha1_base64="0+4Ij84Js/uBYslO5ZgWbYtGzMs=">AAACZ3ichVHLSsNAFD2N7/poVZCCm2qp1E25EUFxJbpx2VargpaSxKkNpklI0qIWf8CFWwVXCiLiZ7jxB1z4CeKyghsX3qQB0aLeYWbOnLnnzpkZ1TZ01yN6jkhd3T29ff0D0cGh4ZFYfHRs07XqjiaKmmVYzraquMLQTVH0dM8Q27YjlJpqiC31YNXf32oIx9Utc8M7skWppuybekXXFM+n7MzhbDmeoiwFkewEcghSCCNnxW+xiz1Y0FBHDQImPMYGFLjcdiCDYDNXQpM5h5Ee7AucIMraOmcJzlCYPeBxn1c7IWvy2q/pBmqNTzG4O6xMIk1PdEcteqR7eqGPX2s1gxq+lyOe1bZW2OXYaWL9/V9VjWcP1S/Vn549VLAYeNXZux0w/i20tr5xfN5aXyqkmzN0Ta/s/4qe6YFvYDbetJu8KFwiyh8g/3zuTrA5l5UpK+fnU8sr4Vf0YxLTyPB7L2AZa8ihyOdWcYZzXERepJg0ISXaqVIk1IzjW0hTn+qoitc=</latexit>
p(y)<latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit><latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit><latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit><latexit sha1_base64="4klhT4sMzYp2oTuneqra/WB3X84=">AAACZ3ichVHLSsNAFD2Nr1ofrQpScFMtlbopNyIorkQ3LuujD6hFkjja0DQJSVqoxR9w4VbBlYKI+Blu/AEXfoK4VHDjwps0ICrqHWbmzJl77pyZUW1Ddz2ix4jU09vXPxAdjA0Nj4zGE2PjRddqOpooaJZhOWVVcYWhm6Lg6Z4hyrYjlIZqiJJaX/P3Sy3huLplbnttW1QbyoGp7+ua4vmUnW3P7SbSlKMgUj+BHII0wshbiWvsYA8WNDTRgIAJj7EBBS63CmQQbOaq6DDnMNKDfYEjxFjb5CzBGQqzdR4PeFUJWZPXfk03UGt8isHdYWUKGXqgG3qhe7qlJ3r/tVYnqOF7afOsdrXC3o0fJ7fe/lU1ePZQ+1T96dnDPpYCrzp7twPGv4XW1bcOT1+2ljcznVm6pGf2f0GPdMc3MFuv2tWG2DxHjD9A/v7cP0FxPidTTt5YSK+shl8RxRRmkOX3XsQK1pFHgc+t4QSnOIs8SXFpUkp2U6VIqJnAl5CmPwDsqYrY</latexit>
p(x, y)<latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit><latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit><latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit><latexit sha1_base64="mK0gl4wPbSmTxHqNnpYs5hW7Woc=">AAACanichVG7SgNBFD1Z3/EVtVFsgjGiIOGuCIpV0MbSV4ygIeyuY1zcF7ubYAz+gJ2VYCoFEfEzbPwBCz9BtFOwsfDuZkE0qHeYmTNn7rlzZkZ1DN3ziR5jUktrW3tHZ1e8u6e3rz8xMLjp2WVXEznNNmx3S1U8YeiWyPm6b4gtxxWKqRoirx4sBfv5inA93bY2/KojCqZSsvQ9XVN8pvLO5OF0sjpVTKQoQ2Ekm4EcgRSiWLET19jBLmxoKMOEgAWfsQEFHrdtyCA4zBVQY85lpIf7AseIs7bMWYIzFGYPeCzxajtiLV4HNb1QrfEpBneXlUmk6YFu6JXu6Zae6OPXWrWwRuClyrPa0Aqn2H8yvP7+r8rk2cf+l+pPzz72MB961dm7EzLBLbSGvnJ09rq+sJauTdAlPbP/C3qkO76BVXnTrlbFWh1x/gD553M3g82ZjEwZeXU2lV2MvqIToxjDJL/3HLJYxgpyobtTnKMee5EGpRFptJEqxSLNEL6FNP4J6WuLug==</latexit>
M. Liu et al. “Unsupervised Image-to-Image
Translation Networks”, NIPS, 2017.

7. UNIT : 提案⼿法
• ネットワーク構造
• VAE + GAN (VAE-GAN)
• ドメインごとにE, G, Dがある
• ⼀部の層で重みを共有 (右図点線 CoGAN)
• 潜在表現の分布が共通と仮定
• 損失関数
• VAE loss
• GAN loss
• Cycle consistency loss
7

8. UNIT : 実験 (画像変換)
8M. Liu et al. “Unsupervised Image-to-Image Translation Networks”, NIPS, 2017.

9. UNIT : 実験 (ドメイン適応)
• 以下のマルチタスク学習
1. ソースドメインとターゲットドメインで画像変換
2. ソースドメインの画像をdiscriminatorから得た特徴で分類
3. 変換前後の画像でdiscriminatorの出⼒が近くなるように
9
M. Liu et al. “Unsupervised Image-to-Image Translation Networks”, NIPS, 2017.

10. UNIT : まとめ
• 潜在空間が共通であるという仮定を基に, 教師なし画像変換の
フレームワークを提案
• VAE-GAN, Coupled GANベースのネットワーク構造
• VAE loss, GAN loss, Cycle consistency lossでモデルを学習
• 以下の実験で⼿法の有効性を確認
• 複数データセットにおける画像変換を定性的に確認
• ドメイン適応における分類スコアを他の⼿法と⽐較
10

11. MUNIT : お気持ち
• ターゲットドメインがマルチモーダルという問題設定
• 既存⼿法(pix2pixやcycle GAN)ではマルチモーダルな変換を扱うことができない
• ⼊⼒にノイズを⼊れて⽣成を確率的にしているが, あまり効いていない (pix2pix 参照)
• 本論⽂では潜在表現をcontentとstyleにdisentangle (分解) することにより実現
• Content … 空間的な構造に関する情報, ドメイン不変
• Style … rendering (外観)に関する情報,ドメイン固有
11
Big catから
house cat
への変換
House catには
⾊々な種類がいる
(マルチモーダル)
X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.

12. MUNIT : 提案⼿法
• どのようにdisentangleするか
• それぞれの潜在表現に以下の仮定を適⽤
• Content codeは空間情報を含む⾼次元の特徴マップ
• 複雑な空間的構造を表現できるように
• Style codeは空間情報を含まない⽐較的次元が低い特徴ベクトル
• ガウシアンからサンプル
• Style codeの効果は⼤域的かつ⽐較的シンプルであるため
12
X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.

13. MUNIT : 提案⼿法
• 以下のLossで学習
• 再構成誤差
• 潜在表現の再構成誤差
• Adversarial Loss (⽣成画像の質)
13
X. Huang et al. “Multimodal Unsupervised Image-to-
Image Translation”, ECCV, 2018.

14. MUNIT : 実験結果
• Edge to Shoe
• スタイルは正規分布からサンプル
14X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
既存⼿法でマルチモー
ダルな変換は難しい
提案⼿法は多様な画像
を⽣成できた
教師ありの⼿法

15. MUNIT : 実験結果
• Animal to Animal
• かなり多様な画像に変換できている感じがある
• 顔の向きは保存されている (content と style をうまくdisentangleできている)
15X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.

16. MUNIT : 実験結果
• Example-basedな画像変換
• 2枚の画像の content と style を⼊れ替える
16X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.

17. MUNIT : まとめ
• 特徴空間をcontentとstyleにdisentangleすることにより, 教師
なし学習によるマルチモーダルな画像変換を実現
• 実験では画像の質と多様性を評価
• 既存の教師なしの⼿法を⼤きく上回った
• 教師ありの⼿法に近い結果
17

18. FUNIT : 概要
• Few-shot 教師なし画像変換
• ソースクラスからターゲットクラスへの画像変換
• テスト時は, 未知のターゲットクラスの画像が数枚のみ与えられる
• 過去の経験を活⽤して未知のクラスも効率的に対処できることを⽬指す
• 例) ⾊々な⽝を⾒た経験があれば未知の⽝種でも特徴を捉えられる/整理できる
• いくつかのデータセットで検証
• 動物の顔
• ⿃
• 花
• ⾷べ物
18

19. FUNIT : お気持ち
• 特徴表現のdisentangleの活⽤
• クラス不変な特徴 … 空間的な構造に関する情報
• クラス固有の特徴 … 外観に関する構造
ØFew-shotの画像変換では, クラス固有の特徴を少ないデータか
ら, いかに取り出し, 変換に反映させるかが課題となる
• ネットワークアーキテクチャの⼯夫
• 学習⽅法の⼯夫
19

20. FUNIT : ネットワーク構造
• Generatorは3つの部分からなる
• content encoder
• class encoder
• decoder
20

21. FUNIT : ネットワーク構造
• Generatorは3つの部分からなる
• content encoder
• class encoder
• decoder
21
Content image (変換元画像)
をContent Code (ドメイン不
変の特徴) に変換

22. FUNIT : ネットワーク構造
• Generatorは3つの部分からなる
• content encoder
• class encoder
• decoder
22
Class Image (変換先画像) か
らClass Code (クラス固有の特
徴) を抽出
• 複数枚の結果を平均

23. FUNIT : ネットワーク構造
• Generatorは3つの部分からなる
• content encoder
• class encoder
• decoder
23
Content Code (ドメイン不変の特徴) とClass
Code (ドメイン固有の特徴)から画像を⽣成
• ResBlockの正規化はAdaIN (Adaptive
Instance Normalization)
• Class Codeは, AdaINの際のAffine変換の
パラメータとして⼊⼒される

24. Adaptive Instance Normalization (AdaIN)
• スタイル変換の論⽂(8で紹介された⼿法
• 特徴マップを平均, 分散で正規化したのちにスケールとバイアスを与える
• スケールとバイアスによりスタイルを制御
• 特徴マップのスケールはGANでも重要
• 最新のcGANでは, クラスを特徴マップのスケールにより制御(9, 10
Ø特徴マップのスケールを学習することで狙ったクラスの画像が⽣成できるように
なる？
24
AdaIN(x, y) = (y)(
x µ(x)
(x)
) + µ(y)
<latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit><latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit><latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit><latexit sha1_base64="p7PDtj53n7FAD2QYDp+X3ne5keE=">AAACqnichVFNaxNRFD2d+lHjR9O6Ebp5GCoTrOGOFBRBqBXBbqRNTVvJlPBm8hIfnS9mJiFxyB/wD3ThqoJI6c9w49aFi+ovEJcV3LjwZjIgWtQ7zHvnnXvPfee950SeTlKi4ylj+szZc+dnLpQuXrp8ZbY8N7+VhL3YVQ039MJ4x5GJ8nSgGqlOPbUTxUr6jqe2nb2H4/x2X8WJDoOn6TBSu77sBrqjXZky1So/yuzYFw/acu3JyBwsiWFV3Bd2oru+NBmbdieWbjYQt4Tt98xBdZQVSYZVcTNnh9VWuUI1ykOcBlYBKihiPSy/hY02QrjowYdCgJSxB4mEvyYsECLmdpExFzPSeV5hhBJre1yluEIyu8djl1fNgg14Pe6Z5GqXd/H4j1kpsEgf6ZBO6D0d0Rf68ddeWd5j7GXIszPRqqg1+/La5vf/qnyeUzz/pfqn5xQd3M29avYe5cz4FO5E33+xf7J5r76Y3aDX9JX9H9AxveMTBP1v7psNVX+FEj+A9ed1nwZbt2sW1ayN5crKavEUM1jAdZh833ewgsdYR4P3PcIHfMJnY8moG8+M5qTUmCo0V/FbGO2fpCmheg==</latexit>
μ(x), σ(x)は特徴マップの平均・分
散
X. Huang and S. Belongie. Arbitrary style transfer in
realtime with adaptive instance normalization. ICCV, 2017.

25. FUNIT : ネットワーク構造
• Discriminator
• 出⼒次元がクラス数と同じ
• クラス の真偽を判定
25
cx<latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit><latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit><latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit><latexit sha1_base64="zdOyeUs6T2GIV3UdD8fBqLvPL0A=">AAACZ3ichVG7SgNBFD1ZXzE+EhVEsIkGxSrcFUGxEm0s4yNRUAm766hL9sXuJKjBH7CwjWClICJ+ho0/YOEniGUEGwvvbhZERb3DzJw5c8+dMzO6Z5mBJHpKKG3tHZ1dye5UT29ffzozMFgK3KpviKLhWq6/qWuBsExHFKUpLbHp+UKzdUts6JWlcH+jJvzAdJ11eeSJHVvbd8w909BkSBnlw1Q5k6M8RZH9CdQY5BBHwc3cYBu7cGGgChsCDiRjCxoCbltQQfCY20GdOZ+RGe0LnCDF2ipnCc7QmK3wuM+rrZh1eB3WDCK1wadY3H1WZjFBj3RLTXqgO3qm919r1aMaoZcjnvWWVnjl9OnI2tu/KptniYNP1Z+eJfYwF3k12bsXMeEtjJa+dtxors2vTtQn6Ype2P8lPdE938CpvRrXK2L1AuEHqN+f+ycoTedVyqsrM7mFxfgrkhjFOKb4vWexgGUUUORzD3CGBs4Tz0paGVZGWqlKItYM4UsoYx8A/ori</latexit>

26. FUNIT : 学習⽅法
• : ⼊⼒画像, : 変換画像, : ターゲット画像 (全K枚)
• Adversarial loss
• 再構成誤差
• feature matching loss
• これらの和を⽬的関数とする
26
x<latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit><latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit><latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit><latexit sha1_base64="VLSTCJiWscQjaEaN/ZlIvbExrS8=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMWIW7IihWQRtLTYwRVMLuOtHFfbG7CcaQH7CzEkylICJ+ho0/YOEniHYKNhbebBZEg3qHmTlz5p47Z2ZUx9A9n+gxInV19/T2RftjA4NDwyPx0cSmZ1dcTRQ027DdLVXxhKFbouDrviG2HFcopmqIonq40tovVoXr6ba14dccsWsq+5Ze1jXFZ6pY33HN5FGjFE9RhoJIdgI5BCmEsWbHr7GDPdjQUIEJAQs+YwMKPG7bkEFwmNtFnTmXkR7sCzQQY22FswRnKMwe8rjPq+2QtXjdqukFao1PMbi7rEwiTQ90Q690T7f0RB+/1qoHNVpeajyrba1wSiMn4/n3f1Umzz4OvlR/evZRxmLgVWfvTsC0bqG19dXjs9f8Ui5dn6FLemb/F/RId3wDq/qmXa2LXBMx/gD553N3gs25jEwZeX0+lV0OvyKKSUxhlt97AVmsYg2FwN0pztGMvEgJaUKabKdKkVAzhm8hTX8ChXmMhw==</latexit>
x<latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit><latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit><latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit><latexit sha1_base64="f1lkudTahBiLQDzN2kPBxBDQXPE=">AAACd3ichVHLSsNAFD2N7/po1Y3gwmJRXJUbERRXohuXrdoqWClJHDU0L5K0VEN/wB9wIQgKUsXPcOMPuPATxKWCCC68SQOiot5hZs6cuefOmRnVMXTPJ3pISB2dXd09vX3J/oHBoVR6eKTk2TVXE0XNNmx3S1U8YeiWKPq6b4gtxxWKqRpiU62uhPubdeF6um1t+IeO2DGVfUvf0zXFZ6qSHgnKrpkp25wTlggazWYlnaUcRZH5CeQYZBFH3k63UMYubGiowYSABZ+xAQUet23IIDjM7SBgzmWkR/sCTSRZW+MswRkKs1Ue93m1HbMWr8OaXqTW+BSDu8vKDKbonq7pme7ohh7p/ddaQVQj9HLIs9rWCqeSOh5bf/1XZfLs4+BT9adnH3tYiLzq7N2JmPAWWltfPzp5Xl9cmwqm6YKe2P85PdAt38Cqv2iXBbF2iiR/gPz9uX+C0mxOppxcmMsuLcdf0YtxTGKG33seS1hFHkU+t4EztHCVeJMmpGlppp0qJWLNKL6EJH8ATd+R3g==</latexit>
yk<latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit><latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit><latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit><latexit sha1_base64="yfshLox1yV2gyFHDYfZVY5z9CZA=">AAACbHichVG7SgNBFD1Z3/GR+CiEIASDYhXuiqBYiTaW0RijmBB211GX7IvdTSCG/ICthYVaKIiIn2HjD1j4CSLYRLCx8GazICrqHWbmzJl77pyZUR1D93yix4jU0dnV3dPbF+0fGByKxYdHNj274moip9mG7W6piicM3RI5X/cNseW4QjFVQ+TV8kprP18Vrqfb1oZfc0TRVPYtfU/XFJ+p7XrBNZO1UrlRiqcoTUEkfwI5BCmEkbHj1yhgFzY0VGBCwILP2IACj9sOZBAc5oqoM+cy0oN9gQairK1wluAMhdkyj/u82glZi9etml6g1vgUg7vLyiSm6IFuqEn3dEtP9P5rrXpQo+WlxrPa1gqnFDsaz779qzJ59nHwqfrTs489LARedfbuBEzrFlpbXz08aWYX16fq03RJz+z/gh7pjm9gVV+1qzWxfooof4D8/bl/gs3ZtExpeW0utbQcfkUvEpjEDL/3PJawigxyfK6JY5zhPPIijUkJaaKdKkVCzSi+hDT9AWw5jWY=</latexit>
⽣成画像とターゲット
画像間のfeatureの誤差
は最終層を除いた
discriminator
Df<latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit><latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit><latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit><latexit sha1_base64="1+q+BxUVFddJudZ1UEWe8UxbQK8=">AAACZnichVHLSsNAFD2Nr1ofrYoouCkWxVW5EUFxVdSFy2qtFmopSZzW0DQJSVqoxR8Q3NqFKwUR8TPc+AMu/APFpYIbF96mAdGi3mFmzpy5586ZGdU2dNcjegxJPb19/QPhwcjQ8MhoNDY2vutaNUcTWc0yLCenKq4wdFNkPd0zRM52hFJVDbGnVtbb+3t14bi6Ze54DVsUqkrZ1Eu6pnhMZTaKpWIsQUnyI94N5AAkEETail1jHwewoKGGKgRMeIwNKHC55SGDYDNXQJM5h5Hu7wscI8LaGmcJzlCYrfBY5lU+YE1et2u6vlrjUwzuDivjmKMHuqFXuqdbeqaPX2s1/RptLw2e1Y5W2MXoyXTm/V9VlWcPh1+qPz17KGHF96qzd9tn2rfQOvr6Ues1s7o915ynS3ph/xf0SHd8A7P+pl1tie1zRPgD5J/P3Q12F5MyJeWtpURqLfiKMGYwiwV+72WksIk0snxuGac4Qyv0JI1Kk9JUJ1UKBZoJfAsp/glkE4qd</latexit>

27. FUNIT : 実験
• ハイパーパラメータ
•
• 学習率 : 0.0001
• 最適化 : RMSProp
• Adversarial loss : hinge loss
• K : 学習時 1, テスト時1, 5, 10, 15, 20
• データセット
• Animal Faces : ImageNetから⾁⾷獣のクラスを抽出し構築
• Birds : 北⽶の555種類の⿃の種類を集めたデータセット, 全48527枚
• Flowers : 102種類の花の画像, 全8189枚
• Foods : 256種類の⾷べ物画像のデータセット, 全31395枚, 電通⼤
• いずれも学習時に⽤いるソースクラスと, テスト時に⽤いられるターゲットクラスに分割
27
R = 0.1, F = 0.1<latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit><latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit><latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit><latexit sha1_base64="yUz3dh9Rs2AS8vXVi9z8Odmbggs=">AAACiXichVHLSsNAFD3Gd31V3QhuglVxIeVGBEtBKAriUqutgpaSxFFD0yQkaaEWf6A/4MKVgoi4catbN/6ACz9BXFZw48LbNCha1Bsyc+bMPXfOzNUc0/B8oqc2qb2js6u7pzfS1z8wOBQdHsl6dsnVRUa3Tdvd1lRPmIYlMr7hm2LbcYVa1EyxpRWWG/tbZeF6hm1t+hVH5IrqgWXsG7rqM5WPTu6anLyn5qvpY3lRprgyK39SKyGVj8YoTkHIrUAJQQxhrNnRS+xiDzZ0lFCEgAWfsQkVHn87UEBwmMuhypzLyAj2BY4RYW2JswRnqMwWeDzg1U7IWrxu1PQCtc6nmPy7rJQxRY90RXV6oGt6pvdfa1WDGg0vFZ61plY4+aHa2Mbbv6oizz4Ov1R/evaxj0Tg1WDvTsA0bqE39eWjk/pGMj1VnaZzemH/Z/RE93wDq/yqX6yL9Cki3ADl53O3guxcXOFurc/HUkthK3owjgnM8HsvIIVVrCHD59Zwg1vcSX2SIiWkZDNVags1o/gW0vIHpGiVNA==</latexit>
T. Miyato and M. Koyama. “cGANs with projection discriminator”, ICLR, 2018.

28. FUNIT : 実験
• ベースライン
• Fair … FUNITと同じ条件 (ターゲットクラスは学習時に⽤いない)
• StarGAN-Fair-K : StarGAN(12の拡張
• Unfair … ターゲットクラス (K枚) も使⽤して学習
• StarGAN-Unfair-K
• CycleGAN-Unfair-K
• UNIT-Unfair-K
• MUNIT-Unfair-K
28

29. FUNIT : 実験
• 評価⽅法
• ソースクラスから25,000枚の画像をサンプル
• ターゲットクラスの画像を各クラスK枚ずつサンプル (K=1, 5, 10, 15, 20)
• 画像変換を⾏い結果を⽐較
• 評価指標
• 4つの観点から評価
1. Translation Accuracy … 分類器により, ⽣成された画像が正しいクラスに分類されるか
2. Content Preservation … domain invariant perceptual distance (Instance
Normalization してから特徴マップの距離を計算する)
3. Photorealizm … Inception Scoreで計算
4. Distribution Matching … FID score (ターゲットクラスごとに計算し平均)
29

30. FUNIT : 実験結果
• Animal Faces と North
American Birds データセッ
トにおける実験結果
• 全ての指標で提案⼿法は⾼
い性能を⽰した
• Unfairよりも良い
30

31. FUNIT : 実験結果
• StarGANとの⽐較
31

32. FUNIT : 実験結果
• 学習データのクラス数と画像⽣成の性能の関連
• ⽣成画像の質の外観に関する指標は上昇
• ドメイン不変の特徴に関する指標はそんなに変わらず
32

33. FUNIT : 実験結果
• Content CodeはそのままでClass codeをinterpolation
33

34. FUNIT : 実験結果
• (上) クラウドソーシングを利⽤し画像の質を評価
してもらった結果
• ほとんど勝っている
34

35. FUNIT : 実験結果
• ソース画像とターゲット画
像が⼤きく異なる場合
• うまく変換できない
• ⾊が変わるだけ
• 当たり前な気がする
35

36. FUNIT : 実験結果
• ⽣成画像の例
(K=5)
36

37. FUNIT : 実験結果
• ⽣成画像の例
(K=5)
37

38. FUNIT : まとめ
• Few-shot 教師なし画像変換⼿法を提案
• 特徴表現のdisentangleを活⽤
• クラス固有の表現の抽出をうまく汎化できた
• 以下の要因が⽣成画像の質を左右
• 学習データのクラス数
• テスト時のターゲットデータの数
• ソース画像とターゲット画像が⼤きく異なると変換不可能
38

39. 参考⽂献
1. M. Liu et al. “Few-Shot Unsupervised Image-to-Image Translation”, arXiv, 2019.
2. M. Liu et al. “Unsupervised Image-to-Image Translation Networks”, NIPS, 2017.
3. X. Huang et al. “Multimodal Unsupervised Image-to-Image Translation”, ECCV, 2018.
4. P. Isola et al. “Image-to-Image Translation with Conditional Adversarial Networks”, CVPR, 2017.
5. J. Zhu et al. “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”,
ICCV, 2017.
6. A. B. L. Larsen, S. K. Sønderby, H. Larochelle, and O. Winther. “Autoencoding beyond pixels using a
learned similarity metric”, International Conference on Machine Learning, 2016.
7. M.-Y. Liu and O. Tuzel. “Coupled generative adversarial networks”, Advances in Neural Information
Processing Systems, 2016.
8. X. Huang and S. Belongie. Arbitrary style transfer in realtime with adaptive instance normalization.
In IEEE International Conference on Computer Vision (ICCV), 2017.
9. T. Miyato and M. Koyama. “cGANs with projection discriminator”, ICLR, 2018.
10. T. Park et al. “Semantic Image Synthesis with Spatially-Adaptive Normalization”, arXiv, 2019.
11. A. Noguchi et al. “Image Generation from Small Datasets via Batch Statistics Adaptation”, arXiv,
2019.
39

40. 参考⽂献
12. Y. Choi et al. “StarGAN: Unified Generative Adversarial Networks for Multi-Domain
Image-to-Image Translation”, CVPR, 2018.
40