Recommended
Recommended
More Related Content
Similar to Mask Guided Portrait Editing with conditional GANs
Similar to Mask Guided Portrait Editing with conditional GANs (20)
Recently uploaded
Recently uploaded (8)
Mask Guided Portrait Editing with conditional GANs
- 1. 名古屋CV・PRML勉強会 Mask-Guided Portrait Editing with Conditional GANs Hiroki Adachi
- 2. 自己紹介 研究分野 (Research fields) コンピュータビジョン （生成モデル，距離推定） 足立浩規 (Hiroki Adachi) 修士2年 名前 (Name) Machine Perception and Robotics Group 所属 (Affiliation)
- 5. •Generative Adversarial Networks[Goodfellow+, NIPS’14]の略 - GeneratorとDiscriminatorを競い合わせた学習 • Generator：本物っぽい画像を生成 • Discriminator：生成画像か実画像かを正確に判別 GANsとは 5 Generator (偽札職人) Discriminator (警察官) ノイズベクトル 生成画像 実画像 or GANsの目的関数
- 6. •Generative Adversarial Networks[Goodfellow+, NIPS’14]の略 - GeneratorとDiscriminatorを競い合わせた学習 • Generator：本物っぽい画像を生成 • Discriminator：生成画像か実画像かを正確に判別 GANsとは 6 Generator (偽札職人) Discriminator (警察官) ノイズベクトル 生成画像 実画像 or GANsの目的関数 最小化
- 7. •Generative Adversarial Networks[Goodfellow+, NIPS’14]の略 - GeneratorとDiscriminatorを競い合わせた学習 • Generator：本物っぽい画像を生成 • Discriminator：生成画像か実画像かを正確に判別 GANsとは 7 Generator (偽札職人) Discriminator (警察官) ノイズベクトル 生成画像 実画像 or GANsの目的関数 最大化
- 8. •ネットワークへの入力は4種類 - ソース画像andマスク - ターゲット画像andマスク •3段構造のネットワーク構成 - Local Embedding Sub-Network • 顔の成分（口や目）の特徴を抽出 - Mask-Guided Generative Sub-Network • ターゲットマスクから顔を生成 - Background Fusing Sub-Network • ターゲット画像の背景にペースト ネットワークのOverview 9
- 9. •ネットワークへの入力は4種類 - ソース画像andマスク - ターゲット画像andマスク •3段構造のネットワーク構成 - Local Embedding Sub-Network • 顔の成分（口や目）の特徴を抽出 - Mask-Guided Generative Sub-Network • ターゲットマスクから顔を生成 - Background Fusing Sub-Network • ターゲット画像の背景にペースト ネットワークのOverview 10
- 10. •Helen datasetで学習したFCNによりソースマスクを取得 Local Embedding Sub-Network 11 ①
- 11. •Helen datasetで学習したFCNによりソースマスクを取得 •顔を5つの領域に分割 - 右目，左目，口，肌と鼻，髪 Local Embedding Sub-Network 12 ②
- 12. •Helen datasetで学習したFCNによりソースマスクを取得 •顔を5つの領域に分割 - 右目，左目，口，肌と鼻，髪 •分割した領域をAutoencoderへ入力 - Encoderの出力へInstance-wise average poolingを追加 Local Embedding Sub-Network 13 右目，左目．．． 各要素に関する再構成誤差
- 13. •ネットワークへの入力は4種類 - ソース画像andマスク - ターゲット画像andマスク •3段構造のネットワーク構成 - Local Embedding Sub-Network • 顔の成分（口や目）の特徴を抽出 - Mask-Guided Generative Sub-Network • ターゲットマスクから顔を生成 - Background Fusing Sub-Network • ターゲット画像の背景にペースト ネットワークのOverview 14
- 15. •ターゲットマスクをEncoderへ入力 •local embedding sub-netのEncoderの出力を結合 •結合したテンソルをGmへ入力 Mask-Guided Generative Sub-Network 16 : 各要素の中心位置 : 全要素が0のテンソル 口を結合するときの例 中心位置を利用してコピー Concat
- 16. •ネットワークへの入力は4種類 - ソース画像andマスク - ターゲット画像andマスク •3段構造のネットワーク構成 - Local Embedding Sub-Network • 顔の成分（口や目）の特徴を抽出 - Mask-Guided Generative Sub-Network • ターゲットマスクから顔を生成 - Background Fusing Sub-Network • ターゲット画像の背景にペースト ネットワークのOverview 17
- 23. •データセット（合計22,000） - Helen Dataset • 2,330枚の顔画像（学習用：2,000，評価用：330） - VGGFace2から20,000枚 • マスク画像のバリエーションを増やすために使用 •各インスタンスの入力サイズ - 目（左右）：48x32 - 口：144x80 - 肌：256x256 - 髪：256x256 実験概要 24
- 24. •ローカルな特徴抽出により詳細な情報のキープが可能 - 目の大きさ，肌の色，髪の色 Ablation study 25 setting1) global autoencoderのみ使用 setting2) local autoencoderも使用 setting3) 手法すべてを使用
- 25. •ローカルな特徴抽出により詳細な情報のキープが可能 - 目の大きさ，肌の色，髪の色 •手法すべてを使用することで，輪郭のガタつきが削減可能 •手法の全部入りが最も高いFIDのスコア - 他の設定と比較して，2ポイント以上良い Ablation study 26 setting1) global autoencoderのみ使用 setting2) local autoencoderも使用 setting3) 手法すべてを使用 設定ごとのFIDのスコア
- 27. •実験1: ターゲットマスクに変更を加える •実験2: 他の画像を使用してターゲット画像の顔の要素を置き換える Face editing & Face swap+ 28
- 28. •実験1: ターゲットマスクに変更を加える •実験2: 他の画像を使用してターゲット画像の顔の要素を置き換える Face editingの結果 29 マスク画像に変更を加えて生成した例 生成画像の一部を他の画像の要素で置き換えた例
- 29. •実験1: ターゲットマスクに変更を加える •実験2: 他の画像を使用してターゲット画像の顔の要素を置き換える Face editingの結果 30 マスク画像に変更を加えて生成した例 生成画像の一部を他の画像の要素で置き換えた例
- 32. 33