Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
PEPSI : Fast Image Inpainting
with Parallel Decoding Network
Min-cheol Sagong, Yong-goo Shin,
Seung-wook Kim, Seung Park,
...
概要
• Inpaintingのタスクで、GANを使⽤した
coarse-to-fineな既存⼿法を改良
• 推論時の計算コストを減らし、
同等の性能を達成できることを報告
• 既存⼿法と同じく、フリーフォームな
マスクにも対応することが可能
2
⽬次
1. Inpaintingタスクのこれまで
2. PEPSIの詳細
3. PEPSIの結果と議論
3
Inpaintingタスクとは︖
「マスクされた画像」と
「どこがマスクされているかの情報」
をもとに、元の画像を復元するタスク
4
Inpainting
※ 画像引用:https://github.com/JiahuiYu/generativ...
近年のInpaintingタスクの課題
• フリーフォームなマスクへの対応
• 整合性がとれて、ぼやけない画像の⽣成
5
※1 Image Inpainting for Irregular Holes Using Partial Convolu...
• GANのスキームで学習
– Generator︓マスクとマスク済み画像を⼊⼒
し、インペインティング済み画像を出⼒
– Discriminator︓インペインティング済み画像
かオリジナルがどうかを判定
• Generatorはエンコーダー...
既存⼿法のアプローチ①
• Generatorはcoarse-to-fineな
⼆つのNetworkにより画像を⽣成
• Refinement Networkでは、⾮マスク
部分からマスク部分へのアテンションで
あるContextual Att...
既存⼿法のアプローチ②
• エンコーダー・デコーダー構造(U-Net)
• Style Transferのスキームで学習
• マスクを考慮した
Convolution処理と、
ルールベースな
マスクの逐次更新
8
※ 画像引用:Free-For...
既存⼿法のアプローチ③
• アプローチ②をうけた①の発展
• Generator(Coarse)のConvolution処理で
マスクを考慮
• マスクの更新にもtrainableな
重みをを使⽤
9
※ 画像引用:Free-Form Imag...
既存⼿法のアプローチ③
• Discriminatorはフィーチャーマップの
ポイント毎に真偽判定(PatchGAN)
• 各Convolution層の重みには
Spectral Normalizationを適⽤
10
※ 画像引用:Free-...
PEPSIのネットワークアーキテクチャ
• アプローチ①および③の改良
– CoarseなデコーダーとInpaintingを⾏う
デコーダーの⼆つのデコーダーを⽤意
– デコーダー間で重みを共有
– Inpaintingデコーダーは、Conte...
Contextual Attentionの改良
• Attentionを計算する距離関数を
コサイン類似度からtruncatedなユーク
リッド距離に変更
• truncatedなユークリッド距離の⽅が
複雑な画像の補完にも対応できる
• PS...
実験
• ⽐較するデータセットは下記の2パターン
– CelebA-HQデータセットを学習セットと
テストセットに分割して使⽤
– ImageNetのすべての画像を学習セット、
Place2データセットをテストセットに使⽤
• ⽐較対象のモデル...
実験結果① CeleabA-HQ
• 正⽅形のマスクでは、既存⼿法のように
ブラーや崩れなく補完できている
14
※ 画像引用:PEPSI : Fast Image Inpainting with Parallel Decoding Netwo...
実験結果① CeleabA-HQ
• フリーフォームなマスクではより顕著
既存SOTAなGatedConvと同等の性能
15
※ 画像引用:PEPSI : Fast Image Inpainting with Parallel Decoding...
実験結果① CeleabA-HQ
• PSNRやSSIMはGatedConvを超える結果
• 推論速度はGatedConvの半分以下
• PEPSIでもcoarse Networkを使⽤した⽅
が結果が良くなる
16
※ 画像引用:PEPSI ...
実験結果② Place2
17
※ 画像引用:PEPSI : Fast Image Inpainting with Parallel Decoding Network
実験結果② Place2
• Place2データセットでもPSNR、SSIM
ともにGatedConvを上回る性能
18
※ 画像引用:PEPSI : Fast Image Inpainting with Parallel Decoding N...
Upcoming SlideShare
Loading in …5
×

【CVPR 2019】Pepsi fast image inpainting with parallel decoding network

211 views

Published on

cvpaper.challenge はコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文投稿に取り組み、あらゆる知識を共有しています。
http://xpaperchallenge.org/cv/

本資料は、CVPR 2019 網羅的サーベイの成果の一部で、1論文を精読してプレゼンテーション形式でまとめております。論文サマリは下記からご確認頂けます。
http://xpaperchallenge.org/cv/survey/cvpr2019_summaries/listall/

Published in: Technology
  • Be the first to comment

【CVPR 2019】Pepsi fast image inpainting with parallel decoding network

  1. 1. PEPSI : Fast Image Inpainting with Parallel Decoding Network Min-cheol Sagong, Yong-goo Shin, Seung-wook Kim, Seung Park, Sung-jea Ko (Korea university) 資料作成︓Katsuya Shimabukuro 1
  2. 2. 概要 • Inpaintingのタスクで、GANを使⽤した coarse-to-fineな既存⼿法を改良 • 推論時の計算コストを減らし、 同等の性能を達成できることを報告 • 既存⼿法と同じく、フリーフォームな マスクにも対応することが可能 2
  3. 3. ⽬次 1. Inpaintingタスクのこれまで 2. PEPSIの詳細 3. PEPSIの結果と議論 3
  4. 4. Inpaintingタスクとは︖ 「マスクされた画像」と 「どこがマスクされているかの情報」 をもとに、元の画像を復元するタスク 4 Inpainting ※ 画像引用:https://github.com/JiahuiYu/generative_inpainting
  5. 5. 近年のInpaintingタスクの課題 • フリーフォームなマスクへの対応 • 整合性がとれて、ぼやけない画像の⽣成 5 ※1 Image Inpainting for Irregular Holes Using Partial Convolutions ※2 Free-Form Image Inpainting with Gated Convolution ※3 Generative Image Inpainting with Contextual Attention ※2※1 ※3 ※1
  6. 6. • GANのスキームで学習 – Generator︓マスクとマスク済み画像を⼊⼒ し、インペインティング済み画像を出⼒ – Discriminator︓インペインティング済み画像 かオリジナルがどうかを判定 • Generatorはエンコーダー・デコーダー Deep NNによるInpaintingの基本構造 6 ※ 画像引用:Globally and Locally Consistent Image Completion
  7. 7. 既存⼿法のアプローチ① • Generatorはcoarse-to-fineな ⼆つのNetworkにより画像を⽣成 • Refinement Networkでは、⾮マスク 部分からマスク部分へのアテンションで あるContextual Attentionを利⽤ • GANロスはWGAN-GPを使⽤ 7 ※ 画像引用:Generative Image Inpainting with Contextual Attention
  8. 8. 既存⼿法のアプローチ② • エンコーダー・デコーダー構造(U-Net) • Style Transferのスキームで学習 • マスクを考慮した Convolution処理と、 ルールベースな マスクの逐次更新 8 ※ 画像引用:Free-Form Image Inpainting with Gated Convolution
  9. 9. 既存⼿法のアプローチ③ • アプローチ②をうけた①の発展 • Generator(Coarse)のConvolution処理で マスクを考慮 • マスクの更新にもtrainableな 重みをを使⽤ 9 ※ 画像引用:Free-Form Image Inpainting with Gated Convolution
  10. 10. 既存⼿法のアプローチ③ • Discriminatorはフィーチャーマップの ポイント毎に真偽判定(PatchGAN) • 各Convolution層の重みには Spectral Normalizationを適⽤ 10 ※ 画像引用:Free-Form Image Inpainting with Gated Convolution
  11. 11. PEPSIのネットワークアーキテクチャ • アプローチ①および③の改良 – CoarseなデコーダーとInpaintingを⾏う デコーダーの⼆つのデコーダーを⽤意 – デコーダー間で重みを共有 – Inpaintingデコーダーは、Contextual Attentionを考慮したフィーチャーを⼊⼒ 11 ※ 画像引用:PEPSI : Fast Image Inpainting with Parallel Decoding Network
  12. 12. Contextual Attentionの改良 • Attentionを計算する距離関数を コサイン類似度からtruncatedなユーク リッド距離に変更 • truncatedなユークリッド距離の⽅が 複雑な画像の補完にも対応できる • PSNRやSSIMの値も改善する 12 ※ 画像引用:PEPSI : Fast Image Inpainting with Parallel Decoding Network (a) 元画像 (b) マスク画像 (c) コサイン類似度によるCAM使用 (d) truncatedなユークリッド距離によるCAM使用
  13. 13. 実験 • ⽐較するデータセットは下記の2パターン – CelebA-HQデータセットを学習セットと テストセットに分割して使⽤ – ImageNetのすべての画像を学習セット、 Place2データセットをテストセットに使⽤ • ⽐較対象のモデルは下記4つ – Context Encoder(CE) – Globally and Locally Consistent(GL) – Contextual Attention(GCA) – Gated Convolution(GatedConv) 13
  14. 14. 実験結果① CeleabA-HQ • 正⽅形のマスクでは、既存⼿法のように ブラーや崩れなく補完できている 14 ※ 画像引用:PEPSI : Fast Image Inpainting with Parallel Decoding Network
  15. 15. 実験結果① CeleabA-HQ • フリーフォームなマスクではより顕著 既存SOTAなGatedConvと同等の性能 15 ※ 画像引用:PEPSI : Fast Image Inpainting with Parallel Decoding Network
  16. 16. 実験結果① CeleabA-HQ • PSNRやSSIMはGatedConvを超える結果 • 推論速度はGatedConvの半分以下 • PEPSIでもcoarse Networkを使⽤した⽅ が結果が良くなる 16 ※ 画像引用:PEPSI : Fast Image Inpainting with Parallel Decoding Network *はCoarse Networkを使用しない場合の結果
  17. 17. 実験結果② Place2 17 ※ 画像引用:PEPSI : Fast Image Inpainting with Parallel Decoding Network
  18. 18. 実験結果② Place2 • Place2データセットでもPSNR、SSIM ともにGatedConvを上回る性能 18 ※ 画像引用:PEPSI : Fast Image Inpainting with Parallel Decoding Network

×