2003年に発表されたPIEの日本語実装論文です。 論文情報 「勾配ベースの画像編集 : Poisson Image Editing」(2010) ・著者：山崎　俊彦　(東京大学大学院 情報理工学系研究科 電子情報学専攻) ・映像情報メディア学会誌64巻に掲載 PIEの論文情報 「Poisson Image Editing」(2003) ・著者 : Patrick Perez ,Michel Gangnet, Andrew Blake ・Microsoft Research UK

1. 勾配ベースの画像編集 : Poisson Image Editing

2. 目次
1 紹介論文
2 概要
3 アルゴリズム概説
4 モナリザ画像を用いた実験
5 拡張 -今後の展開

3. 1 紹介論文

4. 1 論文情報
◎「勾配ベースの画像編集 : Poisson Image Editing」(2010)
・著者：山崎 俊彦 (東京大学大学院 情報理工学系研究科 電子情報学専攻)
・映像情報メディア学会誌64巻に掲載
〇「Poisson Image Editing」(2003)
・著者 : Patrick Perez ,Michel Gangnet, Andrew Blake
・Microsoft Research UK

5. 2 概要

6. 2-1 Poasson Image Editing
出典:「Poisson Image Editing」(2003)

7. 2-2 Poasson Image Editing
出典:「Poisson Image Editing」(2003)

8. 2-3 Poasson Image Editing
Poasson Image Editing とは…
画像の勾配(テクスチャ)に着目した画像編集技術
勾配 各画素値の変化の度合を示す エッジらしい個所を表す
→ オブジェクトの検出や認識,輪郭追跡利用
◎複数の画像を合成し1枚の画像を作りたい
→画像同士の色味・テクスチャが異なり違和感
→画像の境界線が不連続になるため

9. 2-4 Poasson Image Editingを用いた研究
「勾配ベースの画像編集 : Poisson Image Editing」では、
Poasson Image Editing を用いた
100行程度で実装可能な画像編集プログラム実装紹介
実装したいこと「人の顔に他者の顔をはめ込む」
・C言語で実装
・MATLABで実装

10. 3 アルゴリズム概説

11. 3-1 アルゴリズム概要
例）モナリザの顔を男性の顔にはめ込みたい
典型的な失敗パターン
出典:「勾配ベースの画像編集 :
Poisson Image Editing」(2010)

12. 3-2 アルゴリズム概要
例）モナリザの顔を男性の顔にはめ込みたい
モナリザの勾配情報と男性の色味を合
成して違和感を減少させる
出典:「勾配ベースの画像編集 :
Poisson Image Editing」(2010)

13. 3-3 数式的なアルゴリズム
簡易的な実装
|𝑁𝑝|𝑓𝑝 − 𝑞∈𝑁𝑝
𝑓𝑞 = 𝑞∈𝑁𝑝
𝑣𝑝𝑞 (1)
𝑓：求めたい画像 g :切り取り済みの貼り付け元画像
p ：注目する画素 𝑁𝑝：の上下左右に位置する隣接ピクセルの集合
q： 𝑁𝑝のうちのどれか一つ 𝑣𝑝𝑞： 𝑔𝑝 -𝑔𝑞 (画像の勾配)
※ 𝑓の初期値は貼り付け先の元画像
𝑓 :求めたい画像
g :切り取り済みの
貼り付け元画像
p
𝑁𝑝
q
gの勾配
fの相対的勾配
p
q

14. 3-4 数式的なアルゴリズム
𝑓𝑝 =
𝑞∈𝑁𝑝
𝑣𝑝𝑞+ 𝑞∈𝑁𝑝
𝑓𝑞
|𝑁𝑝|
(2)
𝑓𝑝 をガウス・ザイデル法によって繰り返し演算で解を求める
カラー画像
RGBそれぞれのレイヤーについて計算

15. 3-5 数式的なアルゴリズム
より詳細な実装
|𝑁𝑝|𝑓𝑝 − 𝑞∈𝑁𝑝∩Ω 𝑓𝑞 = 𝑞∈𝑁𝑝∩δΩ 𝑓𝑝 ∗ + 𝑞∈𝑁𝑝
𝑣𝑝𝑞
𝑓：求めたい画像 g :切り取り済みの貼り付け元画像
p ：注目する画素 𝑁𝑝：の上下左右に位置する隣接ピクセルの集合
q： 𝑁𝑝のうちのどれか一つ 𝑣𝑝𝑞： 𝑔𝑝 -𝑔𝑞 (画像の勾配)
Ω：貼り付け先の領域 δΩ：周辺境界領域
ｆ*：貼り付け先の指定された位置の元々の画素値
処理を施す境界部分だけ元の画素を残して影響を内部に伝搬させることで境界を目立ちにくく

16. 4 モナリザ画像を用いた実験

17. 4-1 モナリザの顔を用いた実験結果
実験結果
出典:「勾配ベースの画像編集 :
Poisson Image Editing」(2010)

18. 4-2 結果の比較 簡易実装と詳細実装
簡単 簡単
詳細 詳細
大きな差は目視では確認できず

19. 4-3 結果の比較 マスクによる違い
顔の主な部分を切
り取ったマスク
単純に四角く
切り取ったマスク
モナリザの色味が
残ってしまっている

20. 5 拡張 -今後の展開

21. 5-1 今後の課題・展開
実験結果より,適当なマスク画像 とても重要
・マスク画像作成自動化
・サイズ調整自動化
・顔写真のしわの除去
・画像の傷の除去
・テクスチャのコピー
・漫画化処理
・部分的な色の入れ替え
様々な方面で応用可能