（文献紹介）エッジ保存フィルタ：Side Window Filter, Curvature Filter
•
0 likes•2,670 views
今回はエッジ保存に注目した画像フィルタについて紹介します。 画像中のノイズの除去（デノイジング）や、不要なテクスチャの除去（スムーシング）等のタスクにエッジ保存系のフィルタがよくアルゴリズムとして使われています。具体的にはBilateral FilterやGuided Filterと呼ばれているものが有名です。これらは、反復的に最適解を求める手法((TV最適化など))と比べて品質は劣りますが、処理が速いためリアルタイム処理が可能という実用性があります。 今回紹介する2つの論文の手法は、どちらも非常にシンプルなアルゴリズムの画像フィルタであり、既存の手法より高い効果が得られるものとなっています。 Morpho, Inc. Website: https://www.morphoinc.com/ Tech Blog: https://techblog.morphoinc.com/
More Related Content
What's hot
What's hot (20)
Similar to （文献紹介）エッジ保存フィルタ：Side Window Filter, Curvature Filter
Similar to （文献紹介）エッジ保存フィルタ：Side Window Filter, Curvature Filter (20)
More from Morpho, Inc.
Recently uploaded
Recently uploaded (14)
（文献紹介）エッジ保存フィルタ：Side Window Filter, Curvature Filter
- 2. 目次 • Side Window Filter • Curvature Filter 2
- 3. Side Window Filter[1-1] https://arxiv.org/abs/1905.07177 Yin, Hui & Gong, Yuanhao & Qiu, Guoping. (2019). Side Window Filtering. 8750-8758. 10.1109/CVPR.2019.00896.
- 4. 概要 • CVPR2019 oral • 既存のフィルタ処理（ Box Filter, Gaussian Filter, Guided Filter etc…）をエッジが保存するように適用できるフレームワーク • 様々なタスクに応用でき高品質な結果 – アーティファクト等も抑制 • 非常にシンプルなアルゴリズム • 計算量も既存の定数倍（3~10）程度 4 [1-2] より引用 BoxフィルタのSide Window Filterバージョンを適用※ エッジやコーナーなど細かい構 造が保たれる 通常のBoxフィルタを適用※ エッジはぼやける ※10回繰り返し 元画像
- 5. 導入 • エッジ保存アルゴリズム – 大域的最適化：高品質 低速 • TV algorithm – 局所的最適化：高速 低品質 • 線形：Box Filter, Gaussian Filter • 非線形：Median Filter, Bilateral Filter, Guided Filter • なるべく元画像に近い出力になるよう処理したい – 注目画素 𝑖 における処理 5 𝐼𝑖 ：位置 𝑖 の処理前の画素値 𝐼𝑖 ′ ：位置 𝑖 の処理後の画素値 𝑤𝑖𝑗 ：フィルタの重み (𝑖, 𝑗 の位置関係等に依存) Ω𝑖 ：位置 𝑖 の近傍 𝐸𝑖：エネルギー 𝐸𝑖 が小さい ⇔ 元画像に近い 𝐼𝑖 ′ = 𝑗∈Ω 𝑖 𝑤𝑖𝑗 𝐼𝑗 𝐸𝑖 = 𝐼𝑖 − 𝐼𝑖 ′ 2 = 𝐼𝑖 − 𝑗∈Ω 𝑖 𝑤𝑖𝑗 𝐼𝑗 2
- 6. エッジに対する方針 • エッジの向きや種類等を統一的に扱うことは線形な処理では不可能 • SWFでは画像において考えられる以下の3つのエッジに注目する 6 画 素 値 step edge ramp edge roof edge
- 7. Side Window Filter (SWF)[1-1] • 通常のフィルタ：注目画素を中心とした近傍で計算 • side window：注目画素を端においた近傍で計算 – 斜め等様々なパターン（下例）が考えられるが、計算効率上8つに絞っている 7 注目画素 L R U D NW NE SW SE … 7x7のGaussian Filterを例に
- 8. アルゴリズム • 画素ごとに以下ループ – Side Windowの集合 𝑆 ={L, R, U, D, NW, NE, SW, SE} ごとに以下 を計算 – 以下の 𝐼 𝑚 で注目画素値を更新 • フィルタをかけたうえで元の画素値に近いものを選んできて特徴を損ない にくくしている 8 𝐼 𝑛 ′ = 1 𝑁 𝑛 𝑗∈Ω 𝑖 𝑛 𝑤𝑖𝑗 𝐼𝑗 , 𝑁 𝑛 = 𝑗∈Ω 𝑖 𝑛 𝑤𝑖𝑗 , 𝑛 ∈ 𝑆 𝐼 𝑚 = argmin 𝑛∈𝑆 || 𝐼𝑖 − 𝐼𝑖 ′ ||2 2 各SWFで定義された近傍 𝑤：フィルタ係数 𝐼：フィルタ係数 元の画素値との二乗誤差
- 9. 具体例 • 7x7のBoxフィルタに対し各SWFを適用した場合 • 他のエッジパターンについても通常のBoxフィルタより元画素値に近い値 になることが示される [1-1] 9 注目画素の7x7近傍 通常のBoxフィルタ 𝐼′ = 0 × 4 × 7 + 255 × 3 × 7 7 × 7 ≅ 109 , |𝐼 − 𝐼′ | = 109 𝐼𝐿 ′ = 0 , |𝐼 − 𝐼𝐿 ′ | = 0 𝐼𝑆𝑊 ′ = 0 , |𝐼 − 𝐼𝑆𝑊 ′ | = 0 𝐼 𝑁𝑊 ′ = 0 , |𝐼 − 𝐼 𝑁𝑊 ′ | = 0 𝐼 𝑅 ′ = 191 , |𝐼 − 𝐼 𝑅 ′ | = 191 𝐼𝑆𝐸 ′ = 191 , |𝐼 − 𝐼𝑆𝐸 ′ | = 191 𝐼 𝑁𝐸 ′ = 191 , |𝐼 − 𝐼 𝑁𝐸 ′ | = 191 𝐼 𝑈 ′ = 109 , |𝐼 − 𝐼 𝑈 ′ | = 109 𝐼 𝐷 ′ = 109 , |𝐼 − 𝐼 𝐷 ′ | = 109 0 255 元の画素値が保存される
- 10. 結果 • フィルタ係数 𝑤𝑖𝑗 として様々な既存のフィルタ処理を適用 – SWFを適用することでより既存の効果の品質を向上させられる – 次のページ以降でいくつか紹介 • CPUでの計算時間 – 3~10倍程度の増加にとどまるとの結果[1-1] – アルゴリズムの最適化やGPU等を用いた並列化でより高速に 10 既存のフィルタ SWF適用バージョン 既存フィルタの特徴・用途 box filter (BOX) S-BOX 画像のぼかし、高速 gaussian filter (GAU) S-GAU 自然なぼかし median filter (MED) S-MED ピークノイズの除去 bilateral filter (BIL) S-BIL 画素値の情報も重みに用いて輪郭をぼ けにくくする guided filter (GUI) S-GUI 効果はbilateralと似ているがより高速
- 11. 各種比較 • 一般画像に対するsmoothing, denoising結果 – 赤枠が既存、緑枠がSWF版 11 [1-1] Fig.5より引用 [1-1] Fig.4より引用 smoothing （数値はSSIM） denoising （数値はPSNR）
- 12. その他タスクへのSWF適用結果 • フィルタや考え方を応用すれば一般的なタスクに適用可能 – image enhancement, HDR, structure preserving, colorization, etc… • 以下の図はHDR、colorizationの例 12 colorization (着色) [1-1] Fig.10より引用 [1-1] Fig.7より引用 従来[1-3] SWF版 従来[1-4] SWF版 エッジ周りのアーティファクトが 抑えられている HDR エッジを超えた色の染み込 みが抑えられている
- 13. 参考文献 • [1-1] Yin, Hui & Gong, Yuanhao & Qiu, Guoping. (2019). Side Window Filtering. 8750-8758. 10.1109/CVPR.2019.00896. • [1-2] Side Window Filtering (CVPR2019 oral, #5176) https://github.com/YuanhaoGong/SideWindowFilter • [1-3] F. Durand and J. Dorsey. Fast bilateral filtering for the display of high- dynamic-range images. ACM Trans. on Graphics, 21(3):257–266, 2002. • [1-4] A. Levin, D. Lischinski, and Y. Weiss. Colorization using optimization. ACM Trans on Graphics, 23(3):689–694, 2004. 13
- 14. Curvature Filter[2-1] https://github.com/YuanhaoGong/CurvatureFilter Gong, Yuanhao & Sbalzarini, Ivo. (2017). Curvature Filters Efficiently Reduce Certain Variational Energies. IEEE Transactions on Image Processing. 26. 1786-1798. 10.1109/TIP.2017.2658954.
- 15. 概要 • 正則化が支配的な変分モデルにおいて、正則化項のエネルギー(最小 化対象)を逐次的に減らす離散フィルタ – 用途としてはエッジ保存denoisingやstructure除去など • 従来より高速にほどよい局所解に収束 • 局所的な画素値の曲率に注目した 3つの正則化モデルを例示 – ガウス曲率正則化（GC) • GCフィルタは画像を可展面（後述）に均す – 平均曲率正則化（MC) – Total Variation 正則化（TV) • アルゴリズムとしてはシンプルかつパラメータフリー 15 [2-2] より引用
- 16. 方針 • 変分モデルによる画像処理 – denoising, super-resolution, … • 大域的最適解を求めるのは制約※や実用面で難がある • 正則化が支配的なケースで近似解でもいいから高速に求めたい • 正則化項に注目して最小化するアプローチ – 高速に動くフィルタリング処理で逐次的に ℰΦ1 𝑈 を減らしていく – 𝜆, ℰΦ0 𝑈, 𝐼 はアルゴリズム上明示的に扱わない • 論文後半で任意のdata-fitting項を明示的に扱う方法について論じている 16 𝐼：元画像 𝑈：処理後画像 𝜆 ：正則化係数 ℰ 𝑈 = ℰΦ0 𝑈, 𝐼 + 𝜆ℰΦ1 𝑈 モデルの誤差 regularization term 元画像との差分 data-fitting term 全エネルギー total energy ※data-fitting項が解析的である必要があるなど ℰΦ1 𝑈 ℰΦ0 𝑈, 𝐼 ℰ 𝑈 試行回数 エ ネ ル ギ ー
- 17. 準備 • 曲率（二次元曲面） – 法曲率 – 主曲率(𝜅1, 𝜅2)：法曲率の最大値と最小値 – ガウス曲率：𝜅1 ⋅ 𝜅2 – 平均曲率： 𝜅1+𝜅2 2 • 可展的(developable) – 円柱側面、円錐側面など – ガウス曲率=0 17 [2-3] より引用
- 18. 正則化モデル • 画像を滑らかな2次元曲面で考える（画素値曲面） • 各点での曲率が制約（正則化）を満たすように逐次的に処理 – アルゴリズムとしては全て3x3のフィルタ計算に落とし込む 18 GC regularization MC regularization TV regularization 曲面のモデル 区分的に可展 曲率最小 区分的に平坦 最小化 ガウス曲率の絶対値 平均曲率の絶対値 勾配のノルム 正則化項 ℰΦ1 𝐺𝐶 𝑈 = න Ω 𝜅1 𝜅2 𝑑 Ԧ𝑥 = න Ω 𝐾 𝑈 𝑑 Ԧ𝑥 𝐾 𝑈 Ԧ𝑥 = 𝑈 𝑥𝑥 𝑈 𝑦𝑦 − 𝑈 𝑥𝑦 2 1 + 𝑈 𝑥 2 + 𝑈 𝑦 2 2 ℰΦ1 𝑀𝐶 𝑈 = න Ω 𝜅1 + 𝜅2 2 𝑑 Ԧ𝑥 = න Ω 𝐻 𝑈 𝑑 Ԧ𝑥 𝐻 𝑈 Ԧ𝑥 = 1 + 𝑈 𝑦 2 𝑈𝑥𝑥 − 2𝑈 𝑥 𝑈 𝑦 𝑈 𝑥𝑦 + 1 + 𝑈 𝑥 2 𝑈 𝑦𝑦 2 1 + 𝑈 𝑥 2 + 𝑈 𝑦 2 3/2 ℰΦ1 𝑇𝑉 𝑈 = ||∇𝑈|| 𝑝 𝑈 Ԧ𝑥 ： Ԧ𝑥 における注目画素値 𝑆𝑖 Ԧ𝑥 ：近傍(3x3)から計算される候補 いくつかのパターン 𝑖 𝑆 𝑚 Ԧ𝑥 ：処理後の画素値 data-fitting項の増加を抑える （ ℰΦ0 の増加の最小化） 制約を満たす候補 （ ℰΦ1 の減少） 𝑆 𝑚 Ԧ𝑥 = argmin 𝑆 𝑖 Ԧ𝑥 |𝑆𝑖 Ԧ𝑥 − 𝑈 Ԧ𝑥 | ℰΦ1 𝑈 ℰΦ0 𝑈, 𝐼 ℰ 𝑈 試行回数 エ ネ ル ギ ー
- 19. GC (Gaussian Curvature) フィルタ[2-1] • 画素ごとアルゴリズム概要 – 注目画素の周囲8pxの組み合わせによる画素値を高さとしたいくつかの接平面を考える • 接平面の集合を 𝑇 とする – 注目画素値がそれらの接平面に乗るように補正すべき量 𝑑𝑖 = 𝑆𝑖 Ԧ𝑥 − 𝑈 Ԧ𝑥 を計算 – 補正量の絶対値 |𝑑𝑖| が最も小さいもの 𝑑 𝑚 で注目画素を補正 • 処理する画素の順番 – 画素を右図の色のように4種類にラベリング – 青→赤→黄→緑という順番で処理 – 各色内で並列化可能 19 𝑑𝑖 𝑇𝑖 ∈ 𝑇 補正注目画素 |𝑑 𝑚| = min 𝑖∈𝑇 |𝑑𝑖|
- 20. GCフィルタの各 𝑑𝑖 • 8方向の接平面を考える • アルゴリズムの意味 – 𝑑𝑖：局所的なGC正則化項がゼロ（次ページ） – 最も変化の少ない 𝑑𝑖 で補正 • data-fitting項の増加をimplicitに抑制 20 𝑑1 = 𝑈 𝑥 − 1, 𝑦 + 𝑈 𝑥 + 1, 𝑦 /2 − 𝑈(𝑥, 𝑦) 𝑑2 𝑑3 𝑑4 𝑑5 𝑑6 𝑑7 𝑑8
- 21. 理論的補足 • 可展面は局所的に接平面で近似可能[2-1] – 可展面では任意の点で主曲率（ 𝜅1,2 ）のどちらかが0 – 主曲率の片方（絶対値の小さい方）を0にすることがGC正則化につながる • Eulerの定理より 𝑑𝑖 は主曲率と固有角度 𝜃𝑖 から以下のように近似で きる – GCフィルタでは min 𝑖=1,…,8 𝑑𝑖 = 𝑑 𝑚 ≈ min 𝜅𝑖 という離散的な近似 – よって、 𝑑 𝑚 を減らすことは主曲率のsparseな最小化につながる • エネルギーの収束性 – GCフィルタ操作は単調（証明あり）かつ下に有界（≥0） – 単調収束定理により局所解に収束する 21 𝑑𝑖 ≈ 𝜅1 cos2 𝜃𝑖 + 𝜅2 sin2 𝜃𝑖
- 22. GCフィルタの特徴 • 画像における可展面のメリット[2-4] – エッジやコーナーが保存される – なだらかな勾配グラデーションも保存される – 小さいスケールの特徴に乗ったノイズも除去できる • パラメータフリー • 計算複雑性がO(N) – 従来手法[2-5]の約7倍高速 22 Input 可展面にノイズが乗った画像 split-Bregman[2-6]によるTV最適化 𝜆：小 𝜆：大 GCフィルタ 10 iteration [2-1] Fig.9より引用 でこぼこのような artifactが発生 ノイズが取りきれ ていない 可展面が保存さ れている
- 23. 適用例 • denoising – iterationは10回程度で十分 – ごましおノイズに強いイメージ 23 [2-1] Fig.8より引用 上段：ガウシアンノイズ 下段：ごましおノイズ GCフィルタ10回 細かいstructureも保存されている Input
- 24. 他2つのCurvatureフィルタ • GCフィルタ同様の考え方・近似で3x3領域内の計算に落とし込める – MCフィルタ[2-1] – TVフィルタ[2-1] • 効果の違い[2-2] – GC • 特徴を保存 – MC • GCとTVの中間 – TV • 特徴もノイズも除去 24 [2-2] より引用
- 25. 一般のdata-fitting項を扱う上での応用 • totalのエネルギーを下げないようにするトリック – ここまでdata-fitting項は陽に扱っていないため局所最適化問題となっていた※ • 正則化項の減少量がdata-fitting項の増加量を上回るときに画素値 を更新する（明示的に ℰΦ0 , 𝜆ℰΦ1 を計算） – 勾配法を使ったsolver（ ）と違いdata-fitting項が解析的でな くてもよい – Spatially Adaptive Regularization[2-1] – 結果としては様々なパターンで sub-optimalに安定してしまう 25 Split-Bregman, Multi-Grid, Primal/Dual Primal/Dual法[2-7] 上記の変更を行った TVフィルタ（iter=30） ※更新によってはdata-fitting項の増加でtotalのエネルギーが増加してしまう可能性もあるため [2-1] Fig.18より引用
- 26. 参考文献 • [2-1] Gong, Yuanhao & Sbalzarini, Ivo. (2017). Curvature Filters Efficiently Reduce Certain Variational Energies. IEEE Transactions on Image Processing. 26. 1786- 1798. 10.1109/TIP.2017.2658954. • [2-2] Curvature filters are efficient solvers for variational models. https://github.com/YuanhaoGong/CurvatureFilter • [2-3] https://slidesplayer.net/slide/16186926/ • [2-4] M. Ibrahim, K. Chen, and C. Brito-Loeza. (2015). “A novel variational model for image registration using Gaussian curvature.” [Online]. Available: https://arxiv.org/abs/1504.07643 • [2-5] S.-H. Lee and J. K. Seo, “Noise removal with Gauss curvature-driven diffusion,” IEEE Trans. Image Process., vol. 14, no. 7, pp. 904–909, Jul. 2005 • [2-6] T. Goldstein and S. Osher, “The split Bregman method for L1-regularized problems,” SIAM J. Imag. Sci., vol. 2, no. 2, pp. 323–343, 2009. • [2-7] A. Chambolle and T. Pock, “A first-order primal-dual algorithm for convex problems with applications to imaging,” J. Math. Imag. Vis., vol. 40, no. 1, pp. 120–145, 2011. 26