Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

多チャンネルバイラテラルフィルタの高速化

1,719 views

Published on

AVM研究会:特別講演

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

多チャンネルバイラテラルフィルタの高速化

  1. 1. 1 多チャンネルバイラテラル フィルタの高速化 名古屋工業大学 *福嶋 慶繁,山下頌太 AVM研究会 特別講演2018/7/17
  2. 2. 22 バイラテラルフィルタ(BF) –エッジ保存性を持つ平滑化フィルタ –2種類のガウス関数を重みづけに使用 注目画素との空間距離に基づくガウス関数 注目画素との色距離に基づくガウス関数 イントロダクション カーネル ガウシアンフィルタ バイラテラルフィルタ入力 注目画素
  3. 3. 33ガウシアンフィルタ * * * input output Same Gaussian kernel everywhere Averages across edges ⇒ blur Slides taken from Sylvain Paris, Siggraph 2007
  4. 4. 44バイラテラルフィルタ * * * input output Kernel shape depends on image content Avoids averaging across edges Slides taken from Sylvain Paris, Siggraph 2007
  5. 5. 55アプリケーション例 ノイズ除去 カラリゼーション HDR ステレオ対応 画像処理の分野において 基盤的なツールとして使われている
  6. 6. 66 デノイジング 詳細強調 HDR アップサンプリング ステレオマッチング オプティカルフロー推定 etc… バイラテラルフィルタの応用 バイラテラルフィルタが高速化すると 様々なアプリケーションも高速化
  7. 7. 77バイラテラルフィルタの定式化 BFは重み付きの畳み込み 重みは,空間カーネルとレンジカーネルに分解 半径rで畳み込むと,計算オーダーはO(r2) 𝐽 𝒊 = 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝐼(𝒊), 𝐼 𝒋 𝐼 𝒋 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝐼(𝒊), 𝐼 𝒋 𝑤 𝑠 𝑖, 𝑗 = exp( −| 𝑖 − 𝑗 |2 2𝜎 𝑠 2 ) 𝑤 𝑟 𝐼(𝑖), 𝐼(𝑗) = exp( −| 𝐼(𝑖) − 𝐼(𝑗) |2 2𝜎 𝑟 2 )
  8. 8. 88 定数時間バイラテラルフィルタ(CBF) –いくつかのガウシアンフィルタに分解 セパラブルバイラテラルフィルタ(SBF) –いくつかのセパラブルフィルタに分解 間引きによる近似(RBF) –畳み込みカーネルを削減(特にランダムに) 高速化の分類
  9. 9. 99 定数時間 バイラテラルフィルタ
  10. 10. 1010定数時間化 BFは重み付きの畳み込み 𝑤 𝑟 𝑎, 𝑏 = exp(||𝑎 − 𝑏||2) ≈ 𝑘=0 K−1 𝜙 𝑘(𝑎)𝜓 𝑘(𝑏) 𝐽 𝒊 = 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝐼(𝒊), 𝐼 𝒋 𝐼 𝒋 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝐼(𝒊), 𝐼 𝒋 レンジ関数の指数関数をある関数の内積の総和で分解 𝐽 𝒊 ≈ 𝑘=0 𝐾−1 𝜙 𝑘 𝐼 𝒊 𝒚∈𝒀 𝑤𝑠 𝒊 , 𝒋 𝜓 𝑘 𝐼 𝒋 𝐼 𝒋 𝑘=0 𝐾−1 𝜙 𝑘 𝐼 𝒊 𝒚∈𝒀 𝑤𝑠 𝒊 , 𝒋 𝜓 𝑘 𝐼 𝒋
  11. 11. 1111定数時間化 BFは重み付きの畳み込み 𝐽 𝒊 = 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝐼(𝒊), 𝐼 𝒋 𝐼 𝒋 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝐼(𝒊), 𝐼 𝒋 レンジ関数の指数関数をある関数の内積の総和で分解 𝐽 𝒊 ≈ 𝑘=0 𝐾−1 𝜙 𝑘 𝐼 𝒊 𝒚∈𝒀 𝑤𝑠 𝒊 , 𝒋 𝜓 𝑘 𝐼 𝒋 𝐼 𝒋 𝑘=0 𝐾−1 𝜙 𝑘 𝐼 𝒊 𝒚∈𝒀 𝑤𝑠 𝒊 , 𝒋 𝜓 𝑘 𝐼 𝒋 𝑤 𝑟 𝑎, 𝑏 = exp(||𝑎 − 𝑏||2) ≈ 𝑘=0 K−1 𝜙 𝑘(𝑎)𝜓 𝑘(𝑏)
  12. 12. 1212 𝐽 𝒊 ≈ 𝑘=0 𝐾−1 𝜙 𝑘 𝐼 𝒊 𝒚∈𝒀 𝑤𝑠 𝒊 , 𝒋 𝜓 𝑘 𝐼 𝒋 𝐼 𝒋 𝑘=0 𝐾−1 𝜙 𝑘 𝐼 𝒊 𝒚∈𝒀 𝑤𝑠 𝒊 , 𝒋 𝜓 𝑘 𝐼 𝒋 定数時間化 BFは重み付きの畳み込み 𝐽 𝒊 = 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝐼(𝒊), 𝐼 𝒋 𝐼 𝒋 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝐼(𝒊), 𝐼 𝒋 「重みを乗算した画像」のガウシアン畳み込み結果 を重み付き総和する式に変換 定数ガウシアンフィルタ重み
  13. 13. 1313 2次元畳み込みフィルタという意味では, オーダーはバイラテラルフィルタと同じ –セパラブフィルタ:O(r), FFT:O(logr),再帰 型フィルタO(1)など,様々な実装が提案 –バイラテラルフィルタと比べて非常に高速 –FullHDの画像に対して数msで処理可能 特にO(1)フィルタでBFを構築したらBFも O(1)化 ガウシアンフィルタ
  14. 14. 1414Ex:区分線形近似 𝐽 𝒊 = 𝒌∈𝑲 𝜙 𝑘(𝐼(𝒊)) 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝒌, 𝐼 𝒋 𝐼 𝒋 𝒌∈𝑲 𝜙 𝑘(𝐼(𝒊)) 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝒌, 𝐼 𝒋 𝑤 𝑟 𝑘, 𝐼(𝑗) = exp − 𝑘 − 𝐼 𝑗 2 2𝜎 𝑟 2 = 𝑓𝑘(𝐼(𝑗)) レンジ重みの片方が定数だったら? これは,ただの画像をfで変換した画像 注目画素が1の場合,2の場合...255の場合 を用意.すべてのフィルタ結果を,入力画像に合わ せてテーブル参照すれば,近似なしに答えが求まる 𝜙 𝑘(𝐼(𝒊))は,I(i)=kで1それ以外0の関数
  15. 15. 1515Ex:区分線形近似 𝑤 𝑟 𝑘, 𝐼(𝑗) = exp − 𝑘 − 𝐼 𝑗 2 2𝜎 𝑟 2 = 𝑓𝑘(𝐼(𝑗)) レンジ重みの片方が定数だったら? これは,ただの画像をfで変換した画像 256通りは多い→量子化して線形補間 K=8程度として畳み込み回数を削減 𝜙 𝑘(𝐼(𝒊))は,Ik(i)<k<Ik+1(i)の区間で線形補間 𝐽 𝒊 = 𝒌∈𝑲 𝜙 𝑘(𝐼(𝒊)) 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝒌, 𝐼 𝒋 𝐼 𝒋 𝒌∈𝑲 𝜙 𝑘(𝐼(𝒊)) 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝒌, 𝐼 𝒋
  16. 16. 1616 指数関数は様々な関数で分解可能 –多項式(マクローリン展開等) –三角関数 少ない畳み込み回数で最良な近似を得られ るように様々な手法が多く提案 –区分線形近似は単純だが性能は低い –三角関数による近似の重みを最適化するなどす ると性能大 その他の近似
  17. 17. 1717 分解はグレイの場合: カラーの場合は? exp(r2+g2+b2)=exp(r2)exp(g2)exp(b2) として,RGBそれぞれを分解 次元の呪い 𝑤 𝑟 𝑘, 𝐼(𝑗) = exp − 𝑘 − 𝐼 𝑗 2 2𝜎 𝑟 2 = 𝑓𝑘(𝐼(𝑗)) 𝐽 𝒊 = 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝐼(𝒊), 𝐼 𝒋 𝐼 𝒋 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝐼(𝒊), 𝐼 𝒋
  18. 18. 1818 分解はグレイの場合: カラーの場合は? exp(r2+g2+b2)=exp(r2)exp(g2)exp(b2) として,RGBそれぞれを分解 次元の呪い 𝑤 𝑟 𝑘, 𝐼(𝑗) = exp − 𝑘 − 𝐼 𝑗 2 2𝜎 𝑟 2 = 𝑓𝑘(𝐼(𝑗)) 𝐽 𝒊 = 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝑅(𝒊), 𝑅 𝒋 𝑤𝑟 𝐺(𝒊), 𝐺 𝒋 𝑤𝑟 𝐵(𝒊), 𝐵 𝒋 𝐼 𝒋 𝒋∈𝑵 𝑤𝑠 𝒊 , 𝒋 𝑤𝑟 𝑅(𝒊), 𝑅 𝒋 𝑤𝑟 𝐺(𝒊), 𝐺 𝒋 𝑤𝑟 𝐵(𝒊), 𝐵 𝒋 𝐼 𝒋 グレイの場合の処理を繰り返す→分解したものを分解して更に分解する グレイで8回の畳み込みで近似したもの→83=512回もの畳み込みが必要
  19. 19. 1919 レンジ重みを分解することで, 高速なガウシアンフィルタの総和に変換 –10回以下程度のガウシアンフィルタに分解可能 –十分に高速 –ただしグレイスケールの場合のみ カラーの場合は? –分解数は,色数(3)乗必要 –256通りなら, 2563= 16777216回の畳み込み –次元の呪いを受けるため,カラーは厳しい まとめと問題
  20. 20. 2020 セパラブル バイラテラルフィルタ
  21. 21. 2121 フィルタカーネルを縦と横のカーネルに 分解する古典的な手法 –オーダーはO(r) –ガウシアンフィルタ,ラプラシアンフィルタな どに使われる セパラブルフィルタ * 2次元カーネル 水平カーネル垂直カーネル
  22. 22. 2222問題点 バイラテラルフィルタのカーネルは不可分 –カーネルを空間分解した場合の出力は近似値 –出力への平滑化効果が過剰 –フィルタサイズが大きくなるほど精度が低下 ナイーブ実装 セパラブル実装入力
  23. 23. 2323BFの可分化 バイラテラルフィルタの式 𝒇𝑖,𝑗 = 𝑥=−𝑟 𝑟 𝑦=−𝑟 𝑟 𝑤𝑠 𝑥, 𝑦 𝑤𝑐 𝑥, 𝑦 𝒇𝑖+𝑥,𝑗+𝑦 𝑥=−𝑟 𝑟 𝑦=−𝑟 𝑟 𝑤𝑠 𝑥, 𝑦 𝑤𝑐 𝑥, 𝑦 空間重み 𝑤𝑠 𝑥, 𝑦 = exp − 𝑥2 + 𝑦2 2𝜎𝑠 2 色重み 𝑤𝑐 𝑥, 𝑦 = exp − 𝒇𝑖,𝑗 − 𝒇𝑖+𝑥,𝑗+𝑦 2 2 2𝜎𝑐 2 𝒙, 𝒚方向に処理を分解するために各重みを式変形 𝒇 ∶ 入力信号 𝒇 ∶ 出力信号 𝑖, 𝑗 ∶ 注目画素位置 𝑟 ∶ カーネル半径 𝜎𝑠 ∶ 空間重みパラメータ 𝜎𝑐 ∶ 色重みパラメータ 重みを「𝒙の関数」と「𝒚の関数」の積へ
  24. 24. 2424BFの可分化 簡単のため,グレースケールであると仮定 𝑤𝑠 𝐻 𝑥 = exp − 𝑥2 2𝜎𝑠 2 𝑤𝑠 𝑥, 𝑦 = exp − 𝑥2 + 𝑦2 2𝜎𝑠 2 𝑤𝑠 𝑉 𝑦 = exp − 𝑦2 2𝜎𝑠 2 𝑤𝑠 𝑥, 𝑦 = 𝑤𝑠 𝐻 𝑥 ∙ 𝑤𝑠 𝑉 𝑦 𝑤𝑐 𝑥, 𝑦 = exp − 𝑓𝑖,𝑗 − 𝑓𝑖+𝑥,𝑗+𝑦 2 2𝜎𝑐 2 空間重み 色重み ? = exp − 𝑓𝑖,𝑗 2 − 2𝑓𝑖,𝑗 𝑓𝑖+𝑥,𝑗+𝑦 + 𝑓𝑖+𝑥,𝑗+𝑦 2 2𝜎𝑐 2 𝑤𝑐 𝑥, 𝑦 = 𝑤𝑐 𝐻 𝑥 ∙ 𝑤𝑐 𝑉 𝑦
  25. 25. 2525BFの可分化 簡単のため,グレースケールであると仮定 𝑤𝑠 𝐻 𝑥 = exp − 𝑥2 2𝜎𝑠 2 𝑤𝑠 𝑥, 𝑦 = exp − 𝑥2 + 𝑦2 2𝜎𝑠 2 𝑤𝑠 𝑉 𝑦 = exp − 𝑦2 2𝜎𝑠 2 𝑤𝑠 𝑥, 𝑦 = 𝑤𝑠 𝐻 𝑥 ∙ 𝑤𝑠 𝑉 𝑦 𝑤𝑐 𝑥, 𝑦 = exp − 𝑓𝑖,𝑗 − 𝑓𝑖+𝑥,𝑗+𝑦 2 2𝜎𝑐 2 𝑤𝑐 𝑥, 𝑦 = 𝑤𝑐 𝐻 𝑥 ∙ 𝑤𝑐 𝑉 𝑦 空間重み 色重み = exp − 𝑓𝑖,𝑗 2 − 2𝑓𝑖,𝑗 𝑓𝑖+𝑥,𝑗+𝑦 + 𝑓𝑖+𝑥,𝑗+𝑦 2 2𝜎𝑐 2 ×色重みガウシアンは空間分解出来ない 近似的に空間分解出来るよう式変形 「𝑥だけ変化する部分」と 「𝑦だけ変化する部分」を作る
  26. 26. 2626BFの可分化 𝑎 − 𝑐 2 = 𝑎 − 𝑏 2 + 𝑏 − 𝑐 2 + 2 𝑎 − 𝑏 𝑏 − 𝑐 𝑓𝑖,𝑗 − 𝑓𝑖+𝑥,𝑗+𝑦 2 = 𝑓𝑖,𝑗 − 𝑓𝑖+𝑥,𝑗 2 + 𝑓𝑖+𝑥,𝑗 − 𝑓𝑖+𝑥,𝑗+𝑦 2 + 2 𝑓𝑖,𝑗 − 𝑓𝑖+𝑥,𝑗 𝑓𝑖+𝑥,𝑗 − 𝑓𝑖+𝑥,𝑗+𝑦 以下の等式を利用 𝑤𝑐 𝑥, 𝑦 = exp − 𝑓𝑖,𝑗 − 𝑓𝑖+𝑥,𝑗+𝑦 2 2𝜎𝑐 2 色重み 𝑤𝑐 𝐻 𝑥 = exp − 𝑓𝑖,𝑗 − 𝑓𝑖+𝑥,𝑗 2 2𝜎𝑐 2 𝑤𝑐 𝑉 𝑦 = exp − 𝑓𝑖+𝑥,𝑗 − 𝑓𝑖+𝑥,𝑗+𝑦 2 2𝜎𝑐 2 𝑤𝑐 𝑁 𝑥, 𝑦 = exp − 2 𝑓𝑖,𝑗 − 𝑓𝑖+𝑥,𝑗 𝑓𝑖+𝑥,𝑗 − 𝑓𝑖+𝑥,𝑗+𝑦 2𝜎𝑐 2 𝑤𝑐 𝑥, 𝑦 = 𝑤𝑐 𝐻 𝑥 ∙ 𝑤𝑐 𝑉 𝑦 ∙ 𝑤𝑐 𝑁 𝑥, 𝑦 分解し切れない 非セパラブル項 バイラテラルフィルタをセパラブルに分解 横セパラブルBF 縦セパラブルBF
  27. 27. 2727非セパラブル項の展開 𝑤𝑐 𝑁 𝑥, 𝑦 = exp − 2 ∙ 𝑓𝑖,𝑗 − 𝑓𝑖+𝑥,𝑗 ∙ 𝑓𝑖+𝑥,𝑗 − 𝑓𝑖+𝑥,𝑗+𝑦 2𝜎𝑐 2 = exp −2𝛾𝐷𝑖,𝑗 𝑥 𝐷𝑖+𝑥,𝑗 𝑦 𝛾 = 1 2𝜎𝑐 2 𝐷𝑖,𝑗 𝑥 = 𝑓𝑖,𝑗 − 𝑓𝑖+𝑥,𝑗 𝐷𝑖+𝑥,𝑗 𝑦 = 𝑓𝑖+𝑥,𝑗 − 𝑓𝑖+𝑥,𝑗+𝑦 非セパラブル項を一度整理 非セパラブル項をマクローリン展開 𝑤𝑐 𝑁 𝑥, 𝑦 = exp −2𝛾𝐷𝑖,𝑗 𝑥 𝐷𝑖+𝑥,𝑗 𝑦 級数の各項は「𝑥の関数」と「𝑦の関数」の積 – 項ごとに処理が空間分解可能 – 結果を加減算により統合することで実装可能 – 定数時間の時と同じ.分解する指数関数が少し違うだけ 𝑘 ∶ 近似の次数= 𝑘=0 ∞ −2𝛾𝐷𝑖,𝑗 𝑥 𝐷𝑖+𝑥,𝑗 𝑦 𝑘 𝑘! = 1 − 2𝛾𝐷𝑖,𝑗 𝑥 𝐷𝑖+𝑥,𝑗 𝑦 + 2𝛾2 𝐷𝑖,𝑗 2 𝑥 𝐷𝑖+𝑥,𝑗 2 𝑦 − ⋯
  28. 28. 2828 定数時間 –BF=Σak Gauss*wkI セパラブル –BF=Σak SBF *wkI 要約 –畳み込みをガウシアンに分解するか,セパラブ ルBFに分解するかの違い –ガウシアンの重ね合わせよりもSBFの重ね合わせ でBFを作るほうが必要な係数の数は少ない 定数時間との対比
  29. 29. 2929カラー画像への拡張方法 𝑤𝑐 𝑁 𝑥, 𝑦 = exp −2𝛾 𝑚∈𝜆 𝐷𝑖,𝑗 𝑚 𝑥 𝐷𝑖+𝑥,𝑗 𝑚 𝑦 𝑤𝑐 𝑁 𝑥, 𝑦 = 𝑚∈𝜆 exp −2𝛾𝐷𝑖,𝑗 𝑚 𝑥 𝐷𝑖+𝑥,𝑗 𝑚 𝑦 非セパラブル項の捉え方によって,2通りの展開方法が存在 RGB画像の処理における非セパラブル項 𝜆 ∶ チャネルの集合 𝑤𝑐 𝑁 𝑥, 𝑦 = exp −2𝛾𝐷𝑖,𝑗 𝑅 𝑥 𝐷𝑖+𝑥,𝑗 𝑅 𝑦 exp −2𝛾𝐷𝑖,𝑗 𝐺 𝑥 𝐷𝑖+𝑥,𝑗 𝐺 𝑦 exp −2𝛾𝐷𝑖,𝑗 𝐵 𝑥 𝐷𝑖+𝑥,𝑗 𝐵 𝑦 ① ② 定数時間アルゴリズムのときと同じアプローチ
  30. 30. 3030カラー画像への拡張方法 𝑤𝑐 𝑁 𝑥, 𝑦 = exp −2𝛾 𝑚∈𝜆 𝐷𝑖,𝑗 𝑚 𝑥 𝐷𝑖+𝑥,𝑗 𝑚 𝑦 𝑤𝑐 𝑁 𝑥, 𝑦 = 𝑚∈𝜆 exp −2𝛾𝐷𝑖,𝑗 𝑚 𝑥 𝐷𝑖+𝑥,𝑗 𝑚 𝑦 = 𝑚∈𝜆 𝑘=0 ∞ −2𝛾𝐷𝑖,𝑗 𝑚 𝑥 𝐷𝑖+𝑥,𝑗 𝑚 𝑦 𝑘 𝑘! = 𝑘=0 ∞ −2𝛾 𝑚∈𝜆 𝐷𝑖,𝑗 𝑚 𝑥 𝐷𝑖+𝑥,𝑗 𝑚 𝑦 𝑘 𝑘! 𝑘次近似に必要な項数 : 𝑘 + 1 3項 𝑘次近似に必要な項数 : 3 𝑘+1−1 2 項 1次近似に必要な項数 : 8項 1次近似に必要な項数 : 4項 ① ②
  31. 31. 3131カラー画像への拡張方法 𝑤𝑐 𝑁 𝑥, 𝑦 = exp −2𝛾 𝑚∈𝜆 𝐷𝑖,𝑗 𝑚 𝑥 𝐷𝑖+𝑥,𝑗 𝑚 𝑦 𝑤𝑐 𝑁 𝑥, 𝑦 = 𝑚∈𝜆 exp −2𝛾𝐷𝑖,𝑗 𝑚 𝑥 𝐷𝑖+𝑥,𝑗 𝑚 𝑦 = 𝑚∈𝜆 𝑘=0 ∞ −2𝛾𝐷𝑖,𝑗 𝑚 𝑥 𝐷𝑖+𝑥,𝑗 𝑚 𝑦 𝑘 𝑘! = 𝑘=0 ∞ −2𝛾 𝑚∈𝜆 𝐷𝑖,𝑗 𝑚 𝑥 𝐷𝑖+𝑥,𝑗 𝑚 𝑦 𝑘 𝑘! 𝑘次近似に必要な項数 : 𝑘 + 1 3項 𝑘次近似に必要な項数 : 3 𝑘+1−1 2 項 1次近似に必要な項数 : 8項 1次近似に必要な項数 : 4項 ① ② どちらの展開方法でも計算コストが急激に増加 次元の呪いは避けられていない
  32. 32. 3232近似精度(セパラブル1項) BF(真値) 0-SBF 37.75dB
  33. 33. 3333近似精度(セパラブル2項) BF(真値) 1-SBF-2Terms 44.38dB
  34. 34. 3434近似精度(セパラブル4項) BF(真値) 1-SBF-4Terms 44.45dB
  35. 35. 3535近似精度(セパラブル8項) BF(真値) 1-SBF-8Terms 47.08dB
  36. 36. 3636 乱択 バイラテラルフィルタ
  37. 37. 3737 色の次元の呪いを避けるには? 単純に空間方向の計算を削減すればよい –一画素あたりO(1,r,r2) –画像あたり ->O(S) O(log(S)),一画素あたりO((log r)2) 間引きによる高速化
  38. 38. 3838 画素間引きによる計算 –画像のサブサンプリング(古典的) リサイズしてフィルタ.リサイズ比率に応じて高速化 ダウンサンプリングは精度低下が著しい –画素のまびき サンプルする画素を間引いてフィルタしたのち,補間. 画像をダウンサンプリングしないため,フィルタカー ネルだけはそのまま保持.上記よりは精度大 –カーネルのまびき カーネルをダウンサンプリング.画素を間引くよりも 精度が高い 間引きによる高速化
  39. 39. 3939一般的なフィルタ処理 フィルタカーネル 入力 出力 畳み込み演算を伴う一般的なフィルタは 全ての参照画素を使用 注目画素参照画素
  40. 40. 4040乱択バイラテラルフィルタ フィルタカーネル 参照画素をランダムに間引くことで近似 入力 出力
  41. 41. 4141 Randomly sub-sampling Input image Naïve bilateral filter kernel Our randomized filter kernel 乱択バイラテラルフィルタ ランダムに間引くことで,周期的な模様(エイリア シング)の発生を抑制 (周期的に間引くとエイリアシングが目立つ)
  42. 42. 4242RBF結果 Naive Ours ほぼ同等
  43. 43. 4343RBF結果 安定性の評価 –97x97のカーネルで評価 –サンプル密度は約1% 揺れてはいるが, 非常に小さい 拡大しなければ揺れは ほとんどわからない 画質に大きな影響はほぼない Ours Naive
  44. 44. 4444 実験及び結果
  45. 45. 4545 各バイラテラルフィルタの精度と速度のトレードオ フを比較.精度は近似なしの画像からの劣化で評価 –定数時間 コンプレッシブバイラテラルフィルタ(CBF) 少ない枚数で高い近似精度 枚数を変えて制御 –セパラブル テイラー展開による近似 AVM研の発表 枚数を変えて制御 –乱択 画素の間引き 間引き率を変えて制御 実験環境 CPU: Core i7 6700 3.4GHz 4core 8thread OS: Windows Compiler: Visual Studio2015
  46. 46. 4646セパラブルvs定数時間(カラー) 定数時間 セパラブル
  47. 47. 4747セパラブルvs定数時間(カラー) 定数時間 セパラブル どのパラメータでもおおむねセパラブルのほうが 速くて高精度.非常に高い近似精度を要求すると きは定数時間のほうが高い(ただし,セパラブル のカーネル分解方法はまだ初歩的)
  48. 48. 4848セパラブルvs定数時間(グレイ) カーネルが狭い場合 カーネルが広い場合 フィルタ半径が小さいときはセパラブルのほうが 速いが,広くなると定数時間が速くなる
  49. 49. 4949セパラブルvs乱択(カラー)
  50. 50. 5050セパラブルvs乱択(PSNR) • セパラブルが乱択がよかったりフィルタリン グパラメータ次第. • 横軸は対数軸ではなくなっていることに注意 • セパラブルは最速の点のみプロット
  51. 51. 5151セパラブルvs乱択(SSIM)
  52. 52. 5252セパラブルvs乱択(SSIM) • 評価指標をSSIMに変えるとセパラブルが有利 • SSIMは画素の平坦さを評価するため • よいエッジ保存平滑化フィルタとは何?
  53. 53. 5353 3種類の近似バイラテラルフィルタを比較 – 定数時間 – セパラブル – まびき カラーの場合は, – セパラブル・乱択が良い(MSE,PSNR) – セパラブルが良い(SSIM) 今後の課題 – よいエッジ保存平滑化フィルタとは何かを定める評価指標 – ノンローカルミーン,ハイパースペクトル画像など高次元 データへの拡張  O(cn)となるため次元の呪いをより強く受ける まとめ

×