コンピューテーショナルフォトグラフィ

コンピューテーショナルフォトグラフィComputational PhotographyComputational Photography 名古屋工業大学福嶋慶繁 Twitter: fukushima1981

目次• コンピューテーショナルフォトグラフィについてピグ• バイラテラルフィルタ• 光線空間（Light Field）• コンピューテーショナルカメラ

コンピューテーショナルフォトグラフィとは？画像処理をともなう写真技術

素朴な疑問フィルタリングやノイズ除去をしただけでコンピューテーショナルフォトグラフィとコンピテショナルフォトグラフィといっていいのか？

パノラマ画像はコンピューテーショナルンピテシナルフォトグラフィか？グ

素朴な疑問カメラに加工が施してないとコンピューテーショナルフォトグラフィと名乗っていけないのか？

３CCDもコンピューテーショナルフォトグラフィ？

ここでの定義普通のカメラの限界を超える写真をコンピュータやハードウェアをうまく使うことで取れるようにする方法カメラへの影響ぼけ，ノイズ，ダイナミックレンジ，画角，解像度，視点，画質へ影響する装置シャッター速度，レンズ口径，開口，CCDサイズ，露光時間，カメラ位置・方向シャッタ速度レンズ口径開口 CCDサイズ露光時間カメラ位置・方向

画像処理→CP 画像かどうか怪しい絞り，開口，露光をコード化するレンズアレイを使う異なるセンサを使う赤外光を使うフラッシュを複数使う，強度を変えるフラッシを複数使う，強度を変える複数のカメラ（カメラアレイ）撮影状況（ゲイン，露光等）を変えて複数撮影撮影状況（ゲイン露光等）を変えて複数撮影動画でインプットする（ハンディカメラなど）普通のカメラ＋画像処理人が見てきれいな画像

Bilateral Filterによる Bilateral Filterによるコンピューテーショナルフォトグラフィ

コンピューテーショナルフォトグラフィSzeliski本だと．．．S li ki本だと• パノラマ• ハイダイナミックレンジ画像• 超解像• カラリゼーション• マッティング• インペイント• ノンフォトリアリスティックレンダリングダグ – 輪郭強調 – stylize• ジョイントフィルタリング – フラッシュフォトグラフィ

それぞれ別の項目のようだが．．．ぞがう軸切るるBilateral Filterという軸で切ることができる※注意書き Bilateral Filterでも解けるというだけでそれぞれ適切な方法があります．

目次• 基本編 – Bilateral Filterってなに？• 応用編 – Joint Bilateral Filter – 奥行き推定 – 背景差分 – 超解像• 高速化編 – バイラテラルフィルタの高速化 – 高速な非線形フィルタ：Guided Filter

基本編バイラテラルフィルタの原理

バイラテラルフィルタ（Bilateral Filter）バイラテラルフィルタ（Bilateral Filter）ガウシアン：位置が遠いほど低い重みが与えられるフィルタバイラテラル：位置が遠いほど＆色が違うほど低い重みが与えられるフィルタ ※エッジを保持したままノイズ除去が可能

バイラテラルフィルタのカーネル

デモ• カーネルの表示ネ表• フィルタした画像の表示• 信号のノイズが減ることを示す• ノイズを消すために，σcを広く取るとエッジがぼける

応用編

Joint Bilateral Filter Joint Bilateral Filter• フラッシュ画像＋フラッシュしてない画像像な像ノイズの少ないが色がおかしい画像＋ノイズイ少な色お画像イの多いが画像で色が正しい

Flash / No‐Flash Photo Improvement Flash / No Flash Photo ImprovementMerge best features: warm, cozy candle light (no‐flash) g , y g ( ) low‐noise, detailed flash image

‘Cross’ or ‘Joint’ Bilateral Idea: Cross or Joint Bilateral Idea:Noisy but Strong…Noisy but Strong… Range filter preserves signal g p g Use stronger signal’s range filter Noisy and Weak… weights…

エッジキープ力エジキプ力とノイズ除去力はトレードオフ！はトレドオフ！

ジョイントバイラテラルフィルタカーネルの計算をノイズの少ない画像で行い，対象をフィルタリングする (|Jp － J q |) I q 別名：クロスバイラテラルフィルタ

Overview Basic approach of both flash/noflash papers Basic approach of both flash/noflash papersRemove noise + details Remove noise + detailsfrom image A,Keep as image A Lighting No‐flash‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐Obtain noise free details Obtain noise‐free detailsfrom image B,Discard Image B Lighting Result

Petschnigg: Detail Transfer ResultsPetschnigg: Detail Transfer Results• Lamp made of hay: No Flash Flash Detail Transfer

Petschnigg:• Flash

Petschnigg:• No Flash,

Petschnigg:• Result

ジョイントバイラテラルフィルタのアリケシアプリケーション

Matting

• ジョイントバイラテラルフィルタフラッシュ画像を用いた低照度画像のノイズ除去など画像ペアの画質改善原画像上での色の遠い点の重みづけが減るために用いられるフィルタ．参照画像をフィルタリングの重みの決定に用いる原画像のエッジ部分がマスク画像上で保持される • 原画像を参照画像としその画素値に基づいて重みを決定したフィルタリン原画像を参照画像とし，その画素値に基づいて重みを決定したフィルタリングを背景差分により生成したマスク画像に対して行う距離による重み画素値による重み R(u) ：フィルタリングの重みを決定する参照画像（原画像）の画素値 X(u) ：フルタリングを行う画像（マスク画像）の画素値 ( ) フィルタリングを行う画像（マスク画像）の画素値 Gd・Gr ：分散σd・σｒのガウス関数， Zu ：正規化項， W(u) ： uの近傍ウィンドウマスク画像原画像結果画像

フィルタ処理の比較（a）メディアンフィルタのみ（b）ジョイントバイラテラルフィルタ後物体の境界部分を高精度に検出

Depth Map RefinementDepth Map Refinement

符号化された奥行き画像のモスキートノイズ除去

Saliency Map Refinement Saliency Map Refinement• http://pub.ne.jp/akisato/?entry_id=3970170

Haze removing(霞除去) Haze removing(霞除去) “Single image haze removal using dark channel prior” CVPR2009 入力画像伝達マップ（最適化前）霞除去（最適化前）参考：ヒストグラム平坦化伝達マップ（最適化後）霞除去（最適化後）

…～マップと付くものなら付何でもOK

Joint Bilateral Up‐SamplingJoint Bilateral Up Sampling

奥行き画像超解像：従来研究（１）原画像の位置・色の重み付き平均 J. Kopf et al.: Joint bilateral upsampling ACM Trans. on Graphics, J Kopf et al : “Joint bilateral upsampling”, ACM Trans on Graphics vol. 26, no. 3, p. 96, Jul. 2007.

超解像結果（入力）入力画像入力奥行き画像 8倍超解像

超解像結果（最近傍）入力画像

超解像結果（提案）入力画像

カラリゼーションの高速化• 疎なものはJBU出来ない！疎なも来な• 小さな解像度でまず普通のカラリゼション小さな解像度でまず普通のカラリゼーション• そしてＪＢＵ• その他もろもろ～Ｍａｐの計算が高速化可能

超解像ｖｓアップサンプル超解像とは像– アップサンプル • 適切なエッジ– ノイズリダクシンノイズリダクション • ガウス，インパルスのノイズの除去–ぼぼけ除去 • レンズ，CCDサンプリング，モーション，フォグなどを同時に達成するもの

Iterative back Super ResolutionIterative back Super Resolution

高速化編

Bilateral Filterの高速化 Bilateral Filterの高速化• CHEN, J., PARIS, S., AND DURAND, F. 2007. g g p g Real‐time edge‐aware image processing with the bilateral grid. ACM TOG 26, 3,103.• CRIMINISI A SHARP T ROTHER C AND CRIMINISI, A., SHARP, T., ROTHER, C., AND P’EREZ, P. 2010. Geodesic image and video editing. ACM TOG 29, 5, 134.

Separable bilateral filtering for fast video preprocessing • ババイラテラルフィルタのカーネルを縦横1画素タネを縦横素の幅に分離して二度適用する近似＊T. Pham,and L. J. Van Vliet, Separable bilateral filtering for fast video preprocessing. Proc. IEEE ICME, 0, 4 pp. 2005.

Real‐time O(1) bilateral filtering Real time O(1) bilateral filtering 階を階減色 • 256階調をｎ階調（２，４，８，１６・・・）に減色し，間は線形補間することで高速化 • カラーに弱い（256x256x256=65536色．．．） • 色空間を色空間をR+G+B=768色の空間に潰して計算色の空間に潰して計算（発展：ドメイントランスフォーム？）※ F. Porikli, Constant time O(1) bilateral ﬁltering. In CVPR,1–8, 2008 の発展版Q. Yang, K. H. Tan, and N. Ahuja, Real‐time O(1) bilateral filtering, In CVPR, 557–564. 2009

Guided Filter• 早い，Haloが起きにくい• カーネルの計算方法にカネルの計算方法に高速化が存在 i,jが違うサイドにいればｗ＝１‐σ/σ（最大の場合）＝０同じサイドにいればｗ＝１＋x 式の意味：i,jの画素含む領域の平均の全てを使う．式の意味 i jの画素含む領域の平均の全てを使う直接のカーネル計算は，バイラテラルよりも重い

Bilateral GridBilateral Grid

Domain TransformDomain Transform

その他の非線形フィルタ

Non Local Means Filter Non Local Means Filter入力画像とサポートウィンドウ１．カーネル中心（赤色）の周りにテンプレート画像（５ｘ５）を作成し，２．サポートウィンドウ（１３ｘ１３）の範囲をテンプレートマッチング．サポトウドウ（）範囲をプトチグ３．類似度をサポートウィンドウの重みとして重み付きフィルタリングを行う．

BM3DImage denoising with block‐matching and 3D filtering

Anisotropic diffusion Anisotropic diffusion• Anisotropic diffusion – PERONA, P., AND MALIK, J. 1990. Scale‐space and , , , p edge detection using anisotropic diffusion. IEEE TPAMI 12, 7, 629–639. , , – TVノルム最小化を行うようなフィルタ – イタレションが必要イタレーションが必要

光線空間Light Field g

光線空間• 自由視点像自由視点画像• 可変焦点画像• レンズも，ピンホールもコーデット• Coded aperture/exposure/shatter/senserに続く

基本原理本次超積分• EPI（本当は4次元超平面）の断面，積分で – 自由視点，自由焦点を実現

自由視点

自由焦点 

Example using 45 cameras [Vaish CVPR 2004]

Light field photography using a handheld plenoptic camera Ren Ng, Marc Levoy, Mathieu Brédif, Ren Ng Marc Levoy Mathieu Brédif Gene Duval, Mark Horowitz and Pat Hanrahan (Proc. SIGGRAPH 2005 (Proc. SIGGRAPH 2005 and TR 2005‐02)

Conventional versus light field camera g

Conventional versus light field camera g uv‐plane st‐plane

Conventional versus light field camera g st‐plane uv‐plane

Prototype camera Contax medium format camera Kodak 16‐megapixel sensor Adaptive Optics microlens array Adaptive Optics microlens array 125μ square‐sided microlenses square‐sided microlenses4000 × 4000 pixels ÷ 292 × 292 lenses = 14 × 14 pixels per lens

Mechanical design Mechanical design• microlenses float 500μ above sensor microlenses float 500μ above sensor• focused using 3 precision screws

Digitally stopping‐down Digitally stopping down Σ Σ• stopping down = summing only the central portion of each microlens

Digital refocusing Digital refocusing Σ Σ• refocusing = summing windows extracted from several microlenses

Example of digital refocusingExample of digital refocusing

Extending the depth of field conventional photograph,conventional photograph conventional photograph, conventional photograph light field, main lens at f / 4, light field main lens at f / 4 main lens at f / 4 main lens at f / 22 after all‐focus algorithm [Agarwala 2004]

Digitally moving the observerDigitally moving the observer Σ Σ • moving the observer = moving the window we extract from the microlenses

Example of moving the observerExample of moving the observer

Moving backward and forwardMoving backward and forward

Camera Array

Stanford multi camera arrayStanford multi‐camera array • 640 × 480 pixels × 30 fps × 128 cameras 30 fps × 128 cameras • synchronized timing • continuous streaming continuous streaming • flexible arrangement

Ways to use large camera arraysWays to use large camera arrays• widely spaced light field capture• tightly packed high‐performance imaging• intermediate spacing synthetic aperture photography intermediate spacing synthetic aperture photography

カメラアレイ，レンズアレイカメラアレイレンズアレイ• Computational Photography – Image based rendering g g – Light field辺 – 光線空間 – カメラアレイ，レンズアレイ

Light Field CameraLight Field Camera

Ramesh Raskarhttp://web.media.mit.edu/~raskar/

コンピューテーショナルフォトグラフィ

by Fukushima Norishige

Accessibility

Categories

Upload Details

Usage Rights

Statistics

コンピューテーショナルフォトグラフィ Presentation Transcript