Your SlideShare is downloading. ×
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

コンピューテーショナルフォトグラフィ

8,357

Published on

コンピューテーショナルフォトグラフィの話.加工されたカメラによるコンピューテーショナルフォトグラフィの話は少なめ.フィルタリング,主にバイラテラルフィルタによる画像処理の話が中心.

コンピューテーショナルフォトグラフィの話.加工されたカメラによるコンピューテーショナルフォトグラフィの話は少なめ.フィルタリング,主にバイラテラルフィルタによる画像処理の話が中心.

Published in: Technology
0 Comments
7 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
8,357
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
86
Comments
0
Likes
7
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. コンピューテーショナル フォトグラフィComputational PhotographyComputational Photography 名古屋工業大学 福嶋慶繁 Twitter: fukushima1981
  • 2. 目次• コンピューテーショナルフォトグラフィについて ピ グ• バイラテラルフィルタ• 光線空間(Light Field)• コンピューテーショナルカメラ
  • 3. コンピューテーショナルフォトグラフィとは?画像処理をともなう写真技術
  • 4. 素朴な疑問フィルタリングやノイズ除去をしただけでコンピューテーショナルフォトグラフィとコンピ テ ショナルフォトグラフィといっていいのか?
  • 5. パノラマ画像はコンピューテーショナル ンピ テ シ ナル フォトグラフィか? グ
  • 6. 素朴な疑問カメラに加工が施してないとコンピューテーショナルフォトグラフィと名乗っていけないのか?
  • 7. 3CCDもコンピューテーショナルフォトグラフィ?
  • 8. ここでの定義普通のカメラの限界を超える写真をコンピュータやハードウェアをうまく使うことで取れるようにする方法 カメラへの影響 ぼけ,ノイズ,ダイナミックレンジ,画角,解像度,視点, 画質へ影響する装置 シャッター速度,レンズ口径,開口,CCDサイズ,露光時間,カメラ位置・方向 シャッタ 速度 レンズ口径 開口 CCDサイズ 露光時間 カメラ位置・方向
  • 9. 画像処理→CP 画像かどうか怪しい 絞り,開口,露光をコード化する レンズアレイを使う 異なるセンサを使う 赤外光を使う フラッシュを複数使う,強度を変える フラッシ を複数使う,強度を変える 複数のカメラ(カメラアレイ) 撮影状況(ゲイン,露光等)を変えて複数撮影 撮影状況(ゲイン 露光等)を変えて複数撮影 動画でインプットする(ハンディカメラなど)普通のカメラ+画像処理人が見てきれいな画像
  • 10. Bilateral Filterによる Bilateral Filterによるコンピューテーショナルフォトグラフィ
  • 11. コンピューテーショナルフォトグラフィSzeliski本だと...S li ki本だと• パノラマ• ハイダイナミックレンジ画像• 超解像• カラリゼーション• マッティング• インペイント• ノンフォトリアリスティックレンダリング ダ グ – 輪郭強調 – stylize• ジョイントフィルタリング – フラッシュフォトグラフィ
  • 12. それぞれ別の項目のようだが... ぞ が う軸 切る るBilateral Filterという軸で切ることができる※注意書き Bilateral Filterでも解けるというだけでそれぞれ適切 な方法があります.
  • 13. 目次• 基本編 – Bilateral Filterってなに?• 応用編 – Joint Bilateral Filter – 奥行き推定 – 背景差分 – 超解像• 高速化編 – バイラテラルフィルタの高速化 – 高速な非線形フィルタ:Guided Filter
  • 14. 基本編バイラテラルフィルタの原理
  • 15. バイラテラルフィルタ(Bilateral Filter)バイラテラルフィルタ(Bilateral Filter)ガウシアン:位置が遠いほど低い重みが与えられるフィルタバイラテラル: 位置が遠いほど&色が違うほど 低い重みが与えられるフィルタ ※エッジを保持したままノイズ除去が可能
  • 16. バイラテラルフィルタのカーネル
  • 17. デモ• カーネルの表示 ネ 表• フィルタした画像の表示• 信号のノイズが減ることを示す• ノイズを消すために,σcを広く取るとエッジが ぼける
  • 18. 応用編
  • 19. Joint Bilateral Filter Joint Bilateral Filter• フラッシュ画像+フラッシュしてない画像 像 な 像 ノイズの少ないが色がおかしい画像+ノイズ イ 少な 色 お 画像 イ の多いが画像で色が正しい
  • 20. Flash / No‐Flash Photo Improvement Flash / No Flash Photo ImprovementMerge best features:  warm, cozy candle light (no‐flash) g , y g ( ) low‐noise, detailed flash image
  • 21. ‘Cross’ or ‘Joint’ Bilateral Idea: Cross or Joint Bilateral Idea:Noisy but Strong…Noisy but Strong… Range filter preserves signal g p g Use stronger signal’s range filter  Noisy and Weak… weights…
  • 22. エッジキープ力エ ジキ プ力 とノイズ除去力 はトレードオフ! はトレ ドオフ!
  • 23. ジョイントバイラテラルフィルタカーネルの計算をノイズの少ない画像 で行い,対象をフィルタリングする (|Jp - J q |) I q 別名:クロスバイラテラルフィルタ
  • 24. Overview Basic approach of both flash/noflash papers Basic approach of both flash/noflash papersRemove noise + details Remove noise + detailsfrom image A,Keep as image A Lighting  No‐flash‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐Obtain noise free details Obtain noise‐free detailsfrom image B,Discard Image B Lighting Result
  • 25. Petschnigg: Detail Transfer ResultsPetschnigg: Detail Transfer Results• Lamp made of hay: No Flash Flash Detail Transfer
  • 26. Petschnigg:• Flash
  • 27. Petschnigg:• No Flash,
  • 28. Petschnigg:• Result
  • 29. ジョイントバイラテラルフィルタの ア リケ シ アプリケーション
  • 30. Matting
  • 31. • ジョイントバイラテラルフィルタ フラッシュ画像を用いた低照度画像のノイズ除去など画像ペアの画質改善原画像上での色の遠い点の重みづけが減るため に用いられるフィルタ.参照画像をフィルタリングの重みの決定に用いる原画像のエッジ部分がマスク画像上で保持される • 原画像を参照画像とし その画素値に基づいて重みを決定したフィルタリン 原画像を参照画像とし,その画素値に基づいて重みを決定したフィルタリン グを背景差分により生成したマスク画像に対して行う 距離による重み 画素値による重み R(u) : フィルタリングの重みを決定する参照画像(原画像)の画素値 X(u) : フ ルタリングを行う画像(マスク画像)の画素値 ( ) フィルタリングを行う画像(マスク画像)の画素値 Gd・Gr : 分散σd・σrのガウス関数, Zu : 正規化項, W(u) : uの近傍ウィンドウ マスク画像 原画像 結果画像
  • 32. フィルタ処理の比較(a)メディアンフィルタのみ (b)ジョイントバイラテラルフィルタ後 物体の境界部分を高精度に検出
  • 33. Depth Map RefinementDepth Map Refinement
  • 34. 符号化された奥行き画像の モスキートノイズ除去
  • 35. Saliency Map Refinement Saliency Map Refinement• http://pub.ne.jp/akisato/?entry_id=3970170
  • 36. Haze removing(霞除去) Haze removing(霞除去) “Single image haze removal using dark channel prior” CVPR2009 入力画像 伝達マップ(最適化前) 霞除去(最適化前)参考:ヒストグラム平坦化 伝達マップ(最適化後) 霞除去(最適化後)
  • 37. …~マップと付くものなら 付何でもOK
  • 38. Joint Bilateral Up‐SamplingJoint Bilateral Up Sampling
  • 39. 奥行き画像超解像:従来研究(1) 原画像の位置・色 の重み付き平均 J. Kopf et al.:  Joint bilateral upsampling ACM Trans. on Graphics,  J Kopf et al : “Joint bilateral upsampling”, ACM Trans on Graphics vol. 26, no. 3, p. 96, Jul. 2007.
  • 40. 超解像結果(入力) 入力画像入力奥行き画像 8倍超解像
  • 41. 超解像結果(最近傍) 入力画像
  • 42. 超解像結果(提案) 入力画像
  • 43. カラリゼーションの高速化• 疎なものはJBU出来ない! 疎なも 来な• 小さな解像度でまず普通のカラリゼ ション 小さな解像度でまず普通のカラリゼーション• そしてJBU• その他もろもろ~Mapの計算が高速化可能
  • 44. 超解像 vs アップサンプル超解像とは 像– アップサンプル • 適切なエッジ– ノイズリダクシ ン ノイズリダクション • ガウス,インパルスのノイズの除去–ぼ ぼけ除去 • レンズ,CCDサンプリング,モーション,フォグなど を同時に達成するもの
  • 45. Iterative back Super ResolutionIterative back Super Resolution
  • 46. 高速化編
  • 47. Bilateral Filterの高速化 Bilateral Filterの高速化• CHEN, J., PARIS, S., AND  DURAND, F.  2007.   g g p g Real‐time edge‐aware image processing with  the bilateral grid. ACM TOG 26, 3,103.• CRIMINISI A SHARP T ROTHER C AND CRIMINISI, A., SHARP, T., ROTHER, C., AND  P’EREZ, P.  2010. Geodesic image and video  editing. ACM TOG 29, 5, 134.
  • 48. Separable bilateral filtering for fast  video preprocessing • バ バイラテラルフィルタのカーネルを縦横1画素 タ ネ を縦横 素 の幅に分離して二度適用する近似 *T. Pham,and L. J. Van Vliet, Separable bilateral filtering for fast video preprocessing. Proc. IEEE ICME, 0, 4 pp. 2005. 
  • 49. Real‐time O(1) bilateral filtering Real time O(1) bilateral filtering 階 を 階 減色 • 256階調をn階調(2,4,8,16・・・)に減色し, 間は線形補間することで高速化 • カラーに弱い(256x256x256=65536色...) • 色空間を 色空間をR+G+B=768色の空間に潰して計算 色の空間に潰して計算 (発展:ドメイントランスフォーム?)※ F. Porikli, Constant time O(1) bilateral filtering. In CVPR,1–8, 2008 の発展版Q. Yang, K. H. Tan, and  N. Ahuja, Real‐time O(1) bilateral filtering, In CVPR, 557–564. 2009
  • 50. Guided Filter• 早い,Haloが起きにくい• カーネルの計算方法に カ ネルの計算方法に 高速化が存在 i,jが違うサイドにいればw= 1‐σ/σ(最大の場合)=0 同じサイドにいればw=1+x 式の意味:i,jの画素含む領域の平均の全てを使う. 式の意味 i jの画素含む領域の平均の全てを使う 直接のカーネル計算は,バイラテラルよりも重い
  • 51. Bilateral GridBilateral Grid
  • 52. Domain TransformDomain Transform
  • 53. その他の非線形フィルタ
  • 54. Non Local Means Filter Non Local Means Filter入力画像とサポートウィンドウ1.カーネル中心(赤色)の周りにテンプレート画像(5x5)を作成し,2.サポートウィンドウ(13x13)の範囲をテンプレートマッチング. サポ トウ ドウ( ) 範囲を プ ト チ グ3.類似度をサポートウィンドウの重みとして重み付きフィルタリングを行う.
  • 55. BM3DImage denoising with block‐matching and 3D filtering
  • 56. Anisotropic diffusion Anisotropic diffusion• Anisotropic diffusion – PERONA, P., AND MALIK, J. 1990. Scale‐space and  , , , p edge detection using anisotropic diffusion. IEEE  TPAMI 12, 7, 629–639. , , – TVノルム最小化を行うようなフィルタ – イタレ ションが必要 イタレーションが必要
  • 57. 光線空間Light Field g
  • 58. 光線空間• 自由視点 像 自由視点画像• 可変焦点画像• レンズも,ピンホールもコーデット• Coded aperture/exposure/shatter/senserに 続く
  • 59. 基本原理 本 次 超 積分• EPI(本当は4次元超平面)の断面,積分で – 自由視点,自由焦点 を実現
  • 60. 自由視点
  • 61. 自由焦点 
  • 62. Example using 45 cameras [Vaish CVPR 2004]
  • 63. Light field photography using a  handheld plenoptic camera Ren Ng, Marc Levoy, Mathieu Brédif, Ren Ng Marc Levoy Mathieu Brédif Gene Duval, Mark Horowitz and Pat Hanrahan (Proc. SIGGRAPH 2005 (Proc. SIGGRAPH 2005 and TR 2005‐02)
  • 64. Conventional versus light field camera g
  • 65. Conventional versus light field camera g uv‐plane st‐plane
  • 66. Conventional versus light field camera g st‐plane uv‐plane
  • 67. Prototype camera Contax medium format camera Kodak 16‐megapixel sensor Adaptive Optics microlens array Adaptive Optics microlens array 125μ square‐sided microlenses square‐sided microlenses4000 × 4000 pixels  ÷ 292 × 292 lenses  =  14 × 14 pixels per lens
  • 68. Mechanical design Mechanical design• microlenses float 500μ above sensor microlenses float 500μ above sensor• focused using 3 precision screws
  • 69. Digitally stopping‐down Digitally stopping down Σ Σ• stopping down  =  summing only the  central portion of each microlens
  • 70. Digital refocusing Digital refocusing Σ Σ• refocusing  =  summing windows extracted  from several microlenses
  • 71. Example of digital refocusingExample of digital refocusing
  • 72. Extending the depth of field conventional photograph,conventional photograph conventional photograph, conventional photograph light field, main lens at f / 4, light field main lens at f / 4 main lens at  f / 4 main lens at  f / 22 after all‐focus algorithm [Agarwala 2004]
  • 73. Digitally moving the observerDigitally moving the observer Σ Σ • moving the observer  =  moving the  window we extract from the microlenses
  • 74. Example of moving the observerExample of moving the observer
  • 75. Moving backward and forwardMoving backward and forward
  • 76. Camera Array
  • 77. Stanford multi camera arrayStanford multi‐camera array • 640 × 480 pixels × 30 fps × 128 cameras 30 fps × 128 cameras • synchronized timing • continuous streaming continuous streaming • flexible arrangement
  • 78. Ways to use large camera arraysWays to use large camera arrays• widely spaced light field capture• tightly packed high‐performance imaging• intermediate spacing synthetic aperture photography intermediate spacing synthetic aperture photography
  • 79. カメラアレイ,レンズアレイ カメラアレイ レンズアレイ• Computational Photography – Image based rendering g g – Light field辺 – 光線空間 – カメラアレイ,レンズアレイ
  • 80. Light Field CameraLight Field Camera
  • 81. Ramesh Raskarhttp://web.media.mit.edu/~raskar/

×