コンピュテーショナルフォトグラフティの基礎

8,310 views

Published on

Published in: Technology
0 Comments
27 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
8,310
On SlideShare
0
From Embeds
0
Number of Embeds
282
Actions
Shares
0
Downloads
117
Comments
0
Likes
27
Embeds 0
No embeds

No notes for slide

コンピュテーショナルフォトグラフティの基礎

  1. 1. コンピュテーショナル フォトグラフティの基礎 名古屋工業大学 福嶋慶繁 1
  2. 2. 目次 • コンピュテーショナルフォトグラフィとは • カメラの基礎 • 古典的な画像処理 • HDR • 超解像 • デノイジング • ブレンディング:モーフィング,ラプラシアンピラミッド,マッティング, • パノラマ • ライトフィールドレンダリング • コンピュテーショナルカメラ • エッジ保持平滑化フィルタ • バイラテラルフィルタとその応用 • OpenCVの関連関数群 • 参考文献 2
  3. 3. コンピューテーショナルフォトグラフィ 3 • ○ 環境構築が簡単 • ○ 視点,物体の操作が簡単 • × 写実表現が難しい コンピュータグラフィクス フォトグラフィ コンピュテーショナル フォトグラフィ • ○ 初めから写実的 • ○ 取得が簡単 • × 視点,物体の操作は難しい • リアルさ • 高操作性 • 容易な取得
  4. 4. カメラの基礎 4
  5. 5. Trade-off in Usual Camera 解像度 シャッター 速度 ISO感度 画角ぼけ ノイズ ダイナミック レンジ 5 高解像度で,高速なシャッターで,高感度で,高画角で,ボケのコントロールが出来, 低ノイズで高ダイナミックレンジな撮像は実現不可能
  6. 6. 光→画像の流れ 1. レンズ 2. サンプリング 3. 量子化 4. 符号化 6
  7. 7. 光線の取得 • プレノプティックサンプリングやライトフィールドの話を書く 予定. 7 3次元的な情報の取得が不可能
  8. 8. コンピュータビジョン • 画像処理基礎 • 特徴点とマッチング • 領域分割 • レジストレーション • 3次元幾何 8
  9. 9. 古典的な画像処理 9
  10. 10. 古典的なエンハンスメント 1. ダイナミックレンジ補正 2. 平滑化フィルタによるノイズ除去 3. アンシャープマスク 4. アップサンプル 10
  11. 11. ダイナミックレンジ補正 11range frec. range frec. ヒストグラム伸張
  12. 12. アンシャープマスク 12 Zoom Zoomed Sharpen 0 -1 0 -1 4 -1 0 -1 0 Un-sharp mask operator
  13. 13. 平滑化フィルタによるノイズ除去 13 noisy Smoothed 0 1 0 1 2 1 0 1 0 smooth operator
  14. 14. アップサンプル 14 Interpolation • Linear • Cubic • Lanczos Pi = c(aP1 + bP2) + d(aP3 + dP4) *Linear interpolation
  15. 15. 古典的なエンハンスメント 1. ダイナミックレンジ補正 2. 平滑化フィルタによるノイズ除去 3. アンシャープマスク 4. アップサンプル 15
  16. 16. 現在のエンハンスメント 1. ハイダイナミックレンジイメージ 2. エッジ保持平滑化によるノイズ除去 3. デブラー 4. 超解像 16
  17. 17. ハイダイナミック レンジイメージ入門 17
  18. 18. ハイダイナミックレンジイメージとは 通常以上のダイナミックレンジをもつ画像の合成 1. 複数露光の画像撮影 露光時間の異なる複数枚の画像を連射 2. 放射輝度画像作成 露光時間と輝度値の位置あわせ関係から,各画素の光量を推定 3. トーンマップ 高いダイナミックレンジから256階調の画像へとマッピング 18
  19. 19. 複数露光の画像撮影 19 10-6 106 10-6 106 実世界 写真 0 to 255 High dynamic range 長時間露光 10-6 106 10-6 106 実世界 写真 0 to 255 High dynamic range 短時間露光 シャッタースピード 1/4 , 1/8 , 1/16 , 1/32, 1/64, 1/128, 1/256, 1/512, sec 異なる露光時間の画像群(長→短)
  20. 20. 放射輝度画像作成 20 • 3 • 1 • 2 Dt = 1 sec • 3 • 1 • 2 Dt = 1/16 sec • 3 • 1 • 2 Dt = 4 sec • 3 • 1 • 2 Dt = 1/64 sec • 3 • 1 • 2 Dt = 1/4 sec 輝度値 Z= f(露光時間) 露光時間 =放射輝度’⊿t log 露光時間 =log 放射輝度+log⊿t 3 1 2 ln露光時間 画素値 ln露光時間 画素値 露光の異なる 画像を連射
  21. 21. 放射輝度画像 21
  22. 22. トーンマップ 22 10-6 106 10-6 106 実世界 写真 0 to 255 High dynamic range 低コントラスト 広いレンジを狭い表示レンジへ圧縮 グローバルトーンマップ • 線形変換 • ガンマ変換(輝度値のみ) 線形変換 ガンマ変換
  23. 23. 錯視によるレンジ圧縮 rangerange 23
  24. 24. Chiu et al. 1993 Reduce low frequencyLow-freq. High-freq. Color 24 低周波のコントラスト圧縮(ガウシアンフィルタ) 高周波を維持(残差)
  25. 25. Fast Bilateral Filtering for the Display of High-Dynamic- Range Images SIGGRAPH02 OutputLarge-scale Detail Color エッジ保持平滑化 フィルタを使用
  26. 26. Detail Color Intensity Large scale Bilateral Filter Reduce contrast Detail Large scale Color Preserve! Input HDR image Output 処理フロー
  27. 27. 超解像入門 27
  28. 28. 複数枚超解像とは 三つのアルゴリズムの同時実行 1. 位置合わせ 位置ずれのある複数枚の低解像度画像の張り合わせ,高周波の取得 2. デブラー レンズぼけや,張り合わせでできたボケの除去,高周波の持ち上げ 3. デノイズ 入力画像に混入したノイズの除去,デブラー時のリンギング除去 28
  29. 29. 複数枚超解像とは 三つのアルゴリズムの同時実行 1. 位置合わせ 位置ずれのある複数枚の低解像度画像の張り合わせ 2. デブラー レンズぼけや,張り合わせでできたボケの除去 3. デノイズ 入力画像に混入したノイズの除去 29
  30. 30. 低解像度時のエイリアシング 30 周波数 パワー 周波数 パワー エイリアシング (折り返し歪) 原信号 リサイズ信号
  31. 31. 複数枚超解像 31 入力低解像度画像 超解像 周波数 パワー 周波数 パワー
  32. 32. デブラーによる高周波復元 32周波数 パワー 周波数 パワー原画像 ぼけ画像 復元画像 周波数を持ち上げればOK 逆フィルタ,Weinerフィルタ
  33. 33. デブラーによるノイズ増幅 33周波数 パワー ぼけ画像 ノイズ含 高周波周辺は, ノイズ情報を含む →ノイズ強調へ デブラーには デノイジング必須 (デリンギングも)
  34. 34. ボケすぎた場合 34 周波数 パワー 大きなぼけ画像 高周波が復元不可能 失った情報の作成が必要 →学習型超解像
  35. 35. 特殊な画像の超解像(アップサンプル) 35
  36. 36. デノイジング 36 IRIndoor – low light US
  37. 37. デノイジング • ガウシアンフィルタ • メディアンフィルタ • バイラテラルフィルタ • DXT(DCT,DHT,DWT)+thresholding(soft or hard) • ノンローカルミーン • BM3D 37
  38. 38. ガウシアンフィルタ 38 ガウシアンカーネルのコンボリューション • ガウシアンノイズの除去 • エッジはぼける output input J f I
  39. 39. メディアンフィルタ 39 カーネル内の中央値を出力 • インパルスノイズ用フィルタ • ぼけが発生しない
  40. 40. バイラテラルフィルタ )(xJ )(I)( 1 xk output input x ),( xf ))()(( xIIg  画素ごとにカーネルのウェイトが異なる • 中心の色に近いほど高い重み:値域ガウシアン • 中心の位置に近いほど高い重み:空間ガウシアン C. Tomasi, and M. Roberto, "Bilateral filtering for gray and color images," ICCV1998.
  41. 41. Gaussian Smoothing * * * input output Same Gaussian kernel everywhere Averages across edges ⇒ blur Slides taken from Sylvain Paris, Siggraph 2007
  42. 42. Bilateral Filtering * * * input output Kernel shape depends on image content Avoids averaging across edges Slides taken from Sylvain Paris, Siggraph 2007
  43. 43. ノンローカルミーン 43 𝑤(𝑝, 𝑞) 𝑤(𝑝, 𝑟) 𝑤(𝑝, 𝑠) 𝑥 𝑖 = 1 𝐶𝑖 𝑗 𝑦(𝑗) 𝑒 − 𝐺𝑆𝑆𝐷 y 𝑁 𝑖 −y 𝑁 𝑗 2𝜎2 𝑤 𝑖, 𝑗 • バイラテラルフィルタの値域重みをパッチ(ブロック)で構築 • バイラテラルフィルタの空間重みをフラットに Buades, A., Coll, B., & Morel, J. M. “A non-local algorithm for image denoising,” In CVPR 2005. Demo: http://www.ipol.im/pub/art/2011/bcm_nlm/
  44. 44. DXT+threshold (Denoising in Transform Domain) 44 信号を変換することでノイズを分離・抑制 変換:フーリエ,コサイン,アダマール,ウェーブレット 抑制:閾値処理,ハード,ソフト Demo http://www.ipol.im/pub/art/2011/ys-dct/
  45. 45. フーリエドメインでの処理 𝜔 signal noise 典型的な周波数領域のフィルタ • ノイズ :白色ノイズなら均一に存在 • シグナル:シグナルは,不均一に存在 ローパス,ウィナーフィルタによりノイズ除去 1 × = Low pass filter Weiner filter フーリエ変換後の信号
  46. 46. ウェーブレットドメイン 46 1. ウェーブレット変換(DWT) 2. 閾値処理 3. 逆ウェーブレット変換 ※DCTやDHTでも同様の処理が可能 信号 閾値処理 Hard: D(U, λ) = U for all |U|> λ Soft: D(U, λ) = sgn(U)max(0, |U| - λ) hard soft
  47. 47. DCT,DHTを使った処理 47 周波数領域でのノイズ除去 1. DCT,DHT変換 2. 閾値以下の小さな係数を0に置換 3. 逆変換 ※ノイズの混入した画像を,低いクオリティで JPEG圧縮するとノイズ除去になる. 上記処理に近い処理を実行しているため. DCT係数 DCT:離散コサイン変換 DHT:離散アダマール変換
  48. 48. BM3D 48 State-of-the-arts 1. パッチ単位でDXT+1次元:3次元DXT 2. オーバーラップで変換&平均 3. 同様の処理を1,2を参照してウィナーフィルタリング Project page http://www.cs.tut.fi/~foi/GCF-BM3D/ Demo&実装 http://www.ipol.im/pub/art/2012/l-bm3d/ .Dabov, Kostadin, et al. “Image denoising by sparse 3-D transform- domain collaborative filtering,” IEEE Trans. Image Processing, 2007
  49. 49. BM3D:デノイズ結果 49 ガウシアンフィルタ→NLM:4~5dB↑ NML,BLS-SGM→BM3D:1dB↑ ~いまだBM3Dはstate of the artsのひとつ 驚異的なデノイズ能力!
  50. 50. ブレンディング 50
  51. 51. • ポアソンブレンディング • モーフィング 51
  52. 52. 執筆中 52
  53. 53. モーフィング • 目的は,2つの物体の平均を求めること • 画像の平均ではなく,物体の平均を求める!… • クロスディゾルブでスムーズにつなげる • どうやって真の平均物体の見た目を知るの? • 手がかりはない. • ユーザ入力によりリーズナブルな理由付けが可能
  54. 54. ノンパラパラメトリック画像ワープ 制御点が望む位置に来るように分割ブロックを射影
  55. 55. ワープ関数の決定(疎) どうやってワープグリッドを定めるのか? • 対応点を決定した後,完全なワーピング関数を決定 • ドロネー分割
  56. 56. ワープ関数の決定(密) どうやってワープグリッドを定めるのか? • 対応点を決定した後,完全なワーピング関数を決定 • ドロネー分割
  57. 57. マッティング 57
  58. 58. 執筆中 58
  59. 59. パノラマモザイク 59
  60. 60. Introduction • Compact Camera FOV = 50 x 35°
  61. 61. Introduction • Compact Camera FOV = 50 x 35° • Human FOV = 200 x 135°
  62. 62. Introduction • Compact Camera FOV = 50 x 35° • Human FOV = 200 x 135° • Panoramic Mosaic = 360 x 180°
  63. 63. Mosaics: stitching images together virtual wide-angle camera
  64. 64. パノラマ画像の原理 64 FoVの狭いカメラ (高解像度) カメラをさまざまな方向を向けて連結 FoVが仮想的に広いカメラに
  65. 65. 自動パノラマ • レジストレーション • 特徴マッチング • イメージマッチング • 画像補正 • 露光,ゲイン,色温度の違い • レンズ歪,口径食,色収差 • ブレンディング • モーション • 視差 • 補正の誤差 65
  66. 66. RANSAC for Homography SIFT特徴量
  67. 67. RANSAC for Homography
  68. 68. Seam Selection • (simple) Choose image with max “weight”: • (better) …also minimise error on seams [ Agarwala et al SIGGRAPH 04 ]
  69. 69. Ex:コンセントリックモザイク 69 Heung-Yeung Shum Li-Wei He “Rendering with Concentric Mosaics”, Siggraph1999 1. カメラアレイを水平に並べる 2. 原点中心に回転しながら撮影 3. 中央の画素ラインだけ採用して記録
  70. 70. Ex:スイングパノラマ 70 スイングパノラマ@Sony カメラの中心付近のテレセントリック カメラ画像の近似(中心はほぼ平行光) 近似画像面 中央画素を コピーしながら移動 ※出来るだけ移動の軌跡が円を描くようにするとよい
  71. 71. ライトフィールドレンダリング 71
  72. 72. 執筆中 72
  73. 73. Depth Image based rendering & its compression 73
  74. 74. コンピュテーショナルカメラ 74
  75. 75. コンピュテーショナルカメラの例 撮像素子と画像処理と常識にとらわれない光学・ハードウェアを組み 合わせて,従来のカメラでは実現困難であった撮像を可能にする手法 • カメラアレイ • レンズアレイ • フォーカルスタック • 符号化開口 • 符号化露光 • 光(可視光・IR)プロジェクション・フラッシュ • シェイク
  76. 76. Camera Array 76 映画:マトリックス Stanford camera array Nagoya Univ.camera array
  77. 77. Raytrix light field camera 77
  78. 78. Light field photography using a handheld plenoptic camera Ren Ng, Marc Levoy, Mathieu Brédif, Gene Duval, Mark Horowitz and Pat Hanrahan
  79. 79. Prototype camera 4000 × 4000 pixels ÷ 292 × 292 lenses = 14 × 14 pixels per lens Contax medium format camera Kodak 16-megapixel sensor Adaptive Optics microlens array 125μ square-sided microlenses
  80. 80. Lenslet-based Light Field camera [Adelson and Wang, 1992, Ng et al. 2005 ] Light Field Inside a Camera
  81. 81. Extending the depth of field conventional photograph, main lens at f / 22 conventional photograph, main lens at f / 4 light field, main lens at f / 4, after all-focus algorithm [Agarwala 2004]
  82. 82. Lytro 82 Light field photography using a handheld plenoptic camera の著者が作ったベンチャー
  83. 83. Coded Aperture 83 Levin, Anat, et al. "Image and depth from a conventional camera with a coded aperture." ACM Transactions on Graphics (TOG) 26.3 (2007): 70. 1枚の画像はライトフィールドの 積分値→リミット
  84. 84. Differences with Plenoptic Camera • Micro-lens array • Samples individual rays • Needs alignment precision • Some pixels wasted • Narrowband Cosine Mask • Samples coded comb of rays • More flexible • No wastage - Half brightness, diffraction Mask Sensor Microlens array Sensor Plenoptic Camera Heterodyne Camera
  85. 85. Fluttered Shutter Camera [Raskar, Agrawal, Tumblin] Siggraph2006
  86. 86. Ramesh Raskar, Karhan Tan, Rogerio Feris, Jingyi Yu, Matthew Turk Mitsubishi Electric Research Labs (MERL), Cambridge, MA U of California at Santa Barbara U of North Carolina at Chapel Hill Non-photorealistic Camera: Depth Edge Detection and Stylized Rendering using Multi-Flash Imaging
  87. 87. Depth Edges
  88. 88. Our MethodCanny
  89. 89. Kinect v1 92 RGBカメラ デプスセンサ (左:IRプロジェクタ,右IRカメラ)
  90. 90. Fuji‘s SuperCCD S3 Pro 93 画素枚の ・低感度センサ
  91. 91. コンピュテーショナルカメラの資料 • 日浦先生のチュートリアル • http://www.ime.info.hiroshima-cu.ac.jp/~hiura/intro/index.html • コンピュータビジョン最先端ガイド4 • http://opluse.shop-pro.jp/?pid=37383004 • MIT Media Lab course on Computational Camera,Siggraph 2008 Course • https://stellar.mit.edu/S/course/MAS/fa13/MAS.531/index.html • http://web.media.mit.edu/~raskar/photo/ • コロンビア大学コンピュータビジョン研究室 • http://www1.cs.columbia.edu/CAVE/projects/cc.php 94
  92. 92. Image Filtering 2.0 Efficient Edge-Aware Filtering and Their Applications ICIP2013 95
  93. 93. 執筆中 • エッジ保持平滑化の有効範囲について.
  94. 94. バイラテラルフィルタと その応用 97
  95. 95. Gaussian Blur average input per-pixel multiplication output*
  96. 96. input
  97. 97. Gaussian blur
  98. 98. normalized Gaussian function Equation of Gaussian Blur    S IGIGB q qp qp ||||][  Same idea: weighted average of pixels. 0 1
  99. 99. unrelated pixels unrelated pixels uncertain pixels uncertain pixels related pixels Gaussian Profile pixel position pixel weight        2 2 2 exp 2 1 )(   x xG
  100. 100. size of the window Spatial Parameter    S IGIGB q qp qp ||||][  small  large  input limited smoothing strong smoothing
  101. 101. How to set  • Depends on the application. • Common strategy: proportional to image size • e.g. 2% of the image diagonal • property: independent of image resolution
  102. 102. Properties of Gaussian Blur • Weights independent of spatial location • linear convolution • well-known operation • efficient computation (recursive algorithm, FFT…)
  103. 103. Properties of Gaussian Blur • Does smooth images • But smoothes too much: edges are blurred. • Only spatial distance matters • No edge term input output    S IGIGB q qp qp ||||][  space
  104. 104. Blur Comes from Averaging across Edges * * * input output Same Gaussian kernel everywhere.
  105. 105. Bilateral Filter No Averaging across Edges * * * input output The kernel shape depends on the image content. [Aurich 95, Smith 97, Tomasi 98]
  106. 106. space weight not new range weight I new normalization factor new Bilateral Filter Definition: an Additional Edge Term      S IIIGG W IBF q qqp p p qp |||||| 1 ][ rs  Same idea: weighted average of pixels.
  107. 107. Illustration a 1D Image • 1D image = line of pixels • Better visualized as a plot pixel intensity pixel position
  108. 108. space Gaussian Blur and Bilateral Filter space range normalization Gaussian blur      S IIIGG W IBF q qqp p p qp |||||| 1 ][ rs  Bilateral filter [Aurich 95, Smith 97, Tomasi 98] space space range p p q q    S IGIGB q qp qp ||||][ 
  109. 109. q p Bilateral Filter on a Height Field output input      S IIIGG W IBF q qqp p p qp |||||| 1 ][ rs  p reproduced from [Durand 02]
  110. 110. Space and Range Parameters • space s : spatial extent of the kernel, size of the considered neighborhood. • range r : “minimum” amplitude of an edge      S IIIGG W IBF q qqp p p qp |||||| 1 ][ rs 
  111. 111. Influence of Pixels p Only pixels close in space and in range are considered. space range
  112. 112. s = 2 s = 6 s = 18 r = 0.1 r = 0.25 r =  (Gaussian blur) input Exploring the Parameter Space
  113. 113. s = 2 s = 6 s = 18 r = 0.1 r = 0.25 r =  (Gaussian blur) input Varying the Range Parameter
  114. 114. input
  115. 115. r = 0.1
  116. 116. r = 0.25
  117. 117. r =  (Gaussian blur)
  118. 118. s = 2 s = 6 s = 18 r = 0.1 r = 0.25 r =  (Gaussian blur) input Varying the Space Parameter
  119. 119. input
  120. 120. s = 2
  121. 121. s = 6
  122. 122. s = 18
  123. 123. How to Set the Parameters Depends on the application. For instance: • space parameter: proportional to image size • e.g., 2% of image diagonal • range parameter: proportional to edge amplitude • e.g., mean or median of image gradients • independent of resolution and exposure
  124. 124. Bilateral Filtering Color Images      S IIIGG W IBF q qqp p p qp |||||| 1 ][ rs       S GG W IBF q qqp p p CCCqp |||||||| 1 ][ rs  For gray-level images For color images intensity difference color difference The bilateral filter is extremely easy to adapt to your need. scalar 3D vector (RGB, Lab) input output
  125. 125. Hard to Compute • Nonlinear • Complex, spatially varying kernels • Cannot be precomputed, no FFT… • Brute-force implementation is slow > 10min      S IIIGG W IBF q qqp p p qp |||||| 1 ][ rs 
  126. 126. ジョイント・クロスバイラテラルフィルタ, Petschnigg(2004) and Eisemann(2004) バイラテラル  1枚の画像を2種類の重みでフィルタ NEW : この重みを2種類の画像から計算 • 画像 A を平滑化する • ただし,画像Bで類似領域は指定する どうしてそんなことをするのか? →両者のいいとこ取りをするため.
  127. 127. 従来のバイラテラルフィルタ Domain Range f(x) x      S AAAGG W ABF q qqp p p qp |||||| 1 ][ rs  バイラテラル  画像Aから2種類の重みを計算 c s
  128. 128.      S ABBGG W ABF q qqp p p qp |||||| 1 ][ rs  ジョイント・クロスバイラテラルフィルタ B: ノイズ小信号強度大 (フラッシュ画像) ジョイントバイラテラル  画像Bから2種類の重みを計算し画像Aをフィルタ c s c s A: ノイジー,信号曖昧 (環境光画像)
  129. 129. 画像A: 色温度高,影つき,ノイズ大 No-flash
  130. 130. 画像B: 色温度低,影無し,ノイズ小
  131. 131. ジョイントバイラテラルフィルタによる良いとこどり
  132. 132. 明らかに改善!
  133. 133. ノンローカルミーンフィルタ (Buades 2005) 目的として類似した領域を平滑化するのは同じ KEY: 類似性の拡張 • Bilateral: 近傍の輝度の類似度に応じて平均 • NL-Means: 近傍のパッチの類似度に応じて平均
  134. 134. NL-Means Method: Buades (2005) Vp = 0.74 0.32 0.41 0.55 … … … 全ての画素pにおいて 固定窓サイズのパッチ(近傍領域)を決定し, パッチ内輝度値をベクトルVpのとして定義
  135. 135. NL-Means Method: Buades (2005) || Vp – Vq ||2 p q
  136. 136. NL-Means Method: Buades (2005) p q’ ベクトルのL2ノルムで距離を定義 || Vp – Vq ||2 類似画素 p,q 間 距離:短 非類似画素 p,q’ 間 距離:長 この距離に応じてフィルタ q    S IVVG W INLMF q qqp p p 2 |||| 1 ][ r   ※空間重みなし
  137. 137. NL-Means Filter (Buades 2005) • Noisy source image:
  138. 138. NL-Means Filter (Buades 2005) • Gaussian Filter Low noise, Low detail
  139. 139. NL-Means Filter (Buades 2005) • Anisotropic Diffusion (Note ‘stairsteps’: ~ piecewise constant)
  140. 140. NL-Means Filter (Buades 2005) • Bilateral Filter (better, but similar ‘stairsteps’:
  141. 141. NL-Means Filter (Buades 2005) • NL-Means: Sharp, Low noise, Few artifacts.
  142. 142. さまざまなBilateral Filterの実装 • Fast bilateral filtering for the display of high-dynamic-range images, SIGGRAPH 2002 • バイラテラルフィルタを分解し,ボックスフィルタの重ねあわせに • Separable bilateral filtering for fast video preprocessing, ICME2005 • 縦横のカーネルを無理やり分離.かなり高速 • A Fast Approximation of the Bilateral Filter using a Signal Processing Approach, ECCV2006 • バイラテラルグリッド • Lazy sliding window implementation of the bilateral filter on parallel architectures • Bilatral Grid 上記のSIMDに適した実装. • Fast Median and Bilateral Filtering, SIGGRAPH 2006 • Constant time O(1) bilateral filtering, CVPR2008 • ヒストグラムで高速化 • Real-time O(1) bilateral filtering, CVPR2009 • スライスに分割して高速化 • Recursive Bilateral Filtering, ECCV2012 • バイラテラルフィルタのIIRフィルタ表現.ただしバイラテラルフィルタのどこまで近似になっているかの実験無し • Acceleration of bilateral filtering algorithm for manycore and multicore architectures ICPP2012 • 直接並列化.Pair-symmetric実装により2倍速. • Fast High-Dimensional Filtering Using the Permutohedral Lattice Eurographics 2010 • 高次元高速化フィルタ • Adaptive Manifolds for Real-Time High-Dimensional Filtering Siggraph2012 • 高次元高速化フィルタ
  143. 143. 高速化の分類 • ヒストグラム • 高次元ガウシアン • 再帰 • 間引き 146
  144. 144. その他のエッジ保持平滑化フィルタ • Edge-preserving decompositions for multi-scale tone and detail manipulation, ACM Trans. Graph., vol. 27, no. 3, pp. 1–10, Aug. 2008. • Edge-avoiding wavelets and their applications, ACM Trans. Graph., vol. 28, no. 3, pp. 1–10, Jul. 2009. • Guided image filtering,‖ in Proc. ECCV., 2010. • Domain transform for edge-aware image and video Processing, ACM Trans. Graph., vol. 30, no. 4, pp. 1– 12, Jul. 2011. 147
  145. 145. エッジ保持平滑化による アプリケーション • 超解像 • ボケ除去 • デノイズ • フラッシュノンフラッシュ • デノイズ • 赤目除去 • ヘイズリムーブ • アップサンプル • ピクセルアートアップサンプル • アブストラクション,stylization • カラリゼーション • HDR • ディテールエンハンスメント • ステレオマッチング • オプティカルフロー推定 • アルファマッティング • レンズ風ぼかし • 鉛筆画 • リカラー
  146. 146. OpenCV 149
  147. 147. OpenCV 3.0のコンピューテーショナル フォトグラフィに関連する関数群 • Imgproc • バイラテラルフィルタ • ミーンシフト • Video • オプティカルフロー • 背景差分 • Calib3d • ステレオ対応 • カメラキャリブレーション • Features2d, nonfree • 特徴点抽出 • Photo • デノイズ • HDR • インペイント • デカラー • シームクローニング • ノンフォトリアリスティックレン ダンリング • Stitching • パノラマ • Superres • 超解像 1503.0β 2014年5月:http://docs.opencv.org/trunk/
  148. 148. 並列計算について • https://github.com/norishigefukushima/OpenCP 151
  149. 149. 参考資料一覧 152
  150. 150. コンピュテーショナルフォトグラフィ教科書 153 ※フリーのドラフト番はここ ( http://szeliski.org/Book/ ) にアップロードされている. Richard Szeliski, “Computer Vision: Algorithms and Applications,” Springer, 2010. 日本語訳:”コンピュータビジョンーアルゴリズム と応用ー,”共立出版,2013. 1. はじめに 2. 画像生成 3. 画像処理 4. 特徴検出とマッチング 5. 領域分割 6. 特徴に基づく位置合わせ 7. 運動からの形状復元 8. 密な運動推定 9. 画像の張り合わせ 10. コンピュテーショナルフォトグラフィ 11. ステレオ対応 12. 3次元復元 13. イメージベーストレンダリング 14. 認識
  151. 151. 参考資料へのリンク フィルタリングのコース資料 • A Gentle Introduction to Bilateral Filtering and its Applications • SIGGRAPH 2007, 2008, CVPR 2008 • http://people.csail.mit.edu/sparis/bf_course/ • Image Filtering 2.0: Efficient Edge-Aware Filtering and Their Applications • ICIP2013 • https://sites.google.com/site/filteringtutorial/
  152. 152. 参考資料へのリンク HDRの資料 • Paul E. Debevec and Jitendra Malik. “Recovering High Dynamic Range Radiance Maps from Photographs,” InSIGGRAPH 97, Aug. 1997 • http://www.pauldebevec.com/Research/HDR/ • HDRI - Introduction - TU Berlin • http://cybertron.cg.tu-berlin.de/pdci09/hdr_tonemapping/index.html
  153. 153. 参考資料へのリンク デブラーの資料 • SmarDeblur • http://smartdeblur.net/ • ソースコード:https://github.com/Y-Vladimir/SmartDeblur • Matlab:ブレ除去 • ウィーナーフィルタ,生息かフィルタ,LR,ブラインドデコンボ リューション,etc… • http://www.mathworks.co.jp/jp/help/images/image-restoration- deblurring.html 156
  154. 154. 参考資料へのリンク モーフィングの資料 • WinMorph • http://www.debugmode.com/winmorph/ • SmartMorph • http://smartmorph.jp.brothersoft.com/ • FotoMorph • http://fotomorph.softonic.jp/ • OpenCV implementation @takmin • https://github.com/takmin/ImageMorphing 157
  155. 155. 参考資料へのリンク コンピューテーショナルフォトグラフィ講義資料 • CMU http://graphics.cs.cmu.edu/courses/15-463/2012_fall/ • MIT http://stellar.mit.edu/S/course/6/sp12/6.815/materials.html http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm • Cornell http://www.cs.cornell.edu/Courses/cs6640/2012fa/index.shtml • Illinois http://courses.engr.illinois.edu/cs498dh3/ • Columbia http://www.cs.columbia.edu/~belhumeur/courses/compPhoto/compPhoto4.html • Brown http://cs.brown.edu/courses/csci1950-g/ • Washington http://courses.cs.washington.edu/courses/cse576/05sp/ • EPFL http://moodle.epfl.ch/course/view.php?id=472 • ETH http://www.inf.ethz.ch/personal/marc.pollefeys/courses/CompPhoto/ 158

×