Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

0611_light field_cam_for_upload

1,148 views

Published on

第34回CV勉強会「コンピュテーショナルフォトグラフィ」発表資料

Published in: Technology
  • Be the first to comment

0611_light field_cam_for_upload

  1. 1. コンピュテーショナルフォトグラフィ 理解のための光学系入門 ~ 4章 ~ #cvsaisentan @mhr380
  2. 2. 自己紹介 • 1991/11 :北海道生まれ • ~2014/03 :某高専@北海道 • ~2016/03 :某大学院大学の修士課程@奈良 • 2016/04~ :某企業のCV系R&D見習い@東京 三原 基 (@mhr380) ※本発表は現在の所属組織とは一切関係ありません
  3. 3. おしながき • 4章:応用例 • 4.1: カメラアレイによるライトフィールドの獲得 • 4.2: カメラ内部の工夫によるライトフィールドの獲得 • 4.3: 合成開口法によるリフォーカス 日浦慎作, コンピュータビジョン最先端ガイド4, 第2章 コンピュテーショナルフォトグラフィ理解のための光学系入門
  4. 4. ライトフィールド #とは シーン中を飛び交う光線の集合
  5. 5. 「普通の」カメラでシーンを撮影 u v x y Main Lens Scene Sensor 様々な角度からセンサに入射する光線を 角度方向に積分 4D から 2Dへ
  6. 6. どのように4Dのまま光線を獲得する? Scene 何らかの 装置
  7. 7. おしながき • 4章:応用例 • 4.1: カメラアレイによるライトフィールドの獲得 • 4.2: カメラ内部の工夫によるライトフィールドの獲得 • 4.3: 合成開口法によるリフォーカス 日浦慎作, コンピュータビジョン最先端ガイド4, 第2章 コンピュテーショナルフォトグラフィ理解のための光学系入門
  8. 8. どのように4Dのまま光線を獲得する? Scene https://openclipart.org/detail/168562/camera-no-filters • たくさんカメラを並べる (注)図は正確ではありません
  9. 9. カメラアレイによる ライトフィールドの獲得 • 大変由緒正しき手法 http://graphics.stanford.edu/projects/array/ The Stanford Multi-Camera Array ViewPLUS ProFUSION25 http://www.viewplus.co.jp/product_old.html
  10. 10. カメラアレイによる ライトフィールドの獲得 u x pp. 39, 図2.14
  11. 11. カメラアレイによる ライトフィールドの獲得 x x x x u (注)pp.33 図2.8(b)に、uは光線の傾きを表すと定義されている u x
  12. 12. カメラアレイによる ライトフィールドの獲得 u x
  13. 13. カメラアレイによる ライトフィールドの獲得 u x
  14. 14. カメラアレイによる ライトフィールドの獲得 u x
  15. 15. カメラアレイによる ライトフィールドの獲得 u x
  16. 16. u v
  17. 17. カメラアレイのメリット 分解能が良好 • カメラ1台あたりの画素数 = 空間サンプル数 • カメラの台数 = 角度サンプル数 大開口の実現 • 通常のカメラでは不可能な、巨大なボケを作り出すことが可能 • 合成開口(4.3章:後述)
  18. 18. カメラアレイのデメリット カメラすべての同期が必要 • つらそう 角度方向に密なサンプリングが難しい • カメラ1台1台がある程度の大きさを持つため 装置が大型化
  19. 19. おしながき • 4章:応用例 • 4.1: カメラアレイによるライトフィールドの獲得 • 4.2: カメラ内部の工夫によるライトフィールドの獲得 • 4.3: 合成開口法によるリフォーカス 日浦慎作, コンピュータビジョン最先端ガイド4, 第2章 コンピュテーショナルフォトグラフィ理解のための光学系入門
  20. 20. どのように4Dのまま光線を獲得する? Scene 何らかの 装置
  21. 21. どのように4Dのまま光線を獲得する? u v Main Lens x y Scene Sensor レンズアレイを用いることで 1つのセンサでライトフィールドを獲得
  22. 22. レンズアレイによる ライトフィールドの獲得 • Plenoptic Camera [Adelson+, TPAMI ’92] • レンズアレイ式の元祖 • ステレオ視による物体形状取得が目的
  23. 23. レンズアレイによる ライトフィールドの獲得 • Hand-held Plenoptic Camera [Ng+, ’05] • [Adelson+, ’92]を手持ちできるよう改良 • 主にリフォーカスをアプリケーションとして据えている(後述) http://graphics.stanford.edu/projects/lightfield/ren-ng.jpg
  24. 24. • Lytro • Ren Ngが立ち上げたスタートアップ • 1st gen. (左)は’12年発売、2nd gen.(右)は’14年発売 レンズアレイによる ライトフィールドの獲得 https://lytro.com/
  25. 25. • Ren NgはLytroへのフルタイムなコミットをやめ、 UC Berkeleyでfacultyになった(’15~) • 国際会議へ発表に行ったら 座長が彼だった 余談
  26. 26. レンズアレイによる ライトフィールドの獲得 Image sensor Lens array Main lensObject Sub aperture A B C (c) (b) (a) (c) (b) (a) (c) (b) (a) • レンズアレイを通って、下部(a)に記録される光線は、 メインレンズ中のA領域を通る • 同様に、(b)に記録される光線は、メインレンズのB領域を通る
  27. 27. センサに記録される画像
  28. 28. センサに記録される画像 x y (c) (b) (a) (c) (b) (a) (c) (b) (a) (a) (a) (a)(a) (a) (a) (a) (a) (a) Rawデータ 前ページの領域Aを 通ってきた光線から 構成される画像
  29. 29. レンズアレイ方式のメリット 小型化が可能 角度方向に密なサンプリングが可能
  30. 30. レンズアレイ方式のデメリット 空間解像度が低下 1枚のセンサで光線の位置と傾きを計測 3000x4000画素のセンサを用いても、リフォーカス画像自体はVGAサイ ズまで低下 キャリブレーションがつらい Lytroは工場で1台ごとにキャリブレーションしているという噂
  31. 31. おしながき • 4章:応用例 • 4.1: カメラアレイによるライトフィールドの獲得 • 4.2: カメラ内部の工夫によるライトフィールドの獲得 • 4.3: 合成開口法によるリフォーカス 日浦慎作, コンピュータビジョン最先端ガイド4, 第2章 コンピュテーショナルフォトグラフィ理解のための光学系入門
  32. 32. ライトフィールドを取得して 何が嬉しいのか? • 多眼ステレオによる形状取得 • 未だにトップカンファレンスに毎回数本ずつくらい採択 • 自由視点画像生成、Image based rendering • (最近は)HMD用コンテンツ作成 • リフォーカス [Wanner+, CVPR ‘13]
  33. 33. • [Ng+, ’05] Hand-held Plenoptic Camera http://graphics.stanford.edu/projects/lightfield/ren-ng.jpg
  34. 34. 光線のシミュレーションが可能 • Lytroによるリフォーカス https://pictures.lytro.com/lytro/collections/41/pictures/1003531
  35. 35. ライトフィールドが取得できていると? 物体 センサ 光線が「どこから」「どこへ」向かっているかがわかる
  36. 36. ライトフィールドが取得できていると? 物体 センサ 光線が「どこから」「どこへ」向かっているかがわかる
  37. 37. ライトフィールドが取得できていると? 例えばここにセンサがあったらどう写る?→ピントバッチリ!
  38. 38. ライトフィールドが取得できていると? 例えばここにセンサがあったらどう写る?→ちょっとボケる
  39. 39. ライトフィールドが取得できていると? 例えばここにセンサがあったらどう写る?→とてもボケる
  40. 40. 実装 • 取得した多眼画像をずらして重ねあわせるだけ A B Scene u 0 1 2 Bu d1[px] d2[px]
  41. 41. カメラアレイによる合成開口 [Vaish et al., CVPR ‘04] [Yang et al., ECCV ‘14]
  42. 42. ライトフィールドを用いない リフォーカス • 未較正合成開口法[Kusumoto, Hiura, Sato, CVPR ‘09] • 少ない入力から、補完によってライトフィールドを復元 入力 出力(前面にフォーカス)
  43. 43. まとめ • ライトフィールドの獲得方法 • カメラアレイ • レンズアレイ • 応用 • 今回はリフォーカスについて説明

×