第34回CV勉強会「コンピュテーショナルフォトグラフィ」発表資料

1. コンピュテーショナルフォトグラフィ
理解のための光学系入門
~ 4章 ~
#cvsaisentan
@mhr380

2. 自己紹介
• 1991/11 ：北海道生まれ
• ～2014/03 ：某高専＠北海道
• ～2016/03 ：某大学院大学の修士課程＠奈良
• 2016/04～ ：某企業のCV系R&D見習い＠東京
三原 基 (@mhr380)
※本発表は現在の所属組織とは一切関係ありません

3. おしながき
• ４章：応用例
• 4.1: カメラアレイによるライトフィールドの獲得
• 4.2: カメラ内部の工夫によるライトフィールドの獲得
• 4.3: 合成開口法によるリフォーカス
日浦慎作, コンピュータビジョン最先端ガイド４，
第２章 コンピュテーショナルフォトグラフィ理解のための光学系入門

4. ライトフィールド #とは
シーン中を飛び交う光線の集合

5. 「普通の」カメラでシーンを撮影
u
v
x
y
Main Lens
Scene
Sensor
様々な角度からセンサに入射する光線を
角度方向に積分 4D から 2Dへ

6. どのように4Dのまま光線を獲得する？
Scene
何らかの
装置

7. おしながき
• ４章：応用例
• 4.1: カメラアレイによるライトフィールドの獲得
• 4.2: カメラ内部の工夫によるライトフィールドの獲得
• 4.3: 合成開口法によるリフォーカス
日浦慎作, コンピュータビジョン最先端ガイド４，
第２章 コンピュテーショナルフォトグラフィ理解のための光学系入門

8. どのように4Dのまま光線を獲得する？
Scene
https://openclipart.org/detail/168562/camera-no-filters
• たくさんカメラを並べる
（注）図は正確ではありません

9. カメラアレイによる
ライトフィールドの獲得
• 大変由緒正しき手法
http://graphics.stanford.edu/projects/array/
The Stanford Multi-Camera Array ViewPLUS ProFUSION25
http://www.viewplus.co.jp/product_old.html

10. カメラアレイによる
ライトフィールドの獲得
u
x
pp. 39, 図2.14

11. カメラアレイによる
ライトフィールドの獲得
x
x
x
x
u
（注）pp.33 図2.8(b)に、uは光線の傾きを表すと定義されている
u
x

12. カメラアレイによる
ライトフィールドの獲得
u
x

13. カメラアレイによる
ライトフィールドの獲得
u
x

14. カメラアレイによる
ライトフィールドの獲得
u
x

15. カメラアレイによる
ライトフィールドの獲得
u
x

16. u
v

17. カメラアレイのメリット
分解能が良好
• カメラ１台あたりの画素数 ＝ 空間サンプル数
• カメラの台数 = 角度サンプル数
大開口の実現
• 通常のカメラでは不可能な、巨大なボケを作り出すことが可能
• 合成開口（4.3章：後述）

18. カメラアレイのデメリット
カメラすべての同期が必要
• つらそう
角度方向に密なサンプリングが難しい
• カメラ1台1台がある程度の大きさを持つため
装置が大型化

19. おしながき
• ４章：応用例
• 4.1: カメラアレイによるライトフィールドの獲得
• 4.2: カメラ内部の工夫によるライトフィールドの獲得
• 4.3: 合成開口法によるリフォーカス
日浦慎作, コンピュータビジョン最先端ガイド４，
第２章 コンピュテーショナルフォトグラフィ理解のための光学系入門

20. どのように4Dのまま光線を獲得する？
Scene
何らかの
装置

21. どのように4Dのまま光線を獲得する？
u
v
Main Lens
x
y
Scene
Sensor
レンズアレイを用いることで
１つのセンサでライトフィールドを獲得

22. レンズアレイによる
ライトフィールドの獲得
• Plenoptic Camera [Adelson+, TPAMI ’92]
• レンズアレイ式の元祖
• ステレオ視による物体形状取得が目的

23. レンズアレイによる
ライトフィールドの獲得
• Hand-held Plenoptic Camera [Ng+, ’05]
• [Adelson+, ’92]を手持ちできるよう改良
• 主にリフォーカスをアプリケーションとして据えている（後述）
http://graphics.stanford.edu/projects/lightfield/ren-ng.jpg

24. • Lytro
• Ren Ngが立ち上げたスタートアップ
• 1st gen. (左)は’12年発売、2nd gen.(右)は’14年発売
レンズアレイによる
ライトフィールドの獲得
https://lytro.com/

25. • Ren NgはLytroへのフルタイムなコミットをやめ、
UC Berkeleyでfacultyになった（’15~）
• 国際会議へ発表に行ったら
座長が彼だった
余談

26. レンズアレイによる
ライトフィールドの獲得
Image sensor
Lens array
Main lensObject
Sub aperture
A
B
C
(c)
(b)
(a)
(c)
(b)
(a)
(c)
(b)
(a)
• レンズアレイを通って、下部(a)に記録される光線は、
メインレンズ中のA領域を通る
• 同様に、(b)に記録される光線は、メインレンズのB領域を通る

27. センサに記録される画像

28. センサに記録される画像
x
y
(c)
(b)
(a)
(c)
(b)
(a)
(c)
(b)
(a)
(a)
(a)
(a)(a)
(a)
(a)
(a) (a) (a)
Rawデータ
前ページの領域Aを
通ってきた光線から
構成される画像

29. レンズアレイ方式のメリット
小型化が可能
角度方向に密なサンプリングが可能

30. レンズアレイ方式のデメリット
空間解像度が低下
1枚のセンサで光線の位置と傾きを計測
3000x4000画素のセンサを用いても、リフォーカス画像自体はVGAサイ
ズまで低下
キャリブレーションがつらい
Lytroは工場で1台ごとにキャリブレーションしているという噂

31. おしながき
• ４章：応用例
• 4.1: カメラアレイによるライトフィールドの獲得
• 4.2: カメラ内部の工夫によるライトフィールドの獲得
• 4.3: 合成開口法によるリフォーカス
日浦慎作, コンピュータビジョン最先端ガイド４，
第２章 コンピュテーショナルフォトグラフィ理解のための光学系入門

32. ライトフィールドを取得して
何が嬉しいのか？
• 多眼ステレオによる形状取得
• 未だにトップカンファレンスに毎回数本ずつくらい採択
• 自由視点画像生成、Image based rendering
• （最近は）HMD用コンテンツ作成
• リフォーカス
[Wanner+, CVPR ‘13]

33. • [Ng+, ’05]
Hand-held Plenoptic Camera
http://graphics.stanford.edu/projects/lightfield/ren-ng.jpg

34. 光線のシミュレーションが可能
• Lytroによるリフォーカス
https://pictures.lytro.com/lytro/collections/41/pictures/1003531

35. ライトフィールドが取得できていると？
物体 センサ
光線が「どこから」「どこへ」向かっているかがわかる

36. ライトフィールドが取得できていると？
物体 センサ
光線が「どこから」「どこへ」向かっているかがわかる

37. ライトフィールドが取得できていると？
例えばここにセンサがあったらどう写る？→ピントバッチリ！

38. ライトフィールドが取得できていると？
例えばここにセンサがあったらどう写る？→ちょっとボケる

39. ライトフィールドが取得できていると？
例えばここにセンサがあったらどう写る？→とてもボケる

40. 実装
• 取得した多眼画像をずらして重ねあわせるだけ
A
B
Scene
u
0
1
2
Bu
d1[px]
d2[px]

41. カメラアレイによる合成開口
[Vaish et al., CVPR ‘04]
[Yang et al., ECCV ‘14]

42. ライトフィールドを用いない
リフォーカス
• 未較正合成開口法[Kusumoto, Hiura, Sato, CVPR ‘09]
• 少ない入力から、補完によってライトフィールドを復元
入力 出力（前面にフォーカス）

43. まとめ
• ライトフィールドの獲得方法
• カメラアレイ
• レンズアレイ
• 応用
• 今回はリフォーカスについて説明