2015年にRice Univ.　が発表した激薄カメラFLAT CAM: Replacing Lenses with Masks and Computationの解説です． その他，様々な変わったカメラについて解説しています．

1. FLAT CAM
Replacing Lenses with Masks and
Computationの解説
デンソーアイティーラボラトリ
関川雄介

2. 世界の変わったカメラたち
名前 キャッチコピー
Pinhole camera(BC) 紀元前に発明
Pinspeck camera(BC) Pinhole cameraの逆
Accidental Pinhole and
Pinspeck Cameras(2013)
自然に起きるピンホールカメラ
Random Lens Imaging(2006) 鏡を砕いてレンズに
CORNAR(2012) 見えない曲がりかどの先を見る
Lensless Imaging with a
Controllable Aperture(2006)
光の速度で相関演算
Rice Single Lens camera(2006) 1ピクセルカメラ CS画像応用の火付け役?
Pico Cam(2014) 直径髪の毛の1/10
Flatcam(2015) 激薄 厚さ0.5mm

3. 準備
簡単に用語・記号の定義をします

4. カメラ:
シーンの情報を観測する装置
シーン観測
PSF
http://av.jpn.support.panasonic.com/support/global/cs/dsc/knowhow/knowhow01.html
カメラ
(観測行列)
注:観測行列は簡単のため1次元の場合のイ
メージを記載しています．カメラのセンサーは2
次元なので，実際の観測行列はこれを循環させ
たものをブロック状に配置したようなものになり
ます．
次頁以降の説明も同様です．
また，一部観測行列でなくPSFを記載しているス
ライドもあるます．

5. PSF/Reconstruction
• Point Spread Function(PSF): 点光源を
撮影したときに得られる画像
• Reconstruction:得られた観測yからシー
ンxを復元(推定)すること
線形/非線形

6. EXTREME CAMERAS
Overview

7. PSF
Pinhole camera(BC)
シーン観測 カメラ
(観測行列)
https://ja.wikipedia.org/wiki/ピンホールカメラ

8. Pinspeck camera(BC)
http://www.northlight-images.co.uk/article_pages/Canon_1ds_pinhole.html
カメラ シーン観測
PSF

9. Accidental Pinhole and Pinspeck
Cameras(2013) カーテンの隙間
壁の模様:
除去したい！
http://people.csail.mit.edu/torralba/publications/shadowsIJCV.pdf
Algorithm: 窓の外の風景 = 観測(y)の微分画像から
エッジ部分(カーテンをしめた画像から計算）を除いた積分画像

10. Pinhole Pinspeck

11. Rice Single Pixel camera(2006)
時刻tにおけるミラーパターン
ラスタスキャンの
1/10の観測から復元
PSF
1pixelセンサー
ミラーアレー
http://dsp.rice.edu/cscamera

12. Random Lens Imaging(2006)
砕いたガラス
PSF
http://people.csail.mit.edu/billf/publications/Random_Lens_Imaging.pd

13. CORNAR: Looking Around Corners using
Femto-Photography(2012)
http://web.media.mit.edu/~raskar/cornar/

14. http://web.media.mit.edu/~raskar/cornar/

15. Lensless Imaging with a Controllable
Aperture(2006)
http://www1.cs.columbia.edu/CAVE/projects/pi_con/
光の速度で相
互相関を計算
透明ディスプレー
PSF

16. PicoCam(2014)
PSF
CCD
PicoCam
http://arxiv.org/pdf/1509.00116v2.pdf

17. FLAT CAMERA
Overview

18. FlatCam: Replacing Lenses with Masks
and Computation(2015)
PSF

19. うれしさ(vs conventional camera)
明るい 安い 薄い薄い

20. うれしさ(vs other Lens Less cameras)
vs Coded Lens(SIGGRAPH2014)
vs PicoCam
薄い
明るい

21. 復元結果
demo video

22. ポイント
1. コンパクトなH/W設計
2. 高速な復元⇨30fps
1. レンズ設計
2. Calibration
3. Reconstruction
CCD
Coded Aperture

23. レンズ(マスクパターン)設計
従来法：
システム行列
が巨大
マスクパターン:
M系列の外積
(Rank1)
(注)システム行列
≠Rank1
小さなシステム行列
のサンドイッチに分解
高速な復元を実現
M系列
:特異値スペク
トルがフラット
ポイント

24. Calibration=:システム行列を求める
ポイント
シーンXがSeparable=rank1
h:Hadmard行列の列 観測のrank1近似

26. Reconstruction(最小二乗誤差)
小さな行列との積による高速な復元処理(>15FPS!）
ポイント
Separable Maskによる効果

27. その他の復元方法との比較
Tiknov 正則化: 75ms/frame LSと同じ位の計算量で十分綺麗
TV正則化: 75s/frameエッジが少し綺麗?

28. 参考資料

29. 関連論文＆サイト一覧
本資料の画像は以下のサイト若しくは論文のものを使用していま
す．
• http://news.rice.edu/2015/11/23/no-lens-no-problem-
for-flatcam-2/
• http://www.northlight-
images.co.uk/article_pages/Canon_1ds_pinhole.html
• http://people.csail.mit.edu/torralba/publications/shadows
IJCV.pdf
• http://people.csail.mit.edu/billf/publications/Random_Len
s_Imaging.pd
• http://dsp.rice.edu/cscamera
• http://arxiv.org/pdf/1509.00116v2.pdf
• http://web.media.mit.edu/~raskar/cornar/
• http://doshomachi.net/camera-obscura/
• http://fluid.media.mit.edu/sites/default/files/a59-
sckikawa.pdf