関東CV勉強会 CVPR16読み会の資料

1. ASP Vision:
Optically Computing the First Layer of
Convolutional Neural Networks
using Angle Sensitive Pixels
#cvsaisentan
CVPR 16読み会
@mhr380
1

2. 2
本日のメニュー

3. ASP Vision:
Optically Computing the First Layer of
Convolutional Neural Networks
using Angle Sensitive Pixels
3
Huaijin (George) Chen*, Suren Jayasuriya*,
Jiyue Yang, Judy Stephen, Sriram Sivaramakrishnan, Ashok
Veeraraghavan, Alyosha Molnar
(* = joint first authors)
In CVPR 2016 (Oral Presentation)
Presenter: Hajime Mihara (@mhr380)

4. どんな論文？
4

5. どんな論文？
5
ｱｯCNNだ!

6. どんな論文？
6
ｱｯ…?

7. どんな論文？
7
ｱｯ…?
ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels

8. どんな論文？
8
ｱｯ…?
ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels
Optically Computing the First Layer of
Convolutional Neural Networks
「光学的にCNNの第１層を計算する」！？

9. ざっくり言うと: 背景
• 画像からの一般物体認識タスクに「画像」は本当に必要？
• 現在のカメラは、人が鑑賞・認識できる画像を出力
• CVのタスクに最適化された装置ではないよね
• コンピュータが理解しやすいデータを出力するカメラって？
9

10. ざっくり言うと: 提案手法
• センサ出力が画像ではなく、ガボールフィルタをかけた画像に
なるようなCMOSイメージセンサを提案
• CMOSセンサのピクセル上に、様々な回折格子を設置すること
により実現
10

11. ざっくり言うと: 結果
• CNNによる一般物体認識タスクにおいて
• 画像を入力し、ガボールフィルタをかけた画像を入力した場合と、
作成したCMOSの信号を入力した場合で、認識性能は変わらなかった
• しかし、計算機上での1層目の演算を省略、
センサの電力を90%削減、センサ-CPU間の通信帯域を1/10に
11

12. どんな人たち？
• Huaijin (George) Chen*
• Suren Jayasuriya*
• Jiyue Yang
• Judy Stephen
• Sriram Sivaramakrishnan
• Ashok Veeraraghavan
• Alyosha Molnar
12
• Assistant Prof. (PI) @ Rice Univ.
• Computational Photography分野では
著名な研究者
• Last Nameの発音が難解
（Computational Photography界隈あるある）
• 博士課程学生＠Rice Univ.
• Google Scholarには、この論文と
CVPR ’15の論文の計２本が登録
http://hc25.web.rice.edu/
http://www.ece.rice.edu/~av21/

13. どんな人たち？
• Huaijin (George) Chen*
• Suren Jayasuriya*
• Jiyue Yang
• Judy Stephen
• Sriram Sivaramakrishnan
• Ashok Veeraraghavan
• Alyosha Molnar
13
• cornell Univ. でイメージセンサを研究するグループ。
• 応用先として、Computational Imagingにも取り組み、
近年はCV/CP分野にも進出
（ICCP2014にMITのR. Raskarらとの共著論文あり）
http://molnargroup.ece.cornell.edu/

14. 14
内容

15. Angle Sensitive Pixels (ASP) 1/5
• cornell Univ. のMolnar Groupが開発した
光の入射角度により、信号強度が変化するCMOSセンサ
• 初出は2012年、IEEE Journal of Solid-state Circuitsにて
15
*A. Wang. et al., “A Light-Field Image Sensor in 180 nm CMOS”,
IEEE Journal of Solid-state Circuits, Vol. 47, No. 1, Jan. 2012.

16. Angle Sensitive Pixels (ASP) 2/5
• ASPは、ピクセル表面に回折格子を設置することにより実現
• 回折(diffraction)ってなんだっけ？
• 媒質中を伝わる波に対し障害物が存在するとき、波がその背後など、
幾何学的には到達できない領域に回り込んで伝わっていく現象
（Wikipedia「回折」）
16
http://cweb.canon.jp/eos/special/dlo/factor/img/img-03-01.gif

17. Angle Sensitive Pixels (ASP) 3/5
• 回折格子ってなんだっけ？
• 英語では回折格子のことを(diffraction) gratingと言うらしい
• 多数のスリットを並べ、回折を起こすような素子
波の干渉が生じるため、強め合ったり弱めあったりする（干渉縞）
• 縞の位置は波長依存性があるため、白色光を分光するために利用
（この論文ではあまり使わない）
17
（左図）http://www.shimadzu.co.jp/products/opt/guide/index.html
（右図）Wikipedia「回折格子」

18. Angle Sensitive Pixels (ASP) 4/5
• ASPで重要となる現象：Talbot回折
18
回折格子ｘ２
波長λの光（平面波）
格子下方の位置
2・n・d / λ
に回折格子の自己像が形成間隔d

19. Angle Sensitive Pixels (ASP) 4/5
• ASPで重要となる現象：Talbot回折
19
この効果により、インパルス応答が
ガボールフィルタのようになる
回折格子ｘ２
波長λの光（平面波）
格子下方の位置
2・n・d / λ
に回折格子の自己像が形成間隔d

20. Angle Sensitive Pixels (ASP) 5/5
• 実装とインパルス応答の例
20
角度や空間周波数の異なる
様々な回折格子パターンを配置

21. カメラとセンサのプロトタイプ
21

22. 電力・通信帯域削減 1/2
• 電力
• CMOS内のAD変換をめっちゃ最適化したというお話
• 顕著にエッジが立っている画素を検出し、その周辺だけ
AD変換を行う
• （なぜこんなことが可能なのかはわかりませんでした…）
• （そもそもCMOSセンサって列ごとに動作するのでは…？）
22
pp.906

23. 電力・通信帯域削減 2/2
• 通信帯域
• 送りたいのは、ガボールフィルタをかけたあとの画像
• こちらもめっちゃ最適化したという話
• 非ゼロ要素のみ送信
• ランレングスで圧縮
23

24. 実験
• 従来のCNNと、提案するASPを用いたシステムで
認識の精度が変わらないことを示す
• データセットはMNIST, CIFAR-10/100, PF-83を用意
• 比較手法として、VGG-M-128, NiN, LeNetを用意
• 提案手法の２層目以降は、比較手法と同一のネットワーク構造
24

25. 実験
25
• 結果
精度はあまり変わらない（ポジティブな意味で）

26. センサの解析
• ソニー製スマートフォン用イメージセンサとの
電力・通信帯域の比較
26
単位面積あたりのエネルギ消費が
340 : 33 (単位略）
電力消費を90%抑えた
384x384x8bitで
圧縮率は10:1に

27. まとめ
• Angle Sensitive Pixels (ASP)とCNNを組み合わせて
Visual recognition用のシステムを構築した
• 認識精度を下げずに、エネルギ効率や圧縮効率を向上させた
27