SlideShare a Scribd company logo
1 of 27
ASP Vision:
Optically Computing the First Layer of
Convolutional Neural Networks
using Angle Sensitive Pixels
#cvsaisentan
CVPR 16読み会
@mhr380
1
2
本日のメニュー
ASP Vision:
Optically Computing the First Layer of
Convolutional Neural Networks
using Angle Sensitive Pixels
3
Huaijin (George) Chen*, Suren Jayasuriya*,
Jiyue Yang, Judy Stephen, Sriram Sivaramakrishnan, Ashok
Veeraraghavan, Alyosha Molnar
(* = joint first authors)
In CVPR 2016 (Oral Presentation)
Presenter: Hajime Mihara (@mhr380)
どんな論文?
4
どんな論文?
5
アッCNNだ!
どんな論文?
6
アッ…?
どんな論文?
7
アッ…?
ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels
どんな論文?
8
アッ…?
ASP Vision: Optically Computing the First Layer of
Convolutional Neural Networks using Angle Sensitive Pixels
Optically Computing the First Layer of
Convolutional Neural Networks
「光学的にCNNの第1層を計算する」!?
ざっくり言うと: 背景
• 画像からの一般物体認識タスクに「画像」は本当に必要?
• 現在のカメラは、人が鑑賞・認識できる画像を出力
• CVのタスクに最適化された装置ではないよね
• コンピュータが理解しやすいデータを出力するカメラって?
9
ざっくり言うと: 提案手法
• センサ出力が画像ではなく、ガボールフィルタをかけた画像に
なるようなCMOSイメージセンサを提案
• CMOSセンサのピクセル上に、様々な回折格子を設置すること
により実現
10
ざっくり言うと: 結果
• CNNによる一般物体認識タスクにおいて
• 画像を入力し、ガボールフィルタをかけた画像を入力した場合と、
作成したCMOSの信号を入力した場合で、認識性能は変わらなかった
• しかし、計算機上での1層目の演算を省略、
センサの電力を90%削減、センサ-CPU間の通信帯域を1/10に
11
どんな人たち?
• Huaijin (George) Chen*
• Suren Jayasuriya*
• Jiyue Yang
• Judy Stephen
• Sriram Sivaramakrishnan
• Ashok Veeraraghavan
• Alyosha Molnar
12
• Assistant Prof. (PI) @ Rice Univ.
• Computational Photography分野では
著名な研究者
• Last Nameの発音が難解
(Computational Photography界隈あるある)
• 博士課程学生@Rice Univ.
• Google Scholarには、この論文と
CVPR ’15の論文の計2本が登録
http://hc25.web.rice.edu/
http://www.ece.rice.edu/~av21/
どんな人たち?
• Huaijin (George) Chen*
• Suren Jayasuriya*
• Jiyue Yang
• Judy Stephen
• Sriram Sivaramakrishnan
• Ashok Veeraraghavan
• Alyosha Molnar
13
• cornell Univ. でイメージセンサを研究するグループ。
• 応用先として、Computational Imagingにも取り組み、
近年はCV/CP分野にも進出
(ICCP2014にMITのR. Raskarらとの共著論文あり)
http://molnargroup.ece.cornell.edu/
14
内容
Angle Sensitive Pixels (ASP) 1/5
• cornell Univ. のMolnar Groupが開発した
光の入射角度により、信号強度が変化するCMOSセンサ
• 初出は2012年、IEEE Journal of Solid-state Circuitsにて
15
*A. Wang. et al., “A Light-Field Image Sensor in 180 nm CMOS”,
IEEE Journal of Solid-state Circuits, Vol. 47, No. 1, Jan. 2012.
Angle Sensitive Pixels (ASP) 2/5
• ASPは、ピクセル表面に回折格子を設置することにより実現
• 回折(diffraction)ってなんだっけ?
• 媒質中を伝わる波に対し障害物が存在するとき、波がその背後など、
幾何学的には到達できない領域に回り込んで伝わっていく現象
(Wikipedia「回折」)
16
http://cweb.canon.jp/eos/special/dlo/factor/img/img-03-01.gif
Angle Sensitive Pixels (ASP) 3/5
• 回折格子ってなんだっけ?
• 英語では回折格子のことを(diffraction) gratingと言うらしい
• 多数のスリットを並べ、回折を起こすような素子
波の干渉が生じるため、強め合ったり弱めあったりする(干渉縞)
• 縞の位置は波長依存性があるため、白色光を分光するために利用
(この論文ではあまり使わない)
17
(左図)http://www.shimadzu.co.jp/products/opt/guide/index.html
(右図)Wikipedia「回折格子」
Angle Sensitive Pixels (ASP) 4/5
• ASPで重要となる現象:Talbot回折
18
回折格子x2
波長λの光(平面波)
格子下方の位置
2・n・d / λ
に回折格子の自己像が形成間隔d
Angle Sensitive Pixels (ASP) 4/5
• ASPで重要となる現象:Talbot回折
19
この効果により、インパルス応答が
ガボールフィルタのようになる
回折格子x2
波長λの光(平面波)
格子下方の位置
2・n・d / λ
に回折格子の自己像が形成間隔d
Angle Sensitive Pixels (ASP) 5/5
• 実装とインパルス応答の例
20
角度や空間周波数の異なる
様々な回折格子パターンを配置
カメラとセンサのプロトタイプ
21
電力・通信帯域削減 1/2
• 電力
• CMOS内のAD変換をめっちゃ最適化したというお話
• 顕著にエッジが立っている画素を検出し、その周辺だけ
AD変換を行う
• (なぜこんなことが可能なのかはわかりませんでした…)
• (そもそもCMOSセンサって列ごとに動作するのでは…?)
22
pp.906
電力・通信帯域削減 2/2
• 通信帯域
• 送りたいのは、ガボールフィルタをかけたあとの画像
• こちらもめっちゃ最適化したという話
• 非ゼロ要素のみ送信
• ランレングスで圧縮
23
実験
• 従来のCNNと、提案するASPを用いたシステムで
認識の精度が変わらないことを示す
• データセットはMNIST, CIFAR-10/100, PF-83を用意
• 比較手法として、VGG-M-128, NiN, LeNetを用意
• 提案手法の2層目以降は、比較手法と同一のネットワーク構造
24
実験
25
• 結果
精度はあまり変わらない(ポジティブな意味で)
センサの解析
• ソニー製スマートフォン用イメージセンサとの
電力・通信帯域の比較
26
単位面積あたりのエネルギ消費が
340 : 33 (単位略)
電力消費を90%抑えた
384x384x8bitで
圧縮率は10:1に
まとめ
• Angle Sensitive Pixels (ASP)とCNNを組み合わせて
Visual recognition用のシステムを構築した
• 認識精度を下げずに、エネルギ効率や圧縮効率を向上させた
27

More Related Content

Viewers also liked

ownCloud のあれこれ July Tech Festa 2016
ownCloud のあれこれ July Tech Festa 2016ownCloud のあれこれ July Tech Festa 2016
ownCloud のあれこれ July Tech Festa 2016Tetsurou Yano
 
1. Notre Plateforme De Planning StratéGique Interactif
1. Notre Plateforme De Planning StratéGique Interactif1. Notre Plateforme De Planning StratéGique Interactif
1. Notre Plateforme De Planning StratéGique Interactifnous sommes vivants
 
Using Sketch in Your Workflow – From Idea to Finished Product
Using Sketch in Your Workflow – From Idea to Finished ProductUsing Sketch in Your Workflow – From Idea to Finished Product
Using Sketch in Your Workflow – From Idea to Finished ProductBrian Louis Ramirez
 
JobStreamerではじめるJavaBatchのクラウド分散実行
JobStreamerではじめるJavaBatchのクラウド分散実行JobStreamerではじめるJavaBatchのクラウド分散実行
JobStreamerではじめるJavaBatchのクラウド分散実行Yoshitaka Kawashima
 
Juliaで前処理
Juliaで前処理Juliaで前処理
Juliaで前処理weda654
 
Dataset for Semantic Urban Scene Understanding
Dataset for Semantic Urban Scene UnderstandingDataset for Semantic Urban Scene Understanding
Dataset for Semantic Urban Scene UnderstandingYosuke Shinya
 
Exploratory user research (How to figure out what to test)
Exploratory user research (How to figure out what to test)Exploratory user research (How to figure out what to test)
Exploratory user research (How to figure out what to test)Dhyana Scarano
 
生成モデルの Deep Learning
生成モデルの Deep Learning生成モデルの Deep Learning
生成モデルの Deep LearningSeiya Tokui
 
What Will Your Legacy Be SIIT? Social Media Strategy in 2016
What Will Your Legacy Be SIIT? Social Media Strategy in 2016What Will Your Legacy Be SIIT? Social Media Strategy in 2016
What Will Your Legacy Be SIIT? Social Media Strategy in 2016Jeph Maystruck
 
大学編入試験体験記 @進路報告会
大学編入試験体験記 @進路報告会大学編入試験体験記 @進路報告会
大学編入試験体験記 @進路報告会Kentaro Tsuji
 

Viewers also liked (15)

Digipak so far
Digipak so farDigipak so far
Digipak so far
 
Internal vs. External CEOs
Internal vs. External CEOsInternal vs. External CEOs
Internal vs. External CEOs
 
Um ato amoroso
Um ato amorosoUm ato amoroso
Um ato amoroso
 
C++1z draft
C++1z draftC++1z draft
C++1z draft
 
ownCloud のあれこれ July Tech Festa 2016
ownCloud のあれこれ July Tech Festa 2016ownCloud のあれこれ July Tech Festa 2016
ownCloud のあれこれ July Tech Festa 2016
 
1. Notre Plateforme De Planning StratéGique Interactif
1. Notre Plateforme De Planning StratéGique Interactif1. Notre Plateforme De Planning StratéGique Interactif
1. Notre Plateforme De Planning StratéGique Interactif
 
Using Sketch in Your Workflow – From Idea to Finished Product
Using Sketch in Your Workflow – From Idea to Finished ProductUsing Sketch in Your Workflow – From Idea to Finished Product
Using Sketch in Your Workflow – From Idea to Finished Product
 
Arquitectura y urbanismo inca
Arquitectura y urbanismo incaArquitectura y urbanismo inca
Arquitectura y urbanismo inca
 
JobStreamerではじめるJavaBatchのクラウド分散実行
JobStreamerではじめるJavaBatchのクラウド分散実行JobStreamerではじめるJavaBatchのクラウド分散実行
JobStreamerではじめるJavaBatchのクラウド分散実行
 
Juliaで前処理
Juliaで前処理Juliaで前処理
Juliaで前処理
 
Dataset for Semantic Urban Scene Understanding
Dataset for Semantic Urban Scene UnderstandingDataset for Semantic Urban Scene Understanding
Dataset for Semantic Urban Scene Understanding
 
Exploratory user research (How to figure out what to test)
Exploratory user research (How to figure out what to test)Exploratory user research (How to figure out what to test)
Exploratory user research (How to figure out what to test)
 
生成モデルの Deep Learning
生成モデルの Deep Learning生成モデルの Deep Learning
生成モデルの Deep Learning
 
What Will Your Legacy Be SIIT? Social Media Strategy in 2016
What Will Your Legacy Be SIIT? Social Media Strategy in 2016What Will Your Legacy Be SIIT? Social Media Strategy in 2016
What Will Your Legacy Be SIIT? Social Media Strategy in 2016
 
大学編入試験体験記 @進路報告会
大学編入試験体験記 @進路報告会大学編入試験体験記 @進路報告会
大学編入試験体験記 @進路報告会
 

0727 cvpr16 asp_vision_upload