SlideShare a Scribd company logo
1 of 72
Interface Device Laboratory, Kanazawa University http://ifdl.jp/
道具としての半導体
:HCI分野での例
秋田純一
(金沢大学 理工学域 電子情報通信学類)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
自己紹介
 1970名古屋生まれ
 東京で大学→大学院(‘98:PhD)
 金沢大(’98~’00・’04~)現:理工学域 電子情報通信学類
 公立はこだて未来大(’00~’04)/333室とエレ工房の住人
 ’95〜’00:はこだて未来大 計画策定委員
 本業:集積回路、特に(機能つき)イメージセンサ
 +集積回路を使うデバイス・システム
 ユーザインタフェース・インタラクティブシステム(人間相手の機械)
集積回路(イメージセンサ)のレイアウト図
(プロッタ出力して目視チェック) 基板設計
研究室(実験室
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
自己紹介
名古屋市生まれ(‘70)
美馬夫妻と出会う(数理の翼セミナー・’87)
寺沢氏と出会う(数理の翼セミナー・’93)
はこだて未来大 計画策定委員(‘95〜’00)
博士号:イメージセンサ(東大 ‘98)
金沢大(’98~’00)
公立はこだて未来大(’00~’04)
金沢大(’04~)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
未来大策定委員のころの資料
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
未来大時代をふりかえって
いろいろ首をつっこんでいました
17Project(‘01)
「下請け」的な関与も多くありました
そんな中から、自分の立ち位置を明確にできた
過程でした
2001年度学内特別研究費申請分(一部)
• 混成環境における実ロボットサッカーチームの学習過程
• 研究教育用LSI設計・評価環境の整備と試作
• 盲人用歩行補助装置の開発
• 集積回路動作の可視化に関する研究
• 「色相環」を基点とした色彩調和システムの構築に関する研究
• 人間サポート型制御の提案とロボットとの共同作業による荷物搬送への応用
• エンターテイメントロボットのプロトタイプ制作
• 定点気象観測網システムの函館地域展開実験(Ecopic Project)
• オブジェクト指向ポインタに関する研究
• 人とロボットとの協調形態についての調査
• 芝刈りロボット
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
最近の研究テーマ
集積回路、特に(機能つき)イメージセンサ
集積回路を使うデバイス・システム(UI/HCI)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
自己紹介(副業)
Maker、ハンダテラピスト
好きな半田はPb:Sn=37:63
※さらに元ネタはSTAR TREK Next Gen.
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Contents
半導体チップ・コンピュータの歴史
「ムーアの法則」とその功罪
Open Sourceなチップ設計とその意義
カスタム半導体のHCIへの応用例
「きれいな」絵を撮るカメラ
高速な視線計測カメラ
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
半導体チップはどこにある?
「電気で動くもの」には、だいたい入ってる
普通は黒いパッケージの中にあり、見えない
PlayStation2をバラした基板
コレ
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
半導体チップの取り出し方
濃硫酸・発煙硝酸に入れて加熱し、
パッケージを溶かす
どこのご家庭にもある道具 ・・・ねぇよ!
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
炙る・・・?揚げる・・・?
#炙るとは言ってない
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
炙る
どこのご家庭にもある
BBQ用バーナー(カセットボンベ式)
3分くらい炙る
※火事・ヤケドに注意
ICチップ(パッケージ入)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
崩す
チップが見えてきた!
炭化したパッケージを、
ピンセットなどで、ちょんちょんしながら
崩していく
(チップを割らないように注意)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
拝む
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
分析する
詳しくはコチラ→https://note.mu/akita11/n/n6b169365b0c9
一番細い配線パターンが見えた!
倍率をあげならが、
特徴ある形状を基準に
サイズを計測していく
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
コンピュータの歴史の2つの側面
DEC VAX(1976)
1MIPS
Cray-1 (1978)
100MIPS
MIPS:Million Instruction Per Second (1秒間に実行できる命令数)
(世界最初のスーパーコンピュータ)
「世界トップの高速化」+「身近なものにも高速化の恩恵」の2つの側面がある
20000MIPS
10MIPS
100MIPS
20MIPS
20000MIPS
109MFLOPS
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
コンピュータの「使い方」の変化
国に1台/会社に1台 個人で1台(PC) 一人で何台も
仕事・勉強の道具国・会社のプロジェクト
コミュニケーション
・遊びの道具
>1億円 10〜100万円 数万円
身の回りに無数
存在に
気づかない
〜100円
大昔のコンピュータ 一昔前のコンピュータ 今どきのコンピュータ
コンピュータの利用場面(アプリケーション)が広がった
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
集積回路の歴史:Mooreの法則
ref: http://www.intel.com/jp/intel/museum/processor/index.htm
傾き:×約1.5/年
年を追って、複雑・高機能な集積回路がつくられるようになった
※G.Moore (インテルの創業者の一人)
G.Mooreが1965年に論文[1]で述べる→C.Meadが「法則」と命名→「予測」→「指針(目標)」へ
G.E.Moore, "Cramming more components onto integrated circuits," IEEE Solid-State Circuit Newsletter, Vol.11, No.5, pp.33-35, 1965.
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Mooreの法則のカラクリ:スケーリング
集積回路の部品(MOSトランジスタ)を、同じ形状で、
より小さく作ると・・・?
寸法: 1/α
不純物濃度: α
電源電圧: 1/α
効果:いいことばかり
速度↑
消費電力↓
集積度(機能)↑
技術が進むべき方向性が極めて明確なまれなケース
p-Si
S DG
n-Sin-Si
p-Si
S DG
n-Sin-Si
L
R.H.Dennard et al., "Design of ion-implanted MOSFET's with very small physical dimensions," IEEE J.of SSC, Vol.9, No.5, pp.256-268, 1974.
MOSトランジスタの断面構造
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Mooreの法則のわかりやすい例
マイコン(ATmega328P/PB)の例
機能:ATmega328P < ATmega328PB(上位互換)
価格:ATmega328P > ATmega328PB(30%安価)
0.6umくらいだと、製造コストはほぼチップ面積
ATmega328P(1.2umルール?) ATmega328PB(0.6umルール?)
Arduinoに
載ってる
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
MOSトランジスタの微細化の歴史
微細化するほど
メリットがある
=がんばって微細化
そろそろ「原子」が
見えてきている
「お金がからむと
技術は進む」
ref: 日経BP Tech-On! 2009/03/30の記事
L=20nm(いま)
L=5nm(2020年ごろ予定)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
コンピュータが「頭脳」から「部品」に
出典:ARM
機器の頭脳
関節ごとに小さい脳(神経節)
コンピュータが小型・安価になった
→システムの「主役」から「構成要素(部品)」になった
※基本的には「コンピュータ」だが、小型で安価
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
「Lチカ」から考える半導体
=「LEDチカチカ」(LED Blink)
「LEDを点滅させる」こと
プログラミングにおける”Hello World”的なもの
(まず始めに試すやつ)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
※ウソです
広辞林(第6版)より
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
日本工業標準調査会(JISC)
JIS規格一覧
※ウソです
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
PCで「Lチカ」・・・?
while(1){
a = 1;
sleep(1);
a = 0;
sleep(1);
}
「可能」ではあるが、「現実的」ではない
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
マイコン使用
部品点数=1
コスト:100円
発振回路(555)
部品点数=4
コスト:150円
「Lチカ」のパラダイムシフト
コスト面:マイコン○(「もったいなくない」)
機能面:マイコン○(多機能・仕様変更も容易)
while(1){
a = 1;
sleep(1);
a = 0;
sleep(1);
}
※さすがにPCではちょっと・・・
Mooreの法則の結果、コンピュータが「部品」になった例
昔のLチカ
今どきのLチカ
※マイコン=Micro Controller(小さなコンピュータ)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
価格が起こしたパラダイムシフト
シリアル制御フルカラーLED“NeoPixel”
電源+1本のシリアル制御線で複数制御
超安価 (~3円/pcs)
普通のLEDより安い
LEDディスプレイなど大量に使われるようになった
制御チップは1umルール程度(かなり安い)
Ref:https://news.nicovideo.jp/watch/nw4240213
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
マイコンが起こすパラダイムシフトの要因
マイコンが「道具」になったから
開発/発明される
お店で買えるようになる
使い方が知られるようになる
みんなが使うようになる
それが「道具」となって、次のステップへ
プロのみ マニア(ハイレベルアマチュア)向け だれでも
プロ(詳しい人)しか使えない
アマ(詳しくない人)でも使える
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
技術が生まれて「道具」になるまで
エリンギの例
1993年に日本へ
2003年ごろから一般化
↑10年かかって「道具」に
料理番組、調理例・・・
農林水産省「平成20年度 農林水産物貿易円滑化推進事業
台湾・香港・シンガポール・タイにおける品目別市場実態調査
(生鮮きのこ)報告書」(林野庁経営課特用林産対策室 )より
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
集積回路は「道具」か?:調査
https://www.youtube.com/watch?v=A188CYfuKQ0
http://www.nicovideo.jp/watch/sm23660093
CMOS 0.18um 5Al
2.5mm x 2.5mm
RingOSC x 1001
T-FF (Div)
(※LSI=集積回路のこと)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Lチカ動画:ニコ動でのコメント
 こっから?
 ニコ技界のTOKIO
 ゲートの無駄遣い
 ここから!!?
 ひでえ、勿体ない使い方wwwww
 マジかよ。レジストレベルの設計とか
ガチすぎる。
 無駄遣い過ぎるだろw
 贅沢というかなんというか
 え?まじでここからかよ」wwww」」
 IC版FusionPCB的なところが現れれば・・・
 (FPGAでは)いかんのか?
 俺はFPGAで我慢することにする
 いや、そこまでは必要ないです
 量産品すらFPGA使う時代に専用LSI・・・
 アマチュアはFPGAで良いんだよなぁ・・・w
「集積回路=すごいことをやるためのもの」という意識
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
ムーアの法則がもたらしたもの(2)
LSI設計・製造コストの高騰
シャトル製造サービス〜$1k
製造初期コスト(マスク)〜$1M
設計ツール 〜$1M
秘密保持契約(NDA; Non Disclosure Agreement)
: Priceless
製造工場 〜$1G
cf:プリント基板製造($10~)、Arduino($10~)
cf: 設計CAD&コンパイラ(IDE)(Free~)
「専用LSIつくってLチカ」ってもったいない&無駄遣いすぎる
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
「道具」としての集積回路
「ハード」=電子回路、プリント基板あたり
「集積回路(半導体チップ)」までは、なかなか
どうしても「今あるもの・使えるもの」を使う
カメラ、Kinect、マイコン、FPGA・・・
新技術で、一気にパラダイムが変わることがある
「集積回路をつくれる」という道具
=「いまできること」という発想の縛りから開放
Depth画像
※昔は「可能だが高価」
→Kinect後は「誰でも使える」
→ユーザインタフェース界の革命
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
「Lチカ専用Cortex-M0」:設計してみた
CMOS 0.18um 5Al
0.55mm x 0.65mm
※このチップの設計は、東京大学大規模集積システム設計教育研究センターを通し、
日本ケイデンス株式会社、シノプシス株式会社研究センターの協力で行われたものです。
※このチップの設計で使用したライブラリは、京都大学情報学研究科 田丸・小野寺研究室の
成果によるもので、京都工芸繊維大学 小林和淑教授によりリリースされたものです。
※このチップの試作は、東京大学大規模集積システム設計教育研究センターを通し、
ローム(株)および凸版印刷(株)の協力で行われたものです。
Synopsys
Design Compiler
& IC Compiler
※クロック周波数=10MHz
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
RISC-Vを「コンパイル」してみた
CMOS 0.6um 3Al
1.8x1.8mm
〜3k gate
subset of RV32I
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
オレLSI:AI向けも
AI/深層学習向けのプロセッサ
従来型の「ノイマン型コンピュータ」では苦手
いわゆるASIC(特定用途向けIC)だが、
少量多品種向け
GoogleのTPU (Tensorflow Processing Unit)の例
ref: https://news.mynavi.jp/article/20170411-tpu/2
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
オレLSI:IoT向けも
IoTは、本質的に「少量多品種」
使う場面ごとに、必要な機能・性能が異なる
情報処理のやり方も多様(端末側?サーバ?)
環境発電(太陽電池、振動発電など)など、
超低消費電力が必要な場面も多い
センサ プロセッサ 通信
記録 電源
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
集積回路を「つくる」ためのハードル
設計CAD
市販の業務用CAD: 高すぎ、高機能すぎ
製造方法
高すぎ、時間かかりすぎ(1000万円・半年)
NDA(設計ルールなどのアクセス制限)が厳しすぎ
ユーザ・コミュニティ
参入障壁:現状は専門家ばかり
“How”の専門家は多いが、”Why/What”は皆無
いずれも、なんとかなりそう?
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
オレLSIをつくってみたい:実践
情報収集・整理
探せば、ないことはない
オープンソースなCAD
オープンソースなライブラリ
安価な製造サービス
仲間さがし
http://j.mp/make_lsi
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
MakeLSI: -データの蓄積・再利用
GitHub上でデータを共有=再利用OK
NDA-Free設計ルール= NDA-Free IP
迅速なIP開発
 共通設計環境・プロセス
 多くの参加者による開発
 品質が低い場合もある(バグ、エラー)
 品質も参加者により改善される?
Cf. OSS (Open Source Software; Linux, etc.)
 品質はコミュニティメンバにより迅速に改善
 コミュニティメンバの開発・改良への熱意
 オープンな枠組み(ソースコード、ライセンス)が必要
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
チップを「つくる」
(イメージ:近い将来)
設計する(GDS形式)
データをupload
チップが届く
cf: プリント基板
設計する(gerber形式)
Webからデータをupload
基板が届く
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
LSIが道具になるとは・・・
『3Dプリンタは、私たちに「何をつくりたいの
か」を問いかけているのです。』
あなたなら、何を作りますか?
いまのうちから、考えておいても
損はないはず。
Interface Device Laboratory, Kanazawa University http://ifdl.jp/
カスタム半導体のHCIへの応用例
• 「きれいな」絵を撮るカメラ
• 高速な視線計測カメラ
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Image Sensor for Clearly-Perceived Images
Idea of Pseudorandom Pixel Placement
Applications of Pseudorandom Pixel
Placement
Jaggy elimination
Image measurement
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Background
History of Image Sensor/Display
for Enhancing Image Quality
Increasing Resolution / Pixel Shrink
(SDTV -> HDTV -> 4K/8K…)
Increasing Signal Quality
(Low Noise, Wide Dynamic Range, Color Range, …)
Resolution / Pixel Number
Signal Quality
Image Quality Enhancement
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Jaggy & Directional Dependency
Jaggy at line edge
Appearance depends on
object direction
No jaggy in horizontal line
Large jaggy in slant line
Very small jaggy in 45deg line
Caused by
Lattice Placement of Pixels
Mismatch with Retina?
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
“Perceive” Sensitivity & Jaggy
※大頭他, 日本眼光学学会誌, v8, n1, pp32-41, 1987
High Perceive Sensitivity for 2 – 30 [cycle/deg] = 0.5 – 0.03[deg]
Jaggy = Cyclic Step within High Perceive Sensitivity
Higher Perceive Accuracy for Step (Vernier Accuracy)
Pixel Size
Jaggy
(Cyclic Step at Line Edge)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Photoreceptor Cells on Retina
Center
(Fovea)
Peripheral
Microscope Photo Positions of Cells
※J.Hirsch et al., J.Opt.Soc.Am.A,
v4 n8, p1482
Cells are NOT placed at Lattice Positions
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Pseudorandom Pixel Placement
Idea: Arranging Pixels Randomly
Yet Another (Independent) Approach
for Image Quality Enhancement?
With Conventional Two Approaches
Pixel Placement
Resolution / Pixel Number
Signal Quality
Image Quality Enhancement
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Idea of “Pseudorandom” Placement
“Active Area” occupies a part of pixel
Image Sensor: Photo Receptor
Display: Light Emitting Area
Arranging pixels…
1 type pixel = Lattice Placement
4 type pixels
with different “Active Area” positions
= Pseudorandom Placement
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Effect of Pseudorandom Placement
Active Area
Lattice Placement
Pseudorandom Placement
Small Steps for All Directions (no directional dependency)
Small Steps will be small enough that is NOT perceived
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Pros/Cons of Pseudorandom Placement
Pros
No directional dependency of Jaggy
= Good Image Quality in Movie
We can NOT “perceive” small (random) steps
Jaggy is large (long cycle) enough to be perceived
Higher Perceive Sensitivity for Jaggy’s step
(hard to eliminate by pixel shrink)
Cons
Reduced size of Active Area in Pixel (Low Fill Factor)
(its degradation will be overcome by Pros…?)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Effect of Eliminating Perceived Jaggies
Line by Lattice Placement
Line by Pseudorandom Placement
Number of Pixels: 200 x 200
Viewing angle of pixel: 0.05[deg], Above Picture of 68mm from 50cm
Experiment by Subjects -> Elimination of Perceived Jaggies
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Design of CMOS Image Sensor
+
=
Pixel Photo Shield (4 types)
CMOS 0.18um, 5Al, 5x5mm, 128x128 Pixels
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
For more details:
 J.Akita, CMOS image sensor with pseudorandom pixel placement, IEICE
Electronics Express, Vol.5, No.10, pp.388-393, 2008.5.
 Y.Nakamura, J.Akita, Accuracy Evaluation on Area Measurement using
Pseudorandom Pixel Placement for Low Resolution Images, ITE Trans. on
Media Technology and Applications, Vol.2, No.2, pp.139-144, 2014.4.
 C.Izaki, J.Akita, Pixel Parameter Optimization for Jaggy Reduction in Line
Representation using Pseudorandom Pixel Placement, ITE Trans. on Media
Technology and Applications, Vol.3, No.4, pp.263-267, 2015.10.
 J.Akita, CMOS image sensor with pseudorandom pixel placement for jaggy
elimination, IEICE Electronics Express, Vol.14, No.9, pp.20170154, 2017.04.
 J.Akita, CMOS Image Sensor for High Speed and Low Latency Eye Tracking,
IEICE Electronics Express, Article ID: 15.20180785, DOI
https://doi.org/10.1587/elex.15.20180785, 2018.11.
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Image Sensor for High Speed Eye Tracking
Introduction
Method of Line-of-Sight Detection
Column Parallel Architecture for Centroid Calculation
Chip Design & Fabrication
Measurement Results
Conclusion
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Motivation
The variety of intelligent device is more and more
increasing
PC, Tablet, Wearable Device, Digital Signage etc...
Next HCI(Human Computer Interaction) are required
Line-of-Sight(LoS) as new interface
Operate computer with LoS
Driving Support
Psychologic Analysis
Supporting handicapped person
Fig. from Google Glass
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Saccade: Rapid Eye Movement
Very rapid eye movement
Occur 5 times/sec involuntary
Maximum velocity reaches 500[deg/sec]
Velocity and destination are correlated.
Your consciousness
Real eye movement
Line-of-sight(LoS) detection, or
detecting where the user is looking at,
is an attracting as a new type of user interfaces.
Line-of-sight(LoS) detection, or
detecting where the user is looking at,
is an attracting as a new type of user interfaces.
Smoothly
Jumping
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Problems of LoS Tracking System
Some systems have been sold for commercial
Low frame rate (~60[fps]) fps : frame per sec
⇔ 210[fps] is needed to track saccade
Non real-time operation (latency)
Not reasonable price ($1,000 ~ $10,000)
Large system
[1].http://www.smivision.com/ [2]. http://www.tobii.com/
Conventional LoS Tracking system [1][2]
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Motivation
High Speed, Low Latency Eye Tracking System
High frame rate (500[fps] ~ )
Real-time operation (low frame latency)
Compact system size
High resolution (640×480 pixels)
Low intrusive
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Integrated CMOS Image Sensor
Integrating image sensor and processing
circuits onto one chip
High frame rate
Low latency
Compact system size
Reasonable cost
Image sensor
image processing circuit
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Line-of-Sight Calculation Algorithm
Capture user’s eye image
infrared light
Binarization
Calculate pupil position
defined as a centroid’s coordinate
of pupil
Correspond centroid’s
coordinate and LoS
Line-of-Sight
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Architecture: Overview
Column parallel architecture
realize high speed operation
reduction of circuit area
APS( Active Pixel Sensor)
PE (Processing Element)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Architecture: each column
Calculate element factor of centroid
equation in column (y-direction)
parallel
pxy is binarized pixel’s value at (x,y)
S
SX
SY
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Processing Element: Su, SXu, SYu
Su, SXu, SYu are 1bit element calculation circuits to
accumulate Σypxy , Σyxpxy and Σyypxy
They are bit scalable (can be connected serially for
the required number of bits to accumulate
1bit element circuit of Σypxy
2bit Σypxy calculator
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Operation Timing Chart
Two stages per frame
Column accumulation stage
row accumulation stage
Operation Time ∝ X- & Y-direction resolution: O(n)
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Evaluation System
Emulation of LoS Tracking Vision Chip architecture
using high speed camera and FPGA
column parallel architecture implemented by VerilogHDL
1-frame latency
Horizontal resolution 640 [pixel]
Vertical resolution 75~480 [pixel]
Frame rate 210~1000[fps]
Output coordinate
resolution
7 digits after decimal
point
Lens F-number F2.8
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Fabricated Chip
CMOS 0.18um CIS,
4Al
Chip size:
5mm×6mm
Pixel array:
640×480[pixel]
Frame rate: 500fps
Calculation Circuits
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Experimental Setup
Captured eye image
& Calculated centroid
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
Experimental Results
Measured x of pupil
Measured vθ
Saccades
Position of pupil
-> Eyeball rotation angle
2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/
まとめ
半導体の進化(ムーアの法則)と、その功罪
コンピュータの継続的な進化
高度になりすぎて、逆にアプリケーションを限定
「道具」になる半導体:その試み
カスタム半導体のHCIへの応用例
「きれいな」絵を撮るカメラ
高速な視線計測カメラ

More Related Content

What's hot

カスタムLSIが道具になるために
カスタムLSIが道具になるためにカスタムLSIが道具になるために
カスタムLSIが道具になるためにJunichi Akita
 
多様な学生の教材としてしてのプロトタイピング用マイコンボードの可能性
多様な学生の教材としてしてのプロトタイピング用マイコンボードの可能性多様な学生の教材としてしてのプロトタイピング用マイコンボードの可能性
多様な学生の教材としてしてのプロトタイピング用マイコンボードの可能性Junichi Akita
 
道具としての電子回路・半導体
道具としての電子回路・半導体道具としての電子回路・半導体
道具としての電子回路・半導体Junichi Akita
 
道具としての「ハードウエア」
道具としての「ハードウエア」道具としての「ハードウエア」
道具としての「ハードウエア」Junichi Akita
 
ニセモノチップをみてみた&チップを流用する例をみてみた
ニセモノチップをみてみた&チップを流用する例をみてみたニセモノチップをみてみた&チップを流用する例をみてみた
ニセモノチップをみてみた&チップを流用する例をみてみたJunichi Akita
 
「部品」としてのマイコン・半導体
「部品」としてのマイコン・半導体「部品」としてのマイコン・半導体
「部品」としてのマイコン・半導体Junichi Akita
 
Makeの最後の砦(ラスボス):半導体への挑戦
Makeの最後の砦(ラスボス):半導体への挑戦Makeの最後の砦(ラスボス):半導体への挑戦
Makeの最後の砦(ラスボス):半導体への挑戦Junichi Akita
 
AI・IoT時代のテクノロジーとの付き合い方
AI・IoT時代のテクノロジーとの付き合い方AI・IoT時代のテクノロジーとの付き合い方
AI・IoT時代のテクノロジーとの付き合い方Junichi Akita
 
M5Stackで授業をやってみた
M5Stackで授業をやってみたM5Stackで授業をやってみた
M5Stackで授業をやってみたJunichi Akita
 
「電子立国日本の自叙伝」に見る半導体産業温故知新
「電子立国日本の自叙伝」に見る半導体産業温故知新「電子立国日本の自叙伝」に見る半導体産業温故知新
「電子立国日本の自叙伝」に見る半導体産業温故知新Junichi Akita
 
「LED点滅用のLSIをつくって Lチカをやってみた」のココロ
「LED点滅用のLSIをつくってLチカをやってみた」のココロ「LED点滅用のLSIをつくってLチカをやってみた」のココロ
「LED点滅用のLSIをつくって Lチカをやってみた」のココロJunichi Akita
 
Makeと半導体の境界
Makeと半導体の境界Makeと半導体の境界
Makeと半導体の境界Junichi Akita
 
産業としての半導体とムーアの法則
産業としての半導体とムーアの法則産業としての半導体とムーアの法則
産業としての半導体とムーアの法則Junichi Akita
 
コンピュータのソフトとハードの境界、そしてIoTへ
コンピュータのソフトとハードの境界、そしてIoTへコンピュータのソフトとハードの境界、そしてIoTへ
コンピュータのソフトとハードの境界、そしてIoTへJunichi Akita
 
「揚げて炙ってわかる コンピュータの仕組み」の舞台裏
「揚げて炙ってわかるコンピュータの仕組み」の舞台裏「揚げて炙ってわかるコンピュータの仕組み」の舞台裏
「揚げて炙ってわかる コンピュータの仕組み」の舞台裏Junichi Akita
 
集積回路が真の道具になるために
集積回路が真の道具になるために集積回路が真の道具になるために
集積回路が真の道具になるためにJunichi Akita
 
好きな活動から始めるイノベーションの種
好きな活動から始めるイノベーションの種好きな活動から始めるイノベーションの種
好きな活動から始めるイノベーションの種Junichi Akita
 
Makeと半導体の過去と未来
Makeと半導体の過去と未来Makeと半導体の過去と未来
Makeと半導体の過去と未来Junichi Akita
 
産業としての半導体とムーアの法則
産業としての半導体とムーアの法則産業としての半導体とムーアの法則
産業としての半導体とムーアの法則Junichi Akita
 
ICのオーパーツを探ってみた
ICのオーパーツを探ってみたICのオーパーツを探ってみた
ICのオーパーツを探ってみたJunichi Akita
 

What's hot (20)

カスタムLSIが道具になるために
カスタムLSIが道具になるためにカスタムLSIが道具になるために
カスタムLSIが道具になるために
 
多様な学生の教材としてしてのプロトタイピング用マイコンボードの可能性
多様な学生の教材としてしてのプロトタイピング用マイコンボードの可能性多様な学生の教材としてしてのプロトタイピング用マイコンボードの可能性
多様な学生の教材としてしてのプロトタイピング用マイコンボードの可能性
 
道具としての電子回路・半導体
道具としての電子回路・半導体道具としての電子回路・半導体
道具としての電子回路・半導体
 
道具としての「ハードウエア」
道具としての「ハードウエア」道具としての「ハードウエア」
道具としての「ハードウエア」
 
ニセモノチップをみてみた&チップを流用する例をみてみた
ニセモノチップをみてみた&チップを流用する例をみてみたニセモノチップをみてみた&チップを流用する例をみてみた
ニセモノチップをみてみた&チップを流用する例をみてみた
 
「部品」としてのマイコン・半導体
「部品」としてのマイコン・半導体「部品」としてのマイコン・半導体
「部品」としてのマイコン・半導体
 
Makeの最後の砦(ラスボス):半導体への挑戦
Makeの最後の砦(ラスボス):半導体への挑戦Makeの最後の砦(ラスボス):半導体への挑戦
Makeの最後の砦(ラスボス):半導体への挑戦
 
AI・IoT時代のテクノロジーとの付き合い方
AI・IoT時代のテクノロジーとの付き合い方AI・IoT時代のテクノロジーとの付き合い方
AI・IoT時代のテクノロジーとの付き合い方
 
M5Stackで授業をやってみた
M5Stackで授業をやってみたM5Stackで授業をやってみた
M5Stackで授業をやってみた
 
「電子立国日本の自叙伝」に見る半導体産業温故知新
「電子立国日本の自叙伝」に見る半導体産業温故知新「電子立国日本の自叙伝」に見る半導体産業温故知新
「電子立国日本の自叙伝」に見る半導体産業温故知新
 
「LED点滅用のLSIをつくって Lチカをやってみた」のココロ
「LED点滅用のLSIをつくってLチカをやってみた」のココロ「LED点滅用のLSIをつくってLチカをやってみた」のココロ
「LED点滅用のLSIをつくって Lチカをやってみた」のココロ
 
Makeと半導体の境界
Makeと半導体の境界Makeと半導体の境界
Makeと半導体の境界
 
産業としての半導体とムーアの法則
産業としての半導体とムーアの法則産業としての半導体とムーアの法則
産業としての半導体とムーアの法則
 
コンピュータのソフトとハードの境界、そしてIoTへ
コンピュータのソフトとハードの境界、そしてIoTへコンピュータのソフトとハードの境界、そしてIoTへ
コンピュータのソフトとハードの境界、そしてIoTへ
 
「揚げて炙ってわかる コンピュータの仕組み」の舞台裏
「揚げて炙ってわかるコンピュータの仕組み」の舞台裏「揚げて炙ってわかるコンピュータの仕組み」の舞台裏
「揚げて炙ってわかる コンピュータの仕組み」の舞台裏
 
集積回路が真の道具になるために
集積回路が真の道具になるために集積回路が真の道具になるために
集積回路が真の道具になるために
 
好きな活動から始めるイノベーションの種
好きな活動から始めるイノベーションの種好きな活動から始めるイノベーションの種
好きな活動から始めるイノベーションの種
 
Makeと半導体の過去と未来
Makeと半導体の過去と未来Makeと半導体の過去と未来
Makeと半導体の過去と未来
 
産業としての半導体とムーアの法則
産業としての半導体とムーアの法則産業としての半導体とムーアの法則
産業としての半導体とムーアの法則
 
ICのオーパーツを探ってみた
ICのオーパーツを探ってみたICのオーパーツを探ってみた
ICのオーパーツを探ってみた
 

Similar to 道具としての半導体:HCI分野での例

日本の「ものづくり」の可能性:中国深センとの比較を通して
日本の「ものづくり」の可能性:中国深センとの比較を通して日本の「ものづくり」の可能性:中国深センとの比較を通して
日本の「ものづくり」の可能性:中国深センとの比較を通してJunichi Akita
 
Makerの道具としての ハードウエアと半導体
Makerの道具としてのハードウエアと半導体Makerの道具としてのハードウエアと半導体
Makerの道具としての ハードウエアと半導体 Junichi Akita
 
炙ってわかる半導体とIT業界
炙ってわかる半導体とIT業界炙ってわかる半導体とIT業界
炙ってわかる半導体とIT業界Junichi Akita
 
M5Stackでインターンしてみた
M5StackでインターンしてみたM5Stackでインターンしてみた
M5StackでインターンしてみたJunichi Akita
 
メイカームーブメント:その背景と現状
メイカームーブメント:その背景と現状メイカームーブメント:その背景と現状
メイカームーブメント:その背景と現状Junichi Akita
 
中国と深センでの半導体とRISC-V業界事情
中国と深センでの半導体とRISC-V業界事情中国と深センでの半導体とRISC-V業界事情
中国と深センでの半導体とRISC-V業界事情Junichi Akita
 
つくってドヤると楽しい
つくってドヤると楽しいつくってドヤると楽しい
つくってドヤると楽しいJunichi Akita
 
左手サブキーボードを作り続けてみた
左手サブキーボードを作り続けてみた左手サブキーボードを作り続けてみた
左手サブキーボードを作り続けてみたJunichi Akita
 
揚げて炙ってわかる半導体
揚げて炙ってわかる半導体揚げて炙ってわかる半導体
揚げて炙ってわかる半導体Junichi Akita
 
Makers:近未来のものづくり
Makers:近未来のものづくりMakers:近未来のものづくり
Makers:近未来のものづくりJunichi Akita
 
ユーザ参加型センシングシステムの可能性
ユーザ参加型センシングシステムの可能性ユーザ参加型センシングシステムの可能性
ユーザ参加型センシングシステムの可能性Junichi Akita
 
中国でスタックチャンに会ってみた
中国でスタックチャンに会ってみた中国でスタックチャンに会ってみた
中国でスタックチャンに会ってみたJunichi Akita
 
集積回路工学第2・第13回資料
集積回路工学第2・第13回資料集積回路工学第2・第13回資料
集積回路工学第2・第13回資料Junichi Akita
 
3Dプリンタを改造してチップマウンタを作ってみたら物理的にForkされた件
3Dプリンタを改造してチップマウンタを作ってみたら物理的にForkされた件3Dプリンタを改造してチップマウンタを作ってみたら物理的にForkされた件
3Dプリンタを改造してチップマウンタを作ってみたら物理的にForkされた件Junichi Akita
 
研究10連発@NT熊本2019
研究10連発@NT熊本2019研究10連発@NT熊本2019
研究10連発@NT熊本2019Junichi Akita
 
基板設計の基礎知識と実践(別名:基板と仲良くなる方法)
基板設計の基礎知識と実践(別名:基板と仲良くなる方法)基板設計の基礎知識と実践(別名:基板と仲良くなる方法)
基板設計の基礎知識と実践(別名:基板と仲良くなる方法)Junichi Akita
 
日本での電子回路の導入教育の可能性:中国との比較を通して
日本での電子回路の導入教育の可能性:中国との比較を通して日本での電子回路の導入教育の可能性:中国との比較を通して
日本での電子回路の導入教育の可能性:中国との比較を通してJunichi Akita
 
ハードウエア教材における「失敗」の意義
ハードウエア教材における「失敗」の意義ハードウエア教材における「失敗」の意義
ハードウエア教材における「失敗」の意義Junichi Akita
 

Similar to 道具としての半導体:HCI分野での例 (18)

日本の「ものづくり」の可能性:中国深センとの比較を通して
日本の「ものづくり」の可能性:中国深センとの比較を通して日本の「ものづくり」の可能性:中国深センとの比較を通して
日本の「ものづくり」の可能性:中国深センとの比較を通して
 
Makerの道具としての ハードウエアと半導体
Makerの道具としてのハードウエアと半導体Makerの道具としてのハードウエアと半導体
Makerの道具としての ハードウエアと半導体
 
炙ってわかる半導体とIT業界
炙ってわかる半導体とIT業界炙ってわかる半導体とIT業界
炙ってわかる半導体とIT業界
 
M5Stackでインターンしてみた
M5StackでインターンしてみたM5Stackでインターンしてみた
M5Stackでインターンしてみた
 
メイカームーブメント:その背景と現状
メイカームーブメント:その背景と現状メイカームーブメント:その背景と現状
メイカームーブメント:その背景と現状
 
中国と深センでの半導体とRISC-V業界事情
中国と深センでの半導体とRISC-V業界事情中国と深センでの半導体とRISC-V業界事情
中国と深センでの半導体とRISC-V業界事情
 
つくってドヤると楽しい
つくってドヤると楽しいつくってドヤると楽しい
つくってドヤると楽しい
 
左手サブキーボードを作り続けてみた
左手サブキーボードを作り続けてみた左手サブキーボードを作り続けてみた
左手サブキーボードを作り続けてみた
 
揚げて炙ってわかる半導体
揚げて炙ってわかる半導体揚げて炙ってわかる半導体
揚げて炙ってわかる半導体
 
Makers:近未来のものづくり
Makers:近未来のものづくりMakers:近未来のものづくり
Makers:近未来のものづくり
 
ユーザ参加型センシングシステムの可能性
ユーザ参加型センシングシステムの可能性ユーザ参加型センシングシステムの可能性
ユーザ参加型センシングシステムの可能性
 
中国でスタックチャンに会ってみた
中国でスタックチャンに会ってみた中国でスタックチャンに会ってみた
中国でスタックチャンに会ってみた
 
集積回路工学第2・第13回資料
集積回路工学第2・第13回資料集積回路工学第2・第13回資料
集積回路工学第2・第13回資料
 
3Dプリンタを改造してチップマウンタを作ってみたら物理的にForkされた件
3Dプリンタを改造してチップマウンタを作ってみたら物理的にForkされた件3Dプリンタを改造してチップマウンタを作ってみたら物理的にForkされた件
3Dプリンタを改造してチップマウンタを作ってみたら物理的にForkされた件
 
研究10連発@NT熊本2019
研究10連発@NT熊本2019研究10連発@NT熊本2019
研究10連発@NT熊本2019
 
基板設計の基礎知識と実践(別名:基板と仲良くなる方法)
基板設計の基礎知識と実践(別名:基板と仲良くなる方法)基板設計の基礎知識と実践(別名:基板と仲良くなる方法)
基板設計の基礎知識と実践(別名:基板と仲良くなる方法)
 
日本での電子回路の導入教育の可能性:中国との比較を通して
日本での電子回路の導入教育の可能性:中国との比較を通して日本での電子回路の導入教育の可能性:中国との比較を通して
日本での電子回路の導入教育の可能性:中国との比較を通して
 
ハードウエア教材における「失敗」の意義
ハードウエア教材における「失敗」の意義ハードウエア教材における「失敗」の意義
ハードウエア教材における「失敗」の意義
 

More from Junichi Akita

M5Stack用のつよつよ系負荷を駆動するUnit群(スイッチサイエンス年度末大感謝祭 240223)
M5Stack用のつよつよ系負荷を駆動するUnit群(スイッチサイエンス年度末大感謝祭 240223)M5Stack用のつよつよ系負荷を駆動するUnit群(スイッチサイエンス年度末大感謝祭 240223)
M5Stack用のつよつよ系負荷を駆動するUnit群(スイッチサイエンス年度末大感謝祭 240223)Junichi Akita
 
M5Stackで脱出ゲームのギミックを作ってみた件(M5StackユーザーミーティングLT)
M5Stackで脱出ゲームのギミックを作ってみた件(M5StackユーザーミーティングLT)M5Stackで脱出ゲームのギミックを作ってみた件(M5StackユーザーミーティングLT)
M5Stackで脱出ゲームのギミックを作ってみた件(M5StackユーザーミーティングLT)Junichi Akita
 
分解のススメHyperの読みどころ
分解のススメHyperの読みどころ分解のススメHyperの読みどころ
分解のススメHyperの読みどころJunichi Akita
 
深センで半年間住んでMakeと研究をしてみた
深センで半年間住んでMakeと研究をしてみた深センで半年間住んでMakeと研究をしてみた
深センで半年間住んでMakeと研究をしてみたJunichi Akita
 
タイプライターを改造してキーボードを作ってみた
タイプライターを改造してキーボードを作ってみたタイプライターを改造してキーボードを作ってみた
タイプライターを改造してキーボードを作ってみたJunichi Akita
 
STM32F互換マイコン(自称を含む)を 軽く解析してみた
STM32F互換マイコン(自称を含む)を軽く解析してみたSTM32F互換マイコン(自称を含む)を軽く解析してみた
STM32F互換マイコン(自称を含む)を 軽く解析してみたJunichi Akita
 
深センで2ヶ月過ごしていろいろ試してみた
深センで2ヶ月過ごしていろいろ試してみた深センで2ヶ月過ごしていろいろ試してみた
深センで2ヶ月過ごしていろいろ試してみたJunichi Akita
 
CH551/2/8/9を炙ってみた
CH551/2/8/9を炙ってみたCH551/2/8/9を炙ってみた
CH551/2/8/9を炙ってみたJunichi Akita
 
うっかりチップマウンタを自作して薄い本を書いてみた
うっかりチップマウンタを自作して薄い本を書いてみたうっかりチップマウンタを自作して薄い本を書いてみた
うっかりチップマウンタを自作して薄い本を書いてみたJunichi Akita
 
シリアルフラッシュを炙って比べてみた
シリアルフラッシュを炙って比べてみたシリアルフラッシュを炙って比べてみた
シリアルフラッシュを炙って比べてみたJunichi Akita
 
CH340を炙って削ってみた
CH340を炙って削ってみたCH340を炙って削ってみた
CH340を炙って削ってみたJunichi Akita
 
自作RISC-VチップでLチカをやってみた
自作RISC-VチップでLチカをやってみた自作RISC-VチップでLチカをやってみた
自作RISC-VチップでLチカをやってみたJunichi Akita
 

More from Junichi Akita (12)

M5Stack用のつよつよ系負荷を駆動するUnit群(スイッチサイエンス年度末大感謝祭 240223)
M5Stack用のつよつよ系負荷を駆動するUnit群(スイッチサイエンス年度末大感謝祭 240223)M5Stack用のつよつよ系負荷を駆動するUnit群(スイッチサイエンス年度末大感謝祭 240223)
M5Stack用のつよつよ系負荷を駆動するUnit群(スイッチサイエンス年度末大感謝祭 240223)
 
M5Stackで脱出ゲームのギミックを作ってみた件(M5StackユーザーミーティングLT)
M5Stackで脱出ゲームのギミックを作ってみた件(M5StackユーザーミーティングLT)M5Stackで脱出ゲームのギミックを作ってみた件(M5StackユーザーミーティングLT)
M5Stackで脱出ゲームのギミックを作ってみた件(M5StackユーザーミーティングLT)
 
分解のススメHyperの読みどころ
分解のススメHyperの読みどころ分解のススメHyperの読みどころ
分解のススメHyperの読みどころ
 
深センで半年間住んでMakeと研究をしてみた
深センで半年間住んでMakeと研究をしてみた深センで半年間住んでMakeと研究をしてみた
深センで半年間住んでMakeと研究をしてみた
 
タイプライターを改造してキーボードを作ってみた
タイプライターを改造してキーボードを作ってみたタイプライターを改造してキーボードを作ってみた
タイプライターを改造してキーボードを作ってみた
 
STM32F互換マイコン(自称を含む)を 軽く解析してみた
STM32F互換マイコン(自称を含む)を軽く解析してみたSTM32F互換マイコン(自称を含む)を軽く解析してみた
STM32F互換マイコン(自称を含む)を 軽く解析してみた
 
深センで2ヶ月過ごしていろいろ試してみた
深センで2ヶ月過ごしていろいろ試してみた深センで2ヶ月過ごしていろいろ試してみた
深センで2ヶ月過ごしていろいろ試してみた
 
CH551/2/8/9を炙ってみた
CH551/2/8/9を炙ってみたCH551/2/8/9を炙ってみた
CH551/2/8/9を炙ってみた
 
うっかりチップマウンタを自作して薄い本を書いてみた
うっかりチップマウンタを自作して薄い本を書いてみたうっかりチップマウンタを自作して薄い本を書いてみた
うっかりチップマウンタを自作して薄い本を書いてみた
 
シリアルフラッシュを炙って比べてみた
シリアルフラッシュを炙って比べてみたシリアルフラッシュを炙って比べてみた
シリアルフラッシュを炙って比べてみた
 
CH340を炙って削ってみた
CH340を炙って削ってみたCH340を炙って削ってみた
CH340を炙って削ってみた
 
自作RISC-VチップでLチカをやってみた
自作RISC-VチップでLチカをやってみた自作RISC-VチップでLチカをやってみた
自作RISC-VチップでLチカをやってみた
 

道具としての半導体:HCI分野での例

  • 1. Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 道具としての半導体 :HCI分野での例 秋田純一 (金沢大学 理工学域 電子情報通信学類)
  • 2. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 自己紹介  1970名古屋生まれ  東京で大学→大学院(‘98:PhD)  金沢大(’98~’00・’04~)現:理工学域 電子情報通信学類  公立はこだて未来大(’00~’04)/333室とエレ工房の住人  ’95〜’00:はこだて未来大 計画策定委員  本業:集積回路、特に(機能つき)イメージセンサ  +集積回路を使うデバイス・システム  ユーザインタフェース・インタラクティブシステム(人間相手の機械) 集積回路(イメージセンサ)のレイアウト図 (プロッタ出力して目視チェック) 基板設計 研究室(実験室
  • 3. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 自己紹介 名古屋市生まれ(‘70) 美馬夫妻と出会う(数理の翼セミナー・’87) 寺沢氏と出会う(数理の翼セミナー・’93) はこだて未来大 計画策定委員(‘95〜’00) 博士号:イメージセンサ(東大 ‘98) 金沢大(’98~’00) 公立はこだて未来大(’00~’04) 金沢大(’04~)
  • 4. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 未来大策定委員のころの資料
  • 5. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 未来大時代をふりかえって いろいろ首をつっこんでいました 17Project(‘01) 「下請け」的な関与も多くありました そんな中から、自分の立ち位置を明確にできた 過程でした 2001年度学内特別研究費申請分(一部) • 混成環境における実ロボットサッカーチームの学習過程 • 研究教育用LSI設計・評価環境の整備と試作 • 盲人用歩行補助装置の開発 • 集積回路動作の可視化に関する研究 • 「色相環」を基点とした色彩調和システムの構築に関する研究 • 人間サポート型制御の提案とロボットとの共同作業による荷物搬送への応用 • エンターテイメントロボットのプロトタイプ制作 • 定点気象観測網システムの函館地域展開実験(Ecopic Project) • オブジェクト指向ポインタに関する研究 • 人とロボットとの協調形態についての調査 • 芝刈りロボット
  • 6. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 最近の研究テーマ 集積回路、特に(機能つき)イメージセンサ 集積回路を使うデバイス・システム(UI/HCI)
  • 7. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 自己紹介(副業) Maker、ハンダテラピスト 好きな半田はPb:Sn=37:63 ※さらに元ネタはSTAR TREK Next Gen.
  • 8. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Contents 半導体チップ・コンピュータの歴史 「ムーアの法則」とその功罪 Open Sourceなチップ設計とその意義 カスタム半導体のHCIへの応用例 「きれいな」絵を撮るカメラ 高速な視線計測カメラ
  • 9. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 半導体チップはどこにある? 「電気で動くもの」には、だいたい入ってる 普通は黒いパッケージの中にあり、見えない PlayStation2をバラした基板 コレ
  • 10. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 半導体チップの取り出し方 濃硫酸・発煙硝酸に入れて加熱し、 パッケージを溶かす どこのご家庭にもある道具 ・・・ねぇよ!
  • 11. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 炙る・・・?揚げる・・・? #炙るとは言ってない
  • 12. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 炙る どこのご家庭にもある BBQ用バーナー(カセットボンベ式) 3分くらい炙る ※火事・ヤケドに注意 ICチップ(パッケージ入)
  • 13. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 崩す チップが見えてきた! 炭化したパッケージを、 ピンセットなどで、ちょんちょんしながら 崩していく (チップを割らないように注意)
  • 14. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 拝む
  • 15. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 分析する 詳しくはコチラ→https://note.mu/akita11/n/n6b169365b0c9 一番細い配線パターンが見えた! 倍率をあげならが、 特徴ある形状を基準に サイズを計測していく
  • 16. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ コンピュータの歴史の2つの側面 DEC VAX(1976) 1MIPS Cray-1 (1978) 100MIPS MIPS:Million Instruction Per Second (1秒間に実行できる命令数) (世界最初のスーパーコンピュータ) 「世界トップの高速化」+「身近なものにも高速化の恩恵」の2つの側面がある 20000MIPS 10MIPS 100MIPS 20MIPS 20000MIPS 109MFLOPS
  • 17. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ コンピュータの「使い方」の変化 国に1台/会社に1台 個人で1台(PC) 一人で何台も 仕事・勉強の道具国・会社のプロジェクト コミュニケーション ・遊びの道具 >1億円 10〜100万円 数万円 身の回りに無数 存在に 気づかない 〜100円 大昔のコンピュータ 一昔前のコンピュータ 今どきのコンピュータ コンピュータの利用場面(アプリケーション)が広がった
  • 18. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 集積回路の歴史:Mooreの法則 ref: http://www.intel.com/jp/intel/museum/processor/index.htm 傾き:×約1.5/年 年を追って、複雑・高機能な集積回路がつくられるようになった ※G.Moore (インテルの創業者の一人) G.Mooreが1965年に論文[1]で述べる→C.Meadが「法則」と命名→「予測」→「指針(目標)」へ G.E.Moore, "Cramming more components onto integrated circuits," IEEE Solid-State Circuit Newsletter, Vol.11, No.5, pp.33-35, 1965.
  • 19. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Mooreの法則のカラクリ:スケーリング 集積回路の部品(MOSトランジスタ)を、同じ形状で、 より小さく作ると・・・? 寸法: 1/α 不純物濃度: α 電源電圧: 1/α 効果:いいことばかり 速度↑ 消費電力↓ 集積度(機能)↑ 技術が進むべき方向性が極めて明確なまれなケース p-Si S DG n-Sin-Si p-Si S DG n-Sin-Si L R.H.Dennard et al., "Design of ion-implanted MOSFET's with very small physical dimensions," IEEE J.of SSC, Vol.9, No.5, pp.256-268, 1974. MOSトランジスタの断面構造
  • 20. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Mooreの法則のわかりやすい例 マイコン(ATmega328P/PB)の例 機能:ATmega328P < ATmega328PB(上位互換) 価格:ATmega328P > ATmega328PB(30%安価) 0.6umくらいだと、製造コストはほぼチップ面積 ATmega328P(1.2umルール?) ATmega328PB(0.6umルール?) Arduinoに 載ってる
  • 21. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ MOSトランジスタの微細化の歴史 微細化するほど メリットがある =がんばって微細化 そろそろ「原子」が 見えてきている 「お金がからむと 技術は進む」 ref: 日経BP Tech-On! 2009/03/30の記事 L=20nm(いま) L=5nm(2020年ごろ予定)
  • 22. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ コンピュータが「頭脳」から「部品」に 出典:ARM 機器の頭脳 関節ごとに小さい脳(神経節) コンピュータが小型・安価になった →システムの「主役」から「構成要素(部品)」になった ※基本的には「コンピュータ」だが、小型で安価
  • 23. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 「Lチカ」から考える半導体 =「LEDチカチカ」(LED Blink) 「LEDを点滅させる」こと プログラミングにおける”Hello World”的なもの (まず始めに試すやつ)
  • 24. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ ※ウソです 広辞林(第6版)より
  • 25. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 日本工業標準調査会(JISC) JIS規格一覧 ※ウソです
  • 26. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ PCで「Lチカ」・・・? while(1){ a = 1; sleep(1); a = 0; sleep(1); } 「可能」ではあるが、「現実的」ではない
  • 27. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ マイコン使用 部品点数=1 コスト:100円 発振回路(555) 部品点数=4 コスト:150円 「Lチカ」のパラダイムシフト コスト面:マイコン○(「もったいなくない」) 機能面:マイコン○(多機能・仕様変更も容易) while(1){ a = 1; sleep(1); a = 0; sleep(1); } ※さすがにPCではちょっと・・・ Mooreの法則の結果、コンピュータが「部品」になった例 昔のLチカ 今どきのLチカ ※マイコン=Micro Controller(小さなコンピュータ)
  • 28. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 価格が起こしたパラダイムシフト シリアル制御フルカラーLED“NeoPixel” 電源+1本のシリアル制御線で複数制御 超安価 (~3円/pcs) 普通のLEDより安い LEDディスプレイなど大量に使われるようになった 制御チップは1umルール程度(かなり安い) Ref:https://news.nicovideo.jp/watch/nw4240213
  • 29. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ マイコンが起こすパラダイムシフトの要因 マイコンが「道具」になったから 開発/発明される お店で買えるようになる 使い方が知られるようになる みんなが使うようになる それが「道具」となって、次のステップへ プロのみ マニア(ハイレベルアマチュア)向け だれでも プロ(詳しい人)しか使えない アマ(詳しくない人)でも使える
  • 30. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 技術が生まれて「道具」になるまで エリンギの例 1993年に日本へ 2003年ごろから一般化 ↑10年かかって「道具」に 料理番組、調理例・・・ 農林水産省「平成20年度 農林水産物貿易円滑化推進事業 台湾・香港・シンガポール・タイにおける品目別市場実態調査 (生鮮きのこ)報告書」(林野庁経営課特用林産対策室 )より
  • 31. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 集積回路は「道具」か?:調査 https://www.youtube.com/watch?v=A188CYfuKQ0 http://www.nicovideo.jp/watch/sm23660093 CMOS 0.18um 5Al 2.5mm x 2.5mm RingOSC x 1001 T-FF (Div) (※LSI=集積回路のこと)
  • 32. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Lチカ動画:ニコ動でのコメント  こっから?  ニコ技界のTOKIO  ゲートの無駄遣い  ここから!!?  ひでえ、勿体ない使い方wwwww  マジかよ。レジストレベルの設計とか ガチすぎる。  無駄遣い過ぎるだろw  贅沢というかなんというか  え?まじでここからかよ」wwww」」  IC版FusionPCB的なところが現れれば・・・  (FPGAでは)いかんのか?  俺はFPGAで我慢することにする  いや、そこまでは必要ないです  量産品すらFPGA使う時代に専用LSI・・・  アマチュアはFPGAで良いんだよなぁ・・・w 「集積回路=すごいことをやるためのもの」という意識
  • 33. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ ムーアの法則がもたらしたもの(2) LSI設計・製造コストの高騰 シャトル製造サービス〜$1k 製造初期コスト(マスク)〜$1M 設計ツール 〜$1M 秘密保持契約(NDA; Non Disclosure Agreement) : Priceless 製造工場 〜$1G cf:プリント基板製造($10~)、Arduino($10~) cf: 設計CAD&コンパイラ(IDE)(Free~) 「専用LSIつくってLチカ」ってもったいない&無駄遣いすぎる
  • 34. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 「道具」としての集積回路 「ハード」=電子回路、プリント基板あたり 「集積回路(半導体チップ)」までは、なかなか どうしても「今あるもの・使えるもの」を使う カメラ、Kinect、マイコン、FPGA・・・ 新技術で、一気にパラダイムが変わることがある 「集積回路をつくれる」という道具 =「いまできること」という発想の縛りから開放 Depth画像 ※昔は「可能だが高価」 →Kinect後は「誰でも使える」 →ユーザインタフェース界の革命
  • 35. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 「Lチカ専用Cortex-M0」:設計してみた CMOS 0.18um 5Al 0.55mm x 0.65mm ※このチップの設計は、東京大学大規模集積システム設計教育研究センターを通し、 日本ケイデンス株式会社、シノプシス株式会社研究センターの協力で行われたものです。 ※このチップの設計で使用したライブラリは、京都大学情報学研究科 田丸・小野寺研究室の 成果によるもので、京都工芸繊維大学 小林和淑教授によりリリースされたものです。 ※このチップの試作は、東京大学大規模集積システム設計教育研究センターを通し、 ローム(株)および凸版印刷(株)の協力で行われたものです。 Synopsys Design Compiler & IC Compiler ※クロック周波数=10MHz
  • 36. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ RISC-Vを「コンパイル」してみた CMOS 0.6um 3Al 1.8x1.8mm 〜3k gate subset of RV32I
  • 37. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ オレLSI:AI向けも AI/深層学習向けのプロセッサ 従来型の「ノイマン型コンピュータ」では苦手 いわゆるASIC(特定用途向けIC)だが、 少量多品種向け GoogleのTPU (Tensorflow Processing Unit)の例 ref: https://news.mynavi.jp/article/20170411-tpu/2
  • 38. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ オレLSI:IoT向けも IoTは、本質的に「少量多品種」 使う場面ごとに、必要な機能・性能が異なる 情報処理のやり方も多様(端末側?サーバ?) 環境発電(太陽電池、振動発電など)など、 超低消費電力が必要な場面も多い センサ プロセッサ 通信 記録 電源
  • 39. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ 集積回路を「つくる」ためのハードル 設計CAD 市販の業務用CAD: 高すぎ、高機能すぎ 製造方法 高すぎ、時間かかりすぎ(1000万円・半年) NDA(設計ルールなどのアクセス制限)が厳しすぎ ユーザ・コミュニティ 参入障壁:現状は専門家ばかり “How”の専門家は多いが、”Why/What”は皆無 いずれも、なんとかなりそう?
  • 40. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ オレLSIをつくってみたい:実践 情報収集・整理 探せば、ないことはない オープンソースなCAD オープンソースなライブラリ 安価な製造サービス 仲間さがし http://j.mp/make_lsi
  • 41. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ MakeLSI: -データの蓄積・再利用 GitHub上でデータを共有=再利用OK NDA-Free設計ルール= NDA-Free IP 迅速なIP開発  共通設計環境・プロセス  多くの参加者による開発  品質が低い場合もある(バグ、エラー)  品質も参加者により改善される? Cf. OSS (Open Source Software; Linux, etc.)  品質はコミュニティメンバにより迅速に改善  コミュニティメンバの開発・改良への熱意  オープンな枠組み(ソースコード、ライセンス)が必要
  • 42. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ チップを「つくる」 (イメージ:近い将来) 設計する(GDS形式) データをupload チップが届く cf: プリント基板 設計する(gerber形式) Webからデータをupload 基板が届く
  • 43. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ LSIが道具になるとは・・・ 『3Dプリンタは、私たちに「何をつくりたいの か」を問いかけているのです。』 あなたなら、何を作りますか? いまのうちから、考えておいても 損はないはず。
  • 44. Interface Device Laboratory, Kanazawa University http://ifdl.jp/ カスタム半導体のHCIへの応用例 • 「きれいな」絵を撮るカメラ • 高速な視線計測カメラ
  • 45. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Image Sensor for Clearly-Perceived Images Idea of Pseudorandom Pixel Placement Applications of Pseudorandom Pixel Placement Jaggy elimination Image measurement
  • 46. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Background History of Image Sensor/Display for Enhancing Image Quality Increasing Resolution / Pixel Shrink (SDTV -> HDTV -> 4K/8K…) Increasing Signal Quality (Low Noise, Wide Dynamic Range, Color Range, …) Resolution / Pixel Number Signal Quality Image Quality Enhancement
  • 47. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Jaggy & Directional Dependency Jaggy at line edge Appearance depends on object direction No jaggy in horizontal line Large jaggy in slant line Very small jaggy in 45deg line Caused by Lattice Placement of Pixels Mismatch with Retina?
  • 48. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ “Perceive” Sensitivity & Jaggy ※大頭他, 日本眼光学学会誌, v8, n1, pp32-41, 1987 High Perceive Sensitivity for 2 – 30 [cycle/deg] = 0.5 – 0.03[deg] Jaggy = Cyclic Step within High Perceive Sensitivity Higher Perceive Accuracy for Step (Vernier Accuracy) Pixel Size Jaggy (Cyclic Step at Line Edge)
  • 49. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Photoreceptor Cells on Retina Center (Fovea) Peripheral Microscope Photo Positions of Cells ※J.Hirsch et al., J.Opt.Soc.Am.A, v4 n8, p1482 Cells are NOT placed at Lattice Positions
  • 50. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Pseudorandom Pixel Placement Idea: Arranging Pixels Randomly Yet Another (Independent) Approach for Image Quality Enhancement? With Conventional Two Approaches Pixel Placement Resolution / Pixel Number Signal Quality Image Quality Enhancement
  • 51. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Idea of “Pseudorandom” Placement “Active Area” occupies a part of pixel Image Sensor: Photo Receptor Display: Light Emitting Area Arranging pixels… 1 type pixel = Lattice Placement 4 type pixels with different “Active Area” positions = Pseudorandom Placement
  • 52. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Effect of Pseudorandom Placement Active Area Lattice Placement Pseudorandom Placement Small Steps for All Directions (no directional dependency) Small Steps will be small enough that is NOT perceived
  • 53. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Pros/Cons of Pseudorandom Placement Pros No directional dependency of Jaggy = Good Image Quality in Movie We can NOT “perceive” small (random) steps Jaggy is large (long cycle) enough to be perceived Higher Perceive Sensitivity for Jaggy’s step (hard to eliminate by pixel shrink) Cons Reduced size of Active Area in Pixel (Low Fill Factor) (its degradation will be overcome by Pros…?)
  • 54. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Effect of Eliminating Perceived Jaggies Line by Lattice Placement Line by Pseudorandom Placement Number of Pixels: 200 x 200 Viewing angle of pixel: 0.05[deg], Above Picture of 68mm from 50cm Experiment by Subjects -> Elimination of Perceived Jaggies
  • 55. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Design of CMOS Image Sensor + = Pixel Photo Shield (4 types) CMOS 0.18um, 5Al, 5x5mm, 128x128 Pixels
  • 56. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ For more details:  J.Akita, CMOS image sensor with pseudorandom pixel placement, IEICE Electronics Express, Vol.5, No.10, pp.388-393, 2008.5.  Y.Nakamura, J.Akita, Accuracy Evaluation on Area Measurement using Pseudorandom Pixel Placement for Low Resolution Images, ITE Trans. on Media Technology and Applications, Vol.2, No.2, pp.139-144, 2014.4.  C.Izaki, J.Akita, Pixel Parameter Optimization for Jaggy Reduction in Line Representation using Pseudorandom Pixel Placement, ITE Trans. on Media Technology and Applications, Vol.3, No.4, pp.263-267, 2015.10.  J.Akita, CMOS image sensor with pseudorandom pixel placement for jaggy elimination, IEICE Electronics Express, Vol.14, No.9, pp.20170154, 2017.04.  J.Akita, CMOS Image Sensor for High Speed and Low Latency Eye Tracking, IEICE Electronics Express, Article ID: 15.20180785, DOI https://doi.org/10.1587/elex.15.20180785, 2018.11.
  • 57. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Image Sensor for High Speed Eye Tracking Introduction Method of Line-of-Sight Detection Column Parallel Architecture for Centroid Calculation Chip Design & Fabrication Measurement Results Conclusion
  • 58. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Motivation The variety of intelligent device is more and more increasing PC, Tablet, Wearable Device, Digital Signage etc... Next HCI(Human Computer Interaction) are required Line-of-Sight(LoS) as new interface Operate computer with LoS Driving Support Psychologic Analysis Supporting handicapped person Fig. from Google Glass
  • 59. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Saccade: Rapid Eye Movement Very rapid eye movement Occur 5 times/sec involuntary Maximum velocity reaches 500[deg/sec] Velocity and destination are correlated. Your consciousness Real eye movement Line-of-sight(LoS) detection, or detecting where the user is looking at, is an attracting as a new type of user interfaces. Line-of-sight(LoS) detection, or detecting where the user is looking at, is an attracting as a new type of user interfaces. Smoothly Jumping
  • 60. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Problems of LoS Tracking System Some systems have been sold for commercial Low frame rate (~60[fps]) fps : frame per sec ⇔ 210[fps] is needed to track saccade Non real-time operation (latency) Not reasonable price ($1,000 ~ $10,000) Large system [1].http://www.smivision.com/ [2]. http://www.tobii.com/ Conventional LoS Tracking system [1][2]
  • 61. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Motivation High Speed, Low Latency Eye Tracking System High frame rate (500[fps] ~ ) Real-time operation (low frame latency) Compact system size High resolution (640×480 pixels) Low intrusive
  • 62. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Integrated CMOS Image Sensor Integrating image sensor and processing circuits onto one chip High frame rate Low latency Compact system size Reasonable cost Image sensor image processing circuit
  • 63. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Line-of-Sight Calculation Algorithm Capture user’s eye image infrared light Binarization Calculate pupil position defined as a centroid’s coordinate of pupil Correspond centroid’s coordinate and LoS Line-of-Sight
  • 64. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Architecture: Overview Column parallel architecture realize high speed operation reduction of circuit area APS( Active Pixel Sensor) PE (Processing Element)
  • 65. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Architecture: each column Calculate element factor of centroid equation in column (y-direction) parallel pxy is binarized pixel’s value at (x,y) S SX SY
  • 66. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Processing Element: Su, SXu, SYu Su, SXu, SYu are 1bit element calculation circuits to accumulate Σypxy , Σyxpxy and Σyypxy They are bit scalable (can be connected serially for the required number of bits to accumulate 1bit element circuit of Σypxy 2bit Σypxy calculator
  • 67. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Operation Timing Chart Two stages per frame Column accumulation stage row accumulation stage Operation Time ∝ X- & Y-direction resolution: O(n)
  • 68. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Evaluation System Emulation of LoS Tracking Vision Chip architecture using high speed camera and FPGA column parallel architecture implemented by VerilogHDL 1-frame latency Horizontal resolution 640 [pixel] Vertical resolution 75~480 [pixel] Frame rate 210~1000[fps] Output coordinate resolution 7 digits after decimal point Lens F-number F2.8
  • 69. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Fabricated Chip CMOS 0.18um CIS, 4Al Chip size: 5mm×6mm Pixel array: 640×480[pixel] Frame rate: 500fps Calculation Circuits
  • 70. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Experimental Setup Captured eye image & Calculated centroid
  • 71. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ Experimental Results Measured x of pupil Measured vθ Saccades Position of pupil -> Eyeball rotation angle
  • 72. 2019/11/22 Interface Device Laboratory, Kanazawa University http://ifdl.jp/ まとめ 半導体の進化(ムーアの法則)と、その功罪 コンピュータの継続的な進化 高度になりすぎて、逆にアプリケーションを限定 「道具」になる半導体:その試み カスタム半導体のHCIへの応用例 「きれいな」絵を撮るカメラ 高速な視線計測カメラ