More Related Content
Similar to アプリケーション展開におけるキーポイント
Similar to アプリケーション展開におけるキーポイント
(20)
More from MPRG_Chubu_University
More from MPRG_Chubu_University (11)
アプリケーション展開におけるキーポイント
- 1. アプリケーション展開におけるキーポイント
http://mprg.jp/tutorials
機械知覚&ロボティクス研究グループ(中部大学)
1
中部
工学
助手
中部大学
工学部 情報工学科
講師
大学
部 ロボット理工学科
中部大学
工学部 ロボット理工学科
助手
山内 悠嗣
機械知覚＆ロボティクスグル
487-8501
愛知県春日井市松本町120
Tel 0568-51-8249
Fax 0568-51-9409
yuu@vision.cs.chubu.ac.jp
http://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND
中部大学
工学部 情報工学科
講師
山下 隆義
機械知覚＆ロボティクスグループ
487-8501
愛知県春日井市松本町1200
Tel 0568-51-9670
Fax 0568-51-1540
yamashita@cs.chubu.ac.jp
http://vision.cs.chubu.ac.jp
博士（工学）
MACHINE PERCEPTION AND ROBOTICS GROUP
中部大学
工学部 ロボット理工学科
教授
藤吉 弘亘
機械知覚＆ロボティクスグループ
487-8501
愛知県春日井市松本町1200
Tel 0568-51-9096
Fax 0568-51-9409
hf@cs.chubu.ac.jp
http://vision.cs.chubu.ac.jp
博士（工学）
MACHINE PERCEPTION AND ROBOTICS GROUP
- 3. • オブジェクト検出ビジョンセンサ
– Joint-HOG（Histogram of Oriented Gradients）を用いた人検出器
– 用途：監視カメラの知能化，商業店舗等のマーケティング利用
• 特徴点追跡ビジョンセンサ
– SIFTを用いた特徴点追跡を実現するビジョンセンサ
– 用途：車載カメラの映像処理，商業店舗等のマーケティング利用, 広告
PeopleDetector
FPGA+ PeopleDetector
Chip
第2段階：LSI化 第1段階：FPGA化
動画像理解ビジョンセンサの開発
FPGA → 回路の書き換え可能なデバイス LSI → 素子の集積度が1,000∼10万個の集積回路
3
- 4. • ハードウェアアクセラレータIP評価モジュール
– Joint-HOG + Real AdaBoostのハードウェア実装
• 開発ロードマップ
オブジェクト検出ビジョンセンサ [矢澤, 藤吉 11]
ODEN (Object Detect ENgine)
Cyclone III EP3C120F780-8
Logic cells：119,088
Memory bit：3,981,312 bit
2009年度 3月
製品化 LSI設計/ DRAM化 LSI化
2010年度 3月 2011年度
高速化 組み込み向け製品化製品化
ハードウェアアクセラレータ：
ソフトウェアAPI：
12月
4
- 6. ソフトウェアアルゴリズム解析
ODEN (Object Detect ENgine)
入力画像
VGA ( 640 480 pix )
256諧調 白黒
ソフトウェア処理フロー
ラスタスキャン
HOG特徴量演算
輝度勾配演算
HOG特徴量データ
座標統合 検出結果座標を統合
magnitude
Joint-HOG + Real AdaBoost演算処理内容
30 pix
60 pix
入力画像
Joint-HOG + Real AdaBoost演算
ヒストグラム演算
正規化演算
6
- 7. 7
ソフトウェアアルゴリズム解析 ( HOG特徴量 )
ODEN (Object Detect ENgine)
HOG特徴量演算
輝度勾配演算 ヒストグラム演算
輝度勾配演算
ヒストグラム演算
正規化演算
正規化演算HOG特徴量算出式
+
√
tan
-1
+
+
・・・
+
+ √
m(x,y) = fx (x,y)2
+ fy (x,y)2
θ(x,y) = tan−1 fy (x,y)
fx (x,y)
fx (x,y) = L(x +1,y) − L(x −1,y)
fy (x,y) = L(x,y +1) − L(x,y −1)
$
%
&
v( j) =
f ( j)
f ( j)2
i=1
k
∑
(
)
*
+
,
- + ε
- 8. ソフトウェアアルゴリズム解析 ( Joint-HOG + RAB )
ODEN (Object Detect ENgine)
1st. boost
Joint-HOG + Real AdaBoost演算
検出に最適な特徴量番
号を事前学習し，検出
動作時に使用する．
事前学習結果をLook Up Table(LUT)化
(累積加算演算以外をテーブル参照のみに簡略化する)
LUT num Low level 識別に使用する特徴量番号
LUT 1st. 各CELLの共起させた条件確率
LUT 2nd 1st. boostによる確率密度関数
LUT num
Joint-HOG + Real AdaBoost演算
Low level
+
LUT
1st.
LUT
1st.
LUT
2nd.
result+
2nd. boost
8
- 9. 論理回路試作
ODEN (Object Detect ENgine)
MG
輝度勾配演算
CPHIST
ヒストグラム演算
HOGNRM
正規化演算
CLSF
識別演算
Real AdaBoost
CELL combination
1st. Boost
2nd. Boost
HOG setting
hardware logic Joint-HOGによる学習結果
HOG特徴量
or
事前学習結果をLook Up Table化
することで，検出対象の変更・学習
のupdateを容易に実施可能とする．
human car
ハードウェアアーキテクチャ
TRUE or FALSE
CPHIST
MG
HOGNRM
CLSF
q0 q1 q2 q3 q4
q0 q1 q2 q3
q0 q1 q2
q0 q1
ウィンドウ毎の演算とす
ることで，小規模メモリ
を使用し，4段階の演算
行程をパイプライン化し
同時演算
パイプライン処理
9
- 10. 回路構成検討
ODEN (Object Detect ENgine)
入力画像をラスタスキャン
ラスタスキャン処理
ウィンドウ処理
joint-HOG + Real AdaBoost演算
HOG特徴量演算
ウィンドウ毎に
演算結果を記録 識別結果
座標データの統合
・ラスタスキャン方法は上位システムに応じて臨時修正
・座標データの統合方法は上位システムに依存するやめPCアプリで実装
10
- 12. 試験・動作例
ODEN (Object Detect ENgine)
人検出結果
車両検出結果
1画面処理時間 ( 2940ウィンドウ )
1画面処理時間 ( ２並列動作 )
@70MHz : 93.95 ms ( 約 10 FPS )
@70MHz : 46.98 ms ( 約 20 FPS )
12
- 25. 参考文献
• [矢澤, 藤吉 11] 矢澤芳文, 吉見 勤, 都筑輝泰, 土肥知美, 藤吉弘亘: '' 検出対
象をリコンフィグ可能なJoint-HOGによるFPGAハードウェア検出器,'' 画像
センシングシンポジウム(SSII), 2011.
• [鈴木 10] 鈴木康哲: '' 特徴点を検出するアルゴリズムをFPGAで実行する,''
Interface 12月号, 第6章, pp.142-151, 2010.
25
