セキュリティショー2014におけるセミナー講演資料 2014年3月4日 東京ビックサイト 「次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -」

1. !
!
!
SECURITY SHOW 2014
!
次世代セキュリティを牽引する画像解析技術の最新動向
- 距離情報を用いた物体認識技術 !
!
!
2014年3月4日
!
藤吉弘亘
中部大学工学部情報工学科（ロボット理工学科）
!
!1

2. 距離情報を用いた物体認識
ばら積み物体の認識
障害物の検出
人検出
人体姿勢推定
三次元顔認証
三次元環境認識
!2

3. 距離情報の表現
ポイントクラウド
P={p(X, Y, Z)}
Y
レーザ走査型TOFセンサ
Z
X
u
三次元座標値(X,Y,Z)を持つ点pの集合!
（2.5Dデータ:全周囲でないデータ）
距離画像
v
D={d(u,v)}
同時照射型TOFセンサ
画像座標(u,v)に対応する距離dの集合!
（ポイントクラウドデータに変換可能）
!3

4. 1. ポイントクラウドを用いた物体認識
2. 距離画像を用いた物体認識
1. 機械学習を用いた人検出
2. 凸形状フィルタリングによる人流計測
3. 距離動画像による動作認識
4. 人体三次元姿勢推定
3. コンシューマデプスセンサと最新動向
!4

5. A Layered Approach to People Detection in 3D Range Data
L. Spinello, K. O. Arras, R. Triebel and R. Siegwart”, “A Layered Approach to People Detection in 3D Range Data”,
Proc. of The AAAI Conference on Artificial Intelligence: Physically Grounded AI Track (AAAI), 2010
!5

6. 1. ポイントクラウドを用いた物体認識
2. 距離画像を用いた物体認識
1. 機械学習を用いた人検出
2. 凸形状フィルタリングによる人流計測
3. 距離動画像による動作認識
4. 人体三次元姿勢推定
3. コンシューマデプスセンサと最新動向
!6

7. 機械学習を用いた人検出
• 機械学習により人らしさを捉える二つの矩形領域を選択
‒ AdaBoostを利用
識別器
機械学習
AdaBoost
AdaBoostのチュートリアル http://www.vision.cs.chubu.ac.jp/CVTutorial/
!7

8. 機械学習を用いた人検出
• 距離ヒストグラム特徴量
[池村2010]
1. 二つの矩形領域を選択
2. 距離ヒストグラムの算出
3. 類似度の算出
正規化距離ヒストグラムp
Bhattacharyya距離による
ヒストグラムの類似度Sの算出
m
S = ∑ pu qu
u =1
入力距離画像
正規化距離ヒストグラムq
!8

9. 機械学習を用いた人検出
学習サンプル
サンプルの更新
AdaBoost
弱識別器
距離ヒストグラム特徴量
認識率
,
)
評価
(
,
)
評価
(
,
)
評価
(
,
)
評価
Z=0.3
・・・
(
( ,
h1 ( S1530 ) )
Z=0.9 MAX
・・・
特徴抽出
・・・
Z=0.4
Z=0.1
位置・サイズを変えて評価
!9

10. 機械学習を用いた人検出
学習サンプル
サンプルの更新
AdaBoost
弱識別器
距離ヒストグラム特徴量
,
)
評価
特徴抽出
h2 ( ) , )
S 22
,
)
評価
(
,
)
評価
(
,
)
評価
Z=0.2
・・・
(
( ,
h1 ( S1530 ) )
Z=0.7
・・・
(
認識率
・・・
Z=0.3
Z=0.8 MAX
位置・サイズを変えて評価
!10

11. 機械学習を用いた人検出
学習サンプル
サンプルの更新
AdaBoost
弱識別器
,
)
評価
特徴抽出
h2 ( ) , )
S 22
,
)
評価
(
,
)
評価
Z=0.4
・・・
(
Z=0.1
hT (( 64000 )
S ,)
・・・
(
,
)
評価
( ,
h1 ( S1530 ) )
Z=0.7 MAX
・・・
(
認識率
・・・・・・・・
距離ヒストグラム特徴量
Z=0.6
位置・サイズを変えて評価
!11

12. 距離画像を用いた人検出
• 検出の流れ
1. 三次元空間での検出ウィンドウのラスタスキャン
2. オクルージョン領域の判定
3. 距離ヒストグラム特徴量の算出
4.AdaBoostによる識別
第15回画像センシングシンポジウム，横浜，2009年6月
図
距離情報を用いた人検出の流れ
!12

13. 機械学習を用いた人検出
第15回画像センシングシンポジウム，横浜，2009年6月
• オクルージョンを考慮した人検出
図
オクルージョン領域を考慮した識別例
!13

14. 機械学習を用いた人検出
反射強度画像
距離画像
人検出精度：95%を達成（誤検出率0.5%)
カメラ画像74%
20%UP
距離画像95%
!14

15. 機械学習を用いた人検出
オクルージョンの影響を低減して検出が可能（距離画像と機械学習の効果）
図
人検出例
!15

16. 1. ポイントクラウドを用いた物体認識
2. 距離画像を用いた物体認識
1. 機械学習を用いた人検出
2. 凸形状フィルタリングによる人流計測
3. 距離動画像による動作認識
4. 人体三次元姿勢推定
3. コンシューマデプスセンサと最新動向
!16

17. 凸形状フィルタリングによる人流計測
• 上部から撮影した距離画像からの人検出
TOFカメラ
5.0m
0.0m
人の向きにより見えが大きく変化
局所特徴料と統計的学習手法では検出が困難
!17

18. 凸形状フィルタリングによる人流計測
• 頭部と肩の距離差に注目
‒ 肩，頭，肩の凸形状
!
• Haar-likeフィルタリングによる利用
‒ 肩と頭にHaar-likeフィルタを配置
‒ 4方向のHaar-likeフィルタを利用
‒ 積分画像の利用するこで高速に算出可能
r1 : 黒の領域
r2 : 白の領域
S(r) : 領域の距離の平均を求める関数
H(r1, r2) : Haar-likeフィルタの応答値
0°
45°
90°
135°
!18

19. 凸形状フィルタリングによる人流計測
距離情報を用いた背景差分
!19

20. 凸形状フィルタリングによる人流計測
椅子
凸形状の人のみを高精度(約97%)に検出可能
!20

21. 凸形状フィルタリングによる人流計測
距離画像
距離画像解析結果
入退出カウント
入退出カウント
Enter
Exit
判定ライン
判定ライン
正確な人の入退出カウントが可能
!21

22. 共連れ検知
距離画像
入退出カウント
判定ライン
判定ライン
正常
共連れ
!22

23. 1. ポイントクラウドを用いた物体認識
2. 距離画像を用いた物体認識
1. 機械学習を用いた人検出
2. 凸形状フィルタリングによる人流計測
3. 距離動画像による動作認識
4. 人体三次元姿勢推定
3. コンシューマデプスセンサと最新動向
!23

24. 距離動画像からの動作認識
• 距離動画像による仮想視点を用いた動作判定
1. 正規化シルエットの抽出
[特長] 設置角度に依らない／3D点群を効率的に要約
背景:
－
入力:
差分:
上
距離動画像
床
前
x
横
ポイントクラウド
人のシルエット
2. 動作特徴量の抽出
x = [ x1,x2 ,...x N ]
3. 動作カテゴリ判別
{c1,c2 ,...cM }
ct −T ...,ct −1, ct
4. 時系列フィルタ
c
c*

25. 距離動画像からの動作認識
• 距離動画像による仮想視点を用いた動作判定
前
横
上
暴れ：Abnormal 正常：Normal
カメラ画像91.4%
6.0%UP
距離画像97.4%
!25

26. 距離動画像からの動作認識
• 商品に注目する行動(商品注目行動)の認識
!
[池村2010C]
A. 商品を手に取る動作の認識
‒ 手や体の動きを捉えることが有効 時空間情報の利用
B. 商品棚の高さを認識
‒ 手や体の高さを捉えることが有効 距離情報の利用
!26

27. 距離動画像からの動作認識
• 時空間情報の利用
‒ 画素毎に状態を判定：動 / 静 / 背景
!
商品を見ているとき
!
商品を取っているとき
背景
動状態
静状態
!
• 距離情報の利用
‒ 矩形領域の距離ヒストグラムからピークの距離を算出
1.0 m
1.0 m
特徴量
距離ヒストグラム
!27

28. 距離動画像からの動作認識
• 距離動画像の時空間特徴により動作を識別
[池村2010C]
商品を手に取る動作→ Upper：上段 Middle：中段 Lower：下段
それ以外の動作 → Other
!28

29. 1. ポイントクラウドを用いた物体認識
2. 距離画像を用いた物体認識
1. 機械学習を用いた人検出
2. 凸形状フィルタリングによる人流計測
3. 距離動画像による動作認識
4. 人体三次元姿勢推定
3. コンシューマデプスセンサと最新動向
!29

30. 距離画像を用いた3次元人体姿勢推定
• 画素毎にマルチクラス識別器によりパーツを分類
[Shotton2011]
‒ Random Forestを利用
学習サンプル
マルチクラス識別器
機械学習
Random Forest
Background: Learning Body Parts for Kinect
body joint hypotheses
input depth image
人体姿勢推定
の流れ
body parts
BPC
Clustering
front view
side view
top view
[Shotton et al. CVPR 2011]
Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake,
Real-Time Human Pose Recognition in Parts from Single Depth Images , CVPR2011．
!30

31. 距離画像を用いた3次元人体姿勢推定
Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake,
Real-Time Human Pose Recognition in Parts from Single Depth Images , CVPR2011．
!31

32. 距離情報を用いた物体認識技術
• 距離画像を用いた物体認識のメリット
‒ 赤外光による距離画像取得のため、24時間対応が可能
‒ 従来の物体認識フレームを利用して高性能な物体認識を実現
!
• 距離画像を用いたアプリケーション
‒ 人数カウント
‒ 人流計測、共連れ検知
‒ 動作認識（人体姿勢推定）
!32

33. 1. ポイントクラウドを用いた物体認識
2. 距離画像を用いた物体認識
1. 機械学習を用いた人検出
2. 凸形状フィルタリングによる人流計測
3. 距離動画像による動作認識
4. 人体三次元姿勢推定
3. コンシューマデプスセンサと最新動向
!33

34. コンシューマデプスセンサ
• パターン照射方式
‒ 赤外光パターンを照射し三角測量により距離を計測
!
!
!
Microsoft Kinect
ASUS Xtion Pro
• TOF方式
‒ 赤外光の反射時間により距離を計測
Panasonic
mesa Swiss Ranger
PMDTec
Creative Interactive
Gesture Camera
XBOX ONE(2013)
安価なTOFカメラ
!34

35. KINECTカメラ（パターン照射方式）
• パターン照射方式
‒ プロジェクションパターンを用いた三角測量による3次元計測
Structured light
object at
depth d2
object at
depth d1
y
z
x
imaging
plane
optic centre
of IR laser
KINECTの照射パターン
optic centre
of camera
baseline
!35

36. KINECT v2 カメラ（TOF方式）
Principles of ToF Imaging
• TOF(飛行時間)方式
Continuous Wave Modulation
• Continuous light waves instead of short light pulses
‒ LED光源を変調させ、CCD/CMOS イメージセンサは各画素ご
• Modulation in terms of frequency of sinusoidal waves
とに反射してきた変調信号の位相を計測
• Detected wave after reflection has shifted phase
• Phase shift proportional to distance from reflecting surface
‒ 各画素の距離は変調信号の周期の分数として定義
continuous wave
...
Phase Meter
20 MHz
Emitter
...
...
...
Detector
phase shift
3D Surface
13
!36

37. Kinectの性能比較
!
!
Kinect v1
Kinect v2
1920 1080(30fps)
RGBカメラ解像度
640 480(30fps)
距離計測方式
パターン照射方式
TOF(Time of Flight)方式
距離カメラ解像度
320 240(30fps)
512 424(30fps)
距離の有効範囲
0.8m∼4.0m(通常モード)
0.4m∼3.0m(Nearモード)
0.5m∼4.5m
1280 960(12fps)
!37

38. Kinectの距離画像比較
Kinect v1
Kinect v2
512
240
424
320
オクルージョン領域は
距離値を求めることが不可能
http://www.youtube.com/watch?v=eNIP9nFo9n4
!38

39. XBOX one(Kinect v2)の紹介
http://www.youtube.com/watch?v=eNIP9nFo9n4
!39

40. 次世代のRGB-Dカメラ
• RGBとDを同軸で取得（サムスンが2012年に発表）
RGB：1,920 x 720
D ： 480 x 360
http://techon.nikkeibp.co.jp/english/NEWS_EN/20120225/206010/?P=1
!40

41. 参考文献
[Munaro2012] M. Munaro, F. Basso, and E. Menegatti. Tracking People within Groups with RGB-D Data. In
IROS 2012.
!
[Spinello2010] L. Spinello, K. O. Arras, R. Triebel and R. Siegwart , A Layered Approach to People
Detection in 3D Range Data , Proc. of The AAAI Conference on Artificial Intelligence: Physically Grounded
AI Track (AAAI), 2010
!
[池村2010A] 池村翔, 藤吉弘亘, "距離情報に基づく局所特徴量によるリアルタイム人検出", 電子情報通信学会論文誌,
Vol.J93-D, No.3, pp. 355-364, 2010.
!
[池村2010B] 池村翔, 川合俊輔, 藤吉弘亘, "距離情報を用いたHaar-likeフィルタリングによる人検出", 第16回画像セン
シングシンポジウム(SSII2010), IS4-13, 2010.
!
[池村2010C] 池村翔, 藤吉弘亘, "時空間情報と距離情報を用いたJoint Boostingによる動作識別", 電気学会論文誌Ｃ
（電子・情報・システム部門誌）Vol. 130 (2010) , No. 9 pp.1554-1560, 2010.
!
[Shotton2011] Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard
Moore, Alex Kipman, Andrew Blake, Real-Time Human Pose Recognition in Parts from Single Depth
Images ,Computer Vision and Pattern Recognition,vol.2,pp.1297-1304, 2011.
!41