Your SlideShare is downloading. ×
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -

5,419
views

Published on

セキュリティショー2014におけるセミナー講演資料 …

セキュリティショー2014におけるセミナー講演資料
2014年3月4日
東京ビックサイト
「次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -」

Published in: Technology

0 Comments
18 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
5,419
On Slideshare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
68
Comments
0
Likes
18
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. ! ! ! SECURITY SHOW 2014 ! 次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 ! ! ! 2014年3月4日 ! 藤吉弘亘 中部大学工学部情報工学科(ロボット理工学科) ! !1
  • 2. 距離情報を用いた物体認識 ばら積み物体の認識 障害物の検出 人検出 人体姿勢推定 三次元顔認証 三次元環境認識 !2
  • 3. 距離情報の表現 ポイントクラウド P={p(X, Y, Z)} Y レーザ走査型TOFセンサ Z X u 三次元座標値(X,Y,Z)を持つ点pの集合! (2.5Dデータ:全周囲でないデータ) 距離画像 v D={d(u,v)} 同時照射型TOFセンサ 画像座標(u,v)に対応する距離dの集合! (ポイントクラウドデータに変換可能) !3
  • 4. 1. ポイントクラウドを用いた物体認識 2. 距離画像を用いた物体認識 1. 機械学習を用いた人検出 2. 凸形状フィルタリングによる人流計測 3. 距離動画像による動作認識 4. 人体三次元姿勢推定 3. コンシューマデプスセンサと最新動向 !4
  • 5. A Layered Approach to People Detection in 3D Range Data L. Spinello, K. O. Arras, R. Triebel and R. Siegwart”, “A Layered Approach to People Detection in 3D Range Data”, Proc. of The AAAI Conference on Artificial Intelligence: Physically Grounded AI Track (AAAI), 2010 !5
  • 6. 1. ポイントクラウドを用いた物体認識 2. 距離画像を用いた物体認識 1. 機械学習を用いた人検出 2. 凸形状フィルタリングによる人流計測 3. 距離動画像による動作認識 4. 人体三次元姿勢推定 3. コンシューマデプスセンサと最新動向 !6
  • 7. 機械学習を用いた人検出 • 機械学習により人らしさを捉える二つの矩形領域を選択 ‒ AdaBoostを利用 識別器 機械学習 AdaBoost AdaBoostのチュートリアル http://www.vision.cs.chubu.ac.jp/CVTutorial/ !7
  • 8. 機械学習を用いた人検出 • 距離ヒストグラム特徴量 [池村2010] 1. 二つの矩形領域を選択 2. 距離ヒストグラムの算出 3. 類似度の算出  正規化距離ヒストグラムp Bhattacharyya距離による ヒストグラムの類似度Sの算出 m S = ∑ pu qu u =1 入力距離画像 正規化距離ヒストグラムq !8
  • 9. 機械学習を用いた人検出 学習サンプル サンプルの更新 AdaBoost 弱識別器 距離ヒストグラム特徴量 認識率 ,  ) 評価 (  ,  ) 評価 (  ,  ) 評価 (  ,  ) 評価 Z=0.3 ・・・ (  (  , h1 ( S1530 )   ) Z=0.9 MAX ・・・ 特徴抽出 ・・・ Z=0.4 Z=0.1 位置・サイズを変えて評価 !9
  • 10. 機械学習を用いた人検出 学習サンプル サンプルの更新 AdaBoost 弱識別器 距離ヒストグラム特徴量 ,  ) 評価 特徴抽出 h2 (   ) ,   ) S 22 ,  ) 評価 (  ,  ) 評価 (  ,  ) 評価 Z=0.2 ・・・ (  (  , h1 ( S1530 )   ) Z=0.7 ・・・ (  認識率 ・・・ Z=0.3 Z=0.8 MAX 位置・サイズを変えて評価 !10
  • 11. 機械学習を用いた人検出 学習サンプル サンプルの更新 AdaBoost 弱識別器 ,  ) 評価 特徴抽出 h2 (   ) ,   ) S 22 ,  ) 評価 (  ,  ) 評価 Z=0.4 ・・・ (  Z=0.1 hT (( 64000  ) S ,) ・・・ (  ,  ) 評価 (  , h1 ( S1530 )   ) Z=0.7 MAX ・・・ (  認識率 ・・・・・・・・ 距離ヒストグラム特徴量 Z=0.6 位置・サイズを変えて評価 !11
  • 12. 距離画像を用いた人検出 • 検出の流れ 1. 三次元空間での検出ウィンドウのラスタスキャン 2. オクルージョン領域の判定 3. 距離ヒストグラム特徴量の算出 4.AdaBoostによる識別  第15回画像センシングシンポジウム,横浜,2009年6月 図 距離情報を用いた人検出の流れ !12
  • 13. 機械学習を用いた人検出 第15回画像センシングシンポジウム,横浜,2009年6月 • オクルージョンを考慮した人検出 図 オクルージョン領域を考慮した識別例 !13
  • 14. 機械学習を用いた人検出 反射強度画像 距離画像 人検出精度:95%を達成(誤検出率0.5%)   カメラ画像74% 20%UP 距離画像95% !14
  • 15. 機械学習を用いた人検出 オクルージョンの影響を低減して検出が可能(距離画像と機械学習の効果) 図 人検出例 !15
  • 16. 1. ポイントクラウドを用いた物体認識 2. 距離画像を用いた物体認識 1. 機械学習を用いた人検出 2. 凸形状フィルタリングによる人流計測 3. 距離動画像による動作認識 4. 人体三次元姿勢推定 3. コンシューマデプスセンサと最新動向 !16
  • 17. 凸形状フィルタリングによる人流計測 • 上部から撮影した距離画像からの人検出 TOFカメラ 5.0m 0.0m 人の向きにより見えが大きく変化 局所特徴料と統計的学習手法では検出が困難 !17
  • 18. 凸形状フィルタリングによる人流計測 • 頭部と肩の距離差に注目 ‒ 肩,頭,肩の凸形状 ! • Haar-likeフィルタリングによる利用 ‒ 肩と頭にHaar-likeフィルタを配置 ‒ 4方向のHaar-likeフィルタを利用 ‒ 積分画像の利用するこで高速に算出可能 r1 : 黒の領域 r2 : 白の領域 S(r) : 領域の距離の平均を求める関数 H(r1, r2) : Haar-likeフィルタの応答値 0° 45° 90° 135° !18
  • 19. 凸形状フィルタリングによる人流計測 距離情報を用いた背景差分 !19
  • 20. 凸形状フィルタリングによる人流計測 椅子 凸形状の人のみを高精度(約97%)に検出可能 !20
  • 21. 凸形状フィルタリングによる人流計測 距離画像 距離画像解析結果 入退出カウント 入退出カウント Enter Exit 判定ライン 判定ライン 正確な人の入退出カウントが可能 !21
  • 22. 共連れ検知 距離画像 入退出カウント 判定ライン 判定ライン 正常 共連れ !22
  • 23. 1. ポイントクラウドを用いた物体認識 2. 距離画像を用いた物体認識 1. 機械学習を用いた人検出 2. 凸形状フィルタリングによる人流計測 3. 距離動画像による動作認識 4. 人体三次元姿勢推定 3. コンシューマデプスセンサと最新動向 !23
  • 24. 距離動画像からの動作認識 • 距離動画像による仮想視点を用いた動作判定  1. 正規化シルエットの抽出    [特長] 設置角度に依らない/3D点群を効率的に要約  背景:  -  入力:  差分: 上 距離動画像 床 前 x 横 ポイントクラウド  人のシルエット 2. 動作特徴量の抽出 x = [ x1,x2 ,...x N ] 3. 動作カテゴリ判別 {c1,c2 ,...cM } ct −T ...,ct −1, ct 4. 時系列フィルタ c c*
  • 25. 距離動画像からの動作認識 • 距離動画像による仮想視点を用いた動作判定 前 横 上 暴れ:Abnormal     正常:Normal カメラ画像91.4% 6.0%UP 距離画像97.4% !25
  • 26. 距離動画像からの動作認識 • 商品に注目する行動(商品注目行動)の認識 ! [池村2010C] A. 商品を手に取る動作の認識 ‒ 手や体の動きを捉えることが有効  時空間情報の利用 B. 商品棚の高さを認識 ‒ 手や体の高さを捉えることが有効  距離情報の利用 !26
  • 27. 距離動画像からの動作認識 • 時空間情報の利用 ‒ 画素毎に状態を判定:動 / 静 / 背景 ! 商品を見ているとき ! 商品を取っているとき 背景 動状態 静状態 ! • 距離情報の利用 ‒ 矩形領域の距離ヒストグラムからピークの距離を算出 1.0 m 1.0 m 特徴量 距離ヒストグラム !27
  • 28. 距離動画像からの動作認識 • 距離動画像の時空間特徴により動作を識別 [池村2010C] 商品を手に取る動作→ Upper:上段 Middle:中段 Lower:下段 それ以外の動作  → Other !28
  • 29. 1. ポイントクラウドを用いた物体認識 2. 距離画像を用いた物体認識 1. 機械学習を用いた人検出 2. 凸形状フィルタリングによる人流計測 3. 距離動画像による動作認識 4. 人体三次元姿勢推定 3. コンシューマデプスセンサと最新動向 !29
  • 30. 距離画像を用いた3次元人体姿勢推定 • 画素毎にマルチクラス識別器によりパーツを分類 [Shotton2011] ‒ Random Forestを利用 学習サンプル マルチクラス識別器 機械学習 Random Forest Background: Learning Body Parts for Kinect body joint hypotheses input depth image 人体姿勢推定 の流れ body parts BPC Clustering front view side view top view [Shotton et al. CVPR 2011] Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake, Real-Time Human Pose Recognition in Parts from Single Depth Images , CVPR2011. !30
  • 31. 距離画像を用いた3次元人体姿勢推定 Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake, Real-Time Human Pose Recognition in Parts from Single Depth Images , CVPR2011. !31
  • 32. 距離情報を用いた物体認識技術 • 距離画像を用いた物体認識のメリット ‒ 赤外光による距離画像取得のため、24時間対応が可能 ‒ 従来の物体認識フレームを利用して高性能な物体認識を実現 ! • 距離画像を用いたアプリケーション ‒ 人数カウント ‒ 人流計測、共連れ検知 ‒ 動作認識(人体姿勢推定) !32
  • 33. 1. ポイントクラウドを用いた物体認識 2. 距離画像を用いた物体認識 1. 機械学習を用いた人検出 2. 凸形状フィルタリングによる人流計測 3. 距離動画像による動作認識 4. 人体三次元姿勢推定 3. コンシューマデプスセンサと最新動向 !33
  • 34. コンシューマデプスセンサ • パターン照射方式 ‒ 赤外光パターンを照射し三角測量により距離を計測 ! ! ! Microsoft Kinect ASUS Xtion Pro • TOF方式 ‒ 赤外光の反射時間により距離を計測 Panasonic mesa Swiss Ranger PMDTec Creative Interactive Gesture Camera XBOX ONE(2013) 安価なTOFカメラ !34
  • 35. KINECTカメラ(パターン照射方式) • パターン照射方式 ‒ プロジェクションパターンを用いた三角測量による3次元計測 Structured light object at depth d2 object at depth d1 y z x imaging plane optic centre of IR laser KINECTの照射パターン optic centre of camera baseline !35
  • 36. KINECT v2 カメラ(TOF方式) Principles of ToF Imaging • TOF(飛行時間)方式 Continuous Wave Modulation • Continuous light waves instead of short light pulses ‒ LED光源を変調させ、CCD/CMOS イメージセンサは各画素ご • Modulation in terms of frequency of sinusoidal waves とに反射してきた変調信号の位相を計測 • Detected wave after reflection has shifted phase • Phase shift proportional to distance from reflecting surface ‒ 各画素の距離は変調信号の周期の分数として定義 continuous wave ... Phase Meter 20 MHz Emitter ... ... ... Detector phase shift 3D Surface 13 !36
  • 37. Kinectの性能比較 ! ! Kinect v1 Kinect v2 1920 1080(30fps) RGBカメラ解像度 640 480(30fps) 距離計測方式 パターン照射方式 TOF(Time of Flight)方式 距離カメラ解像度 320 240(30fps) 512 424(30fps) 距離の有効範囲 0.8m∼4.0m(通常モード) 0.4m∼3.0m(Nearモード) 0.5m∼4.5m 1280 960(12fps) !37
  • 38. Kinectの距離画像比較 Kinect v1 Kinect v2 512 240 424 320 オクルージョン領域は 距離値を求めることが不可能 http://www.youtube.com/watch?v=eNIP9nFo9n4 !38
  • 39. XBOX one(Kinect v2)の紹介 http://www.youtube.com/watch?v=eNIP9nFo9n4 !39
  • 40. 次世代のRGB-Dカメラ • RGBとDを同軸で取得(サムスンが2012年に発表) RGB:1,920 x 720 D : 480 x 360 http://techon.nikkeibp.co.jp/english/NEWS_EN/20120225/206010/?P=1 !40
  • 41. 参考文献 [Munaro2012] M. Munaro, F. Basso, and E. Menegatti. Tracking People within Groups with RGB-D Data. In IROS 2012. ! [Spinello2010] L. Spinello, K. O. Arras, R. Triebel and R. Siegwart , A Layered Approach to People Detection in 3D Range Data , Proc. of The AAAI Conference on Artificial Intelligence: Physically Grounded AI Track (AAAI), 2010 ! [池村2010A] 池村翔, 藤吉弘亘, "距離情報に基づく局所特徴量によるリアルタイム人検出", 電子情報通信学会論文誌, Vol.J93-D, No.3, pp. 355-364, 2010. ! [池村2010B] 池村翔, 川合俊輔, 藤吉弘亘, "距離情報を用いたHaar-likeフィルタリングによる人検出", 第16回画像セン シングシンポジウム(SSII2010), IS4-13, 2010. ! [池村2010C] 池村翔, 藤吉弘亘, "時空間情報と距離情報を用いたJoint Boostingによる動作識別", 電気学会論文誌C (電子・情報・システム部門誌)Vol. 130 (2010) , No. 9 pp.1554-1560, 2010. ! [Shotton2011] Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake, Real-Time Human Pose Recognition in Parts from Single Depth Images ,Computer Vision and Pattern Recognition,vol.2,pp.1297-1304, 2011. !41

×