統計的学習手法による人検出

1. 統計的学習手法による人検出山内悠嗣†, 山下隆義†, 藤吉弘亘† † 中部大学 14年3月29日土曜日

2. 発表の概要 • 人検出法の概要 • 特徴抽出法 • 識別手法 • 実用化に向けて • データベースと評価指標 • まとめ 2 14年3月29日土曜日

3. 人検出（物体検出）とは？ Find all the Xs = 物体検出 3 画像中に含まれる特定の物体（顔、人、車など）をすべて検出 X = face X = human X = car 14年3月29日土曜日

4. 物体検出の変遷 4 1969年物体検出の研究が始まる Sakai, Pattern Recognition, 1969. 顔検出人検出 1969 年 Sakai 顔検出に関する初めての研究 1998 年 2005 年 2004 年 2009 年 2008 年 2006 年 2000 年 2001 年 Rowley Neural Network による顔の回転に対応した顔検出 Schneiderman Naive Bayes による顔向きに対応した顔検出 Viola & Jones 積分画像とカスケード型識別器を利用したリアルタイム顔検出 Papageorgiou Wavelet と SVM を利用した人検出 Dalal 人検出に適した HOG 特徴量の提案 Felzenszwalb Deformable Part Model を用いた姿勢の変化に頑健な人検出 2011 年 2003 年 Viola & Jones 見えと動きに基づく人検出 1994 年 Yang 研究者のルールに基づいた顔検出 Wu Edgelet 特徴量の提案三田特徴量間の共起を表現した Joint Haar-like 特徴量の提案 Wang 部分的な隠れに対応した人検出 1996 年 Rowley Neural Network による顔検出 Sung クラス分布の距離に基づく顔検出 2002 年 2007 年 Wu Cluster Boosted Tree による向き・姿勢の違いに対応した人検出 Huang スパース特徴量による顔検出 Watanabe CoHOG 特徴量による人検出 1997 年 Osuna SVM による顔検出 1994年ルールベースの顔検出 Govindaraju, ICCV, 1990. 1996年統計的学習手法の利用 Rowley, CVPR, 1996. 2001年リアルタイム顔検出 Viola & Jones, CVPR, 2001. 2005年検出対象の遷移顔 → 人 Dalal, CVPR, 2005. 14年3月29日土曜日

9. 人検出の難しさ 9 見えの個体差向きの変化人領域の隠れ姿勢の変化視点の変化複雑な背景様々な要因が同時発生して見えの変動が大きいため、困難な問題 14年3月29日土曜日

10. 物体検出手法の分類 10 物体検出知識を利用する手法統計的学習手法を利用する手法 - 標準的な顔の目や口の位置関係 - 顔の色やエッジ，テクスチャ等の特徴をルールとして定義 - 大量の学習データにより，物体のアピアランス変化を考慮したモデルを定義近年は統計的学習手法を利用するアプローチが多い 14年3月29日土曜日

11. 統計的学習手法による物体検出の流れ 11 人の学習サンプル人以外の学習サンプル特徴抽出統計的学習手法特徴抽出識別器人以外特徴抽出特徴抽出人人識別結果の統合処理統計的学習手法による識別器の学習識別器による人画像の識別識別結果の統合前検出器識別結果の統合結果オフライン処理オンライン処理 14年3月29日土曜日

12. 統計的学習手法による学習の流れ 12 • オフライン処理 ‒ 大量の学習サンプルから統計的学習手法により識別器を学習人の学習サンプル人以外の学習サンプル特徴抽出統計的学習手法識別器 ex. SVM AdaBoost 14年3月29日土曜日

13. 学習と検出の流れ 13 特徴抽出識別器人以外特徴抽出特徴抽出人人識別結果の統合処理識別器による人画像の識別識別結果の統合前検出器識別結果の統合結果 • オンライン処理 ‒ 検出ウィンドウのラスタスキャン後，識別結果を統合 14年3月29日土曜日

14. 人検出の難しさへの対応方法 14 見えの個体差向きの変化人領域の隠れ姿勢の変化視点の変化複雑な背景 14年3月29日土曜日

15. 人検出の難しさへの対応方法 14 見えの個体差向きの変化人領域の隠れ姿勢の変化視点の変化複雑な背景ポイント・様々な変化に頑健な特徴抽出と識別器を実現するか？ 14年3月29日土曜日

16. 人検出を困難にする要因と対応策 15 要因対応策対応策代表的な手法要因特徴量識別器代表的な手法見えの個体差勾配，色，動き，距離 HOG, CSS, HOF 複雑な背景特徴量の共起 Joint Haar-like, CoHOG, Joint HOG 向きの変化複数の識別器 Cluster Boosted Tree 姿勢の変化パーツベース Deformable parts model, Hough Forest 人領域の隠れ隠れの推定グローバル及びパーツベース識別器の組合わせ視点の変化幾何学情報の利用シーンのモデリング，転移学習 14年3月29日土曜日

17. 発表の概要 • 人検出法の概要 • 特徴抽出法 • 識別手法 • 実用化に向けて • データベースと評価指標 • まとめ 16 14年3月29日土曜日

18. 特徴抽出法のサーベイ • 人らしさを捉える局所特徴量 ‒ 勾配情報に基づく特徴量 ‒ 色情報に基づく特徴量 ‒ 動きに基づく特徴量 ‒ 距離に基づく特徴量 • 人の構造を捉える特徴量 ‒ 統計的学習手法を用いない特徴量間の共起 ‒ 統計的学習手法を用いた特徴量間の共起 17 14年3月29日土曜日

19. 人らしさを捉える特徴量特徴抽出法 -人らしさを捉える局所特徴量- • 見えの個体差：衣服・体格によりアピアランスが異なる 18 見えの変動を最小現に抑える人らしさを捉える特徴量”を設計する必要がある勾配情報ベース色情報ベース動きベース距離ベース 14年3月29日土曜日

20. 勾配に基づく特徴抽出 19 EOH(Edge of Orientation Histograms) 局所的な勾配方向の比を捉える −少ない枚数で検出器を実現 Edgelet 局所領域に含まれる特定形状を捉える −Boostingとの組み合せて高い識別率を実現 LBP(Local Binary Pattern) 局所的な輝度の分布をバイナリコードとして捉える −顔認識等でも幅広く利用 HOG(Histograms of Oriented Gradients) 局所領域に含まれる勾配分布を捉える −高い識別率を実現し、よく利用されている −派生した特徴量が多数：EHOG, C-HOGなど N. Dalal, CVPR 2005. B. Wu, CVPR 2005.K. Levi, CVPR 2004. Y. D. Mu, CVPR 2008. 14年3月29日土曜日

21. 勾配に基づく特徴抽出 1 • EOH(Edge of Orientation Histograms) ‒ 局所領域から得られる勾配ヒストグラムの比率を特徴量とする 20 少ない学習サンプルで高精度な識別器を学習可能 K. Levi et al. , "Learning Object Detection from a Small Number of Examples: the Importance of Good Features", CVPR, 2004. 14年3月29日土曜日

22. 勾配に基づく特徴抽出 2 • Edgelet ‒ 局所領域に含まれる特定形状を捉える • 直線性，円弧，対称性 21 Boostingと組み合せて高い識別率を実現 B. Wu et al. , "Detection of Multiple, Partially Occluded Humans in a Single Image by Bayesian Combination of Edgelet Part Detectors", CVPR, 2005. 14年3月29日土曜日

23. 勾配に基づく特徴抽出 3 • LBP(Local Binary Pattern) ‒ 注目画素と近傍画素の輝度の大小関係を表現 ‒ 局所領域におけるバイナリパターンをヒストグラム化 22 LBP 50 105 95255 200 80220 180 75 0 1 1 1 01 1 0 100 80 110100 150 10080 90 220 0 0 0 1 00 0 1 00000000 11111111 入力画像 3x3 画素ヒストグラム局所的な輝度の分布をバイナリコードとして捉える Y. D. Mu et al. , "Discriminative Local Binary Patterns for Human Detection in Personal Album", CVPR, 2008. 14年3月29日土曜日

24. 勾配に基づく特徴抽出 4 • HOG(Histograms of Oriented Gradients) ‒ 局所領域に含まれる勾配分布を捉える 23 人検出の分野ではデファクトスタンダードな特徴量派生した特徴量が多数提案 : EHOG，C-HOG，P-HOG N. Dalal et al. , "Histograms of Oriented Gradients for Human Detection", CVPR, 2005. 14年3月29日土曜日

25. 色情報に基づく特徴抽出 1 • Integral Channel Features (ICF) ‒ 輝度，色，勾配などの特徴量を併用 • 特徴量 : 局所領域の画素値の和 ‒ 積分画像，積分ヒストグラムで高速に計算できる特徴量を利用 24 色は人の衣服に左右されるため悪影響の可能性がある P. Dollár et al. , "Integral Channel Features", BMVC, 2009. 14年3月29日土曜日

26. 色情報に基づく特徴抽出 1 • Integral Channel Features (ICF) ‒ 輝度，色，勾配などの特徴量を併用 • 特徴量 : 局所領域の画素値の和 ‒ 積分画像，積分ヒストグラムで高速に計算できる特徴量を利用 25P. Dollár et al. , "Integral Channel Features", BMVC, 2009. 全弱識別器の可視化 Uチャンネルの顔が一番強い 14年3月29日土曜日

27. 色情報に基づく特徴抽出 2 • Color Self-Similarity (CSS) ‒ 2つの局所領域から得られる色ヒストグラムの類似度を特徴量として利用 ‒ ２つの局所領域が同一部位かどうかを暗に表現 26 色ヒストグラムp入力画像セルC (8 8ピクセル) 頻度 } } } H S V } } } H S V 頻度類似度 S 色情報に対する依存がないため，人検出に色情報を有効活用できる S. Walk et al. , "New Features and Insights for Pedestrian Detection", CVPR, 2010. 14年3月29日土曜日

28. 動きに基づく特徴量 • 空間的変化を捉える特徴量 • 時間的変化を捉える特徴量 • 時空間変化を捉える特徴量 27 14年3月29日土曜日

29. 空間的変化を捉える特徴量 • 背景差分により得られる前景領域を捉える ‒ 背景差分をベースとした手法により前景領域の確率を算出 28 固定カメラに限定 J. Yao et al. , "Fast Human Detection from Videos Using Covariance Features", Visual Surveillance, 2008. 14年3月29日土曜日

30. 時間的変化を捉える特徴量 1 • モーションフィルタ(Haar-like) ‒ 2フレーム間の動きを3つのモーションフィルタで捉える • 時間的な移動 : フレーム間差分 • 擬似的な移動 : 1フレーム目を擬似的に上下左右に1ピクセル移動 • 擬似的な移動の差 : フレーム間差分 - 擬似的な移動 29 低解像度画像 (20 x 15画素)に適応可能 P. Viola et al. , "Detecting Pedestrians Using Patterns of Motion and Appearance", ICCV, 2003. 14年3月29日土曜日

31. 時間的変化を捉える特徴量 2 • Histograms of Flow (HOF) ‒ 2つの特徴表現 • オプティカルフローをHOG特徴量(HOF)のように表現 • 近傍のオプティカルフローヒストグラムとの差を特徴量として表現 30 相対的な動きを観測 → 移動カメラへ適応可能 t, t+1フレームの画像フローとその境界フローから得られる勾配平均勾配画像 N. Dalal et al. , "Human Detection Using Oriented Histograms of Flow and Appearance", ECCV, 2006. 14年3月29日土曜日

32. 時空間変化を捉える特徴量 • ST-Patch ‒ 局所領域内の空間方向の勾配，時間方向の勾配の大きさを捉える • 局所的な領域の見えと動きを表現 31 ST-Patch 村井他 , "Space-Time Patchを用いた物体の移動方向識別とセグメンテーション", 情報処理学会論文誌, 2008. 14年3月29日土曜日

33. 距離に基づく特徴量 32 TOF Real AdaBoost + / S ( - )22 S ( - )64000 S ( - )1530 h ( )1 S64000 h ( )2 S22 h ( )100 Occlusion / + + + Bhattacharyya 0 7.5m] 7.5 m] 0 TOFカメラ Microsoft Kinect 距離画像計測デバイス RDSF(Relational Depth Similarity Feature) 局所領域間の距離の差を捉える人−人：距離差は小人−背景：距離差は大距離画像により背景テクスチャの影響を受けない池村他 , "距離情報に基づく局所特徴量によるリアルタイム人検出", 電子情報通信学会論文誌, 2010. 14年3月29日土曜日

34. 特徴抽出法のサーベイ • 人らしさを捉える局所特徴量 ‒ 勾配情報に基づく特徴量 ‒ 色情報に基づく特徴量 ‒ 動きに基づく特徴量 ‒ 距離に基づく特徴量 • 人の構造を捉える特徴量 ‒ 統計的学習手法を用いない特徴量間の共起 ‒ 統計的学習手法を用いた特徴量間の共起 33 14年3月29日土曜日

35. 人の構造を捉える特徴量特徴抽出法 -人の構造を捉える特徴量- • 複雑背景：（局所領域でみると）人に似た領域がある 34 統計的学習手法を用いない特徴量間の共起統計的学習手法を用いた特徴量間の共起共起表現複雑背景への誤検出を抑える人の構造を捉える特徴量”を設計する必要あり 14年3月29日土曜日

36. 統計的学習手法を用いない特徴量間の共起 • CoHOG(Co-occurrence HOG) ‒ 局所領域内の勾配のペアを累積した同時生起行列 ‒ 2カ所の局所領域の勾配と勾配の関係性を表現することで人の形状の構造を捉えられる 35 T. Watanabe et al. , "Co-occurrence Histograms of Oriented Gradients for Human Detection", IPSJ Trans. on CVA, 2010. 14年3月29日土曜日

37. 統計的学習手法を用いる特徴量間の共起 1 • Shapelet ‒ 1段階目 : 4方向エッジとBoostingによりShapeletを生成 ‒ 2段階目 : ShapeletとBoostingにより識別器を学習 36 Boostingにより識別に有効な局所領域内のエッジを捉える P. Sabzmeydani et al. , "Detecting Pedestrians by Learning Shapelet Features", CVPR, 2007. AdaBoost AdaBoost AdaBoost AdaBoost 入力画像と 4 方向エッジの算出 Shapelet 特徴量識別器 1 段階目の AdaBoost 2 段階目の AdaBoost 14年3月29日土曜日

38. 統計的学習手法を用いる特徴量間の共起 2 • Joint HOG ‒ 1段階目 : 2つのHOGとBoostingによりJoint HOGを生成 ‒ 2段階目 : Joint HOGとBoostingにより識別器を学習 37 Boostingにより識別に有効な局所領域の関係性を捉える三井他 , "Joint特徴量を用いた2段階Boostingによる物体検出", 電子情報通信学会, 2009. 14年3月29日土曜日

39. 特徴抽出のまとめ 38 特徴量長所短所人らしさを捉える特徴量勾配情報ベース EOH，Edgelet HOG, LBP 人の特徴をよく表現できるテクスチャの影響を受ける (服の模様など) 人らしさを捉える特徴量色情報ベース ICF CSS エッジが明確でない画像からも有効な特徴が抽出できる計算コストが大きい人らしさを捉える特徴量動き情報ベース前景尤度 HOF テクスチャの影響を受けない連続した複数枚の画像が必要人らしさを捉える特徴量距離情報ベース RDSF 距離差分テクスチャの影響を受けない人の形状を明確に捉えられる特殊なデバイスが必要画角，距離に制限がある人の構造を捉える特徴量全ての共起を利用 CoHOG 人に似た背景の誤検出を抑制できる特徴量によっては学習時に大量のメモリが必要人の構造を捉える特徴量有効な共起を選択 Joint HOG Shapelet 人に似た背景の誤検出を抑制できる学習に多大な時間がかかる 14年3月29日土曜日

40. 人検出器特徴抽出と識別手法 39 人らしさをどのように表現するか人に共通する要素をどのように見つけるか特徴抽出識別手法個体差複雑な背景隠れ視点変化向き変化姿勢変化 14年3月29日土曜日

41. 識別手法 • 向きの変化に対応した手法 • 姿勢の変化に対応した手法 • 人領域の隠れに対応した手法 • 視点の変化に対応した手法 40 14年3月29日土曜日

42. 識別手法 - 向きの変化への対応- • 向きの変化 : 人とカメラの位置関係により見えが異なる 41 人の向きに左右されない識別器を学習する必要 → 各々の向きに対応した複数の識別器により対応向きの変化に対応した手法向きのラベルを必要とする手法向きのラベルを必要としない手法人手で付与した向きのラベルを持つサンプル毎により識別器を学習統計的学習手法によりクラスタリングされたサンプルにより識別器を学習 14年3月29日土曜日

43. 向きのラベルを必要とする手法 1 42 • 角度推定器と識別器の二段階の構成 ‒ ルータにより顔の回転角を推定 ‒ 推定された回転角に合わせて回転した画像を識別 H. Rowley, et al. , "Rotation Invariant Neural Network-Based Face Detection", CVPR, 1998. ルータによる回転角の推定識別器による人と背景の識別向きに対しても同様のアプローチで解ける 14年3月29日土曜日

44. 向きのラベルを必要とする手法 2 • 多クラス識別器の利用(Vector Boosting) ‒ 多クラス識別 : 分岐関数までの識別器(FLR1, ..., FLRN-1) ‒ 向き分類器 : 分岐関数(FLRN) ‒ 2クラス識別 : 分岐関数以降の識別器(Ln, Fn, Rn) 43C. Hou, et al. , "Multiview Pedestrian Detection Based on Vector Boosting", ACCV, 2007. 人と背景を識別向き分類器それぞれの向きの人と背景を識別 14年3月29日土曜日

45. 向きに対応した手法の検出の例 44 正面 / 背面右向き左向き 14年3月29日土曜日

46. 向きのラベルを必要としない手法 1 • 分割統治法による識別器の学習 ‒ 解決が困難な問題を小さな問題に分割して解く ‒ サンプルを分割し，サブクラスを考慮した2クラス識別器を学習 45土屋他 , "Boostingに基づく分割統治的戦略による高精度な識別器構築手法, 信学論, Vol. 95-D, No. 3 pp. 656-665, 2012 学習サンプルクラスタリング分割統治法による学習サブクラス2 識別器 2 サブクラス1 識別器 1 サブクラス3 識別器 3 正面左向き右向き 14年3月29日土曜日

47. 向きのラベルを必要としない手法 2 46B. Wu, et al. , "Cluster Boosted Tree Classiﬁer for Multi-View, Multi-Pose Object Detection", ICCV, 2007. • Cluster Boosted Tree (CVT) ‒ 逐次的に識別器の学習とサンプルのクラスタリングを行う ‒ 向き毎の強識別器Hは，弱識別器hを共有識別が容易となるようにサンプルを自動的に分割 14年3月29日土曜日

49. 識別手法 - 姿勢の変化への対応 - • 姿勢の変化 : 人のとる姿勢により人の見え方が変化する 48 人の姿勢の変化に対応可能な構造を持つ識別器が必要姿勢の変化に対応するための重要な点パーツの定義パーツの統合方法如何に人の見えの変動が少ないようなパーツに定義するか検出したパーツをどのように統合して人と背景を識別するか → 姿勢の変化による見えの変動が少ないパーツを検出し，パーツの関係性を捉える 14年3月29日土曜日

50. パーツの定義方法 49 ルールベース画像の位置特徴点ベース統計的アプローチ研究者が定義したルールで分割 •適応的にパーツを分割できる •最適なパーツの定義が必要 •パーツのラベル付けのコスト大 •微小な位置ずれが含まれる画像の位置で分割特徴点を中心とした小領域関節位置のずれが学習サンプルで最小となる領域 •パーツのラベル付けコスト小 •適応的にパーツを分割できない •最適なパーツの定義が必要 •パーツのラベル付けコストがない •人領域以外からも検出される poselet •検出に適したパーツを自動的に決定 •関節位置の付与コストパーツの定義に合わせて，適切なパーツの統合方法を採用することが重要 14年3月29日土曜日

51. パーツの統合方法 • 識別器によるパーツの統合 ‒ Adaptive Combination of Classiﬁer ‒ Multiple Instance Boosting • グラフモデルによるパーツの統合 ‒ Deformable Parts Model • 投票処理によるパーツの統合 ‒ Implicit Shape Model ‒ Hough Forests 50 14年3月29日土曜日

52. 識別器によるパーツの統合 1 51A. Mohan, et al. , "Example-Based Object Detection in Images by Components", PAMI, 2001. • Adaptive Combination of Classiﬁer (ACC) ‒ 1段階目 : SVMにより各パーツを検出 ‒ 2段階目 : 1段階目の識別結果を入力し，人と背景の判別 SVM SVM SVM SVM SVM 入力画像各パーツの探索領域パーツの識別識別結果識別結果パーツの統合各パーツの位置や大きさの変動を吸収できるため，姿勢の変化に対して頑健 14年3月29日土曜日

53. 識別器によるパーツの統合 2 • Multiple Instance Learning(MIL)の適用 ‒ 幾つかの事例の集合であるbagに対して付与されているラベルに基づき学習する方法 52 頭部胴体足例) 予め定義した頭部の位置周辺を適当にサンプリングしてbagとする MILを導入したBoostingにより識別器を学習パーツの情報(部位，位置，大きさ)が不要 Y. Chen, et al. , "Multi-Class Multi-Instance Boosting for Part-Based Human Detection", Visual Surveillance, 2009. P. Viola, et al. , "Multiple Instance Boosting for Object Detection", NIPS, 2006. 14年3月29日土曜日

54. グラフモデルによるパーツの統合 1 • Deformable parts model ‒ 人の全身とパーツの見えと位置の関係性をモデル化 ‒ モデルをLatent SVMにより学習 53P. Felzenszwalb, et al. , "Object Detection with Discriminatively Trained Part Based Models", PAMI, 2009. 全身頭部左胴右胴左手右手脚部 k-fanモデル (k=1) ルートフィルタパーツフィルタ検出例パーツの変動範囲ルートフィルタの見えパーツフィルタの見えパーツフィルタの位置関係 14年3月29日土曜日

55. 投票処理によるパーツの統合 1 • Implicit Shape Model (ISM) 1. コーナー点を中心とした小領域をパッチとして抽出 2. パッチの輝度情報を基にベクトル量子化 3. コードブックを基に人の重心位置へ投票 4. 投票点をクラスタリングすることで物体を検出 54B. Leibe, et al. , "Robust Object Detection with Interleaved Categorization and Segmentation", IJCV, 2008. 14年3月29日土曜日

56. 投票処理によるパーツの統合 2 • Hough Forests ‒ パッチの識別にRandom Forestsを利用 ‒ 分岐関数にて下記の2点を考慮 • 人と背景の分けやすさ • パッチの位置 55J. Gall, et al. , "Class-Speciﬁc Hough Forests for Object Detection", CVPR, 2009. 識別に判別モデルを導入することでパッチの識別性能が向上 Random Forests による識別入力画像パッチの抽出重心位置への投票人の尤度オフセット量投票処理 14年3月29日土曜日

58. 識別手法 -人領域の隠れへの対応- • 人領域の隠れ : 人画像が部分的に欠損する 57 隠れた領域を考慮する識別器が必要隠れ領域に対応した人検出を行う上での重要な点隠れの推定隠れ領域を考慮した識別如何に隠れ領域を推定するか推定した隠れ領域をどのように考慮して識別するか → 識別器に隠れ予測モデルを導入して隠れ領域を考慮 14年3月29日土曜日

59. 隠れに対応した手法 1 • 局所領域毎に隠れ識別器を学習 • 隠れ識別器の結果をクラスタリングすることで隠れ領域を推定 • 隠れの影響を受けにくい検出器(上半身，下半身等)を適用 58X. Wang, et al. , "An HOG-LBP Human Detector with Partial Occlusion Handling", ICCV, 2009. 入力画像セグメンテーション隠れ推定隠れ領域人領域隠れなしと判定 14年3月29日土曜日

60. 隠れに対応した手法 2 • 距離情報により対象人物よりも前方に存在する物体を障害物として検知 • 隠れ領域を捉える識別器の出力に対して重み付け 59池村他, "距離情報に基づく局所特徴量によるリアルタイム人検出", 信学論, Vol. 93-D, No. 3 pp. 355-364, 2010. 0 500 0.0 +1.0 -1.0 -0.27 +15.15 0 500 0.0 +1.0 -1.0 14年3月29日土曜日

62. 識別手法 -視点の変化への対応- • 視点の変化 : カメラの俯角に応じて人の見えが変化する 61 視点の変化により見えが変化するため，これ以外の情報が必要視点の変化に対応するために幾何学的情報どのようにして幾何学的な情報を利用するか → 識別器にて幾何学的な情報を利用，転移学習の導入転移学習の導入見えの変動が大きい場合にはシーンに合わせて識別器を最適化 14年3月29日土曜日

63. 視点の変化に対応した手法 1 • 人検出器とジオメトリ，視点の関係をモデル化 62D. Hoiem et al. , "Putting Objects in Perspective", IJCV, Vol. 80, No. 1, pp. 3-15, 2008. 入力画像 P(surfaces) P(viewpoint) P(object | viewpoint)P(object | surfaces)P(object) sky Vertical Ground 14年3月29日土曜日

64. 視点の変化に対応した手法 1 • 人検出器とジオメトリ，視点の関係をモデル化 63D. Hoiem et al. , "Putting Objects in Perspective", IJCV, Vol. 80, No. 1, pp. 3-15, 2008. 入力画像 P(surfaces) P(viewpoint) P(object | surfaces, viewpoint)P(object) sky Vertical Ground ベイジアンネットにより人検出器とジオメトリ,視点の因果関係をモデル化 14年3月29日土曜日

65. 検出結果の例 64D. Hoiem et al. , "Putting Objects in Perspective", IJCV, Vol. 80, No. 1, pp. 3-15, 2008. Human detector Full model 3 正検出 / 2 誤検出 4 正検出 / 0 誤検出 14年3月29日土曜日

66. 視点の変化に対応した手法 2 • 転移学習によるドメイン適応 ‒ 事前に学習した汎用的な識別器を転移学習により最適化 65J. Pang et al. , "Transferring Boosted Detectors Towards Viewpoint and Scene Adaptiveness", IP, 2011. 元ドメイン目標ドメイン 14年3月29日土曜日

67. 視点の変化に対応した手法 2 • 転移学習によるドメイン適応 ‒ 事前に学習した汎用的な識別器を転移学習により最適化 66J. Pang et al. , "Transferring Boosted Detectors Towards Viewpoint and Scene Adaptiveness", IP, 2011. h1 h2 hm 元ドメインで選択した特徴量元ドメイン目標ドメイン元ドメインの強識別器 Hs 14年3月29日土曜日

68. 視点の変化に対応した手法 2 • 転移学習によるドメイン適応 ‒ 事前に学習した汎用的な識別器を転移学習により最適化 • 特徴量の転移 : 選択された特徴量の位置を最適化 67J. Pang et al. , "Transferring Boosted Detectors Towards Viewpoint and Scene Adaptiveness", IP, 2011. h1 h2 hm 元ドメインで選択した特徴量元ドメイン目標ドメイン元ドメインの強識別器 Hs 14年3月29日土曜日

69. 視点の変化に対応した手法 2 • 転移学習によるドメイン適応 ‒ 事前に学習した汎用的な識別器を転移学習により最適化 • 特徴量の転移 : 選択された特徴量の位置を最適化 • 識別器の転移 : 選択された識別器の重みを最適化 68J. Pang et al. , "Transferring Boosted Detectors Towards Viewpoint and Scene Adaptiveness", IP, 2011. h1 h2 hm 元ドメインで選択した特徴量転移された特徴量元ドメイン目標ドメイン元ドメインの強識別器目標ドメインの強識別器 HtHs 大きな視点の変化による見えの変動を吸収することができる 14年3月29日土曜日

70. 実用化に向けて検討するべき項目 • 人検出の高速化 • 学習サンプルの収集 • 歪みの除去 69 14年3月29日土曜日

71. 人検出の高速化 • アルゴリズムによる高速化 ‒ 特徴抽出の高速化 ‒ 識別の高速化 • ハードウェアによる高速化 ‒ 専用ハードウェアの利用 70 14年3月29日土曜日

72. 特徴抽出の高速化 • 積分ヒストグラムによる勾配特徴量の高速演算 ‒ 事前に積分ヒストグラムを作成 ‒ 3回の加減算のみで局所領域の勾配和を演算可能 71 勾配方向 1 に対応する積分画像勾配方向 6 に対応する積分画像 1 2 3 4 5 6 勾配方向強度 A + D - B - C 領域 P の勾配和 P P F. Porikli et al. , "Integral Histogram: a Fast Way to Extract Histograms in Cartesian Spaces", CVPR, 2005. 14年3月29日土曜日

73. 識別の高速化 • カスケード型識別器の採用 ‒ 複数の識別器を直列に並べる ‒ 背景画像を早期棄却できる • 識別の計算回数の減少 72 背景画像人画像未知入力画像 1H 2H 3H P. Viola et al. , "Robust Real-Time Object Detection", IJCV, 2004. 14年3月29日土曜日

74. 専用ハードウェアの利用 • GPUによる実装 ‒ 高速計算が可能なGPUを利用することで高速化 ‒ 実装方法は試行錯誤 • CPU <=> GPUのデータ転送に最も時間がかかる • メモリの使い方が重要 • 並列計算 73 HOST & CPU GPU ダウンサンプリング HOG 特徴量の抽出 SVM による識別ウィンドウの統合画像の入力結果の出力 V. Prisacariu et al. , "fastHOG - a real-time GPU implementation of HOG", Technical Report Oxford University, 2009. CPUのみを使用した場合よりも67倍の高速化を実現 14年3月29日土曜日

75. 学習サンプルの収集 74 • 高精度な人検出を実現するためには ‒ 大量の学習サンプル : 数千数万サンプル ‒ 良質な学習サンプル : 位置ずれがないサンプル平均勾配画像 14年3月29日土曜日

76. 学習サンプルの収集 • CGから人画像を自動的に生成 75J. Marín et al. , "Learning Appearance in Virtual Scenarios for Pedestrian Detection", CVPR, 2010. 14年3月29日土曜日

77. 歪みの除去 • 擬似的に平行投影した画像から人を検出 ‒ カメラパラメータ既知 ‒ 人物は地面に直立していることを仮定 76Y. Li et al. , "Human Detection by Searching in 3D Space Using Camera and Scene Knowledge", ICPR, 2008. 14年3月29日土曜日

78. 発表の概要 • 人検出法の概要 • 手法 ‒ 特徴抽出法 ‒ 識別手法 • 実用化に向けて • データベースと評価指標 • まとめ 77 14年3月29日土曜日

79. 人画像データベース 78 学習用学習用評価用評価用評価用発表年正規化人画像背景画像人画像正規化人画像背景画像発表年 MIT 924 - - - - 1997 INRIA 2,416 1,218 288 1,132 453 2005 USC-A - - 205 303 - 2005 USC-B - - 54 271 - 2005 Daimler2006 14,400 150,000※ - 1,600 10,000 2006 USC-C - - 100 232 - 2007 ETH 1578 - 1803 9,380 - 2007 Daimler2009 15,660 6,744 21,800 56,492 - 2009 NICTA 18,700 5,200※ - 6,900 50,000 2008 TUD 400 - 250 311 - 2008 Caltech 192,000 61,000 56,000 155,000 5,600 2009 ※は一定のサイズで切り出された画像を表わす • 人画像とアノテーションファイルが公開されている大規模化，様々な情報が付与される傾向 14年3月29日土曜日

80. INRIA Person Dataset (2006年) • 人検出の分野で最も使用されているデータベース 79N. Dalal et al. , "Histograms of Oriented Gradients for Human Detection", CVPR, 2005. URL : http://pascal.inrialpes.fr/data/human/ 14年3月29日土曜日

81. Caltech Pedestrian Database (2009年) • 2009年以降は本データベースにて評価する論文が急増 • 様々な情報が付与 ‒ 人領域の隠れ，時系列の映像が使用可 80P. Dollár et al. , "Pedestrian Detection: A Benchmark", CVPR, 2009. URL : http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/index.html 14年3月29日土曜日

82. 評価指標 • 手法の性能を測るために未検出率と誤検出率を比較 1. Miss Rate VS False Positive Per Window (FPPW) • 1検出ウィンドウあたりの誤検出した率 • 検出ウィンドウの統合処理を含まない 2. Miss Rate VS False Positive Per Image (FPPI) • 1枚の画像あたりの誤検出した数 • 検出ウィンドウの統合処理を含む 81 検出器の性能が直感的に把握できるため，近年ではMiss Rate VS FPPIにより評価する論文が多い 14年3月29日土曜日

83. 人検出法の比較 • DETカーブによる比較 ‒ 横軸に誤検出率，縦軸に未検出率 ‒ 識別器の閾値を変えた際の誤検出率と未検出率をプロット ‒ グラフの左下に位置するDETカーブほど性能が高い 82P. Dollár et al. , "Pedestrian Detection : An Evaluation of the State of the Art", PAMI, 2009. 多数(勾配特徴量+α)を利用している様々な条件下で手法を評価 - 人画像のスケール - 人領域の隠れの有無 - 処理時間 14年3月29日土曜日

84. まとめ • 統計的学習手法による人検出法のサーベイ ‒ 特徴抽出 • 人と背景を区別するための情報を持つ特徴量の設計 → 人らしさを捉える，複雑な背景に対応可能 ‒ 識別手法 • モデル化可能な要因を吸収できる識別器の構造 → 向きの変化，姿勢の変化，人領域の隠れ，視点の変化に対応可能 83 14年3月29日土曜日

85. 最新の研究動向と社会情勢からみる人検出 • CVPR2012からの傾向 ‒ 検出したいシーンに合わせて識別器を最適化 3件 ‒ 隠れに対応した人検出法 1件 ‒ リアルタイム人検出法 1件 84 → より実用的な問題を解決するような研究 • 社会情勢からの傾向 ‒ EURO NCAP (http://www.euroncap.com) ‒ 自動車の安全性を測るテスト ‒ パッシブセーフティ機能による歩行者保護性能カテゴリ ‒ 消費者は評価を見て車を購入 → 人検出がデファクトスタンダードとなる 14年3月29日土曜日

統計的学習手法による人検出

統計的学習手法による人検出

Recommended

More Related Content

What's hot

What's hot(20)

More from MPRG_Chubu_University

More from MPRG_Chubu_University(12)

統計的学習手法による人検出