Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Deformable Model Fitting byRegularized Landmark Mean-Shift              ビジョン&ITラボ 皆川卓也
紹介する論文   Deformable Model Fitting by Regularized Landmark    Mean-Shift       Jason M. Saragih, Simon Lucey, and Jeffrey...
Point Distribution Model   顔の個人差や表情変化を含んだ顔形状を表すモデル                               1.顔の特徴点をベクトル表現にする                       ...
Point Distribution Model   顔の個人差や表情変化を含んだ顔形状を表すモデル    2.顔サンプルデータから主成分分析によって基底を求める                                       ・...
Point Distribution Model   顔の個人差や表情変化を含んだ顔形状を表すモデル    3.グローバルな動きも含めたモデルの構築       X  sR( X  Φq)  t                 (1)’...
Point Distribution Model   顔の個人差や表情変化を含んだ顔形状を表すモデル    3.グローバルな動きも含めたモデルの構築       X  sR( X  Φq)  t   (1)’         顔特徴点の...
Constrained Local Model     特徴点の位置を顔画像にFittingしたい  以下の誤差関数を最小化するパラメータpを求める                      n     Q(p)  R(p)   Di (...
Active Appearance Model                          n         Q(p)  R(p)   Di (xi ; I )   (2)                         i 1...
Constrained Local Model                          n         Q(p)  R(p)   Di (xi ; I )   (2)                         i 1...
PDMの確率的な解釈                                 n           Q(p)  R(p)   Di (xi ; I )                   (2)                 ...
PDMの確率的な解釈                              np(p | {li  1} , I )  p(p) p(li  1 | xi , I )             n             i 1  ...
PDMの確率的な解釈                              np(p | {li  1} , I )  p(p) p(li  1 | xi , I )             n             i 1  ...
PDMの確率的な解釈                                np(p | {li  1} , I )  p(p) p(li  1 | xi , I )              n              i ...
PDMの確率的な解釈尤度関数=ロジスティック回帰                               1p(li  1 | xi , I )                              (6)             ...
特徴点のFitting方法尤度関数=ロジスティック回帰                               1p(li  1 | xi , I )                              (6)          ...
特徴点のFitting方法   従来法                       本手法       ピークを直接取る(RES)             カーネル密度推定(KDE)       分布をガウス分布で近似(ISO)   ...
カーネル密度推定                            p(li  1 | xi , I )  yi                 1       1  exp{li Ci (y i ; I )}         ...
カーネル密度推定                            p(li  1 | xi , I )  yi                 1       1  exp{li Ci (y i ; I )}         ...
MAP推定                                            np(p | {li  1} , I )  p(p) p(li  1 | xi , I )               n        ...
MAP推定                                            np(p | {li  1} , I )  p(p) p(li  1 | xi , I )               n        ...
MAP推定                                     np(p | {li  1} , I )  p(q)             n             i 1                    ...
MAP推定                           np(p | {li  1} , I )  p(q)           n           i 1                                ...
MAP推定のEMアルゴリズム   事後分布 p(p | I ) を最大化したい                     パラメータ   データ1. パラメータの初期値 p old を選ぶ2. Eステップ  p(Y | pold , I ) を計...
EMアルゴリズムによるFittingEステップ            old p(Y | p , I )       を計算する   潜在変数Y  y1 ,, y n p( y i | p , I )  p( y i | x i , ...
EMアルゴリズムによるFittingEステップ            old p(Y | p , I )            を計算する   潜在変数Y  y1 ,, y n p( y i | p , I )  p( y i | x...
EMアルゴリズムによるFittingMステップ                        p new  arg min Q(p, p old )        でpを更新する              p Q(p, p old ) ...
Q関数の最小化   Mステップで以下の式を最小化したい                            n              wy i     QKDE (p)  q                           ...
Q関数の最小化パラメータ更新量Δpの計算            ~ 1 T 1 ~ 1   p  ( Λ  J J) ( Λ p  J v)                               T          ...
Q関数の最小化   Mean-Shift                   y i N (xic ; y i , I)              vi                                      ...
追跡アルゴリズムまとめ初期処理1. 入力画像Iと初期パラメータpを与える。2. パラメータから特徴点位置を算出し、周辺領域でパッ   チの応答を計算                                1   p(li  1 | x...
追跡アルゴリズムまとめ以下をパラメータpが収束するまで繰り返す。3. Mean-Shiftベクトルを計算                      y N (x ; y i , I)                            ...
部分的なオクルージョンの対策   特徴量と画像パッチとの類似度が大きく外れた場合は、    オクルージョンとみなして追跡を行わない。                                   n            wy i   ...
事前計算による効率化   pを更新するごとにMean Shift(34)を計算し直す必要               y N (xi ; y i , I)         wy              i              ...
実験1 静止画に対する実験   以下のデータセットを用いて実験    I.        CMU Pose, Illumination and Expressionデータベース              (MultiPie)         ...
実験1 静止画に対する実験フィッティング方法の比較•ASM = Active Shape Model•CQF=Convex Quadratic Fitting•GMM=Gaussian Mixture Model•RLMS=本手法
実験2 画像シーケンスに対する実験   以下のデータセットを用いて実験    I.       FGNet talking face sequence              Ground TruthはXM2VTSと同フォーマット   ...
実験2 画像シーケンスに対する実験
実験3 オクルージョンに対する定性評価最尤推定+ガウスカーネルMAP推定+ガウスカーネル最尤推定+Geman-MclureカーネルMAP推定+Geman-Mclureカーネル
実験3 オクルージョンに対する定性評価最尤推定+ガウスカーネルMAP推定+ガウスカーネル最尤推定+Geman-MclureカーネルMAP推定+Geman-Mclureカーネル
結論   ローカルな特徴を用いた形状フィッティングの方法につ    いて、ノンパラメトリックな分布を用いる方法を提案   顔のフィッティング実験で、精度の面でもいくつかの既存    手法を上回った。   この手法はフレームワークであり、以...
Upcoming SlideShare
Loading in …5
×

201205016 deformablemodelfitting

33,537 views

Published on

Face Trackerの論文。

  • Be the first to comment

201205016 deformablemodelfitting

  1. 1. Deformable Model Fitting byRegularized Landmark Mean-Shift ビジョン&ITラボ 皆川卓也
  2. 2. 紹介する論文 Deformable Model Fitting by Regularized Landmark Mean-Shift  Jason M. Saragih, Simon Lucey, and Jeffrey F. Cohn  International Journal of Computer Vision 2010 Constrained Local Model (CLM)を用いた顔特徴追 跡の一手法  http://web.mac.com/jsaragih/FaceTracker/FaceTracker.html
  3. 3. Point Distribution Model 顔の個人差や表情変化を含んだ顔形状を表すモデル 1.顔の特徴点をベクトル表現にする 23 24 25  x0    18 19 20 21 22 26 17 43 44 37 38 27 42 45 16    0 36 39 28 47 46 41 40 29 15 x  1 30 14 2 31 32 33 34 35 13 X  65   y0  50 51 52 3 53 49 60 61 62 54    48 65 12 4 64 63 59 55   58 56 11 57 5 6 10 y  7 8 9  65 
  4. 4. Point Distribution Model 顔の個人差や表情変化を含んだ顔形状を表すモデル 2.顔サンプルデータから主成分分析によって基底を求める ・・・ PCA Φ0 Φ1 Φ2 Φ3 n X   qi Φi i 0
  5. 5. Point Distribution Model 顔の個人差や表情変化を含んだ顔形状を表すモデル 3.グローバルな動きも含めたモデルの構築 X  sR( X  Φq)  t (1)’ 顔の特徴 平行移動 スケール 主成分 点座標 (X,Y) 特徴点座 顔の変形を 標平均 回転 表す係数 (ヨー/ピッチ/ ロール)
  6. 6. Point Distribution Model 顔の個人差や表情変化を含んだ顔形状を表すモデル 3.グローバルな動きも含めたモデルの構築 X  sR( X  Φq)  t (1)’ 顔特徴点の位置を表すパラメータ p  s, R, t, q スケール、回転、平行移動、顔の変形
  7. 7. Constrained Local Model 特徴点の位置を顔画像にFittingしたい 以下の誤差関数を最小化するパラメータpを求める n Q(p)  R(p)   Di (xi ; I ) (2) 誤差関数 i 1 顔の変形の 大きさに対す pで求めた画像と るペナルティ 実画像との誤差 (正則化項) xi  ( xi , yi ) T
  8. 8. Active Appearance Model n Q(p)  R(p)   Di (xi ; I ) (2) i 1 pで求めた画像と 実画像との誤差 Active Appearance Modelの場合 顔の領域全体を使ってエラーを評価
  9. 9. Constrained Local Model n Q(p)  R(p)   Di (xi ; I ) (2) i 1 pで求めた画像と 実画像との誤差 Constrained Local Modelの場合 各特徴点の周辺を用いてエラーを評価
  10. 10. PDMの確率的な解釈 n Q(p)  R(p)   Di (xi ; I ) (2) i 1 n ln p(p | {li }in1 , I )   ln p(p)   ln p(li | xi , I )  C i 1 負の対数 n p(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度)
  11. 11. PDMの確率的な解釈 np(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度) 顔の変形の大きさに テンプレートマッチン 対するペナルティ グで求めた類似度
  12. 12. PDMの確率的な解釈 np(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度) p(p)
  13. 13. PDMの確率的な解釈 np(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度) 事前分布=正規分布 p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10) 固有値 尤度関数=ロジスティック回帰 1p(li  1 | xi , I )  (6) 1  exp{li Ci (xi ; I )} パッチと画像の位置xにおける類似度
  14. 14. PDMの確率的な解釈尤度関数=ロジスティック回帰 1p(li  1 | xi , I )  (6) 1  exp{li Ci (xi ; I )} パッチと画像の位置xにおける類似度Ci (xi ; I )  w P(W (xi ; I ))  bi T i (8) 位置xにおける正規化 された画像パッチ SVMで学習したゲインとバイアス
  15. 15. 特徴点のFitting方法尤度関数=ロジスティック回帰 1p(li  1 | xi , I )  (6) 1  exp{li Ci (xi ; I )} パッチと画像の位置xにおける類似度xi周辺のロジスティック回帰の応答 単純に探索範囲の応答のピークを探せば良い のか? • ピークが特徴の位置と一致するとは限らない • 小さなパッチの類似度では曖昧性が残る • アパーチャ問題
  16. 16. 特徴点のFitting方法 従来法  本手法  ピークを直接取る(RES)  カーネル密度推定(KDE)  分布をガウス分布で近似(ISO)  多峰性の応答に対応でき る  異方性のガウス分布で近似 (ANI)  モード数が未知でも対応 できる  混合ガウス分布で近似(GMM)
  17. 17. カーネル密度推定 p(li  1 | xi , I )  yi  1 1  exp{li Ci (y i ; I )} (6)  y i ψ x yi N (y i ; xi , I) (32) ガウスカーネルyi  ψx
  18. 18. カーネル密度推定 p(li  1 | xi , I )  yi  1 1  exp{li Ci (y i ; I )} (6)  y i ψ x yi N (y i ; xi , I) (32) ガウスカーネルyi  ψx y i  xi  ε i PDMで使用されない主成分 観測値 真の値 ノイズ の固有値の平均 N 1 εi  N (εi ;0, I)  1i N  m i m
  19. 19. MAP推定 np(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度) 事前分布=正規分布 p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10) 固有値 尤度関数 p(li  1 | xi , I )   y i ψ x yi N (y i ; xi , I) (32)’ パッチと画像の位置yにおける類似度
  20. 20. MAP推定 np(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度) 事前分布=正規分布 p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10) 固有値 尤度関数 p(li  1 | xi , I )   y i ψ x yi N (xi ; y i , I) (32) xとyを交換しても値は同じ
  21. 21. MAP推定 np(p | {li  1} , I )  p(q) n i 1  i 1 y i ψ x yi N (xi ; y i , I) (33)’パラメータpの事後分布 qにのみ 位置xに特徴点iが存在する 依存 確率分布 事前分布=正規分布 p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10) 固有値 尤度関数 p(li  1 | xi , I )   y i ψ x yi N (xi ; y i , I) (32)
  22. 22. MAP推定 np(p | {li  1} , I )  p(q) n i 1  i 1 y i ψ x yi N (xi ; y i , I) (33)’パラメータpの事後分布 qにのみ 位置xに特徴点iが存在する 依存 確率分布 最大化するパラ メータpを求めたい EMアルゴリズム
  23. 23. MAP推定のEMアルゴリズム 事後分布 p(p | I ) を最大化したい パラメータ データ1. パラメータの初期値 p old を選ぶ2. Eステップ p(Y | pold , I ) を計算する 潜在変数3. Mステップ  p new  arg min Q(p, p old )  でpを更新する p Q(p, p old )  Ey  lnp(p) p(Y, I | p)   p(Y | p old , I ) ln p(Y, I | p)  ln p(p) Y Eステップで計算4. 収束するまで2と3を繰り返す
  24. 24. EMアルゴリズムによるFittingEステップ old p(Y | p , I ) を計算する 潜在変数Y  y1 ,, y n p( y i | p , I )  p( y i | x i , I ) old old pが求まるとxも一意に求まる  p(y i ) p(x i | y i , I )   y i N (xi ; y i , I) old old ベイズの定理から
  25. 25. EMアルゴリズムによるFittingEステップ old p(Y | p , I ) を計算する 潜在変数Y  y1 ,, y n p( y i | p , I )  p( y i | x i , I ) old old  y N (xi ; y i , I) old  i  wy i (34)  N (x i ; z i , I) old zi z i ψ x 正規化
  26. 26. EMアルゴリズムによるFittingMステップ  p new  arg min Q(p, p old )  でpを更新する p Q(p, p old )   p(Y | p old , I ) ln p(Y, I | p)  ln p(p) Y  n  old  n      p(y i | xi , I ) ln   p(y i , I | xi )   ln p(q)   Y  i 1  i 1   n n     wy i  ln  y i N (xi ; y i , I)  ln N (q;0, Λ)  C Y  i 1 i 1  n wy i  q Λ 1    xi  y i 2 2 (35) i 1 y i ψ i 
  27. 27. Q関数の最小化 Mステップで以下の式を最小化したい n wy i QKDE (p)  q   xi  y i 2 2 Λ 1 (35) i 1 y i ψ i  ガウス・ニュートン法で反復的に最小化を行う 1. パラメータ更新量Δpの計算 ~ 1 T 1 ~ 1 p  ( Λ  J J) ( Λ p  J v) T (36) 2. pの更新 p  p  p
  28. 28. Q関数の最小化パラメータ更新量Δpの計算 ~ 1 T 1 ~ 1 p  ( Λ  J J) ( Λ p  J v) T (36) 1 1  0 xi ~ 1   J ij  Λ    p j 0 1  m     y i N (xic ; y i , I)  vi    y i   xic  y ψ   z i N (xic ; z i , I)  (37)  i i z i ψ i  Mean-Shift
  29. 29. Q関数の最小化 Mean-Shift   y i N (xic ; y i , I)  vi    y i   xic (37)  y ψ   z i N (xi ; z i , I)  c  i i z i ψ i  現在の特徴点i の位置 現在の特徴点iの周辺の応答の重心 重心 vi X 繰り返し処理でカーネル密 X 度分布のピークを求める! 現在の特徴点
  30. 30. 追跡アルゴリズムまとめ初期処理1. 入力画像Iと初期パラメータpを与える。2. パラメータから特徴点位置を算出し、周辺領域でパッ チの応答を計算 1 p(li  1 | x, I )  (6) 1  exp{li Ci (x; I )}
  31. 31. 追跡アルゴリズムまとめ以下をパラメータpが収束するまで繰り返す。3. Mean-Shiftベクトルを計算   y N (x ; y i , I) c  vi      xc i i yi (37)  y ψ  i i z ψ  z N (xi ; z i , I) i i c i  i 4. PDMのパラメータをアップデート ~ 1 T 1 ~ 1 p  ( Λ  J J) ( Λ p  J v) T (36)5. パラメータと特徴位置の更新 p  p  p xi  x  J i p c i (12)
  32. 32. 部分的なオクルージョンの対策 特徴量と画像パッチとの類似度が大きく外れた場合は、 オクルージョンとみなして追跡を行わない。 n wy i QKDE (p)  q   xi  y i 2 2 Λ 1 (35) i 1 y i ψ i  n QKDE (p)  q  w  ( x i  y i ; ) 2 2 Λ 1 yi (38) i 1 y i ψ i M推定: 外れ値に対し重みを下げる 例: Gemen-McClure関数
  33. 33. 事前計算による効率化 pを更新するごとにMean Shift(34)を計算し直す必要  y N (xi ; y i , I) wy  i   z N (xi ; z i , I) i (34) i z i ψ x 事前に各グリッド毎の移動ベクトルvを計算しておく
  34. 34. 実験1 静止画に対する実験 以下のデータセットを用いて実験 I. CMU Pose, Illumination and Expressionデータベース (MultiPie)  特徴点:68ポイント  339人の被験者の762枚の正面顔画像を使用 II. XM2VTSデータベース  特徴点:68ポイント  295人の被験者の2360枚の正面顔画像を使用 4-foldの交差検定で評価実験
  35. 35. 実験1 静止画に対する実験フィッティング方法の比較•ASM = Active Shape Model•CQF=Convex Quadratic Fitting•GMM=Gaussian Mixture Model•RLMS=本手法
  36. 36. 実験2 画像シーケンスに対する実験 以下のデータセットを用いて実験 I. FGNet talking face sequence  Ground TruthはXM2VTSと同フォーマット 実験方法は静止画の時と同様 ただし、学習画像は全XM2VTSデータセットのものを使 用
  37. 37. 実験2 画像シーケンスに対する実験
  38. 38. 実験3 オクルージョンに対する定性評価最尤推定+ガウスカーネルMAP推定+ガウスカーネル最尤推定+Geman-MclureカーネルMAP推定+Geman-Mclureカーネル
  39. 39. 実験3 オクルージョンに対する定性評価最尤推定+ガウスカーネルMAP推定+ガウスカーネル最尤推定+Geman-MclureカーネルMAP推定+Geman-Mclureカーネル
  40. 40. 結論 ローカルな特徴を用いた形状フィッティングの方法につ いて、ノンパラメトリックな分布を用いる方法を提案 顔のフィッティング実験で、精度の面でもいくつかの既存 手法を上回った。 この手法はフレームワークであり、以下の拡張/変更が 可能  特徴検出器  より洗練された形状モデル  時間軸方向の動き平滑化  カーネル

×