201205016 deformablemodelfitting

  • 7,713 views
Uploaded on

Face Trackerの論文。

Face Trackerの論文。

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
7,713
On Slideshare
0
From Embeds
0
Number of Embeds
5

Actions

Shares
Downloads
100
Comments
0
Likes
12

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Deformable Model Fitting byRegularized Landmark Mean-Shift ビジョン&ITラボ 皆川卓也
  • 2. 紹介する論文 Deformable Model Fitting by Regularized Landmark Mean-Shift  Jason M. Saragih, Simon Lucey, and Jeffrey F. Cohn  International Journal of Computer Vision 2010 Constrained Local Model (CLM)を用いた顔特徴追 跡の一手法  http://web.mac.com/jsaragih/FaceTracker/FaceTracker.html
  • 3. Point Distribution Model 顔の個人差や表情変化を含んだ顔形状を表すモデル 1.顔の特徴点をベクトル表現にする 23 24 25  x0    18 19 20 21 22 26 17 43 44 37 38 27 42 45 16    0 36 39 28 47 46 41 40 29 15 x  1 30 14 2 31 32 33 34 35 13 X  65   y0  50 51 52 3 53 49 60 61 62 54    48 65 12 4 64 63 59 55   58 56 11 57 5 6 10 y  7 8 9  65 
  • 4. Point Distribution Model 顔の個人差や表情変化を含んだ顔形状を表すモデル 2.顔サンプルデータから主成分分析によって基底を求める ・・・ PCA Φ0 Φ1 Φ2 Φ3 n X   qi Φi i 0
  • 5. Point Distribution Model 顔の個人差や表情変化を含んだ顔形状を表すモデル 3.グローバルな動きも含めたモデルの構築 X  sR( X  Φq)  t (1)’ 顔の特徴 平行移動 スケール 主成分 点座標 (X,Y) 特徴点座 顔の変形を 標平均 回転 表す係数 (ヨー/ピッチ/ ロール)
  • 6. Point Distribution Model 顔の個人差や表情変化を含んだ顔形状を表すモデル 3.グローバルな動きも含めたモデルの構築 X  sR( X  Φq)  t (1)’ 顔特徴点の位置を表すパラメータ p  s, R, t, q スケール、回転、平行移動、顔の変形
  • 7. Constrained Local Model 特徴点の位置を顔画像にFittingしたい 以下の誤差関数を最小化するパラメータpを求める n Q(p)  R(p)   Di (xi ; I ) (2) 誤差関数 i 1 顔の変形の 大きさに対す pで求めた画像と るペナルティ 実画像との誤差 (正則化項) xi  ( xi , yi ) T
  • 8. Active Appearance Model n Q(p)  R(p)   Di (xi ; I ) (2) i 1 pで求めた画像と 実画像との誤差 Active Appearance Modelの場合 顔の領域全体を使ってエラーを評価
  • 9. Constrained Local Model n Q(p)  R(p)   Di (xi ; I ) (2) i 1 pで求めた画像と 実画像との誤差 Constrained Local Modelの場合 各特徴点の周辺を用いてエラーを評価
  • 10. PDMの確率的な解釈 n Q(p)  R(p)   Di (xi ; I ) (2) i 1 n ln p(p | {li }in1 , I )   ln p(p)   ln p(li | xi , I )  C i 1 負の対数 n p(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度)
  • 11. PDMの確率的な解釈 np(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度) 顔の変形の大きさに テンプレートマッチン 対するペナルティ グで求めた類似度
  • 12. PDMの確率的な解釈 np(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度) p(p)
  • 13. PDMの確率的な解釈 np(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度) 事前分布=正規分布 p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10) 固有値 尤度関数=ロジスティック回帰 1p(li  1 | xi , I )  (6) 1  exp{li Ci (xi ; I )} パッチと画像の位置xにおける類似度
  • 14. PDMの確率的な解釈尤度関数=ロジスティック回帰 1p(li  1 | xi , I )  (6) 1  exp{li Ci (xi ; I )} パッチと画像の位置xにおける類似度Ci (xi ; I )  w P(W (xi ; I ))  bi T i (8) 位置xにおける正規化 された画像パッチ SVMで学習したゲインとバイアス
  • 15. 特徴点のFitting方法尤度関数=ロジスティック回帰 1p(li  1 | xi , I )  (6) 1  exp{li Ci (xi ; I )} パッチと画像の位置xにおける類似度xi周辺のロジスティック回帰の応答 単純に探索範囲の応答のピークを探せば良い のか? • ピークが特徴の位置と一致するとは限らない • 小さなパッチの類似度では曖昧性が残る • アパーチャ問題
  • 16. 特徴点のFitting方法 従来法  本手法  ピークを直接取る(RES)  カーネル密度推定(KDE)  分布をガウス分布で近似(ISO)  多峰性の応答に対応でき る  異方性のガウス分布で近似 (ANI)  モード数が未知でも対応 できる  混合ガウス分布で近似(GMM)
  • 17. カーネル密度推定 p(li  1 | xi , I )  yi  1 1  exp{li Ci (y i ; I )} (6)  y i ψ x yi N (y i ; xi , I) (32) ガウスカーネルyi  ψx
  • 18. カーネル密度推定 p(li  1 | xi , I )  yi  1 1  exp{li Ci (y i ; I )} (6)  y i ψ x yi N (y i ; xi , I) (32) ガウスカーネルyi  ψx y i  xi  ε i PDMで使用されない主成分 観測値 真の値 ノイズ の固有値の平均 N 1 εi  N (εi ;0, I)  1i N  m i m
  • 19. MAP推定 np(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度) 事前分布=正規分布 p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10) 固有値 尤度関数 p(li  1 | xi , I )   y i ψ x yi N (y i ; xi , I) (32)’ パッチと画像の位置yにおける類似度
  • 20. MAP推定 np(p | {li  1} , I )  p(p) p(li  1 | xi , I ) n i 1 (3) i 1 パラメータpの事後分布 pの事前 位置xに特徴点iが存 分布 在する確率(尤度) 事前分布=正規分布 p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10) 固有値 尤度関数 p(li  1 | xi , I )   y i ψ x yi N (xi ; y i , I) (32) xとyを交換しても値は同じ
  • 21. MAP推定 np(p | {li  1} , I )  p(q) n i 1  i 1 y i ψ x yi N (xi ; y i , I) (33)’パラメータpの事後分布 qにのみ 位置xに特徴点iが存在する 依存 確率分布 事前分布=正規分布 p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10) 固有値 尤度関数 p(li  1 | xi , I )   y i ψ x yi N (xi ; y i , I) (32)
  • 22. MAP推定 np(p | {li  1} , I )  p(q) n i 1  i 1 y i ψ x yi N (xi ; y i , I) (33)’パラメータpの事後分布 qにのみ 位置xに特徴点iが存在する 依存 確率分布 最大化するパラ メータpを求めたい EMアルゴリズム
  • 23. MAP推定のEMアルゴリズム 事後分布 p(p | I ) を最大化したい パラメータ データ1. パラメータの初期値 p old を選ぶ2. Eステップ p(Y | pold , I ) を計算する 潜在変数3. Mステップ  p new  arg min Q(p, p old )  でpを更新する p Q(p, p old )  Ey  lnp(p) p(Y, I | p)   p(Y | p old , I ) ln p(Y, I | p)  ln p(p) Y Eステップで計算4. 収束するまで2と3を繰り返す
  • 24. EMアルゴリズムによるFittingEステップ old p(Y | p , I ) を計算する 潜在変数Y  y1 ,, y n p( y i | p , I )  p( y i | x i , I ) old old pが求まるとxも一意に求まる  p(y i ) p(x i | y i , I )   y i N (xi ; y i , I) old old ベイズの定理から
  • 25. EMアルゴリズムによるFittingEステップ old p(Y | p , I ) を計算する 潜在変数Y  y1 ,, y n p( y i | p , I )  p( y i | x i , I ) old old  y N (xi ; y i , I) old  i  wy i (34)  N (x i ; z i , I) old zi z i ψ x 正規化
  • 26. EMアルゴリズムによるFittingMステップ  p new  arg min Q(p, p old )  でpを更新する p Q(p, p old )   p(Y | p old , I ) ln p(Y, I | p)  ln p(p) Y  n  old  n      p(y i | xi , I ) ln   p(y i , I | xi )   ln p(q)   Y  i 1  i 1   n n     wy i  ln  y i N (xi ; y i , I)  ln N (q;0, Λ)  C Y  i 1 i 1  n wy i  q Λ 1    xi  y i 2 2 (35) i 1 y i ψ i 
  • 27. Q関数の最小化 Mステップで以下の式を最小化したい n wy i QKDE (p)  q   xi  y i 2 2 Λ 1 (35) i 1 y i ψ i  ガウス・ニュートン法で反復的に最小化を行う 1. パラメータ更新量Δpの計算 ~ 1 T 1 ~ 1 p  ( Λ  J J) ( Λ p  J v) T (36) 2. pの更新 p  p  p
  • 28. Q関数の最小化パラメータ更新量Δpの計算 ~ 1 T 1 ~ 1 p  ( Λ  J J) ( Λ p  J v) T (36) 1 1  0 xi ~ 1   J ij  Λ    p j 0 1  m     y i N (xic ; y i , I)  vi    y i   xic  y ψ   z i N (xic ; z i , I)  (37)  i i z i ψ i  Mean-Shift
  • 29. Q関数の最小化 Mean-Shift   y i N (xic ; y i , I)  vi    y i   xic (37)  y ψ   z i N (xi ; z i , I)  c  i i z i ψ i  現在の特徴点i の位置 現在の特徴点iの周辺の応答の重心 重心 vi X 繰り返し処理でカーネル密 X 度分布のピークを求める! 現在の特徴点
  • 30. 追跡アルゴリズムまとめ初期処理1. 入力画像Iと初期パラメータpを与える。2. パラメータから特徴点位置を算出し、周辺領域でパッ チの応答を計算 1 p(li  1 | x, I )  (6) 1  exp{li Ci (x; I )}
  • 31. 追跡アルゴリズムまとめ以下をパラメータpが収束するまで繰り返す。3. Mean-Shiftベクトルを計算   y N (x ; y i , I) c  vi      xc i i yi (37)  y ψ  i i z ψ  z N (xi ; z i , I) i i c i  i 4. PDMのパラメータをアップデート ~ 1 T 1 ~ 1 p  ( Λ  J J) ( Λ p  J v) T (36)5. パラメータと特徴位置の更新 p  p  p xi  x  J i p c i (12)
  • 32. 部分的なオクルージョンの対策 特徴量と画像パッチとの類似度が大きく外れた場合は、 オクルージョンとみなして追跡を行わない。 n wy i QKDE (p)  q   xi  y i 2 2 Λ 1 (35) i 1 y i ψ i  n QKDE (p)  q  w  ( x i  y i ; ) 2 2 Λ 1 yi (38) i 1 y i ψ i M推定: 外れ値に対し重みを下げる 例: Gemen-McClure関数
  • 33. 事前計算による効率化 pを更新するごとにMean Shift(34)を計算し直す必要  y N (xi ; y i , I) wy  i   z N (xi ; z i , I) i (34) i z i ψ x 事前に各グリッド毎の移動ベクトルvを計算しておく
  • 34. 実験1 静止画に対する実験 以下のデータセットを用いて実験 I. CMU Pose, Illumination and Expressionデータベース (MultiPie)  特徴点:68ポイント  339人の被験者の762枚の正面顔画像を使用 II. XM2VTSデータベース  特徴点:68ポイント  295人の被験者の2360枚の正面顔画像を使用 4-foldの交差検定で評価実験
  • 35. 実験1 静止画に対する実験フィッティング方法の比較•ASM = Active Shape Model•CQF=Convex Quadratic Fitting•GMM=Gaussian Mixture Model•RLMS=本手法
  • 36. 実験2 画像シーケンスに対する実験 以下のデータセットを用いて実験 I. FGNet talking face sequence  Ground TruthはXM2VTSと同フォーマット 実験方法は静止画の時と同様 ただし、学習画像は全XM2VTSデータセットのものを使 用
  • 37. 実験2 画像シーケンスに対する実験
  • 38. 実験3 オクルージョンに対する定性評価最尤推定+ガウスカーネルMAP推定+ガウスカーネル最尤推定+Geman-MclureカーネルMAP推定+Geman-Mclureカーネル
  • 39. 実験3 オクルージョンに対する定性評価最尤推定+ガウスカーネルMAP推定+ガウスカーネル最尤推定+Geman-MclureカーネルMAP推定+Geman-Mclureカーネル
  • 40. 結論 ローカルな特徴を用いた形状フィッティングの方法につ いて、ノンパラメトリックな分布を用いる方法を提案 顔のフィッティング実験で、精度の面でもいくつかの既存 手法を上回った。 この手法はフレームワークであり、以下の拡張/変更が 可能  特徴検出器  より洗練された形状モデル  時間軸方向の動き平滑化  カーネル