1. Deformable Model Fitting by
Regularized Landmark Mean-Shift
ビジョン＆ITラボ 皆川卓也

2. 紹介する論文
 Deformable Model Fitting by Regularized Landmark
Mean-Shift
 Jason M. Saragih, Simon Lucey, and Jeffrey F. Cohn
 International Journal of Computer Vision 2010
 Constrained Local Model (CLM)を用いた顔特徴追
跡の一手法
 http://web.mac.com/jsaragih/FaceTracker/FaceTracker.html

3. Point Distribution Model
 顔の個人差や表情変化を含んだ顔形状を表すモデル
1.顔の特徴点をベクトル表現にする
23 24 25  x0 
 
18 19 20 21 22 26
17 43 44
37 38 27 42 45 16
  
0 36 39 28 47 46
41 40
29 15
x 
1
30
14
2
31 32
33 34
35
13 X  65 
 y0 
50 51 52
3 53
49
60 61 62 54
  
48 65 12
4 64 63
59 55
 
58 56 11
57
5
6 10
y 
7 8
9
 65 

4. Point Distribution Model
 顔の個人差や表情変化を含んだ顔形状を表すモデル
2.顔サンプルデータから主成分分析によって基底を求める
・・・
PCA
Φ0 Φ1 Φ2 Φ3
n
X   qi Φi
i 0

5. Point Distribution Model
 顔の個人差や表情変化を含んだ顔形状を表すモデル
3.グローバルな動きも含めたモデルの構築
X  sR( X  Φq)  t (1)’
顔の特徴 平行移動
スケール 主成分
点座標 (X,Y)
特徴点座
顔の変形を
標平均
回転 表す係数
（ヨー/ピッチ/
ロール）

6. Point Distribution Model
 顔の個人差や表情変化を含んだ顔形状を表すモデル
3.グローバルな動きも含めたモデルの構築
X  sR( X  Φq)  t (1)’
顔特徴点の位置を表すパラメータ
p  s, R, t, q
スケール、回転、平行移動、顔の変形

7. Constrained Local Model
特徴点の位置を顔画像にFittingしたい
以下の誤差関数を最小化するパラメータpを求める
n
Q(p)  R(p)   Di (xi ; I ) (2)
誤差関数 i 1
顔の変形の
大きさに対す pで求めた画像と
るペナルティ 実画像との誤差
（正則化項）
xi  ( xi , yi ) T

8. Active Appearance Model
n
Q(p)  R(p)   Di (xi ; I ) (2)
i 1
pで求めた画像と
実画像との誤差
 Active Appearance Modelの場合
顔の領域全体を使ってエラーを評価

9. Constrained Local Model
n
Q(p)  R(p)   Di (xi ; I ) (2)
i 1
pで求めた画像と
実画像との誤差
 Constrained Local Modelの場合
各特徴点の周辺を用いてエラーを評価

10. PDMの確率的な解釈
n
Q(p)  R(p)   Di (xi ; I ) (2)
i 1
n
 ln p(p | {li }in1 , I )   ln p(p)   ln p(li | xi , I )  C
i 1
負の対数
n
p(p | {li  1} , I )  p(p) p(li  1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)

11. PDMの確率的な解釈
n
p(p | {li  1} , I )  p(p) p(li  1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)
顔の変形の大きさに テンプレートマッチン
対するペナルティ グで求めた類似度

12. PDMの確率的な解釈
n
p(p | {li  1} , I )  p(p) p(li  1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)
p(p)

13. PDMの確率的な解釈
n
p(p | {li  1} , I )  p(p) p(li  1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)
事前分布＝正規分布
p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10)
固有値
尤度関数＝ロジスティック回帰
1
p(li  1 | xi , I )  (6)
1  exp{li Ci (xi ; I )}
パッチと画像の位置xにおける類似度

14. PDMの確率的な解釈
尤度関数＝ロジスティック回帰
1
p(li  1 | xi , I )  (6)
1  exp{li Ci (xi ; I )}
パッチと画像の位置xにおける類似度
Ci (xi ; I )  w P(W (xi ; I ))  bi
T
i (8)
位置xにおける正規化
された画像パッチ
SVMで学習したゲインとバイアス

15. 特徴点のFitting方法
尤度関数＝ロジスティック回帰
1
p(li  1 | xi , I )  (6)
1  exp{li Ci (xi ; I )}
パッチと画像の位置xにおける類似度
xi周辺のロジスティック回帰の応答
単純に探索範囲の応答のピークを探せば良い
のか？
• ピークが特徴の位置と一致するとは限らない
• 小さなパッチの類似度では曖昧性が残る
• アパーチャ問題

16. 特徴点のFitting方法
 従来法  本手法
 ピークを直接取る（RES）  カーネル密度推定(KDE)
 分布をガウス分布で近似（ISO）  多峰性の応答に対応でき
る
 異方性のガウス分布で近似
（ANI）  モード数が未知でも対応
できる
 混合ガウス分布で近似（GMM）

17. カーネル密度推定
p(li  1 | xi , I ) 
 yi 
1
1  exp{li Ci (y i ; I )}
(6) 
y i ψ x
yi N (y i ; xi , I) (32)
ガウスカーネル
yi  ψx

18. カーネル密度推定
p(li  1 | xi , I ) 
 yi 
1
1  exp{li Ci (y i ; I )}
(6) 
y i ψ x
yi N (y i ; xi , I) (32)
ガウスカーネル
yi  ψx
y i  xi  ε i
PDMで使用されない主成分
観測値 真の値 ノイズ
の固有値の平均
N
1
εi  N (εi ;0, I)  1i
N  m i m

19. MAP推定
n
p(p | {li  1} , I )  p(p) p(li  1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)
事前分布＝正規分布
p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10)
固有値
尤度関数
p(li  1 | xi , I )  
y i ψ x
yi N (y i ; xi , I) (32)’
パッチと画像の位置yにおける類似度

20. MAP推定
n
p(p | {li  1} , I )  p(p) p(li  1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)
事前分布＝正規分布
p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10)
固有値
尤度関数
p(li  1 | xi , I )  
y i ψ x
yi N (xi ; y i , I) (32)
xとyを交換しても値は同じ

21. MAP推定
n
p(p | {li  1} , I )  p(q)
n
i 1 
i 1 y i ψ x
yi N (xi ; y i , I) (33)’
パラメータpの事後分布 qにのみ
位置xに特徴点iが存在する
依存
確率分布
事前分布＝正規分布
p(p)  N (q;0, Λ) Λ  diag{[1;; m ]} (10)
固有値
尤度関数
p(li  1 | xi , I )  
y i ψ x
yi N (xi ; y i , I) (32)

22. MAP推定
n
p(p | {li  1} , I )  p(q)
n
i 1 
i 1 y i ψ x
yi N (xi ; y i , I) (33)’
パラメータpの事後分布 qにのみ
位置xに特徴点iが存在する
依存
確率分布
最大化するパラ
メータpを求めたい
EMアルゴリズム

23. MAP推定のEMアルゴリズム
事後分布 p(p | I ) を最大化したい
パラメータ データ
1. パラメータの初期値 p old を選ぶ
2. Eステップ
p(Y | pold , I ) を計算する
潜在変数
3. Mステップ

p new  arg min Q(p, p old )  でpを更新する
p
Q(p, p old )  Ey  lnp(p) p(Y, I | p)
  p(Y | p old , I ) ln p(Y, I | p)  ln p(p)
Y Eステップで計算
4. 収束するまで2と3を繰り返す

24. EMアルゴリズムによるFitting
Eステップ
old
p(Y | p , I ) を計算する
潜在変数
Y  y1 ,, y n 
p( y i | p , I )  p( y i | x i , I )
old old
pが求まるとxも一意に求まる
 p(y i ) p(x i | y i , I )   y i N (xi ; y i , I)
old old
ベイズの定理から

25. EMアルゴリズムによるFitting
Eステップ
old
p(Y | p , I ) を計算する
潜在変数
Y  y1 ,, y n 
p( y i | p , I )  p( y i | x i , I )
old old
 y N (xi ; y i , I)
old
 i
 wy i (34)
 N (x i ; z i , I)
old
zi
z i ψ x
正規化

26. EMアルゴリズムによるFitting
Mステップ

p new  arg min Q(p, p old )  でpを更新する
p
Q(p, p old )   p(Y | p old , I ) ln p(Y, I | p)  ln p(p)
Y
 n
 old  n
 
   p(y i | xi , I ) ln   p(y i , I | xi )   ln p(q)
 
Y  i 1  i 1 
 n n

   wy i  ln  y i N (xi ; y i , I)  ln N (q;0, Λ)  C
Y  i 1 i 1 
n wy i
 q Λ 1    xi  y i
2 2
(35)
i 1 y i ψ i 

27. Q関数の最小化
 Mステップで以下の式を最小化したい
n wy i
QKDE (p)  q   xi  y i
2 2
Λ 1 (35)
i 1 y i ψ i 
ガウス・ニュートン法で反復的に最小化を行う
1. パラメータ更新量Δpの計算
~ 1 T 1 ~ 1
p  ( Λ  J J) ( Λ p  J v)
T
(36)
2. pの更新
p  p  p

28. Q関数の最小化
パラメータ更新量Δpの計算
~ 1 T 1 ~ 1
p  ( Λ  J J) ( Λ p  J v)
T
(36)
1 1

0
xi ~ 1  
J ij  Λ   
p j
0 1 
m 

  y i N (xic ; y i , I) 
vi    y i   xic
 y ψ   z i N (xic ; z i , I) 
(37)
 i i z i ψ i 
Mean-Shift

29. Q関数の最小化
 Mean-Shift
  y i N (xic ; y i , I) 
vi    y i   xic (37)
 y ψ   z i N (xi ; z i , I) 
c
 i i z i ψ i  現在の特徴点i
の位置
現在の特徴点iの周辺の応答の重心
重心
vi Ｘ 繰り返し処理でカーネル密
X 度分布のピークを求める！
現在の特徴点

30. 追跡アルゴリズムまとめ
初期処理
1. 入力画像Iと初期パラメータpを与える。
2. パラメータから特徴点位置を算出し、周辺領域でパッ
チの応答を計算
1
p(li  1 | x, I )  (6)
1  exp{li Ci (x; I )}

31. 追跡アルゴリズムまとめ
以下をパラメータpが収束するまで繰り返す。
3. Mean-Shiftベクトルを計算
  y N (x ; y i , I)
c 
vi      xc
i
i
yi (37)
 y ψ
 i i z ψ  z N (xi ; z i , I)
i i
c
i
 i

4. PDMのパラメータをアップデート
~ 1 T 1 ~ 1
p  ( Λ  J J) ( Λ p  J v)
T
(36)
5. パラメータと特徴位置の更新
p  p  p xi  x  J i p
c
i
(12)

32. 部分的なオクルージョンの対策
 特徴量と画像パッチとの類似度が大きく外れた場合は、
オクルージョンとみなして追跡を行わない。
n wy i
QKDE (p)  q   xi  y i
2 2
Λ 1 (35)
i 1 y i ψ i 
n
QKDE (p)  q  w  ( x i  y i ; )
2 2
Λ 1 yi (38)
i 1 y i ψ i
M推定：
外れ値に対し重みを下げる
例： Gemen-McClure関数

33. 事前計算による効率化
 pを更新するごとにMean Shift(34)を計算し直す必要
 y N (xi ; y i , I)
wy  i
  z N (xi ; z i , I)
i (34)
i
z i ψ x
 事前に各グリッド毎の移動ベクトルvを計算しておく

34. 実験1 静止画に対する実験
 以下のデータセットを用いて実験
I. CMU Pose, Illumination and Expressionデータベース
(MultiPie)
 特徴点：68ポイント
 339人の被験者の762枚の正面顔画像を使用
II. XM2VTSデータベース
 特徴点:68ポイント
 295人の被験者の2360枚の正面顔画像を使用
 4-foldの交差検定で評価実験

35. 実験1 静止画に対する実験
フィッティング方法の比較
•ASM = Active Shape Model
•CQF=Convex Quadratic Fitting
•GMM=Gaussian Mixture Model
•RLMS=本手法

36. 実験2 画像シーケンスに対する実験
 以下のデータセットを用いて実験
I. FGNet talking face sequence
 Ground TruthはXM2VTSと同フォーマット
 実験方法は静止画の時と同様
 ただし、学習画像は全XM2VTSデータセットのものを使
用

37. 実験2 画像シーケンスに対する実験

38. 実験3 オクルージョンに対する定性評価
最尤推定＋
ガウスカーネル
MAP推定＋
ガウスカーネル
最尤推定＋
Geman-Mclure
カーネル
MAP推定＋
Geman-Mclure
カーネル

39. 実験3 オクルージョンに対する定性評価
最尤推定＋
ガウスカーネル
MAP推定＋
ガウスカーネル
最尤推定＋
Geman-Mclure
カーネル
MAP推定＋
Geman-Mclure
カーネル

40. 結論
 ローカルな特徴を用いた形状フィッティングの方法につ
いて、ノンパラメトリックな分布を用いる方法を提案
 顔のフィッティング実験で、精度の面でもいくつかの既存
手法を上回った。
 この手法はフレームワークであり、以下の拡張/変更が
可能
 特徴検出器
 より洗練された形状モデル
 時間軸方向の動き平滑化
 カーネル