Face Alignment by Explicit Shape Regression

8,156 views

Published on

「第20回コンピュータビジョン勉強会@関東 CVPR2012論文読み会」発表資料

Published in: Technology
0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
8,156
On SlideShare
0
From Embeds
0
Number of Embeds
3,316
Actions
Shares
0
Downloads
89
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide

Face Alignment by Explicit Shape Regression

  1. 1. 2012/06/23 CV勉強会@関東 CVPR読み会 発表資料 takmin
  2. 2. 紹介する論文 Face Alignment by Explicit Shape Regression  Xudong Cao, Yichen Wei, Fang Wen, Jian Sun  Microsoft Research Asia 回帰ベース/ノンパラメトリックな顔ランドマーク抽出手法 認識率高い+効率良い この論文を選んだ理由  回帰による形状当てはめというのをそもそも知らなかった。  え?本当にこんな単純なモデルでうまくいくの?という感想。  でも、理解するのには手間取った。。。  そしてイマイチ腹に落ちた感じがしない。。。
  3. 3. 実験結果(LFPWデータセット)
  4. 4. 実験結果(LFW87データセット)
  5. 5. 実験結果(BioIDデータセット)
  6. 6. 顔の形状当てはめ  x1   y   1  S      x N fp   yN   fp  ˆ min S  S (1) 2 推定した形状 正解データ
  7. 7. 従来法 Optimization-based  AAMなど、(1)と相関する誤差関数を使用 Regression-based  パラメトリックなモデルで、間接的に(1)を最小化  個々のランドマークの見えからリグレッサーを学習目的: ランドマーク間の相関も考慮し、直接(1)を最小化す るリグレッサーを求める! ˆ min S  S (1) 2 推定した形状 正解データ
  8. 8. 回帰による形状当てはめ Boosting Regressor  形状を弱いリグレッサーの和とする。 T 画像 S  S   R (I ) 0 t 推定 平均 t 1 弱リグレッサー 形状 形状 (形状の変化分) t 1 t 1 S S t  R ( I , S ), t  1,, T t (2) 更新 現在の 弱リグレッサー 形状 形状 (形状の変化分)
  9. 9. 回帰による形状当てはめ Boosting Regressor 各学習サンプルの形状誤差の和が最小となるリグレッサーを算出 N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 訓練サンプルの誤差 ˆ min S  S (1) 2 t 1 t 1 S St  R ( I , S ), t  1,, T t (2) 更新 現在の 弱リグレッサー 形状 形状 (形状の変化分)
  10. 10. 回帰による形状当てはめ Boosting Regressor 各学習サンプルの形状誤差の和が最小となるリグレッサーを算出 N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 訓練サンプルの誤差 学習の順番 ˆ Si 正解形状 S0 R1 S i1 R2 S i2 … SiT 1 RT S iT
  11. 11. Two-level cascaded regression リグレッサーを2段階のBoostingで構成する  収束性向上&性能向上のため N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 K R t ( I i , Sit 1 )  Sit 1   r k ( I i , Sik 1 ) k 1 2段目の弱リグレッサー (Primitive Regresser)
  12. 12. Two-level cascaded regression リグレッサーを2段階のBoostingで構成する  収束性向上&性能向上のため N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 K R t ( I i , Sit 1 )  Sit 1   r k ( I i , Sik 1 ) k 1 S   S   r ( I , S  ), k  1,, K k k 1 k k 1 S 0  S t 1
  13. 13. Two-level cascaded regression リグレッサーを2段階のBoostingで構成する  収束性向上&性能向上のため N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 N r  arg min  k ˆ  ( S k 1  r ( I , S k 1 )) Si i i i r i 1 S   S   r ( I , S  ), k  1,, K k k 1 k k 1 S 0  S t 1
  14. 14. Two-level cascaded regression リグレッサーを2段階のBoostingで構成する  収束性向上&性能向上のため 学習の順番 S i2 … SiT 1 S iT 0 1 S S R1 i R2 RT S 0 S 1 i S 1 i S i 2 SiT 1 S iT r1 r2 … rK … … fern
  15. 15. Primitive Regressor 2段目の弱リグレッサー = fern  F個の特徴を持ち、各特徴は閾値で2つに分類  全部で2のF乗のグループに分ける F次元特徴ベクトル  f1, f 2 , f3 , f 4 , f5  T fern k r 個の各binに S b 0,1,1,0,1 F 出力 T 2 を割り当てる
  16. 16. Primitive Regressor Sb  arg min  Si  (Si  S ) ˆ  b :このbinの訓練 (4) S サンプル集合 ib Sb   ib ˆ ( Si  Si ) (5) b bと判別された訓練サンプルの形状と正解形状の誤差の平均
  17. 17. Primitive Regressor Sb  arg min  Si  (Si  S ) ˆ  b :このbinの訓練 (4) S サンプル集合 ib Sb  1  ib ˆ ( Si  Si ) (6) 1   / b b データ数が少なかった時 のOverfittingを避けるた め
  18. 18. Shape-indexed (image) featuresF次元特徴ベクトル  f1, f 2 , f3 , f 4 , f5  T どんな画像特徴? fern k r どうやって作る? 出力 0,1,1,0,1 T
  19. 19. Shape-indexed (image) features どんな画像特徴? 2つの画素の値の差 x x  f1  x f   2 x x x  f3  x   x x  f4  x x  f5   
  20. 20. Shape-indexed (image) features 顔の向き/大きさに不変な特徴にしたい  現在の顔形状 S t を標準顔 S 0 にフィッティングする  画素の位置をそれに合わせて変換 座標系の原点を最近傍のランドマークに取ることで、表 情の変化にもロバストにする。 ○ ×
  21. 21. Correlation-based feature selectionF次元特徴ベクトル  f1, f 2 , f3 , f 4 , f5  T fern k r どうやって作る? 出力 0,1,1,0,1 T どの場所の画素のペアを使う? 閾値はどう決める?
  22. 22. Correlation-based feature selection シンプルな方法(n-Best) 1. n個のfernをランダムに生成する 2 2. 訓練画像からランダムにP個の画素を選択し、P 個の特徴 を作る 3. (4)式を評価し、最も誤差の少ないものを選択する Sb  arg min  Si  (Si  S ) ˆ  b :このbinの学習 (4) S サンプル集合 ib 非効率!
  23. 23. Correlation-based feature selection CBFS(Correlation-based feature selection)  P 2 個の特徴の中から、目標(正解形状と現在の形状の差 分)と相関の高いものを取ってくる N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 t 1ˆ  S t 1 R( I i , S )  S i i i ターゲット
  24. 24. Correlation-based feature selection1. 回帰目標ベクトルをランダムな方向へ投影し、スカラー 値を取得 ˆ Si  Sit 1 ランダムなベクトル i
  25. 25. Correlation-based feature selection 22. P 個の特徴の中から取得したスカラー値と最も相関の 高いものを1つ選ぶ 訓練サンプル x x 1,, i ,, N  T 相関  f1,, fi ,, f N  T x x x x N=学習サンプル数
  26. 26. Correlation-based feature selection3. 1と2をF回繰り返し、F個の特徴を取得4. F個の特徴にランダムに閾値を設けることで、fernを作 成 ˆ Si  Sit 1 1,, i ,, N  T 相関  f1,, fi ,, f N  T i ランダムなベクトル
  27. 27. Non-parametric shape constraint 本手法での形状は、以下の式で表せる N S  S   wi Si 0 ˆ (6) 初期形状 i 1 訓練形状 訓練形状の線型部分空間内のため、顔の形状に制約 が自動的につく 人の顔として不自然な形に歪むことがない!
  28. 28. Non-parametric shape constraint 本手法での形状は、以下の式で表せる N S  S   wi Si 0 ˆ (6) 初期形状 i 1 訓練形状 顔の変形へのペナルティがいらない! AAMやCLMの場合 n Q(p)  R(p)   Di (xi ; I ) i 1 パラメータ 顔の変形の アピアランス 誤差関数 大きさに対す の類似度 るペナルティ (正則化項)
  29. 29. Non-parametric shape constraint 徐々に顔形状がFittingされていく様子
  30. 30. Non-parametric shape constraint Fernリグレッサーの各bin ( 2 F  K )個に格納されている 形状 S b を主成分分析し、95%までのエネルギーを持つ 主成分の数をプロットしたもの。 (ステージが上がるほど形状の微調整が必要になり、主成分が増える) Rt
  31. 31. Non-parametric shape constraint 最初のステージ R1 と最後のステージ RT における上位3 つの主成分 最初のステージ 最後のステージ
  32. 32. 学習方法の擬似コード学習データから平均顔形状 S 0 を算出S  S0While (T): 画像からP個の画素をランダムに取得し P 2の画素ペアを作成 S  S While (K): S と P 2 の特徴ベクトルでfernを学習(CBFS) fernで学習画像を 2 F のグループに分離 分離した各グループから各binの S b を(6)で決定 Sb  1  ib ˆ ( Si  Si ) (6) 1   / b b Si  Si  rk ( I , Si) S  S
  33. 33. 実装の詳細 訓練データの拡張  初期形状として平均だけでなく、訓練形状からランダムに選ん で、それも初期形状としてトレーニングに使用 複数の初期形状による検出  平均形状だけでなく、複数の初期形状を用いて検出を行い、 得られた形状の中間値を取ることで、精度向上
  34. 34. 実装の詳細 処理時間  Intel Core i7 2.93GHz / C++ implementation  訓練画像: 2000枚 パラメータ F  5   1000 T  10 K  500 P  400
  35. 35. 実験 従来法との比較のため、以下のデータセットで実験  BioID  LFPW  LFW87
  36. 36. LFPWデータセットの結果丸の半径が本手法のエラーの平 [1]P.Belhumeur et al, ”Localizing parts均。Greenが従来法と比べ10%以 of faces using a concensus of上精度が上がった箇所 exemplars”, CVPR2011
  37. 37. LFW87データセットの結果[12]L. Liang et al., “Face Alignment via component-based discriminative search”,ECCV2008
  38. 38. BioIDデータセットの結果
  39. 39. アルゴリズムの検証 アルゴリズムの検証にはLPFWデータセットを用いた Two-level cascaded regression  1段目の弱リグレッサーと2段目の弱リグレッサーの数を変更 して、精度を確認
  40. 40. アルゴリズムの検証 Shape indexed feature  2つの特徴用座標系で比較 平均誤差: 0.033 平均誤差: 0.059
  41. 41. アルゴリズムの検証 Feature selection  特徴抽出手法(fernの構築方法)について、n-Bestと Correleation-based feature selection method(CBFS)との比較
  42. 42. アルゴリズムの検証 各訓練ステージ毎に、選択された特徴間の距離の平均 をプロット 学習が進むほど小さくなる。(微調整になる)
  43. 43. 結論 顔画像に形状を陽に、回帰的に割り当てる手法を提案。 全体への形状の割り当てと、局所的な誤差の最小化を 同時に回帰的に扱うことで、形状が自動的に制約される。 高速、高精度。  リアルタイム追跡も可能 この形状当てはめのフレームワークは関節を持つ物体 の認識など、他の分野への応用も期待できる。

×