Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Face Alignment by Explicit Shape Regression

8,750 views

Published on

「第20回コンピュータビジョン勉強会@関東 CVPR2012論文読み会」発表資料

Published in: Technology
  • Be the first to comment

Face Alignment by Explicit Shape Regression

  1. 1. 2012/06/23 CV勉強会@関東 CVPR読み会 発表資料 takmin
  2. 2. 紹介する論文 Face Alignment by Explicit Shape Regression  Xudong Cao, Yichen Wei, Fang Wen, Jian Sun  Microsoft Research Asia 回帰ベース/ノンパラメトリックな顔ランドマーク抽出手法 認識率高い+効率良い この論文を選んだ理由  回帰による形状当てはめというのをそもそも知らなかった。  え?本当にこんな単純なモデルでうまくいくの?という感想。  でも、理解するのには手間取った。。。  そしてイマイチ腹に落ちた感じがしない。。。
  3. 3. 実験結果(LFPWデータセット)
  4. 4. 実験結果(LFW87データセット)
  5. 5. 実験結果(BioIDデータセット)
  6. 6. 顔の形状当てはめ  x1   y   1  S      x N fp   yN   fp  ˆ min S  S (1) 2 推定した形状 正解データ
  7. 7. 従来法 Optimization-based  AAMなど、(1)と相関する誤差関数を使用 Regression-based  パラメトリックなモデルで、間接的に(1)を最小化  個々のランドマークの見えからリグレッサーを学習目的: ランドマーク間の相関も考慮し、直接(1)を最小化す るリグレッサーを求める! ˆ min S  S (1) 2 推定した形状 正解データ
  8. 8. 回帰による形状当てはめ Boosting Regressor  形状を弱いリグレッサーの和とする。 T 画像 S  S   R (I ) 0 t 推定 平均 t 1 弱リグレッサー 形状 形状 (形状の変化分) t 1 t 1 S S t  R ( I , S ), t  1,, T t (2) 更新 現在の 弱リグレッサー 形状 形状 (形状の変化分)
  9. 9. 回帰による形状当てはめ Boosting Regressor 各学習サンプルの形状誤差の和が最小となるリグレッサーを算出 N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 訓練サンプルの誤差 ˆ min S  S (1) 2 t 1 t 1 S St  R ( I , S ), t  1,, T t (2) 更新 現在の 弱リグレッサー 形状 形状 (形状の変化分)
  10. 10. 回帰による形状当てはめ Boosting Regressor 各学習サンプルの形状誤差の和が最小となるリグレッサーを算出 N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 訓練サンプルの誤差 学習の順番 ˆ Si 正解形状 S0 R1 S i1 R2 S i2 … SiT 1 RT S iT
  11. 11. Two-level cascaded regression リグレッサーを2段階のBoostingで構成する  収束性向上&性能向上のため N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 K R t ( I i , Sit 1 )  Sit 1   r k ( I i , Sik 1 ) k 1 2段目の弱リグレッサー (Primitive Regresser)
  12. 12. Two-level cascaded regression リグレッサーを2段階のBoostingで構成する  収束性向上&性能向上のため N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 K R t ( I i , Sit 1 )  Sit 1   r k ( I i , Sik 1 ) k 1 S   S   r ( I , S  ), k  1,, K k k 1 k k 1 S 0  S t 1
  13. 13. Two-level cascaded regression リグレッサーを2段階のBoostingで構成する  収束性向上&性能向上のため N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 N r  arg min  k ˆ  ( S k 1  r ( I , S k 1 )) Si i i i r i 1 S   S   r ( I , S  ), k  1,, K k k 1 k k 1 S 0  S t 1
  14. 14. Two-level cascaded regression リグレッサーを2段階のBoostingで構成する  収束性向上&性能向上のため 学習の順番 S i2 … SiT 1 S iT 0 1 S S R1 i R2 RT S 0 S 1 i S 1 i S i 2 SiT 1 S iT r1 r2 … rK … … fern
  15. 15. Primitive Regressor 2段目の弱リグレッサー = fern  F個の特徴を持ち、各特徴は閾値で2つに分類  全部で2のF乗のグループに分ける F次元特徴ベクトル  f1, f 2 , f3 , f 4 , f5  T fern k r 個の各binに S b 0,1,1,0,1 F 出力 T 2 を割り当てる
  16. 16. Primitive Regressor Sb  arg min  Si  (Si  S ) ˆ  b :このbinの訓練 (4) S サンプル集合 ib Sb   ib ˆ ( Si  Si ) (5) b bと判別された訓練サンプルの形状と正解形状の誤差の平均
  17. 17. Primitive Regressor Sb  arg min  Si  (Si  S ) ˆ  b :このbinの訓練 (4) S サンプル集合 ib Sb  1  ib ˆ ( Si  Si ) (6) 1   / b b データ数が少なかった時 のOverfittingを避けるた め
  18. 18. Shape-indexed (image) featuresF次元特徴ベクトル  f1, f 2 , f3 , f 4 , f5  T どんな画像特徴? fern k r どうやって作る? 出力 0,1,1,0,1 T
  19. 19. Shape-indexed (image) features どんな画像特徴? 2つの画素の値の差 x x  f1  x f   2 x x x  f3  x   x x  f4  x x  f5   
  20. 20. Shape-indexed (image) features 顔の向き/大きさに不変な特徴にしたい  現在の顔形状 S t を標準顔 S 0 にフィッティングする  画素の位置をそれに合わせて変換 座標系の原点を最近傍のランドマークに取ることで、表 情の変化にもロバストにする。 ○ ×
  21. 21. Correlation-based feature selectionF次元特徴ベクトル  f1, f 2 , f3 , f 4 , f5  T fern k r どうやって作る? 出力 0,1,1,0,1 T どの場所の画素のペアを使う? 閾値はどう決める?
  22. 22. Correlation-based feature selection シンプルな方法(n-Best) 1. n個のfernをランダムに生成する 2 2. 訓練画像からランダムにP個の画素を選択し、P 個の特徴 を作る 3. (4)式を評価し、最も誤差の少ないものを選択する Sb  arg min  Si  (Si  S ) ˆ  b :このbinの学習 (4) S サンプル集合 ib 非効率!
  23. 23. Correlation-based feature selection CBFS(Correlation-based feature selection)  P 2 個の特徴の中から、目標(正解形状と現在の形状の差 分)と相関の高いものを取ってくる N R t  arg min  Si  ( Sit 1  R( I i , Sit 1 )) ˆ (3) R i 1 t 1ˆ  S t 1 R( I i , S )  S i i i ターゲット
  24. 24. Correlation-based feature selection1. 回帰目標ベクトルをランダムな方向へ投影し、スカラー 値を取得 ˆ Si  Sit 1 ランダムなベクトル i
  25. 25. Correlation-based feature selection 22. P 個の特徴の中から取得したスカラー値と最も相関の 高いものを1つ選ぶ 訓練サンプル x x 1,, i ,, N  T 相関  f1,, fi ,, f N  T x x x x N=学習サンプル数
  26. 26. Correlation-based feature selection3. 1と2をF回繰り返し、F個の特徴を取得4. F個の特徴にランダムに閾値を設けることで、fernを作 成 ˆ Si  Sit 1 1,, i ,, N  T 相関  f1,, fi ,, f N  T i ランダムなベクトル
  27. 27. Non-parametric shape constraint 本手法での形状は、以下の式で表せる N S  S   wi Si 0 ˆ (6) 初期形状 i 1 訓練形状 訓練形状の線型部分空間内のため、顔の形状に制約 が自動的につく 人の顔として不自然な形に歪むことがない!
  28. 28. Non-parametric shape constraint 本手法での形状は、以下の式で表せる N S  S   wi Si 0 ˆ (6) 初期形状 i 1 訓練形状 顔の変形へのペナルティがいらない! AAMやCLMの場合 n Q(p)  R(p)   Di (xi ; I ) i 1 パラメータ 顔の変形の アピアランス 誤差関数 大きさに対す の類似度 るペナルティ (正則化項)
  29. 29. Non-parametric shape constraint 徐々に顔形状がFittingされていく様子
  30. 30. Non-parametric shape constraint Fernリグレッサーの各bin ( 2 F  K )個に格納されている 形状 S b を主成分分析し、95%までのエネルギーを持つ 主成分の数をプロットしたもの。 (ステージが上がるほど形状の微調整が必要になり、主成分が増える) Rt
  31. 31. Non-parametric shape constraint 最初のステージ R1 と最後のステージ RT における上位3 つの主成分 最初のステージ 最後のステージ
  32. 32. 学習方法の擬似コード学習データから平均顔形状 S 0 を算出S  S0While (T): 画像からP個の画素をランダムに取得し P 2の画素ペアを作成 S  S While (K): S と P 2 の特徴ベクトルでfernを学習(CBFS) fernで学習画像を 2 F のグループに分離 分離した各グループから各binの S b を(6)で決定 Sb  1  ib ˆ ( Si  Si ) (6) 1   / b b Si  Si  rk ( I , Si) S  S
  33. 33. 実装の詳細 訓練データの拡張  初期形状として平均だけでなく、訓練形状からランダムに選ん で、それも初期形状としてトレーニングに使用 複数の初期形状による検出  平均形状だけでなく、複数の初期形状を用いて検出を行い、 得られた形状の中間値を取ることで、精度向上
  34. 34. 実装の詳細 処理時間  Intel Core i7 2.93GHz / C++ implementation  訓練画像: 2000枚 パラメータ F  5   1000 T  10 K  500 P  400
  35. 35. 実験 従来法との比較のため、以下のデータセットで実験  BioID  LFPW  LFW87
  36. 36. LFPWデータセットの結果丸の半径が本手法のエラーの平 [1]P.Belhumeur et al, ”Localizing parts均。Greenが従来法と比べ10%以 of faces using a concensus of上精度が上がった箇所 exemplars”, CVPR2011
  37. 37. LFW87データセットの結果[12]L. Liang et al., “Face Alignment via component-based discriminative search”,ECCV2008
  38. 38. BioIDデータセットの結果
  39. 39. アルゴリズムの検証 アルゴリズムの検証にはLPFWデータセットを用いた Two-level cascaded regression  1段目の弱リグレッサーと2段目の弱リグレッサーの数を変更 して、精度を確認
  40. 40. アルゴリズムの検証 Shape indexed feature  2つの特徴用座標系で比較 平均誤差: 0.033 平均誤差: 0.059
  41. 41. アルゴリズムの検証 Feature selection  特徴抽出手法(fernの構築方法)について、n-Bestと Correleation-based feature selection method(CBFS)との比較
  42. 42. アルゴリズムの検証 各訓練ステージ毎に、選択された特徴間の距離の平均 をプロット 学習が進むほど小さくなる。(微調整になる)
  43. 43. 結論 顔画像に形状を陽に、回帰的に割り当てる手法を提案。 全体への形状の割り当てと、局所的な誤差の最小化を 同時に回帰的に扱うことで、形状が自動的に制約される。 高速、高精度。  リアルタイム追跡も可能 この形状当てはめのフレームワークは関節を持つ物体 の認識など、他の分野への応用も期待できる。

×