Light weightbinocular sigasia2012_face

393 views
315 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
393
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Light weightbinocular sigasia2012_face

  1. 1. Lightweight Binocular FacialPerformance Capture underUncontrolled LightingSiggraph   Asia 2012 文献紹介 石井
  2. 2. この文献でいいたいこと 映画など顔形状による CG 合成を利用 従来はシステムが大掛かり 単純なステレオカメラで細かい表情変 化まで取得することを目指す
  3. 3. 従来手法  マーカーを装着型  精度が悪い  マルチカメラ再構成  ライトコントロール型  装置が大掛かりステレオカメラで Uncontrollable なシーン(屋内、屋外)で精細な顔形状復元を行う(ただし、カメラはキャリブレーション済み)
  4. 4. アプローチ概要 First Step  ステレオカメラ+トラッキングで粗い形状推定  誤差を減らすために、マッチング制約を提案 Second Step  照明が変化するシーンで反射率/照明推定を実施 し、 Shape refinement を行う
  5. 5. 初期化 ステレオ画像に対し視差算出  Ed =データ項、 Eg =幾何項、 Es= 平滑化項  詳細は後ほど PostProcessing  背景除去。三角メッシュ表現。点数揃える  平滑化処理し、メッシュの色は左右画像の合成色
  6. 6. Template   Tracking Scene Flow の計算  2 フレーム間で 4 フレームの情報を利用可 能  4 フレーム間の拘束条件から対応点推定
  7. 7. Template   Tracking Scene Flow の計算
  8. 8. Template   Tracking データ項:各画像間の座標誤差計算 コスト関数 外れ値にロバストにするため L1 ノルムで正則化
  9. 9. Template   Tracking Geometry 項:ステレオ画像間のエピポ ーラ拘束を利用 コスト関数 外れ値にロバストにするため L1 ノルムで正則化
  10. 10. Template   Tracking Smoothness 項:異方性のエッジに基づ き滑らかさを評価 ・ r1,r2 は第一、第二固有値 ・形状変化するので、   Scene flow 推定中は再計算
  11. 11. 平滑化項の比較
  12. 12. エネルギー最小化 多重解像度で各解像度で推定 3 D motion field を使って、形状変化を 表現
  13. 13. Mesh Tracking Scene Flow がわかれば各頂点の Tracking が可能 Noise や Drift があるので制約を設ける
  14. 14. Mesh TrackingPosition Constraints メッシュの滑らかさを保つために、頂 点の部分集合 C に対して SceneFlow を 揃える 条件  部分集合 C の全頂点は左右のカメラから見 えていること  背景によるエラーを防ぐため、法線と照明 方向のなす角度が閾値( 70 度)以下であ
  15. 15. Mesh TrackingPosition Update 3 D 復元点 Si の Flow 実際は Si が Noisy  3 D 復元結果に Flow を加算するのではな く、 Flow を逐次加算していく
  16. 16. Mesh TrackingLaplacian Regurarization 表情( 3 次元的)形状の変化を考慮した制約  L:Laplacian matrix with cotangent weight of mesh  メッシュ平面に対する法線の Laplacian matrix  第二項は頂点位置の誤差項
  17. 17. Motion Refinement 誤差の蓄積などに対して Refinement する 方法(時刻 t+1 のとき)  メッシュのトラッキング結果から左右画像を合成 (f0r,r1r)    正解データ f0(t+1),f1(t+1) との再投影誤差算出  f0(t+1),f1(t+1) と (f0r,r1r) との間の SceneFlow から  メッシュをアップデート
  18. 18. Shape Refinement 2 ステップからなる  1.各フレームで照明と反射率を推定  2.陰影情報に基づく幾何推定を実施 顔の反射率推定 表面の形状修正
  19. 19. Albedo( 反射率 ) Clustering K-means クラスタリング ・ ai : 頂点の反射率集合 ・ k :クラスタリング数 ・ Sk :クラスタ番号 ・ ui :クラスタ内の平均反射率 ai の初期値は、前フレームの 幾何形状・照明条件から計算 反射率がもとまったら、照明方向・強度を推定(既存手法)
  20. 20. Surface Refinement 反射率・照明条件から頂点の法線を算 出 顔は完全拡散面では無い  Highlight はノイズになる→平滑化項導入
  21. 21. Surface Refinement データ項  入力画像と合成画像との Shading の勾配差  i: メッシュ  N(i): メッシュ i の近傍メッシュ  C: カメラ番号  Q(I,j) :カメラ集合  r(i,j),s(i,j): 入力画像の勾配、合成画像の勾配
  22. 22. Surface Refinement Similarity 項  時刻 t-1 の法線と時刻 t の法線の類似性  nit: 時刻 t-1 の法線  Xtu-Xtv: 三角メッシュの 2 点の差  時刻 t,t-1 のベクトル間の外積を算出 nit Xtv Xtu
  23. 23. Surface Refinement Smoothness 項  近傍の 2 頂点間の二乗誤差
  24. 24. エネルギー最小化の高速化 非線形最適化の繰り返し  処理速度遅い  複数メッシュを集めたパッチで処理するが 、  パッチ内のメッシュ数が多いと遅く  パッチ内のメッシュ数が少ないと推定が計算が 不安定 一次テイラー展開で近似  各頂点とその近傍点から計算する Sparse Linear Problem になり高速化
  25. 25. Results カメラ  EOS 550D と GoPro 3D で実験  良環境と難環境で比較  どちらも FullHD  頂点数 100000
  26. 26. Results: Canon
  27. 27. Results: Canon( 違う人で評価)
  28. 28. Results(Go Pro)

×