Fusion4dIntroduction
•
3 likes•3,173 views
Documentation for Introduction Fusion4d at 3dcvtech. 20180527
Recommended
Recommended
More Related Content
What's hot
What's hot (9)
Similar to Fusion4dIntroduction
Similar to Fusion4dIntroduction (20)
Recently uploaded
Recently uploaded (12)
Fusion4dIntroduction
- 1. Fusion4D: Real-time Performance Capture of Challenging Scenes Mingsong Dou Sameh Khamis Yury Degtyarev Philip Davidson* Sean Ryan Fanello* Adarsh Kowdle* Sergio Orts Escolano* Christoph Rhemann* David Kim Jonathan Taylor Pushmeet Kohli Vladimir Tankovich Shahram Izadi† Microsoft Research Hideki Iwasawa : May 27 2018 第１回 3D勉強会＠関東 第１回 ３D勉強会@ 1 SIGGRAPH 2016
- 2. Free View Point Video 多視点カメラでReal Time ３次元復元 第１回 ３D勉強会@ 2 カメラのない視点からでも自由に観ることが出来る映像 2020年にはオリンピックが自由視点で観れるかも
- 3. Motivation • 自由視点映像システムを実装してみたが、精度が出なかった • 元々の距離画像の精度を向上させる方向を模索していた • Fusion4Dのデモ映像を観て驚いた 第１回 ３D勉強会@ 3
- 4. Comparison Environment 第１回 ３D勉強会@ 4 Fusion4D Our Demo
- 5. Comparison Demo 第１回 ３D勉強会@ 5 Fusion4D Our Demo
- 6. Hardware ・３台１組のカメラ （IRカメラ×２, RGBカメラ×１） 各 1M ピクセル ・３台構成のカメラを８組 ・コンピュータ × 12 CPU Intel Core i7, 3.4GHz CPU メモリ 16GB GPU NVIDIA Titan X × 2 ・マスター コンピュータ × 1 CPU Intel Core i7, 3.4GHz CPU メモリ 16GB GPU NVIDIA Titan X 第１回 ３D勉強会@ 6
- 8. Nonrigid Motion Field Estimation • N枚のDepthmapによるTSDFデータ • RawDepthmapに合わせてモデルを変形させるED-Model • 最適化の為のエネルギー関数 E(G) 第１回 ３D勉強会@ 8
- 9. Deformation field • 𝒯 𝑣 𝑚; 𝐺 = 𝑅 σ 𝑘∈𝑆 𝑚 𝑤 𝑘 𝑚 𝐴 𝑘 𝑣 − 𝑔 𝑘 + 𝑔 𝑘 + 𝑡 𝑘 + 𝑇 • 𝒯⊥ 𝑛 𝑚; 𝐺 = 𝑅 σ 𝑘∈𝑆 𝑚 𝑤 𝑘 𝑚 𝐴 𝑘 −𝑇 𝑛 𝑚 𝑤 𝑘 𝑚 = 1 𝑧 𝑒𝑥𝑝 𝑣 𝑚−𝑔 𝑘 2 2𝜎2 Global Rotation Global TranslationLocal Rotation Local RotationED Node TSDFによって求められたPoint 【 SUMNER, R. W., SCHMID, J., AND PAULY, M. 2007. Embedded deformation for shape manipulation. ACM TOG 26, 3, 80. 】 ノードに対して近い点は大きく影響を受ける ノードに対して遠い点は影響を受けにくい EDノードは4cm毎にサンプリングされており合計2K程とのこと 第１回 ３D勉強会@ 9
- 10. Truncated Signed Distance Function（TSDF） • 符号付きのVoxel • 物体の表面を0とし、表面から離れる程値が大きくなる • voxelの絶対値は一定以上は大きくならない 「セルの値」 = 「センサーから表面までのDepth値」 – 「センサーからVoxelまでの 距離」 第１回 ３D勉強会@ 10
- 12. メッシュの抽出 • TSDFデータからMarching cubes を用いてメッシュを抽出する 【 Zhongjie Long, Kouki Nagamune. Submitted on 28 Sep 2015. A Marching Cubes Algorithm: Application for Three-dimensional Surface Reconstruction Based on Endoscope and Optical Fiber】 ※実装では約250Kの頂点を持つメッシュ を抽出しているとのこと 第１回 ３D勉強会@ 12
- 13. Energey Function • 𝐸 𝐺 = 𝜆 𝑑𝑎𝑡𝑎 𝐸 𝑑𝑎𝑡𝑎 𝐺 + 𝜆ℎ𝑢𝑙𝑙 𝐸ℎ𝑢𝑙𝑙 𝐺 + 𝜆 𝑐𝑜𝑟𝑟 𝐸𝑐𝑜𝑟𝑟 𝐺 + 𝜆 𝑟𝑜𝑡 𝐸𝑟𝑜𝑡 𝐺 + 𝜆 𝑠𝑚𝑜𝑜𝑡ℎ 𝐸𝑠𝑚𝑜𝑜𝑡ℎ 𝐺 ５つのエネルギー関数から成るエネルギー関数 第１回 ３D勉強会@ 13
- 14. Data Term • 𝐸 𝑑𝑎𝑡𝑎 𝐺 = σ 𝑛=1 𝑁 σ 𝑚=1 𝑁 𝑚𝑖𝑛 𝑥∈𝑝(𝔻 𝑛) 𝒯 𝑣 𝑚; 𝐺 − 𝑥 2 • 𝐸 𝑑𝑎𝑡𝑎 𝐺 = σ 𝑛=1 𝑁 σ 𝑚∈𝑉𝑛 𝐺 ෦𝑛 𝑚 𝐺 ⊺ ෦𝑣 𝑚 𝐺 − Γ𝑛 ෦𝑣 𝑚 𝐺 2 理想的には推定した3D点とDepthMapから 取得したRaw dataを使う 実際にはこっちを使う 第１回 ３D勉強会@ 14
- 15. Data Term • 𝐸 𝑑𝑎𝑡𝑎 𝐺 = σ 𝑛=1 𝑁 σ 𝑚∈𝑉𝑛 𝐺 ෦𝑛 𝑚 𝐺 ⊺ ෦𝑣 𝑚 𝐺 − Γ𝑛 ෦𝑣 𝑚 𝐺 2 • 𝛤𝑛 𝑣 = 𝑃𝑛 Π 𝑛 𝑣 • Π 𝑛: ℝ3 → ℝ2 • Ρ𝑛: ℝ2 → ℝ3 Model point data Current point data カメラ座標上のピクセルに対応する点 ෦𝑣 𝑚 𝐺 Γ𝑛 ෦𝑣 𝑚 𝐺 point to plane Kok-Lim Low . Technical Report TR04-004, Department of Computer Science, University of North Carolina at Chapel Hill, February 2004. Linear Least-Squares Optimization for Point-to-Plane ICP Surface Registration 第１回 ３D勉強会@ 15
- 16. Regularization Terms • 𝐸𝑟𝑜𝑡 𝐺 = σ 𝑘=1 𝐾 𝐴 𝑘 𝑇 𝐴 𝑘 − Ι 𝐹 + σ 𝑘=1 𝐾 𝑑𝑒𝑡 𝐴 𝑘 − 1 2 𝐴 𝑘は直交座標系の回転行列になる フロベニウスノルム 直交座標系で はIになる 直交座標系で は１になる 第１回 ３D勉強会@ 16
- 17. Regularization Terms • 𝐸𝑠𝑚𝑜𝑜𝑡ℎ 𝐺 = σ 𝑛=1 𝑁 𝑤𝑗𝑘 𝜌 𝐴𝑗 𝑔 𝑘 − 𝑔𝑗 + 𝑔𝑗 + 𝑡𝑗 − 𝑔 𝑘 + 𝑡 𝑘 2 • 𝑤𝑗𝑘 = 𝑒𝑥𝑝 − 𝑔 𝑘−𝑔 𝑗 2 2𝜎2 𝐴𝑗 𝑣 − 𝑔𝑗 + 𝑔𝑗 + 𝑡𝑗 − 𝐴𝑗 𝑣 − 𝑔 𝑘 + 𝑔 𝑘 + 𝑡 𝑘 隣同士の差があまりないようにする 第１回 ３D勉強会@ 17
- 18. Visual Hull Term • 𝐸ℎ𝑢𝑙𝑙 𝐺 = σ 𝑚=1 𝑀 ℋ 𝒯 𝑣 𝑚; 𝐺 2 • occupancy Volume:ℍ 𝑣𝑜𝑥𝑒𝑙 = ൝ 1 𝑣𝑜𝑥𝑒𝑙 𝑖𝑛𝑠𝑖𝑑𝑒 𝑜𝑓 ℎ𝑢𝑙𝑙 0 各カメラが映す空間の積集合で モデル全体が何処に在るべきかを定義する 第１回 ３D勉強会@ 18KUTULAKOS, K. N., AND SEITZ, S. M. 2000. A theory of shape by space carving. IJCV.
- 19. Correspondence Term WANG, S., FANELLO, S. R., RHEMANN, C., IZADI, S., AND KOHLI, P. 2016. The global patch collider. CVPR. ５つの決定木で深さ15で上手くいったらしい f 𝑝; 𝜃 = ቊ 𝐿 𝑖𝑓 𝐼𝑠 𝑝 + Τ𝑢 𝑑 𝑠 − 𝐼𝑡 𝑝 + Τ𝑣 𝑑 𝑡 < 𝜃 𝑅 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 距離で正規化 ソース ターゲット 𝐸𝑐𝑜𝑟𝑟 𝐺 = 𝑛=1 𝑁 𝑓=1 𝐹 𝑛 𝜌 𝒯 𝑞 𝑛𝑓; 𝐺 − 𝑃𝑛 𝑢 𝑛𝑓 2 𝑞 𝑛𝑓 = 𝑎𝑟𝑔𝑚𝑖𝑛 𝑣∈𝑉 Π 𝑛 𝒯 𝑣; 𝐺 𝑝𝑟𝑒𝑣 − 𝑢 𝑛𝑓 𝑝𝑟𝑒𝑣 Π 𝑛: ℝ3 → ℝ2 Ρ𝑛: ℝ2 → ℝ3 ピクセル値 前のフレームの Deformedpoint 3D correspondence robustifier I:中心座標をpとするローカルパッチx (u,v) は 2D pixel のオフセット 𝛿 = 𝑢, 𝑣, 𝜃 は学習済 第１回 ３D勉強会@ 19
- 20. Optimization • 𝐸 𝐺 = 𝑓 𝑥 ⊺ 𝑓 𝑥 • →非線形最小二乗問題として取り扱うことが可能 𝐽⊺ 𝐽 + 𝜇Ι ℎ = −𝐽⊺ 𝑓 𝐿𝑒𝑣𝑒𝑛𝑏𝑒𝑟𝑔𝑀𝑎𝑟𝑞𝑢𝑎𝑟𝑑𝑡 (𝐿𝑀) 𝐸 𝑑𝑎𝑡𝑎 𝐺 = 𝑛=1 𝑁 𝑚∈𝑉𝑛 𝐺0 ෦𝑛 𝑚 𝐺0 ⊺ ෦𝑣 𝑚 𝐺 − Γ𝑛 ෦𝑣 𝑚 𝐺0 2 実際には近似式を使った 第１回 ３D勉強会@ 20
- 21. Optimization • 𝐸 𝐺 = 𝑓 𝑥 ⊺ 𝑓 𝑥 • →非線形最小二乗問題として取り扱うことが可能 𝐽⊺ 𝐽 + 𝜇Ι ℎ = −𝐽⊺ 𝑓 𝐿𝑒𝑣𝑒𝑛𝑏𝑒𝑟𝑔𝑀𝑎𝑟𝑞𝑢𝑎𝑟𝑑𝑡 (𝐿𝑀) 𝐸 𝑑𝑎𝑡𝑎 𝐺 = 𝑛=1 𝑁 𝑚∈𝑉𝑛 𝐺0 ෦𝑛 𝑚 𝐺0 ⊺ ෦𝑣 𝑚 𝐺 − Γ𝑛 ෦𝑣 𝑚 𝐺0 2 実際には近似式を使った 第１回 ３D勉強会@ 21
- 22. Linear Solving • Linear Solverで最適化 • preconditioned conjugate gradient (PCG)を使用する • ヤコビアンの評価が大幅に少なくてすむため、かなり高速 第１回 ３D勉強会@ 22
- 23. Linear Solving 第１回 ３D勉強会@ 23
- 24. Fusion at Data frame – Selective Fusion ෪𝑒 𝑟 = ቐ 𝐷 𝑑 ෪𝑥 𝑟 𝑖𝑓ℋ 𝑑 ෪𝑥 𝑟 = 0 𝑚𝑖𝑛 𝐷 𝑑 ෪𝑥 𝑟 , ℋ 𝑑 ෪𝑥 𝑟 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 𝑒 𝑝𝑖𝑥𝑒𝑙 = ቐ 𝑚𝑖𝑛 1.0, 𝑑−𝑑 𝑝𝑟𝑜𝑗 𝑑 𝑚𝑎𝑥 𝑖𝑓𝑑 𝑝𝑟𝑜𝑗 𝑖𝑠 𝑣𝑎𝑙𝑖𝑑 1.0 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 第１回 ３D勉強会@ 24 Voxel Misalignment 現実にはトポロジーが変化する物体を １つのモデルで表現することは難しい
- 26. Key Volumes 第１回 ３D勉強会@ 26
- 27. 第１回 ３D勉強会@ 27
- 28. 第１回 ３D勉強会@ 28
- 29. 第１回 ３D勉強会@ 29
- 30. 第１回 ３D勉強会@ 30
- 31. 第１回 ３D勉強会@ 31
- 32. 第１回 ３D勉強会@ 32
- 33. 第１回 ３D勉強会@ 33
- 34. 第１回 ３D勉強会@ 34
- 35. Comparison カメラの数がFusion4Dより82台多い“Collet et al. 2015”の4倍の速度 第１回 ３D勉強会@ 35
- 36. Time consumption 第１回 ３D勉強会@ 36
- 40. • 名前：岩澤 秀樹 • フリーランスエンジニア • Mail: hiwasawa0715@gmail.com ご興味、ご指摘等ありましたらご連絡頂ければと思います。 第１回 ３D勉強会@ 40