Download as PDF, PPTX
![Benchmark Datasets
21
bird dogs
lti-view datasets with laser-scanned 3D models.
317 camera positions and orientations for the temple
gaps are due to shadows. The 47 cameras correspond-
g dataset are shown in blue and red, and the 16 sparse
only in red.
at serves as an initial estimate of scene geom-
31,47,48].
tion of 640 × 480 pixels att
arm. At this resolution, a pix
0.25mm on the surface of th
10cm × 16cm × 8cm, and th
The system was calibrated
tion grid from 68 viewpoints
[61] to compute intrinsic an
these parameters, we compu
and rotational offset relative t
abling us to determine the cam
as a function of any desired a
The target object sits on
center of the gantry sphere an
lights. Because the gantry c
certain viewpoints, we double
two different arm configurat
images. After shadowed im
we obtained roughly 80% cov
resulting images, we created
corresponding to a full hemis
temple temple model
temple
dino
カメラ配置 47視点
カメラ解像度 640x480
Temple
10x16x8 cm
Dino
7x9x7 cm](https://image.slidesharecdn.com/presentation-150327102027-conversion-gate01/85/28th-CV-3-21-320.jpg)
![SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～](https://cdn.slidesharecdn.com/ss_thumbnails/ts1-01-210607042113-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）](https://cdn.slidesharecdn.com/ss_thumbnails/os3-01-210605061816-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Envir...](https://cdn.slidesharecdn.com/ss_thumbnails/20201023voxelposekuboshizuma-201023025841-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2020 [O3-01] Extreme 3D センシング](https://cdn.slidesharecdn.com/ss_thumbnails/200612-ssii-extreme3dsensing-print3-200608114658-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Stereo Magnification: Learning view synthesis using multiplane images, +α](https://cdn.slidesharecdn.com/ss_thumbnails/stereomagnification-201002033144-thumbnail.jpg?width=640&height=640&fit=bounds)
28th CV勉強会@関東 #3
- 1. 第28回 CV勉強会@関東 コンピュータビジョン 最先端ガイド5 Multi-View Stereo#3 Mar. 28, 2015 Hiroki Mizuno 1
- 2. 話す場所 • 複数画像からの三次元復元手法 1. はじめに 2. システム概要と構成上の注意 1. 画像収集 2. カメラパラメータ推定 3. 密な形状復元 1. 最先端のMVS研究例 3. 多眼ステレオ (Multi-View Stereo) 1. フォトメトリックコンシステンシー 2. デプスマップ復元 3. デプスマップからのメッシュ復元 4. 復元結果 4. むすび 2
- 3. 密な形状復元 • Structure fromMotion (SfM) の結果 – カメラパラメータ – カメラ間の対応点 (特徴点) の三次元点群 = 疎な形状復元 3 SfM bundlerのExamplesより借用
- 4.
- 5.
- 6.
- 7. Multi-View Stereo • What'sMulti-View Stereo – キャリブレーション済みの多視点画像から高 精度・高密度な三次元形状復元 • 長所 – 高解像度 – 撮影速度 – 価格 • 短所 – テクスチャが必要 – リアルタイム復元が困難 7
- 8. Multi-View Stereo Algorithmサーベイ • A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithm – CVPR 2006 – Authors : • Steven M. Seitz • Brain Curless • James Diebel • Daniel Scharstein • Richard Szeliski • 各種アルゴリズムの分類 • 復元性能のベンチマーク・ランキング 8
- 9. Multi-View Stereo taxonomy • Scene representation • Photo-consistency measure • Visibility model • Shape prior • Reconstruction algorithm • Initialization requirements 9
- 10. Scene representation • 取り扱う3次元空間の表現方法 – Volume – PolygonMesh – Set of depth maps 10
- 11. Scene representation • Volume – 3次元空間をGrid状に分割した空間 • Voxel • Level-Set Voxel • 各Gridにオブジェクトの占有率(二値)を格納 Level-Set • 各Gridに、最も近い面までの距離を格納 11
- 12. Scene representation • PolygonMesh – 頂点とそれを繋ぐ面のセット 12
- 13. Scene representation • Setof depth maps – 各カメラのピクセルごとの深度情報集合 13
- 14. Photo-consistency measure • 画像間の「見え」の対応を計算する方法 – Scenespace – Image space • 反射モデル – 多くのアルゴリズムは"Lambertモデル"を仮定 • 見えが視点位置に依存しない • 陰影は光源と面の傾きのみに依存 – 最近 (2006年時点) の新しいアルゴリズムでは BRDFなどを想定したものもある 14
- 15. Photo-consistency measure • Scenespace – シーン中の点を各カメラに投影しPhoto- consistencyを計算 – Photo-consistencyはSSDやNCCで計算するこ とが一般的 15 538 Computer Vision: Algorithms and Applications (Septemb p x1 x0 (R,t) p∞ e1e0c0 c1 epipolar plane p (R,t) c0 epipolar lines x 0 e0 e1 l0
- 16. Photo-consistency measure • Imagespace – カメラ画像をシーンに投影してPhoto- consistencyを計算 16 11.1 Epipolar geometry 541 Virtual camera d x y Input image k u v Homography: u = H x x y k d k (a) (b)
- 17. Visibility model • 各カメラでの可視・不可視の判断方法 – オクルージョンの問題 • Geometric – 真面目に取り組むアプローチ – 基本的にチキン・エッグ問題なので、カメラ配置に制約を 持たせるなどで対応 • Quasi-geometric – 近似情報を使うアプローチ – Visual Hullなどで粗い復元をしてからPhoto-Consistencyを 計算 • Outlier-based – 外れ値を無視するアプローチ – "複数の画像からのphoto-consistency"で説明されているア プローチもこれに該当 17
- 18. Shape prior • 形状に対する事前知識モデル – Photo-consistencyだけでは失敗する – 特にTextureのない領域 • Minimal Surface – 面は滑らかである – 曲率の高い部分は苦手 – Level-set, mesh-based algorithm • Maximal Surface – 空間を削る系のアプローチ – 輝度が一致する解が見つかればその場で停止 – 高い曲率も表現できる – 全体的に復元結果が大きくなる傾向になる – Voxel-coloring, Space carving • Image-based – 近傍PixelのDepthはSmooth – 2D Markov Random Field 18
- 19. Reconstruction algorithm • 3DVolume – Volumeの各格子でコスト関数を計算 – その後、Surfaceを抽出 – Voxel-coloring, Volumetric MRF • Evolving surface – 徐々に面を形成してくアプローチ – Level-set, Space carving • Depth map – 複数のDepth mapを独立に計算し、統合 • Feature Point – 疎な再構成を行ってから、それらを補間 19
- 20. Initialization requirements • 初期化の要件 – RoughBounding Box or Volume • Space carving • Level-set (質の高い初期値が必要) – Foreground/background segmentation • silhouette – Range of disparity or depth values • Image-space algorithm 20
- 21. Benchmark Datasets 21 bird dogs lti-viewdatasets with laser-scanned 3D models. 317 camera positions and orientations for the temple gaps are due to shadows. The 47 cameras correspond- g dataset are shown in blue and red, and the 16 sparse only in red. at serves as an initial estimate of scene geom- 31,47,48]. tion of 640 × 480 pixels att arm. At this resolution, a pix 0.25mm on the surface of th 10cm × 16cm × 8cm, and th The system was calibrated tion grid from 68 viewpoints [61] to compute intrinsic an these parameters, we compu and rotational offset relative t abling us to determine the cam as a function of any desired a The target object sits on center of the gantry sphere an lights. Because the gantry c certain viewpoints, we double two different arm configurat images. After shadowed im we obtained roughly 80% cov resulting images, we created corresponding to a full hemis temple temple model temple dino カメラ配置 47視点 カメラ解像度 640x480 Temple 10x16x8 cm Dino 7x9x7 cm
- 22.
- 23. 最先端のMVS研究例 • "Silhouette andstereo fusion for 3D object modeling" – CVIU 2004 – ターンテーブルを使い、10度ごとに画像取得 – Visual Hull → Polygon Mesh復元 – レーザレンジセンサーレベルの復元に成功 23 Input Image Reconstructed Model 頂点数 114,496点 Gouraud shading Textured
- 24. 最先端のMVS研究例 • "A GloballyOptimal Algorithm for Robust TV-L1" – ICCV2007 – 中間データとしてDepth-Mapを保持 – 複数のDepth-Mapを併合することでポリゴン メッシュ復元 24 (a) Depth image #1 (b) Depth image #2 (c) Mesh view #1 (d) Mesh view #2 Figure 3. Selected depth images and the final mesh (379958 triangles) for the “Dino” dataset.
- 25.
- 26. 最先端のMVS研究例 • "Towards Internet-scaleMulti-view Stereo " – CVPR 2010 – 法線付きの点群として3次元復元 – 大規模MVS 26 cale Multi-view Stereo Steven M. Seitz1,2 Richard Szeliski3 Washington 3 Microsoft Research Figure 1. Our dense reconstruction of Piazza San Marco (Venice) Pizza San Marco (Venice) 視点数 : 13,703 点群数 : 27,707,825
- 27.
- 28. 公開されている無償ソフトウェア Structure from Motion(SfM) – Bundler • Photo Tourismはこれを使ってる – Voodoo Camera Tracker • 動画からのSfM Multi-View Stereo (MVS) – Patch-based Multi-view Stereo (PMVS) – Poisson Surface Reconstruction • 法線付き点群からのMesh生成 Web Service – My3DScanner (サービス終了？？？) • Bundler + PMVS + Poisson Surface Reconstruction – Photosynth – Automatic Reconstruction Conduit Viewer – MeshLab 28