【CVPR 2019】DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation
•
0 likes•895 views
cvpaper.challenge はコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文投稿に取り組み、あらゆる知識を共有しています。 http://xpaperchallenge.org/cv/ 本資料は、CVPR 2019 網羅的サーベイの成果の一部で、1論文を精読してプレゼンテーション形式でまとめております。論文サマリは下記からご確認頂けます。 http://xpaperchallenge.org/cv/survey/cvpr2019_summaries/listall/
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Recently uploaded
Recently uploaded (16)
【CVPR 2019】DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation
- 1. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation 著者: J. J. Park, P. Florence, J. Straub, R. Newcombe, S. Lovegrove 資料作成：千葉直也（東北大） 1 http://xpaperchallenge.org/cv
- 2. DeepSDF • Signed Distance Function (SDF)を 直接学習することで三次元形状を 取り扱うネットワーク – 形状をコード化して形状ごとのSDFを学習 – モデルサイズが小さい – Codeの決め方に工夫（Auto-decoder）
- 3. 三次元形状の記述手法 3 • 点群 – PointNet系が爆発的に普及 – トポロジーを維持しない • メッシュ – データ構造が比較的複雑であるため， NNでの取り扱いが難しい • ボクセル – 解像度に対するメモリ効率が悪い （高解像度なデータが扱えない）
- 4. SDFとは 4 • Signed Distance Function 𝑓 𝒙 ቐ > 0（物体の外側） = 0（物体の表面） < 0（物体の内側） 画像: Wikipediaより 物体の形 SDF=0
- 5. SDFとは 5 • Signed Distance Function – 各点での，表面までの距離と内側か外側かの 情報のみを扱うため，3Dでもそのまま定義可能 – レイキャスティング，マーチングキューブなどで 可視化が可能
- 6. SDFの嬉しさ 6 • 軽量なネットワークで高精度な3D表現が可能 – 任意の点での「表面までの距離」が得られるので， 理想的にはいくらでも高解像な形状を得られる それぞれ左: 入力形状，右: DeepSDFによって再構築された形状
- 7. DeepSDF 7 • 基本的なアイデア ＝形状を関数＋パラメータで表現・記述 単一物体の場合 𝜽: NNのパラメータ 𝑓𝜽 𝒙 = 𝑆𝐷𝐹(𝒙) : 単一形状を表すSDF ある点𝒙でのSDFを返す関数になるよう， 𝜽を学習
- 8. DeepSDF 8 • 基本的なアイデア ＝形状を関数＋パラメータで表現・記述 複数形状の場合: 形状に対応するCodeも入力 𝜽: NNのパラメータ 𝒛𝑖: 形状𝑖を表すCode 𝑓𝜽 𝒛𝑖, 𝒙 = 𝑆𝐷𝐹 𝑖(𝒙) : 形状𝑖を表すSDF
- 9. DeepSDF 9 • 基本的なアイデア ＝形状を関数＋パラメータで表現・記述 複数形状の場合: 形状に対応するCodeも入力 𝜽: NNのパラメータ 𝒛𝑖: 形状𝑖を表すCode 𝑓𝜽 𝒛𝑖, 𝒙 = 𝑆𝐷𝐹 𝑖(𝒙) : 形状𝑖を表すSDF 要するに，形状そのものではなくSDFとして 三次元形状を陰的に保持するように学習
- 11. Representation Learning 11 • GANs – 幅広い応用例，特に2D画像 – 敵対的学習であるため不安定 • AEs, VAEs – 3Dでの応用例が多数 • Auto-decoder – まずデータセットでDecoderと Latent Vectorを同時に学習 – 新たなデータに対しては，Decoderを固定し Latent Vectorを最適化
- 12. DeepSDF コードの決め方: Auto-decoder – エンコーダーを置かず，直接コードを最適化 （Backprop.） – 推論時はMAP推定で形状からコードに変換できる 形状を表現する コード SDF
- 13. 学習 13 • 大量のSDFのサンプル点を生成 – ある一つの形状に対して500,000点サンプリング – 表面付近で特にサンプル密度が高くなるように – 中外の区別をするため，等間隔の仮想カメラで レンダリングして表側を判定
- 14. 実験 14 • 結果として示されている実験 – 学習したデータを表現できるか – 未知形状を表現できるか – 全周形状の推定 • 片面の深度画像からコードを推定して形状を再構築 – Latent Spaceでの形状補間 形状補間の例
- 15. 実験結果の例 15 • 片面点群からの全周形状推定 入力点群 推定結果 正解データ 比較手法
- 16. 関連論文 16 • CVPR2019 – DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation • Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, Steven Lovegrove – Occupancy Networks: Learning 3D Reconstruction in Function Space • Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, Andreas Geiger – Learning Implicit Fields for Generative Shape Modeling • Zhiqin Chen, Hao Zhang 同時多発的に近いアイデアが出てきた 皆川さんの発表でも同じ論文をピックアップ （いつも良質な資料をありがとうございます） https://www.slideshare.net/takmin/20190706cvpr20193dshaperepresentation-153989245