Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

【CVPR 2019】DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation

135 views

Published on

cvpaper.challenge はコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文投稿に取り組み、あらゆる知識を共有しています。
http://xpaperchallenge.org/cv/

本資料は、CVPR 2019 網羅的サーベイの成果の一部で、1論文を精読してプレゼンテーション形式でまとめております。論文サマリは下記からご確認頂けます。
http://xpaperchallenge.org/cv/survey/cvpr2019_summaries/listall/

Published in: Technology
  • Be the first to comment

  • Be the first to like this

【CVPR 2019】DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation

  1. 1. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation 著者: J. J. Park, P. Florence, J. Straub, R. Newcombe, S. Lovegrove 資料作成:千葉直也(東北大) 1 http://xpaperchallenge.org/cv
  2. 2. DeepSDF • Signed Distance Function (SDF)を 直接学習することで三次元形状を 取り扱うネットワーク – 形状をコード化して形状ごとのSDFを学習 – モデルサイズが小さい – Codeの決め方に工夫(Auto-decoder)
  3. 3. 三次元形状の記述手法 3 • 点群 – PointNet系が爆発的に普及 – トポロジーを維持しない • メッシュ – データ構造が比較的複雑であるため, NNでの取り扱いが難しい • ボクセル – 解像度に対するメモリ効率が悪い (高解像度なデータが扱えない)
  4. 4. SDFとは 4 • Signed Distance Function 𝑓 𝒙 ቐ > 0(物体の外側) = 0(物体の表面) < 0(物体の内側) 画像: Wikipediaより 物体の形 SDF=0
  5. 5. SDFとは 5 • Signed Distance Function – 各点での,表面までの距離と内側か外側かの 情報のみを扱うため,3Dでもそのまま定義可能 – レイキャスティング,マーチングキューブなどで 可視化が可能
  6. 6. SDFの嬉しさ 6 • 軽量なネットワークで高精度な3D表現が可能 – 任意の点での「表面までの距離」が得られるので, 理想的にはいくらでも高解像な形状を得られる それぞれ左: 入力形状,右: DeepSDFによって再構築された形状
  7. 7. DeepSDF 7 • 基本的なアイデア =形状を関数+パラメータで表現・記述 単一物体の場合 𝜽: NNのパラメータ 𝑓𝜽 𝒙 = 𝑆𝐷𝐹(𝒙) : 単一形状を表すSDF ある点𝒙でのSDFを返す関数になるよう, 𝜽を学習
  8. 8. DeepSDF 8 • 基本的なアイデア =形状を関数+パラメータで表現・記述 複数形状の場合: 形状に対応するCodeも入力 𝜽: NNのパラメータ 𝒛𝑖: 形状𝑖を表すCode 𝑓𝜽 𝒛𝑖, 𝒙 = 𝑆𝐷𝐹 𝑖(𝒙) : 形状𝑖を表すSDF
  9. 9. DeepSDF 9 • 基本的なアイデア =形状を関数+パラメータで表現・記述 複数形状の場合: 形状に対応するCodeも入力 𝜽: NNのパラメータ 𝒛𝑖: 形状𝑖を表すCode 𝑓𝜽 𝒛𝑖, 𝒙 = 𝑆𝐷𝐹 𝑖(𝒙) : 形状𝑖を表すSDF 要するに,形状そのものではなくSDFとして 三次元形状を陰的に保持するように学習
  10. 10. DeepSDF ネットワークの構成 – SDF自体を学習するため,ネットワークの構造は シンプル – 基本的には単純なMLP 形状を表現するコード 三次元点 SDFの出力値
  11. 11. Representation Learning 11 • GANs – 幅広い応用例,特に2D画像 – 敵対的学習であるため不安定 • AEs, VAEs – 3Dでの応用例が多数 • Auto-decoder – まずデータセットでDecoderと Latent Vectorを同時に学習 – 新たなデータに対しては,Decoderを固定し Latent Vectorを最適化
  12. 12. DeepSDF コードの決め方: Auto-decoder – エンコーダーを置かず,直接コードを最適化 (Backprop.) – 推論時はMAP推定で形状からコードに変換できる 形状を表現する コード SDF
  13. 13. 学習 13 • 大量のSDFのサンプル点を生成 – ある一つの形状に対して500,000点サンプリング – 表面付近で特にサンプル密度が高くなるように – 中外の区別をするため,等間隔の仮想カメラで レンダリングして表側を判定
  14. 14. 実験 14 • 結果として示されている実験 – 学習したデータを表現できるか – 未知形状を表現できるか – 全周形状の推定 • 片面の深度画像からコードを推定して形状を再構築 – Latent Spaceでの形状補間 形状補間の例
  15. 15. 実験結果の例 15 • 片面点群からの全周形状推定 入力点群 推定結果 正解データ 比較手法
  16. 16. 関連論文 16 • CVPR2019 – DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation • Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, Steven Lovegrove – Occupancy Networks: Learning 3D Reconstruction in Function Space • Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, Andreas Geiger – Learning Implicit Fields for Generative Shape Modeling • Zhiqin Chen, Hao Zhang 同時多発的に近いアイデアが出てきた 皆川さんの発表でも同じ論文をピックアップ (いつも良質な資料をありがとうございます) https://www.slideshare.net/takmin/20190706cvpr20193dshaperepresentation-153989245

×