2020/07/04 BSP-Net (CVPR2020)
•
1 like•3,081 views
2020年7月4日に開催された全日本コンピュータビジョン勉強会「CVPR2020読み会」（前編）の発表資料 Best Student Paper "BSP-Net: Generating Compact Meshes via Binary Space Partitioning"の解説
More Related Content
What's hot
What's hot (20)
Similar to 2020/07/04 BSP-Net (CVPR2020)
Similar to 2020/07/04 BSP-Net (CVPR2020) (20)
More from Takuya Minagawa
More from Takuya Minagawa (20)
Recently uploaded
Recently uploaded (16)
2020/07/04 BSP-Net (CVPR2020)
- 1. 第３回全日本CV勉強会 CVPR2020読み会（前編） BSP-Net: Generating Compact Meshes via Binary Space Partitioning 2020/07/04 takmin
- 2. 自己紹介 2 株式会社ビジョン＆ITラボ 代表取締役 皆川 卓也（みながわ たくや） 「コンピュータビジョン勉強会＠関東」主催 博士（工学） 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp
- 4. 事業内容 1. Ｒ＆Ｄコンサルティング 2. 受託研究/開発 3. 開発マネジメント 4. 開発コンサルティング 5. ビジネス化コンサルティング 4
- 5. 深層学習 (Deep Learning) 5 深層学習についてのコンサルティングや開発支援などを 行います。 画像識別 物体検出 領域分割 人物姿勢推定 画像変換 画像生成(GAN) etc
- 6. Virtual Reality/Augmented Reality 6 御社がVirtual RealityやAugmented Realityを用いたビジネ スを行う上で必要な、総合的な技術コンサルティングや開 発/プロダクトを提供します。 特定物体認識 Visual SLAM 三次元スキャン Face Tracking
- 7. ナンバープレート認識： License Plate Recognizer 画像や動画からナンバープレートを読み取ります 入力画像/動画 文字＋座標 License Plate Recognizer 練馬444 ま 1564 • Web APIまたはSDKで提供可能 • SDK • LinuxまたはWindows • C++またはPython • アルファベット分類番号および図柄入りナンバープレートにも対応 • GPU不要でロバストかつ高速な認識
- 8. 紹介する論文 8 BSP-Net: Generating Compact Meshes via Binary Space Partitioning Chen, Z.,Tagliasacchi,A., & Zhang, H. Best Student Paper!
- 9. 3D Shapeの表現 9 Figure from “Occupancy Networks: Learning 3D Reconstruction in Function Space” Voxel Point Cloud Mesh +Simple -Cubic Memory -Manhattan world +Fast and Easy -No connectivity -Lossy Postprocessing +Natural -Require Template (topology) -Self-intersections
- 10. 3D Shapeの表現 10 Voxel Point Cloud Mesh Implicit Function +Infinite Resolution +Arbitrary Topologies +Watertight Meshes Figure from “Occupancy Networks: Learning 3D Reconstruction in Function Space” +Simple -Cubic Memory -Manhattan world +Fast and Easy -No connectivity -Lossy Postprocessing +Natural -Require Template (topology) -Self-intersections
- 11. 3D ShapeのDNN表現方法 11 三次元座標を入力すると、その場所が物体の内部かど うかを出力[0-1] 物体表面からの符号付距離を出すケースも（DeepSDF） Occupancy
- 12. 3D Shapeの表現 12 陰関数(Implicit Function)をDeep Learningで表現 （いずれもCVPR2019） IM-NET Learning Implicit Fields for Generative Shape Modeling OccNET Occupancy Networks: Learning 3D Reconstruction in Function Space DeepSDF DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation https://www.slideshare.net/takmin/20190706cvpr20193dshaperepresentation-153989245
- 13. 3D Shapeの表現 13 3Dをレンダリングするためには、メッシュ表現が使われる 陰関数を用いた3Dの表現では、Voxel表現に変換された後、 Marching Cube法などによってメッシュへ変換する必要がある。 そこで、DNNを用いて直接メッシュを用いた3D表現を行う BSP-Netを提案
- 14. BSP-NetのDNN表現方法 14 三次元座標を入力すると、その場所が物体の内部かど うかを出力[0-1] 内部では3D Shapeを凸多面体の集合として扱う Occupancy
- 16. BSP-Netによるメッシュ表現 16 超平面：𝑎𝑥 + 𝑏𝑦 + 𝑐𝑧 + 𝑑 = 0 特徴量𝐟からMLPで𝑝個の平面のパラメータ𝑷 𝑝×4を推定
- 19. ネットワーク構造 19
- 21. ネットワーク構造 21 ResNet（画像） 3D CNN (Voxel) PointNet (Point Cloud) etc
- 28. Layer2: 各凸多面体への距離算出 28 𝐶𝑗 ∗ (𝐱) = max 𝑖 𝐷𝑖 𝑇𝑖𝑗 𝐱
- 29. Layer2: 各凸多面体への距離算出 29 𝐶𝑗 ∗ (𝐱) = max 𝑖 𝐷𝑖 𝑇𝑖𝑗 𝐱 𝑇00 𝑇10 𝑇20 𝐷0 𝐷1 𝐷2 𝐶0 ∗ (𝐱) = 𝐷1 *𝐷0, 𝐷2は負
- 30. Layer2: 各凸多面体への距離算出 30 𝐶𝑗 ∗ (𝐱) = max 𝑖 𝐷𝑖 𝑇𝑖𝑗 𝐱 𝑇31 𝑇41 𝑇51 𝑇61 𝐷4 𝐷5 𝐷6 𝐶1 ∗ (𝐱) = 𝐷3 *𝐷4, 𝐷5, 𝐷6は負 𝐷3
- 31. Layer2: 各凸多面体への距離算出 31 𝐶𝑗 ∗ (𝐱) = max 𝑖 𝐷𝑖 𝑇𝑖𝑗 𝐱
- 32. Layer2: 各凸多面体への距離算出 32 𝐶𝑗 ∗ (𝐱) = max 𝑖 𝐷𝑖 𝑇𝑖𝑗 𝑇00 𝑇10 𝑇20 𝐷0 𝐷1 𝐷2 𝐶0 ∗ (𝐱) = 𝐷1 *𝐷0, 𝐷1, 𝐷2は負 𝐱
- 33. Layer2: 各凸多面体への距離算出 33 𝐶𝑗 ∗ (𝐱) = max 𝑖 𝐷𝑖 𝑇𝑖𝑗 𝑇31 𝑇41 𝑇51 𝑇61 𝐷4 𝐷5 𝐷6 𝐶1 ∗ (𝐱) = 𝐷3 *𝐷4, 𝐷5 は負 𝐷3 𝐱
- 34. Layer2: 学習のためmax-poolingの緩和 34 𝐶𝑗 ∗ (𝐱) = max 𝑖 𝐷𝑖 𝑇𝑖𝑗 (1) 𝐱が凸多面体の外の場合は正、内の場合は負 学習時、勾配がmaxを取った超平面にしか伝播されない
- 35. Layer2: 学習のためmax-poolingの緩和 35 𝐶𝑗 ∗ (𝐱) = max 𝑖 𝐷𝑖 𝑇𝑖𝑗 (1) 𝐱が凸多面体の外の場合は正、内の場合は負 学習時、勾配がmaxを取った超平面にしか伝播されない 𝐶𝑗 + (𝐱) = σ𝑖 relu 𝐷𝑖 𝑇𝑖𝑗 (2) 𝐱が凸多面体の外の場合は正、内の場合はゼロ 学習効率を高めるため、𝐶𝑗 ∗ (𝐱)の条件を緩和
- 36. Layer2: 各凸多面体への距離算出 36 𝐶𝑗 + (𝐱) = 𝑖 relu 𝐷𝑖 𝑇𝑖𝑗 𝐱
- 37. Layer2: 各凸多面体への距離算出 37 𝐶𝑗 + (𝐱) = 𝑖 relu 𝐷𝑖 𝑇𝑖𝑗 𝑇00 𝑇10 𝑇20 𝐷0 𝐷1 𝐷2 𝐶0 + (𝐱) = 0 *𝐷0, 𝐷1, 𝐷2は負 𝐱
- 38. Layer2: 各凸多面体への距離算出 38 𝐶𝑗 + (𝐱) = 𝑖 relu 𝐷𝑖 𝑇𝑖𝑗 𝑇31 𝑇41 𝑇51 𝑇61 𝐷4 𝐷5 𝐷6 𝐶1 + (𝐱) = 𝐷3 + 𝐷6 *𝐷4, 𝐷5 は負 𝐷3 𝐱
- 40. Layer3: 凸多面体を座標𝐱へ割り当て 40 𝑆∗(𝐱) = min 𝑗 𝐶𝑗 + (𝐱) (3) 𝐱が凸多面体の外の場合は正、内の場合はゼロ 学習時、勾配がminを取った凸多面体にしか伝播されない
- 41. Layer3: 凸多面体を座標𝐱へ割り当て 41 𝑆∗(𝐱) = min 𝑗 𝐶𝑗 + (𝐱) (3) 𝐱が凸多面体の外の場合は正、内の場合はゼロ 学習時、勾配がminを取った凸多面体にしか伝播されない 𝑆+(𝐱) = σ 𝑗 𝑊𝑗 1 − 𝐶𝑗 + (𝐱) 0,1 0,1 (4) ∙ 0,1 :クリッピング, 𝐖 ≈ 1 学習効率を高めるため、 𝑆∗ (𝐱)の条件を緩和 𝐱が凸多面体の外の場合は[0,1) 、内の場合は1となるよう に学習
- 42. Layer3: 凸多面体を座標𝐱へ割り当て 42 𝐶0 + (𝐱) = 0 𝐱 𝑆∗(𝐱) = min 𝑗 𝐶𝑗 + (𝐱) 𝐶1 + (𝐱) = 𝐷3 + 𝐷6 𝑆∗(𝐱) = 𝐶0 + (𝐱) = 0 座標𝐱から最も近い凸多面体までの距離
- 43. Layer3: 凸多面体を座標𝐱へ割り当て 43 𝐶0 + (𝐱) = 0 𝐱 𝑆+ (𝐱) = 𝑗 𝑊𝑗 1 − 𝐶𝑗 + (𝐱) 0,1 0,1 𝐶1 + (𝐱) = 𝐷3 + 𝐷6 𝑆+ 𝐱 = 𝑊0 1 − 𝐶0 + 𝐱 0,1 + 𝑊1 1 − 𝐶1 + 𝐱 0,1 0,1 = 𝑊0 + 𝑊1 1 − 𝐷3 − 𝐷6 0,1 0,1 𝑆∗を重み𝐖𝑐×1で緩和
- 44. 連続と離散の2-Stage学習 44 Training Stage 1 – Continuous 超平面を推定するパラメータ 𝜔と、凸多面体を構成する 超平面の組み合わせ 𝐓を学習し、 𝑆+ (𝐱)を最適化 𝐓は二値行列ではなく、連続値として学習
- 45. 連続と離散の2-Stage学習 45 Training Stage 1 – Continuous 超平面を推定するパラメータ 𝜔と、凸多面体を構成する 超平面の組み合わせ 𝐓を学習し、 𝑆+ (𝐱)を最適化 𝐓は二値行列ではなく、連続値として学習 Training Stage 2 – Discrete 𝐓を閾値 𝜆で二値化し固定 超平面を推定するパラメータ 𝜔のみ学習し、 𝑆∗ (𝐱)を最適 化
- 46. 連続と離散の2-Stage学習 46 Training Stage 1 – Continuous 超平面を推定するパラメータ 𝜔と、凸多面体を構成する 超平面の組み合わせ 𝐓を学習し、 𝑆+ (𝐱)を最適化 𝐓は二値行列ではなく、連続値として学習 (5) 3D座標𝐱の3D Shape内外判定 をGround Truthと一致させる項 行列𝐓の各要素に0から1の間を取 らせるための正規化項 𝐖 ≈ 1とするための正規化項 argmin 𝜔,𝐓,𝐖 ℒrec + + ℒ 𝐓 + + ℒ 𝐖 +
- 47. 連続と離散の2-Stage学習 47 Training Stage 1 – Continuous 超平面を推定するパラメータ 𝜔と、凸多面体を構成する 超平面の組み合わせ 𝐓を学習し、 𝑆+ (𝐱)を最適化 𝐓は二値行列ではなく、連続値として学習 (5)argmin 𝜔,𝐓,𝐖 ℒrec + + ℒ 𝐓 + + ℒ 𝐖 + ℒrec + = Ε 𝐱~G 𝑆+ 𝐱 − 𝐹(𝐱|G) 2 𝐱が凸多面体の外の場合 は[0,1) 、内の場合は1 𝐱が凸多面体の外の場 合は0 、内の場合は1 G : Ground Truth
- 48. 連続と離散の2-Stage学習 48 Training Stage 2 – Discrete 𝐓を閾値 𝜆 = 0.01で二値化 特徴量 𝐟から超平面を推定するパラメータ 𝜔のみ学習し、 𝑆∗(𝐱)を最適化 (9)argmin 𝜔 ℒrecon ∗ + ℒoverlap ∗ 3D座標𝐱の3D Shape内外判定 をGround Truthと一致させる項 凸多面体の重複を避ける ための項
- 49. 連続と離散の2-Stage学習 49 Training Stage 2 – Discrete 𝐓を閾値 𝜆 = 0.01で二値化 特徴量 𝐟から超平面を推定するパラメータ 𝜔のみ学習し、 𝑆∗(𝐱)を最適化 (9)argmin 𝜔 ℒrecon ∗ + ℒoverlap ∗ ℒrecon ∗ = Ε 𝐱~G 𝐹(𝐱|G) ∙ max 𝑆∗ 𝐱 , 0 +Ε 𝐱~G 1 − 𝐹(𝐱|G) ∙ 1 − min 𝑆∗ 𝐱 , 1 𝑆∗ 𝐱 : 𝐱が凸多面体の外の場合は> 0 、内の場合は0 𝐹 𝐱 G : 𝐱が凸多面体の外の場合は0 、内の場合は1
- 50. 連続と離散の2-Stage学習 50 Training Stage 2 – Discrete 𝐓を閾値 𝜆 = 0.01で二値化 特徴量 𝐟から超平面を推定するパラメータ 𝜔のみ学習し、 𝑆∗(𝐱)を最適化 (9)argmin 𝜔 ℒrecon ∗ + ℒoverlap ∗ ℒrecon ∗ = Ε 𝐱~G 𝐹(𝐱|G) ∙ max 𝑆∗ 𝐱 , 0 +Ε 𝐱~G 1 − 𝐹(𝐱|G) ∙ 1 − min 𝑆∗ 𝐱 , 1 𝑆∗ 𝐱 : 𝐱が凸多面体の外の場合は> 0 、内の場合は0 𝐹 𝐱 G : 𝐱が凸多面体の外の場合は0 、内の場合は1 多面体内のLoss
- 51. 連続と離散の2-Stage学習 51 Training Stage 2 – Discrete 𝐓を閾値 𝜆 = 0.01で二値化 特徴量 𝐟から超平面を推定するパラメータ 𝜔のみ学習し、 𝑆∗(𝐱)を最適化 (9)argmin 𝜔 ℒrecon ∗ + ℒoverlap ∗ ℒrecon ∗ = Ε 𝐱~G 𝐹(𝐱|G) ∙ max 𝑆∗ 𝐱 , 0 +Ε 𝐱~G 1 − 𝐹(𝐱|G) ∙ 1 − min 𝑆∗ 𝐱 , 1 𝑆∗ 𝐱 : 𝐱が凸多面体の外の場合は> 0 、内の場合は0 𝐹 𝐱 G : 𝐱が凸多面体の外の場合は0 、内の場合は1 多面体外のLoss
- 52. 連続と離散の2-Stage学習 52 Training Stage 2 – Discrete 𝐓を閾値 𝜆 = 0.01で二値化 特徴量 𝐟から超平面を推定するパラメータ 𝜔のみ学習し、 𝑆∗(𝐱)を最適化 (9)argmin 𝜔 ℒrecon ∗ + ℒoverlap ∗ 𝑆∗ 𝐱 : 𝐱が凸多面体の外の場合は> 0 、内の場合は0 𝑀 𝐱 : 𝐱が１つ以上の凸多面体の内の場合は1 ℒoverlap ∗ = −Ε 𝐱~G 𝑀(𝐱)𝑆∗ 𝐱
- 53. 実験で使用したパラメータ 53 2D 直線数: p=256 凸多角形数: c=64 encoder: ResNet-18 3D 平面数: p=4096 凸多面体数: c=256 encoder: 3D CNN (for voxel data)
- 54. Auto-encoding 2D shapes 54 2Dの合成画像データセット 64x64画像上に左から四角、クロス、中空の四角を並べた画 像 Stage-2の方が1よりも良い結果 Overlap Lossがコンパクトな表現に寄与
- 55. Auto-encoding 2D shapes 55 凸多面体を表現するために使用された平面の例
- 56. Auto-encoding 3D Shapes 56 3D Shapeを入力とし、メッシュ生成 ShapeNet (Part) Dataset air-plane, car, chair, lamp, tableの5クラス １クラスごとに１モデル学習 以下のパフォーマンスを評価 Reconstruction Segmentation
- 57. Auto-encoding 3D Shapes 57 パーツへ分割する既存研究と比較 Volumetric Primitives (VP) Tulsiani, S., Su, H., Guibas, L. J., Efros,A.A., & Malik, J. (2017). Learning shape abstractions by assembling volumetric primitives. In Conference on ComputerVision and Pattern Recognition. 3D ShapeをPrimitive Shapeの集合で表現 Super Quadrics (SQ) Paschalidou, D., Ulusoy,A. O., & Geiger,A. (2019). Superquadrics revisited: Learning 3D shape parsing beyond cuboids. IEEE Conference on Computer Vision and Pattern Recognition, 2019-June, 10336–10345. 3D Shapeを超楕円体 (Super Quadrics)の集合で表現 Branched Auto Encoders (BAE) Chen, Z.,Yin, K., Fisher, M., Chaudhuri, S., & Zhang, H. (2019). BAE-NET : Branched Autoencoder for Shape Co-Segmentation. In International Conference on ComputerVision. 3D Shapeを陰関数で表現したパーツの集合で表現
- 58. Auto-encoding 3D Shapes 58 Semantic Segmentationの結果 GroundTruthについたパーツごとのラベル情報を元に投票 同じSemanticの凸多面体をグルーピングして色付け
- 59. Auto-encoding 3D Shapes 59 SegmentationとReconstruction結果の比較
- 60. Auto-encoding 3D Shapes (定量評価) 60 Surface Reconstructionの定量評価 Chamfer Distance (CD) Normal Consistency (NC) Light Field Distance (LFD)
- 61. Auto-encoding 3D Shapes (定量評価) 61 Segmentationの定量評価 ラベルごとのIoU
- 62. Single View Reconstruction (SVR) 62 １枚の画像から３次元モデル生成 ShapeNetの1000以上の形状から3D-R2N2という手法を 用いてViewを描画 １つのモデルですべてのカテゴリを学習
- 63. Single View Reconstruction (SVR) 63 以下の手法と比較 Atlasnet Groueix,T., Fisher, M., Kim,V. G., Russell, B. C., & Aubry, M. (2018).A Papier-Mache Approach to Learning 3D Surface Generation. In Conference on ComputerVision and Pattern Recognition. OccNet Mescheder, L., Oechsle, M., Niemeyer, M., Nowozin, S., & Geiger,A. (2019). Occupancy Networks: Learning 3D Reconstruction in Function Space. Conference on ComputerVision and Pattern Recognition. IM-NET Chen, Z. (2019). Learning Implicit Fields for Generative Shape Modeling. Conference on ComputerVision and Pattern Recognition.
- 64. Single View Reconstruction (SVR) 64 定量評価 Atlas0: 1つの球形パッチ使用 Atlas25: 25個の正方形パッチを使用
- 65. Single View Reconstruction (SVR) 65 全カテゴリでの平均 #V: 頂点数 #F: 三角メッシュ数
- 66. Single View Reconstruction (SVR) 66 同じSemanticを持つパートを色付けした例
- 67. 結論と課題 67 凸多面体の集合として、3Dメッシュを生成するBSP-Netを 提案 平面の集合として凸多面体を学習 既存手法と比較し、定量的な性能を落とすことなく、 シャープな形状を表現できるなど、定性的に優れている 凸多面体の集合で表せないような形状（例：コーヒーカッ プのような凹面を持つもの）は苦手 推論は早いが学習は遅い SVRタスクですべてのカテゴリを学習するのにRTX2080Tiで６ 日