PointNet

1. 第１回 最新のML,CV,NLP
関連論文読み会
2017/06/18
@peisuke

2. 自己紹介
名前：藤本 敬介
所属：ABEJA
研究テーマ：コンピュータビジョン、ロボティクス
点群：認識、メッシュ化、統合
画像：認識、SfM、MVS
ロボット：移動ロボット制御、マニピュレータ
その他：
情報処理学会論文編集委員会（２０１６年度副
査）
各種学会会員

3. 発表の概要
• 発表論文
• PointNet: Deep Learning on Point Sets for 3D
Classification and Segmentation
• どんな論文？
• ３次元点群形式の形状データをディープラーニングで
扱えるようにした
• 分類やセマンティックセグメンテーションなどのタスクに適用
• 特徴は？
• 応用範囲がめっちゃ広い！
• 技術的には・・・
• 点群の順序に対して不変なネットワーク
• ローカル・グローバル両方加味した特徴抽出
• 向きに対してロバスト

4. PointNet: Deep Learning on Point
Sets for 3D Classification and
Segmentation
Authors:
Charles R. Qi, Hao Su, Kaichun Mo, Leonidas J. Guibas
Presenter:
K. Fujimoto

5. Convolutional Neural Network
• 高性能な画像認識の実現
• 畳み込み層、プーリング層、全結合層等で構成

6. CNN for 3D model
• ３DCNN
• ３次元点群データに対する畳み込み層
• 点群をボクセルに変換する事で画像と同様に扱う
• 課題：点群で表現可能だった細かな凹凸の欠損

7. PointNet
• 点群データを直接扱うことのできるネットワーク
• 点の順序や向きに対してロバスト
• 応用範囲が広い
• 分類、セグメンテーション、点の特徴抽出

8. 点群に対する要件
• 点群の順序に対して不変な結果であること
• (p1, p2, p3, p4)も(p1, p4, p3, p2)も同じ形状を示す
• 局所的な特徴も取れること
• 近傍の点同士の配置関係で形状が決まるため
• 回転に不変であること
• 画像と異なり座標系の取り方が任意
• z方向が上のように一概に定義できない場合もある

9. PointNetの構成
• 全体図

10. PointNetの構成
• PointNetの特徴
②順序に不変な変換
③局所特徴と全体特徴の併⽤④向きに不変となる変換
①点群の畳み込み

11. PointNetの構成の詳細
• 点群に対する畳み込み
x
y
z
x
y
z
x
y
z
p1
p2
p3
64 64
MLP(重みは各点共有)

12. 点群の順に不変な特徴抽出
• 僕が一番読みたかったところ
• やり方は・・・

13. Max Pooling

14. • MaxPooling！！！

15. 以上

16. 簡単に解説
• 順序によらない特徴抽出
• その他の例としては、
• 加算
• 積算
などがある。MaxPoolingが良いらしい。

17. 局所特徴と全体特徴の併用
• くっつけるだけ！！！

18. アライメントに関するネットワーク
• T-Net
• 点群を入力しアフィン変換行列を出力するネットワーク
• アフィン変換・・・回転・並進・拡大縮小
MaxPooling
MLP
Affine Matrix

19. 実験
• 実験内容
• 実験１
• 分類
• パーツセグメンテーション
• セマンティックセグメンテーション
• 検出、法線推定、点対応付け
• 実験２
• 順序に関するロバスト性検証
• アライメントに関する実験
• 点削減に対するロバスト性
• 実験３
• 全体に寄与する点の抽出
• 実験４
• ネットワーク効率に関する実験

20. 実験１：点群の分類
• 条件
• ModelNet40ベンチマーク
• 12,311個の人工CADデータ、40カテゴリ
• 大凡SOTA

21. 実験２：パーツセグメンテーション
• 条件
• ShapeNetパーツデータセット
• 16,881個のデータ、16カテゴリ、50種類のパーツ
• 精度はSOTA

22. 実験３：セマンティックセグメンテーション
• 条件
• Stanford 3D semantic parsing data
• 6 areas including 271 rooms, 13 categories

23. Another results

24. Object detection

25. Normal vector estimation
GTPred

26. Point to point correspondence

27. ネットワーク効率
• 既存のネットワークよりも小さい、精度は同程度
• 点ごとに計算できるのでCPUで並列化しやすい

28. まとめ
• 提案手法
• PointNet
• ボクセルなどの中間表現にせず、計測した点群データ
を直接扱えるネットワーク
• 技術
• 点の順序に依存しない特徴抽出
• 局所・全体を考慮した推論
• 回転にロバストなネットワーク
• 結果
• 広い応用範囲（分類、セグメンテーション、検出・・・）
• ネットワークサイズは小さいにも関わらずSOTA

29. その他
• 各点は、一点のみの特徴しか取っておらず、近傍の
特徴も計算すべきでは？
• PointNet++という著者の報告が最近arxivに出た
• なんと僕がこの論文を発表しようと決めた当日
• Chainerで実装中
• https://github.com/peisuke/pointnet.chainer
のdevブランチで実装中