Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
第1回 最新のML,CV,NLP
関連論文読み会
2017/06/18
@peisuke
自己紹介
名前:藤本 敬介
所属:ABEJA
研究テーマ:コンピュータビジョン、ロボティクス
点群:認識、メッシュ化、統合
画像:認識、SfM、MVS
ロボット:移動ロボット制御、マニピュレータ
その他:
情報処理学会論文編集委員会(2016年...
発表の概要
• 発表論文
• PointNet: Deep Learning on Point Sets for 3D
Classification and Segmentation
• どんな論文?
• 3次元点群形式の形状データをディープラ...
PointNet: Deep Learning on Point
Sets for 3D Classification and
Segmentation
Authors:
Charles R. Qi, Hao Su, Kaichun Mo, L...
Convolutional Neural Network
• 高性能な画像認識の実現
• 畳み込み層、プーリング層、全結合層等で構成
CNN for 3D model
• 3DCNN
• 3次元点群データに対する畳み込み層
• 点群をボクセルに変換する事で画像と同様に扱う
• 課題:点群で表現可能だった細かな凹凸の欠損
PointNet
• 点群データを直接扱うことのできるネットワーク
• 点の順序や向きに対してロバスト
• 応用範囲が広い
• 分類、セグメンテーション、点の特徴抽出
点群に対する要件
• 点群の順序に対して不変な結果であること
• (p1, p2, p3, p4)も(p1, p4, p3, p2)も同じ形状を示す
• 局所的な特徴も取れること
• 近傍の点同士の配置関係で形状が決まるため
• 回転に不変であ...
PointNetの構成
• 全体図
PointNetの構成
• PointNetの特徴
②順序に不変な変換
③局所特徴と全体特徴の併⽤④向きに不変となる変換
①点群の畳み込み
PointNetの構成の詳細
• 点群に対する畳み込み
x
y
z
x
y
z
x
y
z
p1
p2
p3
64 64
MLP(重みは各点共有)
点群の順に不変な特徴抽出
• 僕が一番読みたかったところ
• やり方は・・・
Max Pooling
• MaxPooling!!!
以上
簡単に解説
• 順序によらない特徴抽出
• その他の例としては、
• 加算
• 積算
などがある。MaxPoolingが良いらしい。
局所特徴と全体特徴の併用
• くっつけるだけ!!!
アライメントに関するネットワーク
• T-Net
• 点群を入力しアフィン変換行列を出力するネットワーク
• アフィン変換・・・回転・並進・拡大縮小
MaxPooling
MLP
Affine	Matrix
実験
• 実験内容
• 実験1
• 分類
• パーツセグメンテーション
• セマンティックセグメンテーション
• 検出、法線推定、点対応付け
• 実験2
• 順序に関するロバスト性検証
• アライメントに関する実験
• 点削減に対するロバスト性...
実験1:点群の分類
• 条件
• ModelNet40ベンチマーク
• 12,311個の人工CADデータ、40カテゴリ
• 大凡SOTA
実験2:パーツセグメンテーション
• 条件
• ShapeNetパーツデータセット
• 16,881個のデータ、16カテゴリ、50種類のパーツ
• 精度はSOTA
実験3:セマンティックセグメンテーション
• 条件
• Stanford 3D semantic parsing data
• 6 areas including 271 rooms, 13 categories
Another results
Object detection
Normal vector estimation
GTPred
Point to point correspondence
ネットワーク効率
• 既存のネットワークよりも小さい、精度は同程度
• 点ごとに計算できるのでCPUで並列化しやすい
まとめ
• 提案手法
• PointNet
• ボクセルなどの中間表現にせず、計測した点群データ
を直接扱えるネットワーク
• 技術
• 点の順序に依存しない特徴抽出
• 局所・全体を考慮した推論
• 回転にロバストなネットワーク
• 結果
•...
その他
• 各点は、一点のみの特徴しか取っておらず、近傍の
特徴も計算すべきでは?
• PointNet++という著者の報告が最近arxivに出た
• なんと僕がこの論文を発表しようと決めた当日
• Chainerで実装中
• https://...
Upcoming SlideShare
Loading in …5
×

Point net

11,303 views

Published on

PointNet

Published in: Engineering
  • Sex in your area is here: ❤❤❤ http://bit.ly/2F7hN3u ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Dating direct: ❶❶❶ http://bit.ly/2F7hN3u ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Hello! Get Your Professional Job-Winning Resume Here - Check our website! https://vk.cc/818RFv
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Point net

  1. 1. 第1回 最新のML,CV,NLP 関連論文読み会 2017/06/18 @peisuke
  2. 2. 自己紹介 名前:藤本 敬介 所属:ABEJA 研究テーマ:コンピュータビジョン、ロボティクス 点群:認識、メッシュ化、統合 画像:認識、SfM、MVS ロボット:移動ロボット制御、マニピュレータ その他: 情報処理学会論文編集委員会(2016年度副 査) 各種学会会員
  3. 3. 発表の概要 • 発表論文 • PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation • どんな論文? • 3次元点群形式の形状データをディープラーニングで 扱えるようにした • 分類やセマンティックセグメンテーションなどのタスクに適用 • 特徴は? • 応用範囲がめっちゃ広い! • 技術的には・・・ • 点群の順序に対して不変なネットワーク • ローカル・グローバル両方加味した特徴抽出 • 向きに対してロバスト
  4. 4. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation Authors: Charles R. Qi, Hao Su, Kaichun Mo, Leonidas J. Guibas Presenter: K. Fujimoto
  5. 5. Convolutional Neural Network • 高性能な画像認識の実現 • 畳み込み層、プーリング層、全結合層等で構成
  6. 6. CNN for 3D model • 3DCNN • 3次元点群データに対する畳み込み層 • 点群をボクセルに変換する事で画像と同様に扱う • 課題:点群で表現可能だった細かな凹凸の欠損
  7. 7. PointNet • 点群データを直接扱うことのできるネットワーク • 点の順序や向きに対してロバスト • 応用範囲が広い • 分類、セグメンテーション、点の特徴抽出
  8. 8. 点群に対する要件 • 点群の順序に対して不変な結果であること • (p1, p2, p3, p4)も(p1, p4, p3, p2)も同じ形状を示す • 局所的な特徴も取れること • 近傍の点同士の配置関係で形状が決まるため • 回転に不変であること • 画像と異なり座標系の取り方が任意 • z方向が上のように一概に定義できない場合もある
  9. 9. PointNetの構成 • 全体図
  10. 10. PointNetの構成 • PointNetの特徴 ②順序に不変な変換 ③局所特徴と全体特徴の併⽤④向きに不変となる変換 ①点群の畳み込み
  11. 11. PointNetの構成の詳細 • 点群に対する畳み込み x y z x y z x y z p1 p2 p3 64 64 MLP(重みは各点共有)
  12. 12. 点群の順に不変な特徴抽出 • 僕が一番読みたかったところ • やり方は・・・
  13. 13. Max Pooling
  14. 14. • MaxPooling!!!
  15. 15. 以上
  16. 16. 簡単に解説 • 順序によらない特徴抽出 • その他の例としては、 • 加算 • 積算 などがある。MaxPoolingが良いらしい。
  17. 17. 局所特徴と全体特徴の併用 • くっつけるだけ!!!
  18. 18. アライメントに関するネットワーク • T-Net • 点群を入力しアフィン変換行列を出力するネットワーク • アフィン変換・・・回転・並進・拡大縮小 MaxPooling MLP Affine Matrix
  19. 19. 実験 • 実験内容 • 実験1 • 分類 • パーツセグメンテーション • セマンティックセグメンテーション • 検出、法線推定、点対応付け • 実験2 • 順序に関するロバスト性検証 • アライメントに関する実験 • 点削減に対するロバスト性 • 実験3 • 全体に寄与する点の抽出 • 実験4 • ネットワーク効率に関する実験
  20. 20. 実験1:点群の分類 • 条件 • ModelNet40ベンチマーク • 12,311個の人工CADデータ、40カテゴリ • 大凡SOTA
  21. 21. 実験2:パーツセグメンテーション • 条件 • ShapeNetパーツデータセット • 16,881個のデータ、16カテゴリ、50種類のパーツ • 精度はSOTA
  22. 22. 実験3:セマンティックセグメンテーション • 条件 • Stanford 3D semantic parsing data • 6 areas including 271 rooms, 13 categories
  23. 23. Another results
  24. 24. Object detection
  25. 25. Normal vector estimation GTPred
  26. 26. Point to point correspondence
  27. 27. ネットワーク効率 • 既存のネットワークよりも小さい、精度は同程度 • 点ごとに計算できるのでCPUで並列化しやすい
  28. 28. まとめ • 提案手法 • PointNet • ボクセルなどの中間表現にせず、計測した点群データ を直接扱えるネットワーク • 技術 • 点の順序に依存しない特徴抽出 • 局所・全体を考慮した推論 • 回転にロバストなネットワーク • 結果 • 広い応用範囲(分類、セグメンテーション、検出・・・) • ネットワークサイズは小さいにも関わらずSOTA
  29. 29. その他 • 各点は、一点のみの特徴しか取っておらず、近傍の 特徴も計算すべきでは? • PointNet++という著者の報告が最近arxivに出た • なんと僕がこの論文を発表しようと決めた当日 • Chainerで実装中 • https://github.com/peisuke/pointnet.chainer のdevブランチで実装中

×