2018/10/20コンピュータビジョン勉強会＠関東「ECCV読み会2018」発表資料 Yew, Z. J., & Lee, G. H. (2018). 3DFeat-Net: Weakly Supervised Local 3D Features for Point Cloud Registration. European Conference on Computer Vision.

1. 第49回CV勉強会「ECCV2018読み会」
3DFeat-Net
2018/10/20 takmin

2. 自己紹介
2
株式会社ビジョン＆ITラボ 代表取締役
皆川 卓也（みながわ たくや）
「コンピュータビジョン勉強会＠関東」主催
博士（工学）
略歴：
1999-2003年
日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ
セールス、プロジェクトマネジメント、サポート等の業務に従事
2004-2009年
コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事
2007-2010年
慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻
単位取得退学後、博士号取得（2014年）
2009年-現在
フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化）
http://visitlab.jp

3. 紹介する論文
6
 Yew, Z. J., & Lee, G. H. (2018). 3DFeat-Net:Weakly
Supervised Local 3D Features for Point Cloud
Registration. European Conference on ComputerVision.
 点群の位置合わせ(Registration)を行うためのキーポイント検
出器（Detector）および特徴量（Descriptor）を学習
画像のマッチングだと天候や時間変化に弱いが、点群のマッチングだと同じ
ロケーションでロバスト

4. 関連研究：Hand-Crafted 3D Features
7
 人手で設計された3D特徴量
 ISS、PFH、FPFH、spin image、shape contextなど
A. Johnson, “Spin-images: a representation for 3-D surface matching”, Ph.D. Dissertation, The
Robotics Institute, Carnegie Mellon University, August 1997
Spin Images

5. 関連研究：Learned 2D Features
8
 Deep Learningにより2D特徴量を学習
 LIFT、TILDE、DELFなど
Noh, H., Araujo, A., Sim, J., Weyand, T., & Han, B. (2017). Large-Scale Image Retrieval with Attentive Deep Local
Features. Proceedings of the IEEE International Conference on ComputerVision
DELF

6. 関連研究：Learned 3D Features
9
 Deep Learningにより3D特徴量を学習
 3DMatch、PPFNetなど
Deng, H., Birdal,T., & Ilic, S. (2018). PPFNet: Global Context Aware Local Features for Robust 3D
Point Matching. Conference on Computer Vision and Pattern Recognition.
PPFNet

7. Contribution
10
従来のDeep Learningによる3D特徴量は、キーポイントと
は独立に学習
 キーポイント検出器（Detector）＆特徴量(Descriptor)を
GPS/INSでタグ付けされた、精度の高くない学習データを
用いてWeakly Supervisedに学習
 Attention Layerを導入することで、3D Pointの顕著さを学
習
 トレーニングとベンチマークのデータセットをOxford
RobotCar datasetから作成

8. 3D Feat-Net
11
 Triplet Lossを用いて、特徴量を学習
 学習データとして、大きな点群から半径Rで切り取った点
群を、以下の３パターン用意
 Anchor点群
 Positive点群（Anchorとの中心距離が𝜏 𝑝より小さい）
 Negative点群（Anchorとの中心距離が𝜏 𝑛より大きい）
 入力点群の姿勢は既知（GPS/INSなどで）
 精度は多少悪くても可
 コード（学習はまだアップされておらず）
 https://github.com/yewzijian/3DFeatNet

9. 3D Feat-Netの学習
12
Positive点群
Anchor点群
Negative点群

10. 3D Feat-Netの学習
13
PointNet++と同じ要
領で、半径𝑟𝑐𝑙𝑢𝑠𝑡𝑒𝑟で
クラスタリング

11. 3D Feat-Net
14
各クラスタ𝐶𝑖
の顕著さ𝑤𝑖と
傾き𝜃𝑖を算出

12. 3D Feat-Netの学習
15
各クラスタ𝐶𝑖の
点群座標（中心
座標を原点）
傾き
顕著さ

13. 3D Feat-Netの学習
16
各クラスタ𝐶𝑖の
特徴ベクトル𝑓𝑖
を算出

14. 3D Feat-Netの学習
17
各クラスタ𝐶𝑖の
特徴ベクトル
各クラスタ𝐶𝑖の点群
座標（中心座標を原
点とし、 𝜃𝑖 で補正）

15. 3D Feat-Netの学習
18
特徴量同士の
ユークリッド距離
を算出

16. 3D Feat-Netの学習
19
Anchorのクラス
タ毎に最も小さ
い距離を出力

17. 3D Feat-Netの学習
20
Anchorクラスタ
毎の顕著さで重
み付き総和出力

18. 3D Feat-Netの学習
21
𝐷 𝑚,𝑛 = ෍
𝐶 𝑖∈𝑪(𝑚)
𝑤𝑖′ ⋅ min
𝐶 𝑗∈𝑪(𝑛)
𝑓𝑖 − 𝑓𝑗
2

19. 3D Feat-Netの学習
22
Triplet Lossで学習
𝐿 𝑡𝑟𝑖𝑝𝑙𝑒𝑡 = 𝐷 𝑎𝑛𝑐,𝑝𝑜𝑠 − 𝐷 𝑎𝑛𝑐,𝑛𝑒𝑔 + 𝛾
+

20. 3D Feat-Netの推論
23
1. 入力点群の各点を中心としたパッチを作成し、
DetectorでAttentionWeightを算出
2. Non-Maximal Suppressionで、ピークを検出
3. 相対的に低いAttentionの点を除去
4. 残った点群からDescriptorを算出

21. 実験：Descriptor Matching
24
 MatchingとNon-matchingの点群クラスタを30,000ペア用意し、
マッチングを判定
 Recall rateが95%の時のFalse Positiveと特徴量の次元を調査
 以後の実験では、３２次元を使用

22. 実験： Keypoint Detection and Feature
Description
 Oxford Robotcar Datasetで２つの点群（異なる時刻に取得）のそれ
ぞれからKeypointおよびDescriptorを算出し、最も類似した特徴量
の点の位置がGround Truthからどれだけ離れているかで閾値処理

23. 実験：Analysis of Keypoint Detection
26
 AttentionWeightの可視化
 地面に近い壁側に強いAttention
 車や地面には弱いAttention
Attention 本手法のKeypoint （赤） ISSのKeypoint （赤）

24. 実験：Geometric Registration
27
 Keypoint+Descriptor検出→Descriptor最近傍探索
→RANSACで位置合わせ（ICPは行わない）
 2つの点群の位置のずれ（RTE）と角度のずれ(RRE)を評価
 RTEが2m、RREが5度以内のずれならばSuccessとみなす
Oxford Robotcarの結果

25. 実験：Geometric Registration
28
 Keypoint+Descriptor検出→Descriptor最近傍探索
→RANSACで位置合わせ（ICPは行わない）
 2つの点群の位置のずれ（RTE）と角度のずれ(RRE)を評価
 RTEが2m、RREが5度以内のずれならばSuccessとみなす
KITTI Odometryの結果

26. 実験：Geometric Registration
29
 Keypoint+Descriptor検出→Descriptor最近傍探索
→RANSACで位置合わせ（ICPは行わない）
 2つの点群の位置のずれ（RTE）と角度のずれ(RRE)を評価
 RTEが2m、RREが5度以内のずれならばSuccessとみなす
ETH Datasetの結果

27. 実験：Geometric Registration
30
 Regsitrationの例

28. まとめ
31
 三次元点群用同士のレジストレーションに用いるキーポ
イント検出器と特徴量を弱教師あり学習により求める手
法
 Triplet lossにより特徴量の類似度とキーポイントの顕著
さを同時に学習
 従来のHandcraftedな特徴量や学習ベースの特徴量と比
べても十分な性能
 課題
 回転不変性
 全体的にnoisyな点群に弱い
 PointNetは扱える点群数に限り

29. 32
付録

30. PointNet
33
 Qi, C. R., Su, H., Mo, K., & Guibas, L. J. (2017). PointNet : Deep
Learning on Point Sets for 3D Classification and Segmentation
Big Data + Deep Representation Learning. IEEE Conference on
ComputerVision and Pattern Recognition (CVPR).
 各点群の点を独立に畳み込む
 Global Max Poolingで点群全体の特徴量を取得
各点を個別
に畳み込み
アフィン変換
各点の特徴を統合

31. PointNet++
34
 Qi, C. R.,Yi, L., Su, H., & Guibas, L. J. (2017). PointNet++: Deep
Hierarchical Feature Learning on Point Sets in a Metric Space.
Conference on Neural Information Processing Systems (NIPS).
 PointNetを階層的に適用
 点群をクラスタ分割→PointNet→クラスタ内で統合を繰り返す