Structure from Motionで取得した点群とLiDARで作成した点群の位置合わせについて調べました。

1. LiDAR点群とSfM点群との位置合わせ
2017年6月26日 皆川卓也(@takmin)

2. 自己紹介
2
テクニカル・ソリューション・アーキテクト
皆川 卓也（みながわ たくや）
フリーエンジニア（ビジョン＆ITラボ）
「コンピュータビジョン勉強会＠関東」主催
博士（工学）
略歴：
1999-2003年
日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ
セールス、プロジェクトマネジメント、サポート等の業務に従事
2004-2009年
コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事
2007-2010年
慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻
単位取得退学後、博士号取得（2014年）
2009年-現在
フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事
http://visitlab.jp

3. 調査の背景
 本資料は単眼カメラからStructure-from-Motion (SfM)で
取得した点群とLiDARで取得した点群間の位置合わせ
について調査した結果をまとめたものです。
 本資料の作成にあたり名古屋大学の櫻田健先生にご助
言いただきました。

4. SfMの点群とLiDAR点群の位置合わせ
 LiDARであらかじめ取得した三次元点群地図とStructure-
from-Motionで取得した点群をマッチングすることで車両
の自己位置推定などに利用する
[Peng2014]より

5. SfMの点群とLiDAR点群の位置合わせ
課題
 点群のスケールが異なる
SfMはスケールがわからない
 点群の密度が異なる
LiDARの方が高密度
 ノイズレベルが異なる
[Peng2014]より

6. 紹介する論文
 [Peng2014]Peng, F.,Wu, Q., Fan, L., Zhang, J.,You,Y., Lu, J., &Yang,
J.-Y. (2014). STREETVIEW CROSS-SOURCED POINT CLOUD
MATCHING AND REGISTRATION. International Conference
on Image Processing (ICIP).
 [Huang2016]Huang, X., Zhang, J.,Wu, Q., Fan, L., &Yuan, C.
(2016).A coarse-to-fine algorithm for registration in 3D street-
view cross-source point clouds. Digital Image Computing:
Techniques and Applications (DICTA).
 [Avidar2016]Avidar, D., Malah, D., & Barzohar, M. (2016). Point
Cloud Registration Using AViewpoint Dictionary. International
Conference on the Science of Electrical Engineering.
 [Caselitz2016] Caselitz,T., Steder, B., Ruhnke, M., & Burgard,W.
(2016). Monocular Camera Localization in 3D LiDAR Maps.
International Conference on Intelligent Robots and Systems (IROS).

7. [Peng2014]
 LiDARで取得した点群からStructure from Motionで取得した
点群を最初はCoarseに候補を絞り込み、次にFineに位置合わ
せ
 CoarseなマッチングではESFというグローバルな形状を表す特
徴量を用いて、グリッド上/マルチスケールに探索
 FineなマッチングはK個の候補に対し、ICPで行い、最もマッチ
したものを選択

8. [Huang2016]
 [Peng2014]のFineのマッチングをICPからGaussian Mixture Model
ベースの確率的手法に変更
レジストレーション後の点群全体の分布をGMMでモデル化し、尤度が最
大となるようにGMMのパラメータを調整しつつ位置合わせ
Evangelidis, G. D., Kounades-bastian, D., Horaud, R., & Psarakis, E. Z. (2014).A
Generative Model for the Joint Registration of Multiple Point Sets. European
Conference on ComputerVision.

9. [Avidar2016]
 あらかじめ生成したDenseでGlobalな点群とリアルタイムで取得するSparseでLocal
な点群との位置合わせ
 事前にGlobalな点群を分割して、似たようなViewをDictionaryとしてまとめておく。
 Local Cloudから候補となるDictionaryを選択し、それぞれのViewに対してICPで位
置合わせを行い、最も二乗誤差が低いものを選択

10. [Caselits2016]
 ORB-SLAMによって局所的な点群生成および自己位置推定を
行い、LiDARで作成したグローバルな点群とのマッチングを行
うことで、グローバルな自己位置を推定
 Coarseなマッチングは最初のフレームのみ。以後はローカル
な自己位置と点群を元にアップデート
 点群同士のマッチングはICPベースの手法

11. まとめ
 SfM点群とLiDAR点群間の位置合わせ
あらかじめ取得した点群地図に対しカメラを用いて自己位置
推定を行う。
Coarse-to-Fineに位置合わせを行うのが一般的