LiDARとカメラ＜両方＞を用いた点群に対するSemantic Segmentationのサーベイ

1. LiDAR-Camera Fusionによる屋外環境
のSemantic Segmentationサーベイ
2019年1月31日 takmin

2. 自己紹介
2
株式会社ビジョン＆ITラボ 代表取締役
皆川 卓也（みながわ たくや）
「コンピュータビジョン勉強会＠関東」主催
博士（工学）
略歴：
1999-2003年
日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ
セールス、プロジェクトマネジメント、サポート等の業務に従事
2004-2009年
コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事
2007-2010年
慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻
単位取得退学後、博士号取得（2014年）
2009年-現在
フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化）
お問い合わせ：http://visitlab.jp

3. 本資料について
 本資料は主にLiDARから取得した道路上の点群データと
カメラ、＜両方＞を用いてSemantic Segmentationを行う技
術について調査結果をまとめたものです。
屋内での事例しかないものについては調査から外しました。
 前回調査した点群データ＜のみ＞を用いたSemantic
Segmentationについて、文献を１つ追加しました。
Improved Semantic StixelというLiDAR-Camera Fusionの手法の
中で利用されていたため

4. 関連資料
 LiDAR-Camera Fusionによる道路上の物体検出サーベイ
https://www.slideshare.net/takmin/object-detection-with-
lidarcamera-fusion-survey-updated
 LiDARによる道路上の物体検出サーベイ
https://www.slideshare.net/takmin/20181130-lidar-object-
detection-survey
 LiDARによる道路上のSemantic Segmentationサーベイ
https://www.slideshare.net/takmin/20181228-lidarsemantic-
segmentation

5. 点群のみを使ったSemantic Segmentation
前回調査からの追加分
 [Piewak2018] Piewak, F., Pinggera, P., Sch, M., Peter, D.,
Schwarz, B., Schneider, N., … Ag, D. (2018). Boosting
LiDAR-based Semantic Labeling by Cross-Modal Training
Data Generation. ArXiv, 1804.09915.

6. [Piewak2018]LiLaNet (1/3)
 Semi-denseな点群（VelodyneVLP32C LiDARでの取得を想定）
に対して高精度なSemantic Labelingを行うCNNモデル
点群をシリンダー上へ投影して画像化（距離と反射率の2チャネル）
したものを入力
低解像度で非対称のシリンダ投影画像を扱うために、非対称カーネ
ルの畳み込みと統合を行うLiLaBlockを導入

7. [Piewak2018]LiLaNet (2/3)
 学習データの作成（点群へのラベル付け）を自動化
（Autolabeling）
画像に対し、既存手法でSemantic Segmentation
点群を画像へ投影し、各点のラベルを対応画素から決定
LiDARの測定時間（各点を違う時刻で測定）とカメラの測定時間（前
画素を同時刻に取得）のずれを補正

8. [Piewak2018]LiLaNet (3/3)
 LiDARとカメラから取得したデータを元に手動、または
Autolabelingを用いてラベル付けしたものを元に評価

9. LiDAR-Camera Fusion Semantic
Segmentation
 [Cadena2014] Cadena, C., & Koˇ, J. (2014). Semantic
Segmentation with Heterogeneous Sensor Coverages. IEEE
International Conference on Robotics and Automation (ICRA).
 [Zhang2015]Zhang, R., Candra, S.A.,Vetter, K., & Zakhor,A.
(2015). Sensor Fusion for Semantic Segmentation of Urban
Scenes. IEEE International Conference on Robotics and
Automation.
 [Gadde2018]Gadde, R., Jampani,V., Marlet, R., & Gehler, P.V.
(2018). Efficient 2D and 3D Facade Segmentation Using Auto-
Context. IEEETransactions on Pattern Analysis and Machine
Intelligence, 40(5), 1273–1280.
 [Felix2017]Felix, J., Danelljan, M.,Tosteberg, P., Bhat, G., Khan, F.
S., & Felsberg, M. (2017). Deep Projective 3D Semantic
Segmentation. In International Conference on Computer Analysis of
Images and Patterns.

10. LiDAR-Camera Fusion Semantic
Segmentation
 [Su2018]Su, H., Jampani,V., Sun, D., Maji, S., Kalogerakis, E.,Yang,
M.-H., & Kautz, J. (2018). SPLATNet: Sparse Lattice Networks
for Point Cloud Processing. IEEE Conference on ComputerVision
and Pattern Recognition.
 [Jaritz2018]Jaritz, M., Charette, R. de,Wirbel, E., Perrotton, X., &
Nashashibi, F. (2018). Sparse and Dense Data with CNNs:
Depth Completion and Semantic Segmentation. International
Conference on 3DVision (3DV).
 [Piewak2018_2]Piewak, F., Pinggera, P., Enzweiler, M., Pfeiffer, D.,
& Zöllner, M. (2018). Improved Semantic Stixels via Multimodal
Sensor Fusion. ArXiv, 1809.08993v2.
 [Caltagirone2018]Caltagirone, L., Bellone, M., Svensson, L., &
Wahde, M. (2018). LIDAR-Camera Fusion for Road Detection
Using Fully Convolutional Neural Networks. ArXiv, 1809.07941.

11. [Cadena2014]Heterogeneous Sensor
Coverage (1/3)
 カメラとLiDARではそもそも視野が異なるため、画像と点
群両方のデータが取れる領域だけでなく、画像のみ、点
群のみの領域が存在
 それら3パターンの領域をCRFを用いて統一的に
Semantic Segmentationする手法
緑：画像データのある領域
青：点群データのある領域

12. [Cadena2014]Heterogeneous Sensor
Coverage (2/3)
以下の３つのグラフを結合し、CRFでラベル推定
 画像のグラフ化
SLIC Super Pixelを生成してノードとし、隣接関係をエッジであらわす
エッジの重みをLAB色空間のノード間距離として、最小全域木を作成
 画像と点群のグラフ化
画像と点群がともにある領域では、点群を画像に投影し、同じSuper Pixel内にある
点をクラスタ化し、画像のノードと統合
エッジ間の重みを点群クラスタ間のユークリッド距離とし、最小全域木を作成
 点群のグラフ化
点群を適当な手法でクラスタ化し、ユークリッド距離をもとに最小全域木を作成
（ここでは画像からGround Truthを取得するため、点群のみの推定は行わない）
SLIC Super Pixel 画像へ投影された点群
結合されたグラフ（緑：画像、青：画像＋点群）

13. [Cadena2014]Heterogeneous Sensor
Coverage (3/3)
 KITTIデータセットで評価

14.  画像と点群それぞれを個別にSemantic Segmentationし、結果
を統合
1. マルチスケールにSegmentation
2. Segmentごとに特徴量算出
3. Random Forestで各画素/点のラベル識別
4. 各データのラベルスコアを結合して、全体のラベルスコアを識別
5. CRFにより隣接したノードのラベルが近くなるよう補正
[Zhang2015] Multi-level Late Fusion(1/3)

15.  スケールの異なるSuper Pixel
/ SuperVoxelを作成し、それぞ
れから特徴量を計算
[Zhang2015] Multi-level Late Fusion (2/3)
Multi Scale Segmentation
画像/点群から取得する特徴量

16.  KITTIを拡張したデータセットを使用
ラベルを付与してデータ量を増量
[Zhang2015] Multi-level Late Fusion(3/3)
glob: pixel-wise accuracy, class: class-average accuracy,
bldg: building, sky: sky, road: road, veg: vegetation, sid: sidewalk, car: car, ped: pedestrian, cycl: cyclist, sgn: sign/pole, fnc: fence
マルチスケールの影響の評価

17.  2D画像と3D点群それぞれでファサードのSegmentationを
行う手法
各ステージの推測ラベルを次のステージの入力に加えること
で、ラベル間のコンテクストを学習（auto-context）
識別器にBoosted DecisionTreeを使用し、stacked
generalizationアルゴリズムで学習
2Dと3Dの認識結果を統合することで性能向上
[Gadde2018]2D/3D Auto-Context(1/4)

18. [Gadde2018]2D/3D Auto-Context(2/4)
 Auto-Context
Tu, Z. (2008).Auto-context and its application to high-level vision
tasks. IEEE Conference on ComputerVision and Pattern Recognition (CVPR).
Contextを考慮したSemantic Segmentationの手法
ある画素のラベルのProbabilityは周辺の画素のラベルと関連
学習画像に前ステージで学習したClassifierで予測したProbability
Mapを加えることで、ラベル間の同時分布を考慮した事後分布を算
出
ステージを追うごとに、Probability Mapが更新される。赤は学習中に選択されたContext

19. [Gadde2018]2D/3D Auto-Context(3/4)
 画像特徴
TextonBoost (x17)、座標、RGB、Dense HOG、LBP、各フィルタ
の行/列平均
各画素763次元
 点群特徴
RGB、LAB、法線、Spin Image、地上からの高さ、ファサード平
面からの距離、ファサードの上端からの距離の逆数
各点132次元
 Auto-context特徴
各クラスのProbability、エントロピー、行/列におけるクラスのス
コア、各クラスの最近傍画素までの距離、クラスごとのカラーモ
デル（ガウス分布）、最尤クラスラベルのBounding Box、周辺画
素のクラス分布

20. [Gadde2018]2D/3D Auto-Context(4/4)
 RueMonge2014 Datasetで評価
ST: ステージ
PW: 各ステージ後にCRFで最適化
2D+3D: 2DのST3と3DのST2の出力を統合後、auto contextを
適用(ST4)

21. [Piewak2018_2]Improved Semantic Stixels
(1/4)
 LiDARとカメラの情報を統合することで地形によりロバストな
Stixels[1]を生成
 Stixels
主にDepthやSemantic Labelを付与した短冊状の中間表現で、従来
はステレオカメラなどを用いて推定
車両周辺環境をStixelsで表現することで、アプリの処理を高速化
[1]Cordts, M., Rehfeld,T., Schneider, L., Pfeiffer, D., Enzweiler, M., Roth, S., … Franke, U. (2017).The Stixel World:A medium-
level representation of traffic scenes. Image andVision Computing, 68, 40–52.

22. [Piewak2018_2]Improved Semantic Stixels
(2/4)
 LiDARの縦方向の走査を画像へ投影した列からStixelを
生成
 𝒔𝑖 = 𝑏𝑜𝑡𝑡𝑜𝑚, 𝑡𝑜𝑝, 𝑟𝑎𝑛𝑔𝑒, 𝑙𝑎𝑏𝑒𝑙, 𝑐𝑙𝑎𝑠𝑠
 Stixelの各パラメータ𝑺を、測定データ𝑴 から、事後確率
分布𝑃 𝑺|𝑴 が最大となるように推定
測定データ𝑴は、Depth、LiDARから推定したSemantic Label
(LiLaNetを使用)、及び画像から推定したSemantic Label (FCN
を使用)から成る
class (support, object, sky)の定義

23. [Piewak2018_2]Improved Semantic Stixels
(3/4)
 事後分布𝑃 𝑺|𝑴 の最大化＝エネルギー𝐸 𝑺, 𝑴 を最小
化する𝑺の算出
𝑃 𝑺|𝑴 = 𝑒−𝑬 𝑺,𝑴
𝐸 𝑺, 𝑴 = 𝛩 𝑺, 𝑴 + 𝛺 𝑺 − log 𝑃 𝑴
 𝛩 𝑺, 𝑴
LiDARのDepthとStixelのrangeが近いほど小さい
support、object、skyクラスの妥当性、センサーの妥当性
LiDARから求めたラベルや、画像からのラベルとStixelラベル
が近いほど小さい
 動的計画法で算出
無視（𝑺 によらない）Depth、形状、
Semantic Label
のエネルギー
Stixelの長さと
正確さのバラ
ンスをとる項
（正則化）

24. [Piewak2018_2]Improved Semantic Stixels
(4/4)
 [Piewak2018]で作成したデータセットを使用して評価
Stixelに対して手動でラベル付けしたもの
通常のステレオカメラによるStixelとの比較
Outlier Rate: Stixelsから外れた点群の率
IoU: GroundTruthのSemantic Labelとのオーバーラップの率
Compression Rate: 点群数からStixel数へどれだけ圧縮された
かの指標

25. [Felix2017]Deep Projective 3D (1/3)
 以下の3ステップで点群の
Semantic Segmentation
入力点群を多視点に投影して、
複数の画像を生成
それぞれの画像に対して
Semantic Segmentation
画像のSegmentation結果を点群
へ反映（Score Fusion）
 生成画像は、Color、Depth、
Normalの三種類

26. [Felix2017]Deep Projective 3D (2/3)
 疎な点群から密な画像を生成するために、各点に対してガウ
シアンの点広がり関数を畳み込み
 ノイズの影響を除去するため、各画素のDepthを推定するた
めに、投影された点に対してmean-shiftアルゴリズムを適用
 Semantic SegmentationにはFully Convolutional Networkを使
用し、Color、Depth、Normalsそれぞれのスコアを合計

27. [Felix2017]Deep Projective 3D (3/3)
 Semantic3Dデータセットで評価
カメラを垂直軸周囲を360度回転させて、30View取得
高さを4回変えて、計30x4視点を使用

28. [Su2018]SPLATNet (1/4)
 点群を高次元空間上の格子（Permutohedral Lattice）へ
投影することで、点群を直接畳み込み演算
 任意の位置の出力が得られるため、点と画像との特徴
量のマッチングを正確に行える
 ソースコード
http://vis-www.cs.umass.edu/splatnet

29. [Su2018]SPLATNet (2/4)
 Bilateral Convolutional Layer (BCL): 畳み込み層
点群、画像含む任意次元のデータに適用可能
Splat：
 入力信号を𝑑𝑙次元空間へ投影し、周辺格子に割り当て
Convolve
 格子を𝑑𝑙次元カーネルでフィルタ（畳み込み）
Slice
 格子上の信号から入力位置の出力信号を復元

30. [Su2018]SPLATNet (3/4)
点群とカメラのマッチング
 カメラと深度センサー間のキャリブレーションがされている場
合、画素を三次元上へ投影できるが、点群中の点の位置とは
ズレ
 Permutohedral Lattice上に投影した場合、周辺格子の信号を
使って、任意の位置の信号を復元可能
点群上の各点へ正確にマッピングできる

31. [Su2018]SPLATNet (4/4)
実験
 RueMonge2014 Dataset
3D façade segmentation

32. [Jaritz2018]Sparse and Depth Data with
CNNs (1/3)
 疎な点群データから密なDepthデータの推定とSemantic
Segmentationを同時に行う
 点群データから生成した疎なDepthデータを入力とし、オプショ
ンとしてRGB画像を加え、Encoder-Decoderネットワークによっ
て点群が存在しない領域の補間

33. [Jaritz2018]Sparse and Depth Data with
CNNs (2/3)
 EncoderはNASNet[1]、DecoderはU-Net[2]をベースに適用
 Ground Truthの存在するUnobserved（値がない）画素のみ学
習
 Depthの逆数のL1損失を使用
 画像とデプスはそれぞれエンコードした状態で統合
[1] Zoph, B.,Vasudevan,V., Shlens, J., & Le, Q.V. (2018). Learning Transferable Architectures for Scalable Image Recognition.
IEEE Conference on ComputerVision and Pattern Recognition.
[2] Ronneberger, O., Fischer, P., & Brox,T. (2015). U-net: Convolutional networks for biomedical image segmentation.
International Conference on Medical Image Computing and Computer-Assisted Intervention, 234–241

34. [Jaritz2018]Sparse and Depth Data with
CNNs (3/3)
 合成データ(Synthia)と実
データ（Cityscapes）に対して
Semantic Segmentationの結
果を評価
Cityscapesはステレオカメラの
視差からDepthのGround
Truthを取得

35. [Caltagirone2018]Road Detection with FCN
(1/3)
 Fully Convolutional Networksを用いて、カメラからの画像と
LiDARからの点群を統合し、道路領域を推定
Early Fusion、Late Fusion、Cross Connectionの3パターンで２つのセ
ンサー情報を統合して評価
 LiDAR点群はカメラ画像上へ投影され、X,Y, Zの3チャネル画
像を作成
各画素の値は近傍点群から補間

36. [Caltagirone2018]Road Detection with FCN
(2/3)
 Early Fusion
LiDARを入力画像のチャネルとして最初に統合
 Late Fusion
LiDARと画像を別々のネットワークで処理し、最終層の手前で統合
 Cross Fusion
LiDARと画像を別々のネットワークで処理し、各層でそれぞれの出
力をそれぞれのネットワークへ加える

37. [Caltagirone2018]Road Detection with FCN
(3/3)
 KITTI Roadに対して、影や反射などのより困難なデータを加え
たデータセットで評価 (MaxF: F-measure, PRE: Precision, REC: Recall)
 KITTI Road

38. まとめ
 カメラとLiDAR両方を用いたSemantic Segmentationにつ
いて調査を行いました。
 LiDAR-Camera Fusionには様々なアプローチが提案され
ており、定石的なアプローチは見当たりませんでした。
Deep Learning以前はCRFを用いるのが一般的
Deep Learning以後はEncoder-Decoderネットワークなどによっ
て、画像と点群を同一ドメインで扱うアプローチと、点群を画像
ドメインへ投影して扱うアプローチがある
 疎な点群に対しては、LiLaNet、Improved Semantic Stixels、
Sparse and Depth Data with CNNなどが有効と思われま
す。