CVPR2013の論文の中から車載カメラに関連するものを簡単に紹介．

1. CVPR2013の論文紹介
車載カメラ関連
櫻田 健 （東北大学）

2. 紹介論文
• Lost!
Leveraging
the
Crowd
for
Probabilistic
Visual
Self-­‐Localization CVPR2013
Best
Paper
Runner-­‐Up
• Motion
Estimation
for
Self-­‐Driving
Cars With
a
Generalized
Camera
• Exploiting
the
Power
of
Stereo
Confidences
• Geometric
Context
from
Videos

3. • 概要
– ビジュアルオドメトリとOpenStreetMap(OSM)を利用してOSM上の車両位置を確率的に推定
• 約20秒走行すると3m以内の精度で車両位置を推定可能
• ビジュアルオドメトリはLIBVISO2を利用
– C++,
Matlabのソースコードをダウンロード可能（GPLライセンス）
– A.
Geiger,
J.
Ziegler,
and
C.
Stiller.
Stereoscan:
Dense
3d reconstruction
in
real-­‐time.
In
IV,
2011.
• 実験における道路の最長は2,150km
• 短い道のりや道路の（形状的）特徴不足により推定に曖昧性が残る場合あり
– 地図を混合ガウス分布を利用したグラフ構造で表現
– ソースコードをダウンロード可能
• For
personal
and
research
use
only!
• 分野
– Visual
Self-­‐Localization
(for
a
driving
vehicle)
• 技術重要キーワード
– Visual
odometry
– OpenStreetMap(OSM)
– Gaussian
Mixture
Lost!
Leveraging
the
Crowd
for
Probabilistic
Visual
Self-­‐Localization
Marcus
A.
Brubaker
Andreas
Geiger
Raquel
Urtasun
TTI
Chicago KIT
&
MPI
T¨ubingen TTI
Chicago
Visual
Self-­‐Localizationの例
青が推定対象となる地図全体
赤が推定した車両位置
（左）地図のグラフ表現
（右）道路区間と車の状態の表現

4. • 概要
– 市販の自動走行車用マルチカメラシステムでビジュアルエゴモーションを推定
– マルチカメラシステムを一般的なカメラとしてモデル化
• Generalized
Epipolar Constraint
(GEC)
– R.
Pless.
Using
many
cameras
as
one.
In
Computer
Vision
and
Pattern
Recognition,
volume
2,
pages
587–93,
June 2003.
– 車にノンホロノミックの拘束を適用
• Ackermann
motion
model
– ２つのEssential
Matrixの解析解を導出
• 異なるカメラ間の対応点を（最低1点）用いた一般的なE行列
– 直進時（縮退時）は同一カメラ間の対応点だけではスケールが未知
• 同一カメラ間の対応点のみを用いた特殊ケースのE行列
– 同一カメラ間の方が信頼性が高い対応点が得やすい
– 対応点が同一カメラ内の場合、移動量を求める3次方程式が2次方程式となり計算量が減少
– 直進時に異なるカメラ間で対応点が得られない（稀な）ケースではKalman filterを用いて推定した前フレームの
スケールを使用
• 分野
– Visual
ego-­‐motion
• 技術重要キーワード
– Non-­‐holonomic motion
constraint
(Ackermann
motion
model)
– Generalized
Epipolar Constraint
(GEC)
– Kalman Filter
– Sampson
error
Motion
Estimation
for
Self-­‐Driving
Cars With
a
Generalized
Camera
Gim Hee Lee
Friedrich
Fraundorfer Marc
Pollefeys
ETH
Z¨urich Technische Universit¨at M¨unchen ETH
Z¨urich
実験車両 提案手法を用いて推定した走行軌跡と3次元点群

5. • 概要
– ステレオマッチングにより画像をフリースペースと垂直構造物にセグメンテーション
– 垂直構造物のデプスを推定
– (Multilayer)
Stixel World
• 構造物は垂直方向にデプスが一定の平面であると仮定
– H.
Badino,
U.
Franke,
and
D.
Pfeiffer.
The
Stixel World
-­‐A
compact
medium
level
representation
of
the
3D-­‐world.
In DAGM,
pages
51–60,
Jena,
Germany,
September
2009.
– D.
Pfeiffer
and
U.
Franke.
Towards
a
global
optimal
multilayer Stixel representation
of
dense
3D
data.
In
BMVC,
Dundee,
Scotland,
August
2011.
– State-­‐of-­‐the-­‐artの3D
Stixel を改良
• ３つのConfidence情報を利用
– PeaK-­‐Ratio
Naive
(PKRN)
– Maximum
Likelihood
Metric
(MLM)
– Local
Curve
(LC)
information
– ベイズ推定で3つのConfidence情報を統合
• アウトライヤーとStixelセグメンテーションラベルの確率を推定
• 分野
– Stereo
Matching
• 技術重要キーワード
– Confidence
– Bayesian
• Disparity
outlier
probability
rate
– Semi-­‐Global
Matching
(SGM)
– Left-­‐Right
Consistency
(LRC)
Exploiting
the
Power
of
Stereo
Confidences
David
Pfeiffer Stefan
Gehrig
Nicolai
Schneider
Daimler
AG
IT-­‐Designers
GmbH
Stixel Worldの出力結果（色はデプスを表現）
SGMベースのデプスマップと各Confidenceマップ

6. Geometric
Context
from
Videos
S.
Hussain Raza Matthias
Grundmann Irfan Essa
Georgia
Institute
of
Technology,
Atlanta,
GA,
USA
• 概要
– 連続画像を以下のクラスにセグメンテーション
• Main
classes
(Sky,
Ground,
Vertical,
mix)
• Sub
classes
(Solid,
Porous,
Object)
– 以下の手法をベースに画像の連続性を利用して精度向上
• D.
Hoiem,
A.A.
Efros,
and
M.
Hebert,
"Geometric
Context
from
a
Single
Image",ICCV 2005.
– モーションの特徴量としてオプティカルフローを利用
– 画像のx,y軸に時間軸を加えて3次元グラフに拡張
• P.F.
Felzenszwalb and
D.P.
Huttenlocher.
Efficient
graph-­‐based
image segmentation.
IJCV,
2004
– 半教師あり学習の枠組み構築
– 100個（～20,000フレーム）のアノテーション付動画を公開
• 分野
– Geometric
Scene
understanding
• 技術重要キーワード
– Hierarchical
Segmentation
– Optical
flow
– Adaboost
– Semi-­‐supervised
Learning
（左）入力動画（の一部）と（右）シーンの認識結果