SSII2019TS: 実践カメラキャリブレーション～カメラを用いた実世界計測の基礎と応用～

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

実践カメラキャリブレーション
〜カメラを用いた実世界計測の基礎と応用〜
2019.6.14
延原章平（京都大学）高橋康輔（NTT）

カメラキャリブレーションの使われ方
2

３次元形状計測
3

自動運転
NVIDIA DRIVE Autonomous Vehicle Platform
BMV
4

AR / MR
IKEA Place
6

データセット構築
http://domedb.perception.cs.cmu.edu/ 7

データセット構築
“Facebook VR Research: Photorealistic Face Tracked Avatars,” from Youtube 8

このチュートリアルのゴール
9

もしカメラキャリブレーション検定があるとしたら？
• Lv1：基礎を理解する
– 適切なカメラモデルを選択できる
– 適切なキャリブレーション手法を選択できる
• Lv2：実践する
– キャリブレーション結果の妥当性を確認できる
– 独自カメラ...

お断り
• すべての種類のキャリブレーション手法を網羅することを目的
とはしていません．
• OpenCVなどで実装が公開されているものを中心に議論しま
す．
• 数式の説明はあまりしません．教科書をご確認ください．
– Hartley and...

Lv1：カメラキャリブレーションとは
12

カメラキャリブレーションとは
オブジェクト
カメラモデル
パラメータ 1 パラメータ 2 パラメータ N…
画像
カメラキャリブレーション
画像の生成過程をモデル化し，そのカメラモデルが持つパラメータを推定すること．
13
位置放射輝度
位置...

カメラキャリブレーションの種類
カメラキャリブレーション
幾何学的キャリブレーション
「どこに」
光学的キャリブレーション
「どういう輝度で」
オブジェクト
パラメータ 1 パラメータ 2 パラメータ N
カメラモデル
画像
… 14
位置放...

幾何学的カメラキャリブレーション
幾何学的カメラキャリブレーション
内部キャリブレーション
位置姿勢に独立なパラメータを推定
e.g. 焦点距離，レンズ歪みなど
外部キャリブレーション
位置・姿勢パラメータを推定
15パラメータ 1 パラメータ...

幾何学的キャリブレーションができると
何ができるようになるか？
三次元計測カメラの自己位置推定
https://grail.cs.washington.edu/rome/ 16

Lv1：
幾何学的カメラキャリブレーションの基礎
17

カメラモデル
透視投影カメラモデル
一般的なカメラ
正射影カメラモデル
顕微鏡，望遠鏡など
魚眼カメラ，アクションカムなど
全方位カメラモデルその他：
弱透視投影カメラモデル
凸レンズカメラモデル
など
18

透視投影カメラモデル
光学中心
＝全ての光が通過する点
焦点距離 f
仮想画像平面
x
y
z
特徴
• レンズに依る効果（ぼけ，歪み）が無い．
• 対象物を目で見た時と同じような表現が可能．
⇒ 一般的なカメラの投影に近い．
仮定
• Ｚ軸と...

投影過程 0 : 世界座標系画像座標系
世界座標系 W カメラ座標系 C
画像座標系 I
20
世界座標系での座標値
画像座標系での座標値
投影行列：Projection matrix

世界座標系での座標値
投影過程１：世界座標系カメラ座標系
世界座標系 W カメラ座標系 C
21
カメラ座標系での座標値
3x3の回転行列 3x1の並進ベクトル
外部パラメータ
(世界座標系カメラ座標系)

投影過程 2：カメラ座標系正規化画像座標系
世界座標系 W カメラ座標系 C
正規化画像座標系 N
カメラ座標系での座標値
の平面
22
正規化画像座標系での座標値

投影過程 3：正規化画像座標系画像座標系
世界座標系 W カメラ座標系 C
正規化画像座標系での座標値
の平面
正規化画像座標系 N
画像座標系 I
内部パラメータ(行列)
単位はピクセル単位は３次元座標系のもの (mm, cmなど)
23

投影過程まとめ
世界座標系 W カメラ座標系 C
の平面
正規化画像座標系 N
画像座標系 I
世界座標系での座標値
画像座標系での座標値
24
内部キャリブレーション：内部パラメータの推定
外部キャリブレーション：外部パラメータの推定
...

レンズ歪み補正
25

投影過程レンズ歪み (＠正規化画像座標系)
世界座標系 W カメラ座標系 C
の平面
正規化画像座標系 N
画像座標系 I
歪み無し
注：OpenCVで利用されている歪みモデル
歪み係数カメラ固有なので内部パラメータに含まれる
半径方向の歪...

三角測量
27
世界座標系
カメラ1 カメラ2
被写体
世界座標系
カメラ座標系
正規化画像座標系
画像座標系
投影の過程３次元再構成
内部パラメータの逆行列をかける
外部パラメータを利用する

外部パラメータ = 位置姿勢？(1/2)
世界座標系 W カメラ座標系 C
外部パラメータはカメラ座標系における世界座標系の位置，
は姿勢とみなせる．
を代入すると• 世界座標系の原点
として，世界座標系の各軸方向の単位ベクトルから
成る行列...

外部パラメータ = 位置姿勢？(2/2)
世界座標系 W カメラ座標系 C
外部パラメータは世界座標系におけるカメラ座標系の位置，
は姿勢とみなせる．(カメラの位置姿勢)

外部パラメータの注意点
• 変換の方向に注意
✓ 座標系の変換元，変換先はなにか？
✓ パラメータに変換方向を添字として書いておくと良い．
(例：世界 -> カメラの場合，など．)
30
世界座標系カメラ座標系
カメラ座標系

復習
1. 幾何学的キャリブレーションによって，以下の式を満たす外部パラメータ
が得られたとする．カメラの投影中心は世界座標系においてどこにあるか？
1. １において，カメラの光軸は世界座標系においてどの向きか？
2. 内部パラメータの単位は...

Lv1：キャリブレーションアルゴリズム
32

キャリブレーションとは
実世界
物理モデル
(運動方程式)
𝑚
𝐹 = 𝑚𝑎
キャリブレーション = モデルパラメタ推定
𝐹 = 𝑚𝑎
• 𝐹と𝑚が与えられたときに𝑎を推定.
• 線型方程式を解く．
• もし𝐹と𝑚に計測誤差があるなら？
(i....

登場する概念
3D形状3D形状
𝑅, 𝑡
外部パラメータ外部パラメータ
画像中心
内部パラメータ内部パラメータ
2D-2D対応点2D-2D対応点
3D-2D対応点3D-2D対応点
34

Zhangの手法
8-point
設計値から概算する
他のセンサーから得る
キャリブレーションの流れ
𝐾, 𝑅, 𝒕の初期値を得る
最尤推定となるように
最適化する
再投影誤差最小化（後述）
究極的には初期値に過ぎない．
妥当でありさえすればど...

分類
入力＼出力内部パラメータ外部パラメータ
2D-3D
2D-2D
3D-3D
ZhangZhang
PnPPnP
8-Point (5-pt, 7-pt)8-Point (5-pt, 7-pt)
Absolute Orientation...

Zhangの手法
• 入力
– 既知の３次元点𝑋 𝑊とその投影先𝑥𝐼
• 出力
– 内部パラメータ 𝐾
– 外部パラメータ 𝑅, 𝒕
2D image
𝑢
𝑣
3D plane
(0,0)
(1,0)
37

Zhangの手法
38

Zhangの手法
39

Zhangの手法の解釈
カメラ：固定
参照物体：移動
カメラ：移動
参照物体：固定
(0,0,0)
(1,0,0)
40
世界座標系世界座標系

Perspective-𝑛-Point
• 入力
– 内部パラメータ
– 既知の３次元点の画像中での投影先
• 出力
– 外部パラメータ
シーン
カメラ1
カメラ2
カメラ3
カメラN
…
41

PnPとしてのZhangの手法
• 入力
– 既知の３次元点𝑋 𝑊とその投影先𝑥𝐼
• 出力
– 内部パラメータ 𝐾
– 外部パラメータ 𝑅, 𝒕
2D image
𝑢
𝑣
3D plane
(0,0)
(1,0)
42

8-Point, 5-Point
• 入力
– 内部パラメータ
– ２つのカメラで同じものを写している点（対応点）
• 例：球を同期撮影してその中心を検出＝全カメラ間の対応点
• 出力
– 外部パラメータ
𝑅, 𝒕
𝑿1 𝑿2 = 𝑅𝑿1 + ...

8-Point, 5-Point
44

Absolute Orientation
Horn. Closed-form solution of absolute orientation using unit quaternions, JOSA 1987
45

疑問点
• Zhangの手法ではなぜチェスパターンを使うのだろう？
– 3Dの参照物体だと？（Tsaiの手法）
• Zhangの手法は最低４枚の入力が必要だが，実際は
何枚くらい，どんな画像を用意するのだろう？
• 8-pointの場合もチェ...

Lv1：バンドル調整
47

三角測量（再掲） (1/3)
48
世界座標系
カメラ1 カメラ2
被写体
世界座標系
カメラ座標系
正規化画像座標系
画像座標系
投影の過程３次元再構成
内部パラメータの逆行列をかける
外部パラメータを利用する

三角測量 (2/3)
• 対応点から逆投影した２直線は１点で交差しない場合がある．
(⇒ ねじれの位置)
– 対応点の検出誤差，キャリブレーション誤差などが原因．
– 視点が増えると厳密に１点で交差することはより難しくなる．
49
世界座標系
...

三角測量 (3/3)
• DLT (Direct Linear Transform)
50
N 視点の制約式をまとめて
を解く．
１視点につき，
２本の制約式が得られる
カメラ2カメラ1

• 対応点から逆投影した２直線は１点で交差しない場合がある．
– 対応点の検出誤差，キャリブレーション誤差などが原因．
– 視点が増えると厳密に１点で交差することはより難しくなる．
• DLTなどで三次元点を得たとして，それをもう一度画像に投...

バンドル調整 (Bundle Adjustment)
52
カメラ2カメラ1
再投影誤差
• 再投影誤差はキャリブレーションパラメータの推定誤差に起因する．
– 再投影誤差：
• 現在のパラメータを初期値とし，再投影誤差の総和を最小にす
るよ...

53
ケーススタディ
目的：三次元復元などのために，同期されている複数の固定カメラの
幾何学的キャリブレーションを実施したい．
手順
1. 各カメラの内部パラメータの推定
• 各カメラの前でチェスボードを動かし，複数回撮影．
2. 外部パラメー...

Lv2：実践する
54

チェスボード
• チェスボードの精度 ≫ キャリブレーションの精度
👎🏻 プリンタで印刷して糊で貼り付ける．日数がたっても使う．
• コーナー点の検出精度 ≫ キャリブレーションの精度
– 奇数×偶数のパターンを使う
• 奇数×奇数，偶数×偶数...

キャリブレーション結果の確認方法
• 内部パラメータ
– 𝑓𝑥, 𝑓𝑦は画角から考えて妥当か？
• センサの物理サイズ（画素サイズ𝑠[μm] ）とレンズの焦点距離
𝑓[mm]から𝑓𝑥, 𝑓𝑦 ≈ 1000𝑓/𝑠と概算できる．
– センサが正方画...

補正前
57

補正後
58

キャリブレーション結果の確認方法
• 外部パラメータ
– 再投影誤差は十分小さいか？
• サブピクセルが望ましい
• 交差検証（e.g. LOOCV）でも同程度に小さいか？
– カメラ配置をプロット
• 再投影誤差が小さくても，配置が現実と合わ...

• 限りなく正確な参照物体を利用する．
– Zhangの手法やPnPでの参照物体は定規の役割
– 身近で簡単に手に入る平面な物体は液晶ディスプレイ
• しかしマクロ撮影する場合はコーナー点が不正確に
• 観測対象が存在する領域に参照物体を置く
...

Lv2：実際の例
61

多視点カメラシステム
An earlier version was used for ICCV2009 demo
“On-Site 3D Video Capture System” by S. Nobuhara et al.
62

素朴なアイデア
全カメラで１つのチェスボードを撮影したら𝑅, 𝒕が得られる？
この方法の欠点は？この方法の欠点は？63

現実的なアプローチ
球体
👍 どの方向のカメラからも観測できる
＝強い制約→安定な初期推定
👎🏻 球の中心を正しく検出するには
レンズ歪み補正が必要
＝鶏と卵
コーナー点
👍 レンズ歪みがあっても検出は正しい
＝シンプルなBAが可能
👎🏻 一部...

床面を𝑧 = 0平面，単位をmmにしたい
床面上のチェスコーナーを三角測量して
absolute orientation．
→ キャリブレーション精度には無関係
床面上のチェスコーナーを三角測量して
absolute orientation．
...

テニスのボール軌道を推定する
課題：
• 試合前にキャリブレーション機材を持ち込む
ことが難しい．
• 適切な大きさのキャリブレーションボードを
用意することが難しい．
アプローチ：
1. コートを既知の三次元モデルとみなして
PnPを解く．
...

Perspective-𝑛-Point
OpenFace: an open source facial behavior analysis toolkit, WACV 2016
68

Lv3：応用
69

鏡の反射を利用したキャリブレーション
• 鏡を利用することでカメラの視野を拡張 [*]
⇒ カメラの視野外にある物体とのキャリブレーション
視野を共有しないカメラ同士のキャリブレーション
[*] K.Takahashi+, A new mirr...

体の関節点を利用したキャリブレーション
• 二次元関節点を多視点映像間における対応点として利用．
– 各点にラベル（右肩，左肘など）がついているので，従来の自然特徴点が対応
付きづらいワイドベースラインな映像間でも安定して対応付く．
[**] ...

プロジェクタ
72

プロジェクタ
Tahara et al., Interference-free epipole-centered structured light pattern for mirror-based multi-view
active stere...

屈折層を含む光学系のキャリブレーション
74
• 透視投影カメラと被写体の間に屈折層がある場合でも，画素と
光線の対応をキャリブレーションすることが可能
• 複数台のカメラ・プロジェクタもOK
– Kawahara et al., Dynami...

深度カメラ / ToF / LiDAR
• Oneshotアクティブステレオ解像度〇，深度△
• パターン光によるステレオ解像度〇，深度〇
• ToF 解像度△～〇，深度〇
• LiDAR 解像度△，深度〇
２次元特徴点３次元特徴点
どち...

格子点を用いたカメラ-LiDAR外部キャリブレーション
• LiDARから得られる深度ではなく輝度（反射強度）画像を用い
たキャリブレーション
• 疎な反射強度画像から格子点位置を推定
Wang et al., Reflectance Inte...

球体を用いた異種深度センサの外部キャリブレーション
Ruan and Huber, Extrinsic Calibration of 3D Sensors Using a Spherical Target, 3DV 2014
• 深度マップ中で...

光学的キャリブレーション
• センサのレスポンスが線形＆レンズに口径蝕がない場合
𝑟′
𝑔′
𝑏′
= 𝐴3×3
𝑟
𝑔
𝑏
+ 𝒃3×1
を構成する24パラメータを推定する．
http://xritephoto.com/
モデルあり or な...

光学的キャリブレーション
79

光学的キャリブレーション
観測値観測値内側：補正後内側：補正後
外側：理想値外側：理想値
80

光学的キャリブレーション
補正前
補正後
81

まとめ
• 幾何学的に意味のある最適化をする
– 「Multiple View Geometry」のGold Standardアルゴリズム
• 要求する精度・有効範囲を明確にする
– 少なくともそれより２桁以上高い精度で参照物体を用意する
– ...

著名なライブラリ
• Perspective
– OpenCV
– Matlab Calibration Toolbox
• Fisheye
– OpenCV
– OCamCalib
• Projector-Camera
– ProCamCal...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1033581 views
Storytelling For The Web: Integrate... by Chiara Aliotta 945137 views
Artificial Intelligence, Data and C... by OECD Directorate ... 865593 views
How to Leverage AI to Boost Employe... by SocialHRCamp 363144 views
2024 State of Marketing Report – by... by Marius Sescu 206375 views
Everything You Need To Know About C... by Expeed Software 226977 views

View on Slideshare

1 of 81 Ad

View on Slideshare

1 of 81 Ad