20190227 第51回CV勉強会＠関東 コンピュータビジョン　広がる要素技術と応用　読み会　4章 拡張現実感のためのCV技術 4.1～4.2節

1. 第51回 CV勉強会@関東
コンピュータビジョン＜広がる要素技術と応用＞読み会
「第4章 拡張現実感のためのCV技術」
4.1 拡張現実感とは～4.2 カメラ幾何
2019年2月27日 @OZ_Z_C
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 1

2. 自己紹介
海野 恭平 (うんの きょうへい)
@OZ_Z_C (twitter)
企業研究所所属 & 社会人ドクター
研究テーマ：画像データの圧縮（画像符号化）
会社：動画像符号化方式 国際標準化
大学：可逆符号化で圧縮率の限界に挑戦
よろしくお願いします！
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 2

3. 4章の概要
タイトル：拡張現実感のためのコンピュータビジョン技術
4.1 拡張現実感とは
4.2 カメラ幾何
4.3 既知な物体を用いたカメラの位置姿勢算出
4.4 未知な環境下におけるカメラの位置姿勢算出
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 3

4. 4.1 拡張現実感とは
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 4

5. 拡張現実感
拡張現実感：Augmented Reality, AR
情報技術によって人間の知覚（五感）を拡張する技術
1990年代～：視覚を拡張する技術の研究が盛んにおこなわれている
最近では、聴覚や触覚などを拡張する分野に発展（Augmented Humanとも）
本章では視覚を拡張するARに焦点を当てる
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 5

6. ARの定義
Ronald T. Azuma (AR研究の第一人者) による定義
1. Combines real and virtual
現実世界とCG物体を融合すること
CG物体のみだと例えばVR (Virtual Reality)
2. Interactive in real time
実時間かつ対話的に融合
映画などのオフラインでの合成はARではない
3. Registered in 3-D
現実空間と3次元的に一致するようにCG物体を表示＝幾何学的整合性
幾何学的整合性？ []
実空間の重力や慣性、反力に矛盾せず表示されること
例えば、CGで表示された表現されたコップが机にめり込 んだり、空中に浮いて見えたりしない
ように、幾何学的に 位置を合わせること
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 6
Ronald T. Azuma氏

7. AR? MR?
ARとMR (Mixed Reality : 複合現実感) の違い
定義 1
 MRは現実～AR～VRを包括する概念
 ミルグラムによる定義
 先ほどのARの定義 (by Ronald T. Azuma) とも合致
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 7

8. AR? MR?
ARとMR (Mixed Reality : 複合現実感) の違い
定義2
 AR：現実世界に単に情報を重畳したもの
 MR：利用者の動きとシンクロする、現実世界の形状とデジタル映像をぴったり重ね合わせる
 Ronald T. Azumaの定義ではこれもARに含まれる（定義の2、3番目と一緒）
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 8
https://special.nikkeibp.co.jp/atclh/NBO/17/microsoft0419/p5/

9. 幾何学的整合性の実現
幾何学的整合性を実現するためには？
カメラの位置姿勢の算出（= 本章の主題）が重要
 現実空間のなかで、カメラはどこにあるか？どこに向いているか？
次節4.2 で、位置姿勢算出の理解に必要な単眼カメラのカメラ幾何を説明
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 9
𝑍 𝑐
𝑋𝑐
𝑌𝑐
𝑍 𝑤
𝑌𝑤
𝑋 𝑤
𝑿 𝑤
𝑢
𝑣
𝒖
カメラ座標
カメラ座標
ワールド座標

10. 4.1節 補足
実際には光学的整合性も大事
視点に応じてCG物体の合成の際に影や反射を加えること
本章（4章）を読み進めるには、2章、3章の知識も必要
どちらも、CV勉強会で読み会実施済み！
2章資料まとめ（@takminさんブログ）
https://takmin.hatenablog.com/entry/20180824/1535128390
3章資料まとめ（同上）
https://takmin.hatenablog.com/entry/2018/09/28/010618
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 10

11. 4.2 カメラ幾何
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 11

12. 座標系の定義
ワールド座標： 𝑋 𝑤 𝑌𝑤 𝑍 𝑤
𝑇
三次元空間上のどこかに原点→カメラ位置に対して不変
カメラ座標 ： 𝑋𝑐 𝑌𝑐 𝑍 𝑐
𝑇
カメラの光学中心が原点、光軸がZ軸
カメラ位置に合わせてワールド座標空間内を移動
画像座標 ： 𝑢 𝑣 𝑇
画像の左上が原点
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 12
𝑍 𝑐
𝑋𝑐
𝑌𝑐
𝑍 𝑤
𝑌𝑤
𝑋 𝑤
𝑿 𝑤
𝑢
𝑣
𝒖
カメラ座標
カメラ座標
ワールド座標

13. 透視投影モデルに基づいた𝑿 𝑤と𝒖の関係
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 13
𝑍 𝑐
𝑋𝑐
𝑌𝑐
𝑍 𝑤
𝑌𝑤
𝑋 𝑤
𝑿 𝑤
𝑢
𝑣
𝒖
カメラ座標
カメラ座標
ワールド座標
𝑠
𝑢
𝑣
1
=
𝑓𝑢 0 𝑐 𝑢
0 𝑓𝑣 𝑐 𝑣
0 0 0
𝑟11 𝑟12
𝑟21 𝑟22
𝑟31 𝑟32
𝑟13 𝑡1
𝑟23 𝑡2
𝑟33 𝑡3
𝑋 𝑤
𝑌𝑤
𝑍 𝑤
1
𝑲:内部パラメータ
𝑹 𝑻 :外部パラメータ
𝑠 𝒖 = 𝑲 𝒓1 𝒓2 𝒓3 𝑻 𝑿 𝑤
= 𝑲 𝑹 𝑻 𝑿 𝑤

14. ワールド座標とカメラ座標の関係
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 14
𝑍 𝑐
𝑋𝑐
𝑌𝑐
𝑍 𝑤
𝑌𝑤
𝑋 𝑤
𝑿 𝑤
𝑢
𝑣
𝒖
カメラ座標
カメラ座標
ワールド座標
𝑿 𝑐 =
𝑹 𝑻
𝟎 𝑇
1
𝑿 𝑤
𝑋𝑐
𝑌𝑐
𝑍 𝑐
1
=
𝑟11 𝑟12
𝑟21 𝑟22
𝑟31
0
𝑟32
0
𝑟13 𝑡1
𝑟23 𝑡2
𝑟33
0
𝑡3
1
𝑋 𝑤
𝑌𝑤
𝑍 𝑤
1
𝑻𝒓2
𝑿 𝑤 = 0 0 0 𝑇 の時 ・・・ 𝑿 𝑐 = 𝑻
𝑿 𝑤 = 0 1 0 𝑇
の時 ・・・ 𝑿 𝑐 = 𝒓2
𝑻はカメラ座標系でのワールド座標の原点
𝒓1, 𝒓2, 𝒓3はカメラ座標系でのワールド座標
𝑋 𝑤軸, 𝑌𝑤軸, 𝑍 𝑤軸の方向

15. ワールド座標から画像座標への変換
 𝑹 𝑻 によって 𝑿 𝑤から 𝑿 𝑐へ、 𝑲によって 𝑿 𝑐から 𝒖へ変換される
 𝑲：事前に内部キャリブレーションして既知として扱う（2章参照）
 𝑹 𝑻 : これが算出できれば、 𝑿 𝑤で定義されたCG物体を画像へ投影できる
 𝑹 𝑻 の算出（外部キャリブレーション）＝カメラの位置姿勢の算出
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 15
𝑍 𝑐
𝑋𝑐
𝑌𝑐
𝑍 𝑤
𝑌𝑤
𝑋 𝑤
𝑿 𝑤
𝑢
𝑣
𝒖
カメラ座標
カメラ座標
ワールド座標
𝑠 𝒖 = 𝑲 𝑹 𝑻 𝑿 𝑤
𝑠 𝒖 = 𝑲 𝑰 𝟎 𝑿 𝑐𝑿 𝑐 =
𝑹 𝑻
𝟎 𝑇 1
𝑿 𝑤 より

16. 平面に物体を投影する場合
 𝑹 𝑻 の代わりに射影変換行列𝑯を用いる
𝑋 𝑤 𝑌𝑤平面（𝑍 𝑤 = 0）に投影する場合
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 16
𝑍 𝑐
𝑋𝑐
𝑌𝑐
𝑍 𝑤
𝑌𝑤
𝑋 𝑤
𝑿 𝑤
𝑢
𝑣
𝒖
カメラ座標
カメラ座標
ワールド座標
𝑠 𝒖 = 𝑲 𝒓1 𝒓2 𝒓3 𝑻
𝑋 𝑤
𝑌𝑤
0
1
= 𝑲 𝒓1 𝒓2 𝑻
𝑋 𝑤
𝑌𝑤
1
= 𝑯
𝑋 𝑤
𝑌𝑤
1

17. 射影変換行列𝑯の求め方
未知数は8つ → 𝒖と𝑿 𝑋𝑌の対応4組以上あれば算出可
両辺を定数倍しても𝒖と𝑿 𝑋𝑌の対応は変わらない
 ℎ33=1となるように正規化することで未知数を8つに減らすことができる
DLT（Direct Linear Transform）法で𝑯を算出可能
5組以上の対応点がある場合は最小二乗法で求める
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 17
𝑠
𝑢
𝑣
1
=
ℎ11 ℎ12
ℎ21 ℎ22
ℎ31 ℎ32
ℎ13
ℎ23
ℎ33
𝑋 𝑤
𝑌𝑤
1
𝑠
ℎ33
𝑢
𝑣
1
=
ℎ′11 ℎ′12
ℎ′21 ℎ′22
ℎ′31 ℎ′32
ℎ′13
ℎ′23
1
𝑋 𝑤
𝑌𝑤
1

18. 三次元の物体を投影する場合
𝑯から 𝑹 𝑻 を算出する
実際は、上記を初期値として、次節の投影誤差が最小となるように非線形最
適化する必要あり
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 18
𝑍 𝑐
𝑋𝑐
𝑌𝑐
𝑍 𝑤
𝑌𝑤
𝑋 𝑤
𝑿 𝑤
𝑢
𝑣
𝒖
カメラ座標
カメラ座標
ワールド座標
𝒃 𝟏 𝒃 𝟐 𝒃 𝟑 = ±𝑲−𝟏
𝑯
𝒓 𝟏 𝒓 𝟐 𝑻 =
1
λ
𝒃 𝟏 𝒃 𝟐 𝒃 𝟑 𝒓3 = 𝒓1 × 𝒓2 (外積)
λ =
𝒃1 + 𝒃2
2
とすると、
と求められる

19. 4.2節 補足
ここまでの話はレンズの歪曲収差がない場合が前提
実際のレンズでは直線が曲線に撮像されるなどのひずみが生じる
広角レンズでは特に画像の周辺ほどひずみが大きくなる
実際は事前に歪パラメータも求めておく必要がある
この辺りは2章参照
CV勉強会で読み会実施済
［個人的気づき］歪パラメータは、まずは2つまでにしておいたほうが良いこと
が複数の発表者から指摘されている
@gaku_nakanoさん
https://drive.google.com/file/d/1BbhWplwBvZyJwQVTqQPn62ZF8oE52xfT/view
@ChaoticActivityさん
https://drive.google.com/file/d/1e6WMKMYRLUbjKKdKmq5XlGDK0mo5Ab9h/view
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 19

20. 4章の概要
タイトル：拡張現実感のためのコンピュータビジョン技術
4.1 拡張現実感とは
現実とCGを融合
実時間かつ対話的
幾何学的整合性
4.2 カメラ幾何
カメラの位置姿勢推定＝カメラの外部キャリブレーション
4.3 既知な物体を用いたカメラの位置姿勢算出
4.4 未知な環境下におけるカメラの位置姿勢算出
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 20

21. fin.
2019年2月27日 @OZ_Z_C
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章 拡張現実感のためのCV技術 21