3D cybercode wiss1996

背景
拡張現実感 (Augmented Reality) における表示情報決定：
何を
どこから
　見ているかに応じて、表示情報が決まる。
KARMA [Feiner et al.]

現実と仮想の位置整合世界座標系 Origin-to-Object Origin-to-Camera オブジェクト座標系カメラ座標系 VR よりはるかに高精度な位置計測が要求される

現実と仮想の位置整合世界座標系 Origin-to-Object Origin-to-Camera Object-to-Camera オブジェクト座標系カメラ座標系

マーカー方式
原理：
実映像中の既知の点（列）の画面上での位置から、カメラの位置と姿勢を計算
射影幾何学・コンピュータビジョンの基本問題のひとつ
利点：
closed-loop （見かけ上の精度が高い）
機器構成が単純（ビデオカメラだけ）
video-see-through に適している

関連研究
どこから：
LED によるマーキング [Bajura&Neuman 94]
磁気センサ + カラーマーカ [State et al. 95]
テンプレートマッチング [Uenohara&Kanade 95]
何を：
カラーコードによるオブジェクト識別 [ 暦本 94]
オブジェクト識別と位置認識を同時に行う手法は提案されていない

本研究の手法
マーカー (2D Matrix Code) を
オブジェクト識別
カメラ位置推定
のふたつの目的で利用する。
オブジェクト種別外枠から位置情報を推定 2 　種類 16

提案方式の概要座標系推定オブジェクト認識画像合成 CG 画像合成画像マトリックスコード実世界オブジェクトビデオカメラ

結果

認識アルゴリズム２値化連結領域選別コード枠当てはめコード認識座標系認識オブジェクト ID カメラ位置・姿勢入力画像

原画像２値化連結成分抽出連結成分のサイズ、縦横比による選別

コード枠当てはめ、コード認識
逆射影変換 1 0 1 1 1 1 1 1 1 0 1 1 1 0 1 1 0 0 0 0 0 0 0 0 0 エラー検出オブジェクト ID

カメラ位置・姿勢推定
X Y Z = R x y z T + 実世界座標カメラ座標 n v1 .. v4 が正方形の幾何条件を満たすように放線ベクトル n を最適化 v 1 v 2 v 3 v 4 ( R を正規直行行列として求める )

結果

オーバーレイ情報の定義
現実物のもつ座標系上で、付加情報を登録していく：
e.g., プリント基板上の部品の情報
実世界の 3 次元位置計測
特殊な計測装置（ 3 次元デジタイザなど）を必要とする。
手間がかかる。
複数の視点から撮影された画像を利用

試作システム
Silicon Graphics Indigo2 IMPACT (MIPS R10000, 200MHz) + Indigo2 Video board
毎秒 6 ～ 10 フレームの画面更新
認識可能距離： 2 次元コードの１辺長の約 10 倍程度
携帯ディスプレイ＋小型カメラ
頭部搭載形態も検討

議論
マーカーが常に視野にないとだめ
他のセンサ（たとえばジャイロ）の併用
複数のマーカ
テンプレートマッチングとの併用
マーカーを非可視にしたい
可視外領域色でマーキング

まとめ
二次元コードをマーカーとして利用する拡張現実感の構成手法を提案
オブジェクト識別と位置認識を同時に達成
特殊な計測装置を必要としない
ワークステーション程度の計算資源で稼動
今後：
保守タスクなどへの適用
簡易ヴァーチャルスタジオ
とびだす Web

3D cybercode wiss1996

by Jun Rekimoto on Oct 30, 2007

Accessibility

Tags

Upload Details

Usage Rights

1 Embed 1

Statistics

3D cybercode wiss1996 — Presentation Transcript