MRについてのサーベイ

MRについて
鬼コースサーベイまとめ
石川高専 4年電子情報工学科
安田樹

容易に再現性のある低コストの
３Dディスプレイシステム
どんなもの？
異方性ホログラフィックディフューザーにより複数の
同時視聴者にディスプレイ上で360°表示できる
先行研究と比べてどこがすごい？
複数のパラメータから垂直成分の遠近法と視差
を任意の高さでレンダリングできる
技術や手法のキモはどこ？
水平視野が誇張され曲線が湾曲されないように複
数の高さで水平成分と垂直成分の視点を生成
どうやって有効だと検証した？
ディスプレイの多様化は可能か
議論はある？
Achieving Eye Contact in a One-to-Many 3D
Video Teleconferencing System
次に読むべき論文は？
Rendering for an Interactive 360º Light Field Display
SIGGRAPH 2007 Papers Proceedings
SIGGRAPH 2007 Emerging Technologies

Cinema 3D: Large Scale Automultiscopic Display
３Dを提供する同時多視点ディスプレイ
の設計
どんなもの？
個々の座席に対してより高い空間分解および角度分解を可能
にする。角度の変化により等しい視差を達成する
視差バリアの角度範囲を多層パネルなどの新しいディスプレ
イ技術を活用し水平視野範囲や視聴者距離に適宜割り当てて
いる
表示解像度、垂直解像度の向上、明るさ、
垂直張りやや斜め横障害への障害で小型レンズを
用いて実現させた
前提としてLCDディスプレイであるがLCD以外で
もこの技術は応用可能か
議論はある？
BALOGH, T. 2006. The holovizio system. In
Electronic Imaging 2006, International Society
for Optics and Photonics, 60550U– 60550U.

入力に立体的なビデオを用い、それをマルチ表
示にかえる解決となるフィルタ処理したビデオ
ストリーム
どんなもの？
ベースのビデオ拡大とアンチエイジングを一回のフィルタ・
プロセスに結合。最先端の深度ベースのレタリングより優秀
入力としてステレオスコピックストリームをとる。こ
の方法は単純でありハードウェアで実装可能
翻訳シフト定理を用いて２つの入力で測定された差をピラミッ
ド表現により、直接統合できる。位相差により垂直方向にもラ
イトフィールと生成可能
位相差が微小なものではどれくらいの精度になる
か
議論はある？
Three-Dimensional Displays: A Review and
Applications Analysis
Joint View Expansion and Filtering for Automultiscopic 3D Displays

Three-Dimensional Displays: A Review and Applications Analysis
3Dディスプレイの主要な技術的特性を分析し、
これらを使用するアプリケーションの提案
どんなもの？
3Dディスプレイをアプリケーションサイズにするため、昨今
の技術をグループ化。立体的で自動立体的なテクノロジーの
開発
目の位置,ボクセル,同時視聴者の数、解像度視域、ヘッド位置
の制約、表示サイズのサポート、知覚深度範囲、色再現能力、
クロストークレベルに着目
技術を５つに識別することにより応用分野に活用
でき、ディスプレイの特性を確認
中間の表示合成技術は出ているがそれ以外の合成
技術について
議論はある？
Autostereoscopic displays and computer
graphics

This article appeared in Computer Graphics, ACM
SIGGRAPH, 31(2), May 1997, pp 58–62. © 1997 Michael Halle, ARR.
Autostereoscopic displays and computer graphics
ボリュームディスプレイ、視差ディスプレイ、ボリューム
ディスプレイの3種類についての説明
どんなもの？
可能な限り最高のイメージを得るために最も困難なのは光学
特性を理解し、ジオメトリやゆがみ、グラフィックスとディ
スプレイの正しい画像リアリズムが重要なことを示唆
パラレル画像を生成するのに必要なのはカメラトラックやカ
メラパラメータ、レンダリングが必要は透視画像の数。画像
データのピクセル解像度と画像フォーマットである
視差ディスプレイは画像ボリュームの空間解像度深度、水平解
像度はバリアスリットの幅と幅の両方で制御、垂直の画像は
フィルム上でスライスする
ソフトウェアパッケージのディスプレイの特性に
合わせてレンダリングする技術はまだない
議論はある？
Ives,F.E. U.S.Patent No. 725,567.

音声アニメーションを生成しながらリアルタイムでアバター
が感情をHMDの単眼カメラを使って表現する
どんなもの？
リアルタイムで高忠実度の表情の動きを抽出す
ることを可能にし、舌などの閉塞部分へも対応
目と口のFASC表現の画像、心理音響学的文からのビジュアル
サンプル、それに対応するアニメーションパラメータを使用
しトレーニングデータを収集
Caffeframeworkで設計、訓練、CNNの使用、GPUを使用しト
レーニングプロセスを行った。１つのカメラを使用して顔全体
を追跡
照明条件より画像ベースのトラッキングの信頼性
低下の原因
議論はある？
High-Fidelity Facial and Speech Animation for VR HMDs
Appearance-Based Gaze Estimation in the Wild

外観に基づく凝視評価が自然な状態で行う方法
どんなもの？
３つの公的に外観ベースの注視推定アルゴリズム、トレーニ
ングとデータテスト、ドメイン固有のパフォーマンス向上の
追求、マルチモーダル畳み込みニューラルを用いた注視推定
縛りがない状態での外観ベースの注視推定、自然の中での注視
データセットの構築、ラップトップを使用した長期間のデータ
収集
データ収集の期間の長さを解決する方法
議論はある？
現実的でないデータを含むMPIIGaze
データセットの作成
Learning-by-Synthesis for Appearance-based
3D Gaze Estimation

最大に完全に調整されたマルチビューの視線を収集するデー
タセットを生成し、3D再構成を実行して、目の画像のトレー
ニングデータを生み出す
どんなもの？
モデルベースで3D眼球モデルで方向を注視、位置の特定に高
解像度カメラを使用。外観ベースでは適応線形回帰を使用し
３Dの視線方向を推定。
目の画像を水平に置き換えてポーズを鏡映した両目にgle回帰関
数で効率を向上。すべての機能を使用してトレーニングした得
られた評価をピクセル対の距離に関してアデット
目の応用アライメントとトラッキング
議論はある？
外観ベースの注視推定への合成方法、調整されたマルチカメ
ラシステム、および新しい領域、３次元再構成で見分けられる
ビューのワーピング
Random forests for real time 3D face analysis
Learning-by-Synthesis for Appearance-based 3D Gaze Estimation

奥行き画像からリアルタイムで頭部ポーズ推定のためのラン
ダムなフォレストペースのフレームワークの提示。それを拡
張し、顔の特徴のセットを3Dでローカライズする
どんなもの？
大きな回転、部分的な閉塞をセンサを使用して取得し
た深度データを処理。リアルタイム性能を達成
深度画像から各パッチが頭部ポーズまたは顔の特徴のそれぞ
れに対し直接投票できるアプローチ。各フレームで独立して
動作することでGPU上の並列計算に頼らないアルゴリズム
一般に公開されている困難なデータセットに関す
る広範な実験を行い、Microsoft Kinectを使用し、
新しい頭部ポーズデータベースを提示
こ
このアルゴリズムは顔以外の場所にも使用可能か
議論はある？
Real-Time Face Pose Estimation from Single
Range Images
Random forests for real time 3D face analysis

3Dを推定するためのリアルタイムアルゴリズムと距離画像を
あらかじめ計算したポーズ画像の平均をとり、そのモデルの
誤差関数を開発
どんなもの？
スケーラブルでポーズを大規模なポーズの変化や顔の変形に
合わせて動作。フィールドの前に目に見えない人や、複数の
顔ビューの初期化は不要
分割分析を置き換える賢い並列計算の洗練された特徴抽出。
現代GPUの大規模な並列性のためにリアルタイムで実行
適切な参照ポーズを含めることで3次ロール回転を広範囲の画
像で表示。位置誤差を正規化するためにポーズ範囲ごとに利用
可能なテスト画像を使用
異なる範囲のデータ収集システムとロール回転推
定の体系的な評価
議論はある？
Real-Time 3D Model Acquisition
Real-Time Face Pose Estimation from Single Range Images

複雑なオブジェクトの詳細なモデルを構築する
ための3Dスキャンレンダリング
どんなもの？
安価で高速でかつ使いやすい新しい3Dモデル取得システム
オブジェクトが走査されると連続的に更新されたモデルを参
照。ホールの存在を見つけると即座にフィードバック
正確さと制度、較正反り、登録ドリフトとスキャンへの影響に
ついて検証
異なる範囲のデータ収集システムとロール回転推
定の体系的な評価
議論はある？
Real-Time 3D Model Acquisition

動的3Dのための斬新な画像ベースの表現
どんなもの？
様々は髪型や帽子を効果的に扱うダイナミック3Dア
バターのための新しいイメージベースの表現
頭部には頭部の剛直な変形をラベル付け、耳のような付加的
なものにはランドマークとし、髪モデルを変形可能にするた
めスランドベースの毛髪表現を使用
画像間奥行の最適化を繰り返し、適用された場合に推定された
毛の幾何学的形状は画像の毛髪に近似。収束エネルギー関数を
視覚化
激しい毛髪の動きに対応可能か
議論はある？
Dynamic 3D Avatar Creation from Hand-held
Video Input
Real-time Facial Animation with Image-based Dynamic Avatars

完全に組み立てられた手持ち式ビデオから3D化
された顔面アバターの作成
どんなもの？
ハードウェアとプロセスがシンプルで堅牢、容易に配備でき
ないカスタムビルドの設定。慣れていないユーザーでも簡単
に実行可能。仮想的なやりとりを可能にする
建設事前確率、二スケールダイナミックブレンドシェイフ表
現。高度な追跡と成功地区アルゴリズムを最小限にし、ユー
ザー支援再構成品質を最大化
アルベド抽出を使用し異なる照明条件を与え、テクスチャライ
ンでオプティカルフローのエネルギーを適応。矯正形状、可能
性関節ベースリキングを組み合わせ走査制度の問題を解決
アバターの感情表現の細分化
議論はある？
Online Modeling For Realtime Facial Animation
Dynamic 3D Avatar Creation from Hand-held Video Input

ユーザの詳細な3D表現も出るとそれに差対応す
る動的追跡パラメータを共同で解決する最適化
アルゴリズム
どんなもの？
オンライン学習に適した低次元表現で動的表現のテンプレー
ト、アイデンティティPCAモデル、およびパラメータ化変形
モデルを組み合わせた適応DEM
高いトラッキング精度を維持しながら、適切な性能キャプ
チャシステムを特定。手動キャリブレーションを行える。
IDAのPCAモデルと矯正変形フィールドにそれぞれ使用された
ベーシスベクトルの数から最適化を示し、ラプラシアン固有ベ
クトルがリアルタイム性能を実現しながら正確な再構成を得た
オンライン最適化をアクティブな外観モデルやアクティブ形状
モデルなどの他の線形モデルを適用する方法
議論はある？
Computer-Aided Design
Online Modeling For Realtime Facial Animation

3D顔面モデリングのためのしわを生成する軽量
ノンパラメトリック法
どんなもの？
詳細なシワのジオメトリを合成し、パーソナライズされたマ
イクロな単一の低コスト。顔のRGBD高性能ビデオを使用し、
詳細な３D顔面アニメーションを作成。
しわの合成方法を掲示し、詳細なシワで再構築された3D顔モ
デルを軽量化し強化した。
詳細はシワとリアルタイムフェイシャルを備えた3次元顔モデ
ルの開発。Kinectカメラを使用して様々な人のアニメーション
を作成
データベースを拡大し、様々な人からしわジオメ
トリイメージの異なる年齢や人種に対応できるか
議論はある？
A Morphable Model For The Synthesis Of 3D
Faces
Computer-Aided Design

テクスチャ付き3Dをモデリングするための新し
い技術
どんなもの？
自動的にモデルパラメータを調整するアルゴリズムを最適な
再構成のために手動の初期化。モデル関数で催促された完全
な３D形状とテクスチャの合理的な見積もり。
インタラクティブフェイスモデリングシステムによって人間
のユーザがモデル係数を変えることにより新しい文字を生成
し、顔のタイプを変更。
200人のモデルの顔をすべて自動的に対応付けすることで、変
形可能な顔モデルを構築。
データ整理にシェイプを適用し、テクスチャデー
タが削減されることについて
議論はある？
Spacetime Faces: High Resolution Capture for
Modeling and Animation
A Morphable Model For The Synthesis Of 3D Faces

ビデオシーケンスから始まるend-to-end
システム
どんなもの？
形状を正確に反映するモデルの作成。
訓練されていないユーザが簡単に作ることを可能に
feceIKにより合理的な顔の範囲への編集しセットの学習を行
う。そしてアニメーションを作成する前にユーザは十分な制
御点を指定してキーフレームを作成
シーケンスを入力として使用し、顔モデルを高解像度、編集可
能、動的制御可能に。キャプチャシステムでは、動機ビデオカ
メラと構造化ライトプロジェクタをキャプチャ
被写体の顔を照らさないとキャプチャできないこ
とについて
議論はある？
The space of human body shapes:
reconstruction and parameterization from range
scans
Spacetime Faces: High Resolution Capture for Modeling and Animation

高解像度テンプレートをフィッテイングするた
めの新しいまばらな3Dマークを使用した詳細は
人体範囲スキャンへのメッシュマッピング
どんなもの？
Point to point の対応付けを確立するための厳格な登録技術、
同一の全体構造を有する一組の表面の間の欲求。取得された
人体などの形状の変化を同様のポーズで表現
マッチングアルゴリズムを使用して一貫したサーフェスパラ
メータを実現。顔のマッチングを改善するために各鼻の先端
にマーカーを使用
テンプレートベース方法で合理的にスキャン。ポーズを因数分
解することでよりコンパクトなPCAの表現を実現
唇の位置が大きくずれてしまうことについて
議論はある？
Filling Holes in Complex Surfaces using
Volumetric Diffusion
The space of human body shapes: reconstruction and parameterization from range scans

３Dの構築に三角形分割アルゴリズムを使用し、
ソリュージョンに符号付き距離関数を構築
どんなもの？
不完全なサーフェスの記述を拡張し、水密なモデルを形成す
るまで続ける。結果がオブジェクトのトポロジと一致しない
場合のみスキャンされる
容積測定を完了するために拡散をしようし、レンジスキャン
表面を表現。常に閉鎖された多岐にわたる三角形を生成。
アルゴリズムにより様々は構成のなめらかな表面を提供し、そ
れによって異なるトポロジを作成。
曲率や面積の鏡面の特性を制御することや曖昧な
トポロジの明確化
議論はある？
Adaptively Sampled Distance Fields: A General
Representation of Shape for Computer
Graphics
Filling Holes in Complex Surfaces using Volumetric Diffusion

ADFの1つの実装を特徴付け、２つの多様なア
プリケーションでその有用性を示す
どんなもの？
適応的にサンプリングされたADFを基本的なグラフィカル
データ構造として使用。シェイプまでの最小距離を指定する
ためにスカラーフィールドを用いる
ユーティリティを説明するためにADFモデルのレンダリング
や彫刻などの処理方法
ADFによって適応的に距離フィールドをサンプリングし、空間
階層内の値をサンプリングし記憶。それにより距離フィールド
に関するかなりの情報を具現化。
より強力はレンダリング方法でのADFの組み合わ
せ。
議論はある？
R. Avila and L. Sobierajski, “A haptic interaction
method for volume visualization”
Adaptively Sampled Distance Fields: A General Representation of Shape for Computer Graphics

MRについてのサーベイ

Recommended

Recommended

More Related Content

Similar to MRについてのサーベイ

Similar to MRについてのサーベイ (20)

MRについてのサーベイ