Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

バーチャルリアリティ(VR)概要

1,659 views

Published on

Inter BEE 2016のチュートリアルで使ったスライドです。

Published in: Engineering
  • Be the first to comment

バーチャルリアリティ(VR)概要

  1. 1. 国立研究開発法人 バーチャルリアリティ(VR)概要 蔵⽥ 武志123 1特定国⽴研究開発法⼈産業技術総合研究所 ⼈間情報研究部⾨ サービス観測・モデル化研究グループ⻑ 2筑波⼤学 システム情報系 教授(連携⼤学院) 3⽇本バーチャルリアリティ学会 理事 https://staff.aist.go.jp/t.kurata/
  2. 2. 国立研究開発法人 ⽬次 1. バーチャルリアティ(VR)について 2. VR/拡張現実(AR)/複合現実(MR) 技術の活⽤・実証事例 3. 標準化に向けた動向 4. VR研究の今後の展望 2
  3. 3. 国立研究開発法人 VRとは︖ • VR (Virtual Reality) –物理的には存在しないものを、感覚的には本物と 同等の本質を感じさせる技術 –「バーチャル」は「仮想」ではない。物理的存在 の有無の違いであり、本質は等しい • 狭義のVR – 現実を遮断し,バーチャル世界の中に閉じた環境を実現 する. ⼀部提供︓筑波⼤学 岩⽥先⽣(⽇本VR学会会⻑)3
  4. 4. 国立研究開発法人 AR, MR ウェアラブル コンピュータ 映画, TVCM VR 1)実像と⼈⼯像の合成 ⇒ ディスプレイ技術 リアル+バーチャル 2次元GUI 合成写真 3次元CG リアルタイム 2)実時間のインタラクション ⇒ インタフェース技術 3D コンテンツ 3)3次元的な位置合わせ ⇒ トラッキング技術 R. T. Azuma, “A Survey of Augmented Reality,” in MIT Press Presence: Teleoperators and Virtual Environments Vol.6, No.4 (August 1997), pp.355-385. 拡張現実(AR) の3要件 提供︓⼤阪⼤学 清川先⽣4
  5. 5. 国立研究開発法人 複合現実のスペクトル 5 複合現実(MR: Mixed Reality) 実環境 拡張現実 (AR: Augmented Reality) 拡張VR (AV: Augmented Virtuality) VR環境 P. Milgram and F. Kishino, “A Taxonomy of Mixed Reality Visual Displays,” IEICE Trans. Information Systems, Vol.E77-D, No.12, 1994, pp.1321-1329.
  6. 6. 1960年代 アイバン・サザランド 「究極のディスプレイ」 1980年代初頭 舘暲 「テレイグジスタンス」 1980年代前半 東大 石井威望研究室 廣瀬先生: 立体視の研究を始める 岩田(大学院生): D論テーマ: 顔画像を用いたインタラクション 1989年(平成元年) Virtual Reality という言葉が誕生 6 提供︓筑波⼤学 岩⽥先⽣(⽇本VR学会会⻑) 1996年 日本バーチャルリアリティ学会 設立
  7. 7. ARのコンセプトの提唱(1992年) 目的:飛行機組立作業の高度化 方法:組立案内を直接対象物上に表示するこ とによる作業の効率化 技術:光学式シースルーディスプレイと頭部トラッキングセン サ ー の 組み合わせ T. Caudell and D. Mizell, Augmented reality: an application of headsup display technology to manual manufacturing processes, Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences, vol. ii, pp. 659-669 vol.2, Jan 1992 提供︓奈良先端⼤学院⼤学 加藤先⽣ 7
  8. 8. NaviCam(1995年) J. Rekimoto and K. Nagao, The world through the computer: Computer augmented interaction with real world environments, 8th Annual ACM Symposium on User Interface and Software Technology, pp.29-36, 1995. 提供︓奈良先端⼤学院⼤学 加藤先⽣ H. Kato and M. Billinghurst, Marker tracking and hmd calibration for a video- based augmented reality conferencing system, 2nd IEEE and ACM International Workshop on Augmented Reality, pp.85-94, 1999 ARToolKit(1999年) ⽇本⼈の活躍 8
  9. 9. 国立研究開発法人 • PTAM [Klein et al 2007] http://www.robots.ox.ac.uk/~gk/PTAM/ • LSD(Large-Scale Direct)-SLAM [Engel et al 2014] http://vision.in.tum.de/research/vslam/lsdslam 25 提供︓慶応⼤学 斎藤先⽣ ⾃然特徴点を⽤いたSLAMの例 9
  10. 10. 国立研究開発法人 ⽬次 1. バーチャルリアティ(VR)について 2. VR/拡張現実(AR)/複合現実(MR) 技術の活⽤・実証事例 3. 標準化に向けた動向 4. VR研究の今後の展望 10
  11. 11. 国立研究開発法人 本⽥技術研究所 四輪R&Dセンター(栃⽊) 写真提供:Christie Digital Systems日本支社 11
  12. 12. 国立研究開発法人 財団法⼈ ⾃動⾞研究所(JARI) 全方位視野(360度) ドライビングシミュレータ 写真提供:Christie Digital Systems日本支社 12
  13. 13. 国立研究開発法人 国⽴研究開発法⼈⽇本原⼦⼒研究開発機構 不拡散・核セキュリティ総合⽀援センター 13
  14. 14. 国立研究開発法人 飲⾷現場におけるケーススタディ 14提供︓慶応⼤ 杉浦先⽣
  15. 15. [動向] Virtual Realityを用いた顧客行動調査 マーケティング分野での活用事例増加 – レイアウト設計段階で顧客行動を事前評価 – パッケージ検討段階で顧客の印象を事前評価 15 Kimberly-Clark社のバーチャル店舗 [出典:In-store marketing instituteホワイトペーパー] メリット1 実店舗調査に比べて「厳密な条件比較」を低リスク・低コストで実施可能 メリット2 新パッケージデザインを公共の場に出すことなく店舗設置時の印象を評価可能
  16. 16. AIST‐Service Field Simulator •VR技術を用いたサービス設計支援 – VR環境での人間行動計測によるサービス提供環境とプロセスの事前評価 16 詳細かつ信頼できるデータの獲得 • 様々なセンサを併用可能 • 実験のための環境制御が容易 脳波計測の様子 視線計測の様子 行動に影響を与える条件を現実に近づける  「方向感覚」を失わせない全方位画面提示  方向転換での遅延が0でVR酔い抑制  現場で使う現実の道具を手に持っての体験  足踏み動作認識による自然な移動  「移動による疲れ」「移動にかかる時間」も評価 継続的に性能改善中  解像度(角度分解能視力0.7相当)  垂直視野角(90度以上) 設計のコンセプト 装置の外観 (八角柱) 行動計測のための環境提示装置
  17. 17. 国立研究開発法人 再現性の検証︓同じ⾏動を取るか︖ 17 Real Virtual Real Virtual
  18. 18. 国立研究開発法人 社会インフラメンテMR︓打⾳検査 18 Note: 地方では市民参加型のメンテナンスも必要になりつつある
  19. 19. 事例3:製造業様 上下水道インフラ点検サービス 設備損傷発見時の判断・対処が属人化 対応にばらつき、サービス品質の均一化が急務 上下水道インフラの点検、保守、維持管理業務内容 課題(現状) 位置ベースで部品仕様と保守履歴をタグづ け・関係付け、モノに情報を紐付表示(AR) ビッグデータの分析(傾向・相関)・未来予測 結果を装置に紐付けて表示(AR)、部品交換 など予防保守 補修方法のナビゲーションで作業品質を均質化 過去の保守履歴から最適な補修方法を表示、技能・技術の継承を促進 情報一元管理が急務(部品・保守履歴・修繕計画) 損傷部品の型名が分からず在庫確認・発注処理が遅延、修復に遅れ ビッグデータを活用できていない クラウドに蓄積されたセンサデータを分析・活用できていない 施策(AR適用後) 19
  20. 20. 国立研究開発法人 バーチャルマッピングパーティ http://www.aist-ari.org/ristex-mavi/index.php 全⽅位映像・環境⾳記録 AR触地図による予習 ナビアプリでの歩⾏⽀援 ピングマッピングの リクエストや いいね︕を送信 いつでもどこでも マッピングパーティ 20 Note: クラウドソーシングで地理空間情報を整備
  21. 21. 車いす利用者のための MR着装シミュレーション・衣服設計支援 21 今後: 形状計測 ⇒3Dプリンティング ⇒プロジェクションマッピング ボトムスの変形 http://www.aist-ari.org/kaken-a-clothes/search/
  22. 22. 目次 1. バーチャルリアティ(VR)について 2. VR/拡張現実(AR)/複合現実(MR) 技術の活用・実証事例 3. 標準化に向けた動向 4. VR研究の今後の展望 22
  23. 23. 人はなぜ酔うのか - 感覚不一致説 - 23 身体の動きについての感覚情報が、過去の経験に基づい て予測できる変化から逸脱したときに酔う 前庭感覚 視 覚 触 覚 聴 覚 自己受容感覚 (筋、腱、関節) 自分が前に進んでいる という感覚 通常は 過去の経験に基づく予測による変化と 感覚情報の変化とが一致 提供︓産総研⼈間情報研究部⾨ ⽒家⽒、渡邊⽒
  24. 24. VRで (HMDで) 人はなぜ酔うのか 24 roll pitch yaw オプティック・フローによる 視覚的身体運動情報 ステレオ立体視表示によ る視覚的身体運動情報 両眼映像間の不一致 調節-輻輳の情報の不一致 明るさ、色、画像位置、 画像形状等 ヘッドトラッキングによる 映像切替の時間遅れ 時間遅れの大きさ 時間遅れの変動の大きさ 没入型立体表示の HMDを想定 及び その他、影響要因 提供︓産総研⼈間情報研究部⾨ ⽒家⽒、渡邊⽒
  25. 25. 動きの影響は実際の映像にも適用可能か? - 映像酔い評価システム - 25 (財)JKA機械工業振興 事業補助金交付による JEITAへの委託事業に おいて大学関係者、産 総研が連携して開発 映像モニタ 映像操作 映像情報 影響を与える可能性 のある映像区間のリ スト表示 カメラ要素運動の推定速度 映像酔いレベルの時系列推定値 視聴環境条件 氏家(2010) 提供︓産総研⼈間情報研究部⾨ ⽒家⽒、渡邊⽒
  26. 26. 26 VR酔いを予測情報で軽減する 視覚運動の予測情報を提示することで、酔いを軽減できる 可能性がある t 加速を予告 するサイン 0 2 4 6 8 10 12 1 1.5 2 2.5 3 3.5 Phase AverageLF/HF No sign Int. 750 Int. 3500 ○サインなし △ 3500m秒前サイン ×750m秒前サイン + * * * * + + 経過時間(分) 心 拍 か ら 求 め た 心 的 負 担 度 Watanabe, Teramoto, and Umemura (2007) 提供︓産総研⼈間情報研究部⾨ ⽒家⽒、渡邊⽒
  27. 27. MARのためのビジョンに基づく 位置合わせ及び追跡手法の ベンチマーキング • ISO/IEC WD (Working Draft) 18520 – 用語と定義 – ベンチマーキングフレームワーク – ベンチマーク指標 – ベンチマーキングのための試行セット 27 Benchmark Indicators + Benchmarking Framework Trial Set (Dataset)+
  28. 28. 目次 1. バーチャルリアティ(VR)について 2. VR/拡張現実(AR)/複合現実(MR) 技術の活用・実証事例 3. 標準化に向けた動向 4. VR研究の今後の展望 28
  29. 29. 国立研究開発法人 理学・⼯学分野における科学・夢ロードマップ - ⽇本学術会議 29JVRSJ Vol.18 No.4, pp.73-74, December, 2013
  30. 30. 国立研究開発法人 “Large Space”の構造 全周壁⾯と床⾯に⽴体映像を投影 (Christie Digital projector 12台 ) モーションキャプチャ (OptiTrack Prime41 20台) 多⼈数が同時にバーチャル空間を体験 提供︓筑波⼤学 岩⽥先⽣(⽇本VR学会会⻑) 7本のワイヤーにより 映像空間を⾶⾏
  31. 31. 国立研究開発法人 MARで求められる整合性 31 幾何学的・ 時間的・ 光学的整合性 の次は ⽂脈的整合性
  32. 32. 国立研究開発法人 対象指向型ハプティックインタフェース 装置⾃体が変形して、対象物を 模擬する。 素⼿で映像に触れられる。 FEELEX 1 (1997) 提供︓筑波⼤学 岩⽥先⽣(⽇本VR学会会⻑)32
  33. 33. 国立研究開発法人 ミライセンス 33 産総研LINK No.3 平成27年11月発行 三原触︓圧覚、触覚、⼒覚
  34. 34. 国立研究開発法人 ロコモーションインタフェース 歩⾏感覚を与える装置 (1) 移動の打ち消し︓その場で歩⾏運動できる。 (2) ⽅向変換︓好きな⽅向に⾏ける。 提供︓筑波⼤学 岩⽥先⽣(⽇本VR学会会⻑) Virtual Perambulator (1989) Torus Treadmil (1997~) Robot Tile (2004~) Virtuix Omni (2015) 34
  35. 35. 国立研究開発法人 嗅覚,味覚提⽰への期待 視覚 聴覚 触覚 ⼒提⽰ 触感提⽰ 平衡覚 嗅覚 味覚 五感への 展開 “幽霊体験” (物理的相互作用なし) 視聴覚偏重 “宇宙服体験” (空気を遮断) 真に総合的な体験へ 課題: • 化学刺激(物質が関与,濃度により感覚が質的変化) • 嗅覚は合成の考え方が成立しない(受容タンパク388種類) 初期のVR 提供︓名城⼤学 柳⽥教授提供
  36. 36. 国立研究開発法人 嗅覚提⽰技術 香りの発生・調合 香気の時空間制御 超音波(表面弾性波) 東京工業大 インクジェット 慶應義塾大 液面揮発・多種調合 東京工業大 Smelling Screen(風制御) 東京農工大 五感シアター(風制御) 首都大学東京・東京大 ウェアラブル 東京大 香りプロジェクタ (渦輪) 名城大 提供︓名城⼤学 柳⽥教授提供
  37. 37. 国立研究開発法人 味覚提⽰技術 五基本味:甘,酸,塩,苦,旨 味認識装置:味覚の定量化 九州大など 代替物質による味の合成? 例: • プリン+醤油→ウニ • 牛乳+砂糖+麦茶→コーヒー牛乳 摂食行動は五感をフル活用 →まずは味の変調・制御から 電気味覚:味の変調 明治大・東京大 クロスモーダル効果の利用 Meta Cookie 見た目と匂いで一つの ものを多種類に 東京大 拡張満腹感 見た目のサイズを変え 少ない量で満腹に 東京大 提供︓名城⼤学 柳⽥教授提供
  38. 38. 国立研究開発法人 38
  39. 39. 国立研究開発法人 VR関連の学会やコンソーシアム • 特定非営利活動法人 日本バーチャルリアリティ学会 http://www.vrsj.org/ • 一般社団法人 VRコンソーシアム http://vrc.or.jp/ • 一般財団法人 デジタルコンテンツ協会(DCAj) http://www.dcaj.or.jp/ ※DC EXPO主催団体 • 一般社団法人 日本シミュレーション学会 http://www.jsst.jp/j/ • JST ACCEL 身体性メディアコンソーシアム http://www.jst.go.jp/kisoken/accel/research_project/ongoing/h26_05.html • 一般社団法人 コンピュータエンターテインメント協会(CESA) https://www.cesa.or.jp/ ※東京ゲームショーの主催団体 39
  40. 40. 国立研究開発法人 書籍「AR(拡張現実)技術の基礎・ 発展・実践」 第1章 基礎編その1 1 マーカベースの位置合わせ ⽥中(産総研)、内⼭(東芝) 2 ⾃然特徴ベースの位置合わせ 内⼭(東芝) 第2章 基礎編その2 1 ヘッドマウントディスプレイ 清川(阪⼤) 2 SAR(プロジェクター) 天野(和歌⼭⼤)、岩井(阪⼤) 3 インタラクション ⼤隈(産総研)、⼭本(奈良先端⼤) 第3章 発展編その1 1 シーン形状のモデリング ⽇浦(広島市⽴⼤)、⼤⽯(東⼤)、池⽥(阪⼤) 2 光学的整合性 神原(奈良先端⼤) 、⼀刈(産総研) 3 ビューマネージメント、可視化 岩井(阪⼤)、⼤隈(産総研)、牧⽥(産総研) 4 ⾃由視点映像技術を⽤いたMR 北原(筑波⼤) 第4章 発展編その2 1 マルチモーダルAR 鳴海・⾕川(東⼤) 2 ロボットや家電と連携するAR 杉本(慶⼤) 3 屋内測位 興梠・蔵⽥(産総研)、⽯川(サイトセンシング) 4 ARによるコミュニケーション⽀援 酒⽥・清川(阪⼤) 第5章 実践編 1 ARトラッキングのためのベンチマーク 柴⽥(⽴命⼤)、牧⽥・蔵⽥(産総研) 2 Casper ⻲⽥(筑波⼤) 3 メディカルAR ⿊⽥(京⼤)、⼤星(近畿⼤)、⿊⽥嘉宏(阪⼤)、堀謙太(群⾺県⽴健科⼤) 4 産業AR ⽯井(京⼤) 40 監修 蔵⽥(産総研)、清川(阪⼤) 編集 ⼤隈(産総研) 出版︓科学情報出版株式会社
  41. 41. 国立研究開発法人 サービス⼯学もやってます︓ 測って図る 41
  42. 42. 国立研究開発法人 現場のラボ化とラボの現場化 • Borrowing from “Terraforming” • Lab-forming Field: Transforming a real field into a lab-like place. • Field-forming Lab: Transforming a laboratory into a field-like place. 42
  43. 43. 国立研究開発法人 付録 43
  44. 44. 国立研究開発法人 マーカを⽤いた⽅式の⽋点(正⾯での姿勢推定) を克服したマイクロレンズシート⽅式 44 視線角度に応じた黒ピーク位置の移動の様子 (左:LentiMark, 右:ArrayMark) G空間EXPO2016(11/24-26でのデモ展示あり) 書籍「AR(拡張現実)技術の基礎・発展・実践」より
  45. 45. 国立研究開発法人 Spatial Augmented Reality 略史 • コンセプト (ʼ90以前)〜基本技術 (ʼ00)〜普及 (ʼ10) Disneyʼs Haunted Mansion 1969 Naimarkʼs Displacement 1980 Office of the Future 1998 DigitalDesk 1993 1999 Shader Lamps 2005 SmartProjector 2014 Once Upon a Time at Tokyo Disney Land 2013 MicroSoft IllumiRoom Coded aperture 2010 提供︓⼤阪⼤学 清川先⽣45
  46. 46. 国立研究開発法人 複数⼈で協調して空間をレイアウトする システム「Dollhouse VR」 46 WBSトレたま(テレビ東京)2015/11/10 OplusE,2016年2⽉号 東⼤・がんこフードとの連携事例 ⿃瞰︓設計者⽬線 FPV︓顧客・従業員・⽣活者⽬線
  47. 47. 国立研究開発法人 復興⽀援・地域観光振興︓ 気仙沼横丁アプリ 47 http://www.fukko-yatai.com/appli/ Oculus Rift版、Web(WebGL)版が入手・体験可能 気仙沼横丁:2017年3月で閉村(未定)
  48. 48. ベンチマーキングのための試行セット 48
  49. 49. 0.0 0.5 1.0 1.5 2.0 2.5 3.0 1 10 100 1000 Subjectivescore Rotation speed (deg/s) Pitch Yaw Roll * ** * * * * (*p<.05, Mann-Whitney) n = 39 * * 酔いを引き起こしやすい動きとは? - ヨー、ピッチ、ロールの分析 - 49 特定の速度帯域で、酔いが生じやすい 速度が、遅すぎても、早すぎても、酔いは生じにくい ドラムの回転速度(deg/s) 胃電図による特定の 帯域(4~6 cpm)の動き 酔いの主観評価 スコア 胃電図 主観評価 ヨー回転 60 deg/s 82 deg 67 deg 70 deg/s30 deg/s 一方向に回転 60 deg/sとは 1秒間に6回転 または 3Hの距離で、画面の 端から端まで約0.5秒 n = 39 Ujike, Yokoi, and Saida (2004)Hu et al. (1989) 提供︓産総研⼈間情報研究部⾨ ⽒家⽒、渡邊⽒
  50. 50. 50 人間工学的指針の作成に向けて 人間工学的指針の国際標準化 ・「映像酔い」の観点で、現在検討中 2016年度中に国際提案、3年後を目途に国際規格 発行をめざす ISO/TC159国内対策委員会ISO/TC159/SC 4 経済産業省 国際標準化事業 産総研 JEITA 電子情報技術産業協会 産業技術総合研究所 ・ゲームメーカー ・映像制作者 ・ポス・プロ関係者 ・放送関係者 ・ディスプレイメーカー ・医療関係者 ・研究者 等々 快適映像基盤技術 研究推進委員会 本件お問合せ: 氏家(h.ujike@aist.go.jp), 渡邊(h.watanabe@aist.go.jp)
  51. 51. 国立研究開発法人 ISMAR2016発表事例:遠隔空間共有 51
  52. 52. 国立研究開発法人 神⼾⼤学 統合研究拠点「π-CAVE」 スパコン「京」と連携したVRシステム 写真提供:Christie Digital Systems日本支社 52
  53. 53. 国立研究開発法人 過去から学ぶ 53 大元隆志のウェアラブル・ビジネス活用最前線, IT Leaders (2014/11/14) http://it.impressbm.co.jp/articles/-/11841

×