Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

CEDEC2017 次世代VR/ARエンタテイメントのための多重化映像生成ミドルウェア

1,252 views

Published on

CEDEC2017 発表
次世代VR/ARエンタテイメントのための多重化映像生成ミドルウェア
Google Slides 公開版はこちらです
http://bit.ly/CEDEC2017MDM
Facebookグループもつくりました。ご質問はこちらへ。
http://bit.ly/MDMediaFB

20170831 for web public version
このスライドはSlideShare公開版です。個人・社内等での再利用等は可能ですが、スクリーンショットを取得したりして再編使用する場合は exfield@shirai.la までご連絡いただければ幸いです。
このスライドのオリジナルURL(Google Slides公開版)
http://bit.ly/CEDEC2017MDM

講演(CEDEC2017)
http://cedec.cesa.or.jp/2017/session/AC/s58e0479a139a7/

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

CEDEC2017 次世代VR/ARエンタテイメントのための多重化映像生成ミドルウェア

  1. 1. 次世代VR/ARエンタテイメントのための 多重化映像生成ミドルウェア Google Slides 公開版 http://bit.ly/CEDEC2017MDM (株)ソニー・インタラクティブエンタテインメント 鈴木 久貴 神奈川工科大学 情報工学専攻/情報学部 情報メディア学科 准教授 白井 暁彦 exfield@shirai.la
  2. 2. ▶書籍「白井博士の未来のゲームデザイン〜エンターテインメントシステムの科学」より
  3. 3. • 鈴木久貴(すずき ひさたか)  神奈川工科大学大学院を修了後,(株)ソニー・インタラクティブエンタテインメントに 就職.白井研究室OB.既存の3D立体視を応用した多重化映像技術の研究を進めて いました. • 白井暁彦(しらい あきひこ)神奈川工科大学 准教授  写真工学からゲーム開発へ。 2000年クライテリオンソフトウェアにおいて世界初の 産業用ゲームエンジン「 RenderWare」日本市場立ち上げに参加。一方で「グラフィック スがキレイになっただけでは,ゲームは面白くならない」と悟り、東京工業大学知能シ ステム科学博士後期課程に復学。 NHK-ES、フランスLaval市、日本科学未来館を経 由して現職。VRエンタテイメントシステムを研究し続けて、「つくる人をつくる」をテーマ に活動している。 自己紹介
  4. 4. • CEDEC2016 「多重化多視点VRアーケードゲームシステム -DUAL DUEL-」 「インタラクティブセッション オーディエンス賞」受賞 • CEDEC2014 「ゲームの次元を拡張する次世代多重化映像技術『 ExPixel』 • CEDEC2012 「3Dディスプレイと互換の多重化・隠蔽映像技術『 Scritter』が拓く3Dコンテ ンツの未来」 • 同一系統の研究でインタラクティブセッション 3回受賞は おそらく過去最高記録。 しかしながら口頭発表はなし 。 クライテリオンソフトウェア時代 (CEDEC2000)以来、 実に17年ぶりのCEDEC講演です。 CEDECインタラクティブセッション過去3回の受賞
  5. 5. https://www.youtube.com/watch?v=49GAZyuM_9M 【宣伝】今年のインタラクティブセッション 「家族愛をテーマにした子育てVRエンタテイメント ”Real Baby - Real Family”」 基調講演に近い場所で、とっても混んでます(涙)。 空いているときはぜひ体験してください! このプロジェクトは企業化準備中、支援者募集中です
  6. 6. • 多重化映像技術について 1. どんな技術?どんなコンテンツが作れるの? 2. 多重化映像生成ミドルウェア 3. 未来予測!ポスト2020/HDR8K時代の到来 • 多重化映像技術という新しいディスプレイメディアを どうエンタテイメント体験に活かすか? 発想のヒントになれば幸いです! • 多重化ディスプレイのFacebookグループ http://bit.ly/MDMediaFB 本セッションで得られる(べき)もの
  7. 7. どんな技術? どんなコンテンツが作れるの?
  8. 8. • 一つのディスプレイにおいて複数の映像を 同時且つ排他的に表示する技術 (≠ 広い画面にたくさんの情報を表示する) • 多くは3D立体視技術と互換性を持つ -偏光式3D -アクティブシャッター式3D -裸眼立体視  などの応用 新しいディスプレイメディア技術 多重化映像技術とは...
  9. 9. 研究分野 –「thirdEye」(Pranav Mistry,2009) –「Snared illumination」(Ian E Mcdowall et al,2004) –「Scritter series」(Koki Nagano et al,2010~) –「ExPixel」(Hisataka Suzuki et al,2014) –「ExField」(Hisataka Suzuki et al,2016) アート分野 –櫻井・北村「Mysterious POND」(2007) –八谷和彦「コロボックルのテーブル」 (2006) 産業応用 –多重化ビルボード (Vari-vue) –SimulView (Sony) –トリプルビュー液晶 (Sharp) 多重化映像技術
  10. 10. https://twitter.com/yk_ichinomiya/status/899892428341075969 最近起きた事件... ちょっとした技術手品が Twitterで7万いいねをゲットする (その後、作者が研究室を訪問取材する流れに ...) →技術の難度はともかくとして、世間のインパクト、  注目を集めるメディア技術であることは間違いない!
  11. 11. 研究分野 –「thirdEye」(Pranav Mistry,2009) –「Snared illumination」(Ian E Mcdowall et al,2004) –「Scritter series」(Koki Nagano et al,2010~) –「ExPixel」(Hisataka Suzuki et al,2014) –「ExField」(Hisataka Suzuki et al,2016) アート分野 –櫻井・北村「Mysterious POND」(2007) –八谷和彦「コロボックルのテーブル」 (2006) 産業応用 –多重化ビルボード (Vari-vue) –SimulView (Sony) –トリプルビュー液晶 (Sharp) 多重化映像技術 アクティブシャッター方式 偏光方式 その他裸眼3D方式
  12. 12. 研究分野 –「thirdEye」(Pranav Mistry,2009) –「Snared illumination」(Ian E Mcdowall et al,2004) –「Scritter series」(Koki Nagano et al,2010~) –「ExPixel」(Hisataka Suzuki et al,2014) –「ExField」(Hisataka Suzuki et al,2016) アート分野 –櫻井・北村「Mysterious POND」(2007) –八谷和彦「コロボックルのテーブル」 (2006) 産業応用 –多重化ビルボード (Vari-vue) –SimulView (Sony) –トリプルビュー液晶 (Sharp) 多重化映像技術 アクティブシャッター方式 偏光方式 その他裸眼3D方式
  13. 13. どんなコンテンツが作れるの? (白井暁彦)
  14. 14. ExPixel • 画面分割をしないマルチプレイ(Unity) • 多重化スプラトゥーン(eSports応用) • 「全身!太陽圏」(科学館・ミュージアム・多様性配慮) • ExPixel Glass(サイネージ応用) • ExPixel Manga Generator(広告メディア) 多重化映像技術のコンテンツ応用
  15. 15. 現在の最終スライド 画面を分割しないマルチプレイモード
  16. 16. • オフラインでみんなでわいわいゲームしたいけど、画面 分割は悪!!  →4K/8Kになっても画面レイアウトで解決? • 画面分割をしないゲームでも使える – カードゲームのような頭脳戦 – P1とP2が違う情報を集めながら、協力して進めるRPG 画面分割をしないマルチプレイゲーム
  17. 17. 多重化スプラトゥーン 2台のWiiUを ExPixel FPGA接続 eSportsへの利用可能性 2015/6/20公開
  18. 18. ロケーションベース体験型コンテンツへの応用
  19. 19. • 画面分割をしないマルチプレイ(Unity) • 多重化スプラトゥーン(eSports応用) • 「全身!太陽圏」(科学館・ミュージアム・多様性配慮) • ExPixel Glass(サイネージ応用) • ExPixel Manga Generator(広告メディア) ExPixelコンテンツ応用事例紹介
  20. 20. • 天候・日照に対する条件、建物と融合した使い方 • 実験プロジェクトを通した問題解決 – (できるだけ)老若男女問わずターゲットにしたい – 表示する言語は…?日本語、英語、中国語、子供むけ…? • 「全身!太陽圏」の場合は「複合ペルソナ」で設計 – 子は遊びながら簡単な科学的説明を受ける – 親はフィルター越しに、より詳細な科学的説明を 受け、それを子に分かりやすく伝えることができる • 「Manga Generator」の場合は「ゲームと広告」 ロケーションベース体験型コンテンツへの応用から
  21. 21. 「でもメガネ要るんですよね?」 (CEDEC2014でのフィードバックから)
  22. 22. ExFieldの応用 • 多重化多視点VRアーケードゲームシステム 「DualDuel」(マルチ対戦) • 顔画像認識と大画面映像の融合「Project JARVIS」 • VR体験の共有もできるクロマキーシステム 「VRoadCast」(VRと放送・配信・SNS融合) (第3パートで紹介します) メガネ不要の多重化技術
  23. 23. 現在の最終スライド 多重化多視点VRアーケードゲームシステム「Dual Duel」
  24. 24.  (株)富士通アドバンストエンジニアリング 創立40周年記念プロジェクトと してアニメーションショートフィルムと融合したメディアアート作品として設 計・開発を行っている。 2017/10月公開予定。 “Project JARVIS” (2017)
  25. 25. 「裸眼多重化映像技術(第3報): デジタルサイネージと連動するインタラクティブな 知的コントローラ『Project JARVIS』」(日本VR学会大会・展示&口頭発表予定) “Project JARVIS” プロトタイプ紹介 顔画像認識との融合による認識(開発画面)
  26. 26. Project JARVIS JARVISは20年後の未来とインタラクティブ接続する通信システムとして機能。 監督:村上寛光,制作:オ・ソロ,技術:白井研究室,プロデュース:白井 アニメーション作品「The Coming future(仮)」
  27. 27.     多重化映像生成ミドルウェア   ~エンタテインメントシステム応用に向けたUnityパッケージ化~ (鈴木久貴)
  28. 28. 外苑前TEPIAにて常設展示 (無料/予約不要) コンテンツ協力者募集 ExPixel:民生品ディスプレイにおける多重化映像
  29. 29. ExPixelにおける不可視アルゴリズム
  30. 30. コントラスト圧縮
  31. 31. 偏光式3Dディスプレイでの表示
  32. 32. ExField:裸眼立体視ベース多重化映像
  33. 33. • 各ピクセルの光は レンズの曲率中心を通る • 違う色で囲まれた矢印には、 それぞれ違う映像の画を 入れる ExField理論:レンチキュラーレンズ ● Hisataka SUZUKI, Akihiko SHIRAI, Kazuhisa YANAKA, Glassless Augmented Display for Public Signage, The International Journal of Virtual Reality, 2016, 16 (01): pp. 1-6 ● 鈴木 久貴,山口 裕太,須貝 孝明,白井 暁彦:裸眼多重化映像技術(第1報):裸眼多重化映像生成アルゴリズム❝ExFeild❞,第21回 日本VR学会大会, 4 pages, 2016/9/15
  34. 34. • nチャネルの映像の切り分け ExField理論:nチャネルの切り分け • T(どの映像を入れるのかの閾値) • レンズを傾けたときのピクセルに平行な幅
  35. 35. • 多重化映像生成用Unityパッケージの開発 -GPUベースのリアルタイム処理 • デザイナーでも扱いやすい -操作はGUIで行える -遊びのデザインが行いやすいよう意識 • ExPixel / ExFieldそれぞれのUnityパッケージを開発 – 先ほどの理論をシェーダーで実装 多重化映像生成ミドルウェアの開発
  36. 36. • ExPixel – ExPixelCamera.prefab • シーンに追加することで多重化映像の 描画を行う – ExPixelMaterial.mat • ExPixel.shaderを適用したマテリアル – ExPixel.shader • アルゴリズム計算 – sample.unity – ExPixelManager.cs • パラメータ調整とシェーダーへの受け渡し – ExPixelTextureSetter.cs • 多重化映像にしたいテクスチャを2枚セットする ExPixel for Unity パッケージ
  37. 37. ExPixel for Unity シーン構成
  38. 38. • ExPixelManager – Resolution • FullHD 1920*1080、UHD4K 3840*2160、 DCI4K 4096*2160 – Hidden ContentLine • 不可視映像を偶奇のどの行にするか • ExPixelTextureSetter – NakedChannel • Texture: 設定したいテクスチャ • MovieLoop: MovieTextureなら ループのオンオフ切り替え – HiddenChannel • 上記と同じ ExPixel用コンポーネント
  39. 39. ExPixel for Unity 使用動画
  40. 40. • ExField – ExFieldCamera.prefab • シーンに追加することで多重化映像の 描画を行う – ExFieldMaterial.mat • ExField.shaderを適用したマテリアル – ExField.shader • アルゴリズム計算 – sample.unity – ExFieldManager.cs • パラメータ調整とシェーダーへの受け渡し – ExFieldTextureSetter.cs • 一つに付き一つのテクスチャを設定できる ExField for Unity パッケージ
  41. 41. ExField for Unity シーン構成
  42. 42. • ExFieldManager – Resolution • FullHD 1920*1080、UHD4K 3840*2160、 DCI4K 4096*2160 – Lens Degree • 設置レンズの傾き角度 – Lens Width • 設置レンズの水平の大きさ • TextureSetter – Channel No. • 何番目のチャネルのテクスチャか – Channel • Texture: テクスチャの設定 ExField用コンポーネント
  43. 43. ExField for Unity 使用動画
  44. 44. ExField動作
  45. 45. • コントラスト圧縮 – 映像の元の明るさから、表の映像は明るくなり、 メガネ越しの映像は暗くなる • 解像度低下 – 複数の映像を同時に表示 – ディスプレイの解像度だけでなく、レンズの個数に 依存する • ハードウェアの入手 • 4K, 8K, HDRディスプレイに期待 – コントラスト圧縮や、解像度の問題が和らぐ 課題
  46. 46. 未来予測! ポスト2020/HDR8K時代の到来
  47. 47. • ポスト8K:解像度競争の終了 すでに4Kで終了している可能性(撮影は16K+もあるが) 動画配信はNetflixの4KHDR (Dolby Vision)などに集約? ゲームコンテンツ制作はフリースケール化 • HDR=色が深い=多重化不可視映像に嬉しい • 広視野:どこから見ても美しい(=色が変わらない)IPS • 有機ELとLCDの融合型ディスプレイ(偏光チャネル) • 高解像度x大画面のブレイクスルーは「壁紙化」 未来予測!ポスト2020/HDR8K時代の到来
  48. 48. • ホーム用途:チャンネル争い、ソーシャルストリーム もちろんモバイルやARで解決する方向は頑張りたい • 産業用途:デジタルサイネージから医療用など 人工知能・人間行動の可視化はこれからも需要ある • 「壁紙化」=公共のディスプレイでFacebookにログイン • パブリック用途: TOKYO2020で「多言語、多人数、インタラクション」が一般化 すれば、その後のエンタテイメント業界がやらねばならないこ とは、その先になっていく。 • ビジネスとエンタテイメントの共通の問題 未来予測!ポスト2020/HDR8K時代の到来
  49. 49. 「A.I.See: 多重化不可視映像 技術を用いたボードゲームプレ イ上達支援ツール」 人工知能
  50. 50. 視線の可視化 人間行動
  51. 51. VR体験の共有もできるクロマキーシステム
  52. 52. 現在の最終スライド VR体験の共有もできるクロマキーシステム
  53. 53. “時間を超える” メディア技術の需要
  54. 54. まとめ
  55. 55. • 多重化映像技術は3D互換のディスプレイ技術 • 今回はそのコンテンツ応用、取り組みについて紹介 画面分割しない、複合ペルソナ設計、VR配信技術… • 多重化はグラフィックス技術の次元的進化 もちろん美しい映像で目を引くコンテンツを作ることも重要! 今後とも協力者募集です! まとめ
  56. 56. • 多重化ディスプレイのFacebookグループを作りま した。 • ディスプレイの未来は解像度や色の深さだけでは ありません!人の驚きやゆるい共有を実現する多 重化ディスプレイ技術に関するグループ。      http://bit.ly/MDMediaFB おしらせ:Facebookグループ
  57. 57. • 多重化映像技術について 1. どんな技術?どんなコンテンツが作れるの? 2. 多重化映像生成ミドルウェア 3. 未来予測!ポスト2020/HDR8K時代の到来 • 多重化映像技術という新しいディスプレイメディアを どうエンタテイメント体験に活かすか? 発想のヒントになれば幸いです! • 多重化ディスプレイのFacebookグループ http://bit.ly/MDMediaFB 本セッションで得られたはずのもの

×