CEDEC2017 発表 次世代VR/ARエンタテイメントのための多重化映像生成ミドルウェア Google Slides 公開版はこちらです http://bit.ly/CEDEC2017MDM Facebookグループもつくりました。ご質問はこちらへ。 http://bit.ly/MDMediaFB 20170831 for web public version このスライドはSlideShare公開版です。個人・社内等での再利用等は可能ですが、スクリーンショットを取得したりして再編使用する場合は exfield@shirai.la までご連絡いただければ幸いです。 このスライドのオリジナルURL（Google Slides公開版） http://bit.ly/CEDEC2017MDM 講演（CEDEC2017） http://cedec.cesa.or.jp/2017/session/AC/s58e0479a139a7/

1. 次世代VR/ARエンタテイメントのための
多重化映像生成ミドルウェア
Google Slides 公開版
http://bit.ly/CEDEC2017MDM
（株）ソニー・インタラクティブエンタテインメント 鈴木 久貴
神奈川工科大学 情報工学専攻／情報学部 情報メディア学科 准教授 白井 暁彦
exfield@shirai.la

2. ▶書籍「白井博士の未来のゲームデザイン〜エンターテインメントシステムの科学」より

3. • 鈴木久貴（すずき ひさたか）
神奈川工科大学大学院を修了後，（株）ソニー・インタラクティブエンタテインメントに
就職．白井研究室OB．既存の3D立体視を応用した多重化映像技術の研究を進めて
いました．
• 白井暁彦（しらい あきひこ）神奈川工科大学 准教授
写真工学からゲーム開発へ。 2000年クライテリオンソフトウェアにおいて世界初の
産業用ゲームエンジン「 RenderWare」日本市場立ち上げに参加。一方で「グラフィック
スがキレイになっただけでは，ゲームは面白くならない」と悟り、東京工業大学知能シ
ステム科学博士後期課程に復学。 NHK-ES、フランスLaval市、日本科学未来館を経
由して現職。VRエンタテイメントシステムを研究し続けて、「つくる人をつくる」をテーマ
に活動している。
自己紹介

4. • CEDEC2016
「多重化多視点VRアーケードゲームシステム -DUAL DUEL-」
「インタラクティブセッション オーディエンス賞」受賞
• CEDEC2014
「ゲームの次元を拡張する次世代多重化映像技術『 ExPixel』
• CEDEC2012
「3Dディスプレイと互換の多重化・隠蔽映像技術『 Scritter』が拓く3Dコンテ
ンツの未来」
• 同一系統の研究でインタラクティブセッション 3回受賞は
おそらく過去最高記録。 しかしながら口頭発表はなし 。
クライテリオンソフトウェア時代 (CEDEC2000)以来、
実に17年ぶりのCEDEC講演です。
CEDECインタラクティブセッション過去3回の受賞

5. https://www.youtube.com/watch?v=49GAZyuM_9M
【宣伝】今年のインタラクティブセッション
「家族愛をテーマにした子育てVRエンタテイメント ”Real Baby - Real Family”」
基調講演に近い場所で、とっても混んでます（涙）。
空いているときはぜひ体験してください！
このプロジェクトは企業化準備中、支援者募集中です

6. • 多重化映像技術について
1. どんな技術？どんなコンテンツが作れるの？
2. 多重化映像生成ミドルウェア
3. 未来予測！ポスト2020/HDR8K時代の到来
• 多重化映像技術という新しいディスプレイメディアを
どうエンタテイメント体験に活かすか？
発想のヒントになれば幸いです！
• 多重化ディスプレイのFacebookグループ http://bit.ly/MDMediaFB
本セッションで得られる(べき)もの

7. どんな技術？
どんなコンテンツが作れるの？

9. • 一つのディスプレイにおいて複数の映像を
同時且つ排他的に表示する技術
（≠ 広い画面にたくさんの情報を表示する）
• 多くは3D立体視技術と互換性を持つ
－偏光式3D
－アクティブシャッター式3D
－裸眼立体視 などの応用
新しいディスプレイメディア技術
多重化映像技術とは...

10. 研究分野
–「thirdEye」(Pranav Mistry，2009)
–「Snared illumination」(Ian E Mcdowall et al，2004)
–「Scritter series」(Koki Nagano et al，2010~)
–「ExPixel」(Hisataka Suzuki et al，2014)
–「ExField」(Hisataka Suzuki et al，2016)
アート分野
–櫻井・北村「Mysterious POND」(2007)
–八谷和彦「コロボックルのテーブル」 (2006)
産業応用
–多重化ビルボード (Vari-vue)
–SimulView (Sony)
–トリプルビュー液晶 (Sharp)
多重化映像技術

11. https://twitter.com/yk_ichinomiya/status/899892428341075969
最近起きた事件...
ちょっとした技術手品が Twitterで7万いいねをゲットする
（その後、作者が研究室を訪問取材する流れに ...）
→技術の難度はともかくとして、世間のインパクト、
注目を集めるメディア技術であることは間違いない！

12. 研究分野
–「thirdEye」(Pranav Mistry，2009)
–「Snared illumination」(Ian E Mcdowall et al，2004)
–「Scritter series」(Koki Nagano et al，2010~)
–「ExPixel」(Hisataka Suzuki et al，2014)
–「ExField」(Hisataka Suzuki et al，2016)
アート分野
–櫻井・北村「Mysterious POND」(2007)
–八谷和彦「コロボックルのテーブル」 (2006)
産業応用
–多重化ビルボード (Vari-vue)
–SimulView (Sony)
–トリプルビュー液晶 (Sharp)
多重化映像技術
アクティブシャッター方式
偏光方式
その他裸眼3D方式

13. 研究分野
–「thirdEye」(Pranav Mistry，2009)
–「Snared illumination」(Ian E Mcdowall et al，2004)
–「Scritter series」(Koki Nagano et al，2010~)
–「ExPixel」(Hisataka Suzuki et al，2014)
–「ExField」(Hisataka Suzuki et al，2016)
アート分野
–櫻井・北村「Mysterious POND」(2007)
–八谷和彦「コロボックルのテーブル」 (2006)
産業応用
–多重化ビルボード (Vari-vue)
–SimulView (Sony)
–トリプルビュー液晶 (Sharp)
多重化映像技術
アクティブシャッター方式
偏光方式
その他裸眼3D方式

14. どんなコンテンツが作れるの？
（白井暁彦）

15. ExPixel
• 画面分割をしないマルチプレイ（Unity）
• 多重化スプラトゥーン（eSports応用）
• 「全身！太陽圏」（科学館・ミュージアム・多様性配慮）
• ExPixel Glass（サイネージ応用）
• ExPixel Manga Generator（広告メディア）
多重化映像技術のコンテンツ応用

16. 現在の最終スライド
画面を分割しないマルチプレイモード

17. • オフラインでみんなでわいわいゲームしたいけど、画面
分割は悪！！
→4K/8Kになっても画面レイアウトで解決？
• 画面分割をしないゲームでも使える
– カードゲームのような頭脳戦
– P1とP2が違う情報を集めながら、協力して進めるRPG
画面分割をしないマルチプレイゲーム

18. 多重化スプラトゥーン
2台のWiiUを
ExPixel FPGA接続
eSportsへの利用可能性
2015/6/20公開

19. ロケーションベース体験型コンテンツへの応用

22. • 画面分割をしないマルチプレイ（Unity）
• 多重化スプラトゥーン（eSports応用）
• 「全身！太陽圏」（科学館・ミュージアム・多様性配慮）
• ExPixel Glass（サイネージ応用）
• ExPixel Manga Generator（広告メディア）
ExPixelコンテンツ応用事例紹介

23. • 天候・日照に対する条件、建物と融合した使い方
• 実験プロジェクトを通した問題解決
– （できるだけ）老若男女問わずターゲットにしたい
– 表示する言語は…？日本語、英語、中国語、子供むけ…？
• 「全身！太陽圏」の場合は「複合ペルソナ」で設計
– 子は遊びながら簡単な科学的説明を受ける
– 親はフィルター越しに、より詳細な科学的説明を
受け、それを子に分かりやすく伝えることができる
• 「Manga Generator」の場合は「ゲームと広告」
ロケーションベース体験型コンテンツへの応用から

24. 「でもメガネ要るんですよね？」
（CEDEC2014でのフィードバックから）

25. ExFieldの応用
• 多重化多視点VRアーケードゲームシステム
「DualDuel」（マルチ対戦）
• 顔画像認識と大画面映像の融合「Project JARVIS」
• VR体験の共有もできるクロマキーシステム
「VRoadCast」（VRと放送・配信・SNS融合）
(第3パートで紹介します)
メガネ不要の多重化技術

26. 現在の最終スライド
多重化多視点VRアーケードゲームシステム「Dual Duel」

27. (株)富士通アドバンストエンジニアリング 創立40周年記念プロジェクトと
してアニメーションショートフィルムと融合したメディアアート作品として設
計・開発を行っている。 2017/10月公開予定。
“Project JARVIS” (2017)

28. 「裸眼多重化映像技術(第3報): デジタルサイネージと連動するインタラクティブな
知的コントローラ『Project JARVIS』」（日本VR学会大会・展示＆口頭発表予定）
“Project JARVIS” プロトタイプ紹介
顔画像認識との融合による認識（開発画面）

29. Project JARVIS
JARVISは20年後の未来とインタラクティブ接続する通信システムとして機能。
監督：村上寛光，制作：オ・ソロ，技術：白井研究室，プロデュース：白井
アニメーション作品「The Coming future(仮)」

30. 多重化映像生成ミドルウェア
～エンタテインメントシステム応用に向けたUnityパッケージ化～
（鈴木久貴）

31. 外苑前TEPIAにて常設展示
(無料/予約不要)
コンテンツ協力者募集
ExPixel：民生品ディスプレイにおける多重化映像

32. ExPixelにおける不可視アルゴリズム

33. コントラスト圧縮

34. 偏光式3Dディスプレイでの表示

35. ExField：裸眼立体視ベース多重化映像

36. • 各ピクセルの光は
レンズの曲率中心を通る
• 違う色で囲まれた矢印には、
それぞれ違う映像の画を
入れる
ExField理論：レンチキュラーレンズ
● Hisataka SUZUKI, Akihiko SHIRAI, Kazuhisa YANAKA, Glassless Augmented Display for Public Signage, The International Journal of Virtual
Reality, 2016, 16 (01): pp. 1-6
● 鈴木 久貴，山口 裕太，須貝 孝明，白井 暁彦：裸眼多重化映像技術（第1報）：裸眼多重化映像生成アルゴリズム❝ExFeild❞，第21回 日本VR学会大会, 4
pages, 2016/9/15

37. • nチャネルの映像の切り分け
ExField理論：nチャネルの切り分け
• T（どの映像を入れるのかの閾値）
• レンズを傾けたときのピクセルに平行な幅

38. • 多重化映像生成用Unityパッケージの開発
－GPUベースのリアルタイム処理
• デザイナーでも扱いやすい
－操作はGUIで行える
－遊びのデザインが行いやすいよう意識
• ExPixel / ExFieldそれぞれのUnityパッケージを開発
– 先ほどの理論をシェーダーで実装
多重化映像生成ミドルウェアの開発

39. • ExPixel
– ExPixelCamera.prefab
• シーンに追加することで多重化映像の
描画を行う
– ExPixelMaterial.mat
• ExPixel.shaderを適用したマテリアル
– ExPixel.shader
• アルゴリズム計算
– sample.unity
– ExPixelManager.cs
• パラメータ調整とシェーダーへの受け渡し
– ExPixelTextureSetter.cs
• 多重化映像にしたいテクスチャを2枚セットする
ExPixel for Unity パッケージ

40. ExPixel for Unity シーン構成

41. • ExPixelManager
– Resolution
• FullHD 1920*1080、UHD4K 3840*2160、
DCI4K 4096*2160
– Hidden ContentLine
• 不可視映像を偶奇のどの行にするか
• ExPixelTextureSetter
– NakedChannel
• Texture: 設定したいテクスチャ
• MovieLoop: MovieTextureなら
ループのオンオフ切り替え
– HiddenChannel
• 上記と同じ
ExPixel用コンポーネント

42. ExPixel for Unity 使用動画

43. • ExField
– ExFieldCamera.prefab
• シーンに追加することで多重化映像の
描画を行う
– ExFieldMaterial.mat
• ExField.shaderを適用したマテリアル
– ExField.shader
• アルゴリズム計算
– sample.unity
– ExFieldManager.cs
• パラメータ調整とシェーダーへの受け渡し
– ExFieldTextureSetter.cs
• 一つに付き一つのテクスチャを設定できる
ExField for Unity パッケージ

44. ExField for Unity シーン構成

45. • ExFieldManager
– Resolution
• FullHD 1920*1080、UHD4K 3840*2160、
DCI4K 4096*2160
– Lens Degree
• 設置レンズの傾き角度
– Lens Width
• 設置レンズの水平の大きさ
• TextureSetter
– Channel No.
• 何番目のチャネルのテクスチャか
– Channel
• Texture: テクスチャの設定
ExField用コンポーネント

46. ExField for Unity 使用動画

47. ExField動作

48. • コントラスト圧縮
– 映像の元の明るさから、表の映像は明るくなり、
メガネ越しの映像は暗くなる
• 解像度低下
– 複数の映像を同時に表示
– ディスプレイの解像度だけでなく、レンズの個数に
依存する
• ハードウェアの入手
• 4K, 8K, HDRディスプレイに期待
– コントラスト圧縮や、解像度の問題が和らぐ
課題

50. 未来予測！
ポスト2020/HDR8K時代の到来

51. • ポスト8K：解像度競争の終了
すでに4Kで終了している可能性(撮影は16K+もあるが)
動画配信はNetflixの4KHDR (Dolby Vision)などに集約？
ゲームコンテンツ制作はフリースケール化
• HDR＝色が深い＝多重化不可視映像に嬉しい
• 広視野：どこから見ても美しい(=色が変わらない)IPS
• 有機ELとLCDの融合型ディスプレイ（偏光チャネル）
• 高解像度x大画面のブレイクスルーは「壁紙化」
未来予測！ポスト2020/HDR8K時代の到来

52. • ホーム用途：チャンネル争い、ソーシャルストリーム
もちろんモバイルやARで解決する方向は頑張りたい
• 産業用途：デジタルサイネージから医療用など
人工知能・人間行動の可視化はこれからも需要ある
• 「壁紙化」＝公共のディスプレイでFacebookにログイン
• パブリック用途：
TOKYO2020で「多言語、多人数、インタラクション」が一般化
すれば、その後のエンタテイメント業界がやらねばならないこ
とは、その先になっていく。
• ビジネスとエンタテイメントの共通の問題
未来予測！ポスト2020/HDR8K時代の到来

53. 「A.I.See: 多重化不可視映像
技術を用いたボードゲームプレ
イ上達支援ツール」
人工知能

54. 視線の可視化
人間行動

55. VR体験の共有もできるクロマキーシステム

56. 現在の最終スライド
VR体験の共有もできるクロマキーシステム

57. “時間を超える”
メディア技術の需要

58. まとめ

59. • 多重化映像技術は3D互換のディスプレイ技術
• 今回はそのコンテンツ応用、取り組みについて紹介
画面分割しない、複合ペルソナ設計、VR配信技術…
• 多重化はグラフィックス技術の次元的進化
もちろん美しい映像で目を引くコンテンツを作ることも重要！
今後とも協力者募集です！
まとめ

60. • 多重化ディスプレイのFacebookグループを作りま
した。
• ディスプレイの未来は解像度や色の深さだけでは
ありません！人の驚きやゆるい共有を実現する多
重化ディスプレイ技術に関するグループ。
http://bit.ly/MDMediaFB
おしらせ：Facebookグループ

61. • 多重化映像技術について
1. どんな技術？どんなコンテンツが作れるの？
2. 多重化映像生成ミドルウェア
3. 未来予測！ポスト2020/HDR8K時代の到来
• 多重化映像技術という新しいディスプレイメディアを
どうエンタテイメント体験に活かすか？
発想のヒントになれば幸いです！
• 多重化ディスプレイのFacebookグループ http://bit.ly/MDMediaFB
本セッションで得られたはずのもの