1.
“In Real Time”
リアルタイムグラフィックスの世界と
VTuberが牽引する新たな人類
#DHW

2.
YouTubeLive
https://www.youtube.com/watch?v=j0yRASXFvlQ
#DHW
#DHW

3.
GREE VR Studio Lab, GREE, Inc.
リアルタイムグラフィックスの世界と
VTuberが牽引する新たな人類
デジタルハリウッド大学 客員教授／
グリー株式会社 GREE VR Studio Lab
Director 白井暁彦Akihiko SHIRAI, Ph.D
GREE VR Studio Lab
Twitter@o_ob @VRStudioLab

4.
白井暁彦: VRエンタテインメントシステムの研究者
書籍「白井博士の未来のゲームデザイン～エンタテイメントシステムの科学～」(2013)より
▶ 2018年6月より現職
GREE VR Studio Lab, Director

5.
19:00 Real Time Show!リアルタイムグラフィックスの世界
- 19:30 Tokyo Demo Fest: FL1NE & 我無
- 19:40 リアルタイム高校生 やはぎ
- 19:50 産業向けXRスタートアップ＆VTuber配信P イクスアール株式会社
19:50-20:00 研究紀要の紹介
VR4.0 - リアルタイムバーチャルキャラクターが
牽引するVR産業における基盤研究
20:00-20:15 パネルトーク
プログラム進行
Sli.Do
#DHW191128

6.
Thank you!! & Join
us!!

7.
FL1NEさんの講演スライドはこちら
SpeakerDeck
FL1NE さんより
発表聞いていただきありがとうございました！より細かく知りたい方はこちらも併せてご覧ください！
https://frontl1ne.net/2019/05/what-demoscene-is/
gam0022さんより
会場質問> シェーダー芸を身につけるオススメのサイトとか参考書とかありますか？
https://www.shadertoy.com/
すごいシェーダーが転がっています。あとレイマーチング や raymarching というワードで検索すると情報にたどり着け
るかもしれません。

8.
19:00 Real Time Show!リアルタイムグラフィックスの世界
- 19:30 Tokyo Demo Fest: FL1NE & 我無
- 19:40 リアルタイム高校生 やはぎ
- 19:50 産業向けXRスタートアップ＆VTuber配信P イクスアール株式会社
19:50-20:00 研究紀要の紹介
VR4.0 - リアルタイムバーチャルキャラクターが
牽引するVR産業における基盤研究
20:00-20:15 パネルトーク
プログラム進行
Sli.Do
#DHW191128

9.
「VRMアバターを使った作品制作」
やはぎ/yahagi_day
~self introduction~

10.
Q.どんな活動をしているの？
A.文化祭で展示するライブ映像作品を制
作しています。

11.
現在制作中の作品について

12.
Q.なんでこんなことやってるの？
A.誰もやらないから
● VTuberめっちゃ面白い。アバター文化面白い。
● 界隈を見れば面白いことやってる人は沢山いる。
● でも、僕の近くの人達はやってない。知らない。
● じゃあ、巻き込んでやろう。

13.
今回の作品を通して伝えたいこ
と
● VTuber / 自分でキャラクターを動かすのは面白い！
● 高校生でもこれくらいはできる
● 「何かをする」のに年齢は関係ない
● とりあえずやってみることの大切さ

14.
関連リンクなど
● VRoidとは？
https://vroid.com/about
● Unity-Chan "Candy Rock Star" Public Repository
https://github.com/unity3d-jp/unitychan-crs
● Live-V
https://github.com/yahagi-day/Live-V
● VRM - VR向け3Dアバターファイルフォーマット -
https://vrm.dev/
この作品はユニティちゃんライセンス条
項の元に提供されています

15.
thank you listening!!
● twitter : @yahagi_day
● VRChat : yahagi_day
● Discord : yahagi_day#5724

16.
19:00 Real Time Show!リアルタイムグラフィックスの世界
- 19:30 Tokyo Demo Fest: FL1NE & 我無
- 19:40 リアルタイム高校生 やはぎ
- 19:50 産業向けXRスタートアップ＆VTuber配信P イクスアール株式会社
19:50-20:00 研究紀要の紹介
VR4.0 - リアルタイムバーチャルキャラクターが
牽引するVR産業における基盤研究
20:00-20:15 パネルトーク
プログラム進行
Sli.Do
#DHW191128

17.
法人向け
触覚バーチャルシミュレーター
「イークイップス」
イクスアール株式会社
代表取締役 COO 小池 健輔
感覚的スキルを体験で身に着ける

18.
会社概要
設立：平成30年3月9日
本社：愛知県名古屋市中村区名駅4-3-10 東海ビル307
事業内容：VR/ARコンテンツの企画・制作・運用
18
会社案内 工場見学
観光 エンタメ

19.
VR実演します
法人向け触覚VRシミュレーター「イークイップス」とは？
バーチャル空間上で、
現実では困難な体験・訓練を体験できる法人向け学習システム
19

20.
21
昨今の日本は、労働人口の減少に伴う人手不足の問題を抱えて
おり、生産年齢人口（14～65歳）が2030年には約850万人、
2045年には約1100万人の減少すると予測されており、
人材を使い捨てる時代は終わりを迎えようとしています。
イントロダクション

21.
22
感覚に働きかけるトレーニングで働く人の学習意欲・効率を高め
▪ 無駄なOJTを減らすことで省人化に寄与し、生産性を向上
▪ さらに、命の危険が伴う仕事での危険予知能力を高め、
貴重な人材の損失を防ぎ、企業のリスクマネジメントを強化
を目指します。
我々は、本事業によって

22.
実例： A社 航空機整備訓練シミュレータ
※詳細な内容は守秘義務により非公開
▪ 企業概要 航空機・船舶など製造する重工業メーカー
▪ 対象と効果
航空機のようなサイズの実機訓練は、人・時間・場所のコス
トが大きいため、VRの技術を使いバーチャル空間上で整備
訓練をすることで、作業の手順・要領・感触を指導者不在で
も、時間や場所を選ばず、繰り返し学ぶことができる。
23

23.
ターゲット
VRを使った事業を始めたいがノウハウの無い大企業・SIer・商社
製造業（航空機・鉄道・船舶・自動車など）
建設業/設備工事業（プラント設備 / エネルギー関連設備）
運輸業（鉄道業、道路旅客運送業等）
医療業 活用例： 手術トレーニング・遠隔医療等
24

24.
新規性・独自性
理性へ働きかける学習ではなく、感覚へ働きかける
触覚・力覚等、感覚への提示デバイスを追加し、
より高い理解を得られる。
25
力覚デバイス 触覚記録デバイス

25.
進捗状況（製品開発）
触覚・力覚に加え温覚・冷覚・圧覚が追加
→ より難しい感覚的スキル習得への寄与
メンテナンス 例：機械装置（モーター・ベアリング等）の異常検出
遠隔医療での触診 など
26
力覚デバイス 触覚記録デバイス
圧覚・温覚・冷感デバイス

26.
27
予習・復習
履修管理・行動ログ管理 評価・復習提案
進捗状況（製品開発）
履修記録・管理システムの開発
2月にベースシステムの完成。以降逐次投入
データベース Web
VR
（視線・動き・声などのデータ）

27.
28
VR
AR・IoT
AI
失敗の
傾向を
予測
失敗の
予防・
効率化
進捗状況（製品開発）
個別の訓練課題の検証・抽出・評価・自動化には必須の機能
データベース
Web
反復
学習
解析
抽出
評価の自動化
実作業支援

28.
進捗状況（製品開発）
パートナー企業と連携し業界特化型のトレーニングシステムを開発、
同様の課題を抱える同業界企業へと教育ノウハウの拡散販売を行います。
29
コンテンツ制作
学習システム販売・解析
監修 コンテンツ販売
大企業
商社・SIer
パートナー
顧客
学習情報
事業連携のできるパートナーを探しています。

29.
以上です。ありがとうございました！
30

30.
19:00 Real Time Show!リアルタイムグラフィックスの世界
- 19:30 Tokyo Demo Fest: FL1NE & 我無
- 19:40 リアルタイム高校生 やはぎ
- 19:50 産業向けXRスタートアップ＆VTuber配信P イクスアール株式会社
19:50-20:00 研究紀要の紹介
VR4.0 - リアルタイムバーチャルキャラクターが
牽引するVR産業における基盤研究
20:00-20:15 パネルトーク
プログラム進行
Sli.Do
#DHW191128

31.
＜ラボって何やってるの…？＞
VTuber事業を推進するWright Flyer Live Entertainment (WFLE)の技術支援
国内/海外他社とのR&D連携推進
成果発信・啓蒙活動・インターンシップ受け入れ
Twitter @VRStudioLab
YouTubeチャンネル
j.mp/VRSYT

32.
ACM SIGGRAPH ASIA 2018 TOKYO “Real-Time Live!”
【リアルタイム・ライヴ!!】
東京国際フォーラム1500席の前で
たった7分間ライブデモを行う
SIGGRAPH内でも難度高いデモセッション

33.
Global Bidirectional Remote
Haptic Live Entertainment by
Virtual Beings

34.
事務局から伝えられた進行 [時差-1H]
● 11/17(日) 午前到着必須
○ 12-16h (日本11-15時)：公開リハーサル
曙橋-会場のVC音声テスト
日本での取材対応：
11:00～15:00：実験及び公開リハーサルにつき現地の進行に依存。
15:30～16:00：技術解説・インタビュー応対
● 11/19(火)
■ 20:30~リハーサル
● 11/20(水)
○ 11-13h: 最終リハーサル(日本時間10-12時)
○ 13-15h: 会場閉め切り
○ 15-16h: 本番準備
○ 16-18h: 本番ライブ(日本時間15-17時)
取材陣オーストラリア側からの
中継を観ながら東京側本番公開

35.
Live Demo
GREE VR Studio Lab YouTube channel
http://j.mp/VRSYT

36.
[Recommend]
LATENCY: 10ms or less
DOWNLOAD: 50 Mbps or higher
UPLOAD: 50 Mbps or higher
PACKET LOSS: 0%
[Minimum]
LATENCY: around 20ms
DOWNLOAD: around 10Mbps
UPLOAD: around 20Mbps
PACKET LOSS 0%
Ref. [YouTube recommend]
3840 x 2160p(4K)@60 fps
Video Bitrate: 20 - 50Mbps
Distance from Brisbane to Tokyo
7,154 km
= 20.95 fps
By ideal optic speed (round trip)
Remote VTuber live by Virtual
Cast

37.
Audience applause can make confetti on the stage!Audience applause can make confetti on the stage!

38.
AustraliaJapan
VC main OBS
YouTubeLive
return venue state &
(1) Timing demo
3D
Selected Users
(Jury or Audio disability)
Emotion
Analyzer
VC sub
(1) Mocap data
Monitor
Projector
HDMI
”REMOPRE”システム(概要設計)
VC = Virtual Cast
※会場からの映像に加え
熱気と触覚(ギフトと出演者の
接触)情報を戻したい
※触覚情報を可視化
(2) Reactions are converted
to haptic signal.
3,000 audiences
MC
(Dr.Shirai)
Actors
Sound
(Haptic
Feedback)
Applause & Laugh...
(3) Add feedbacks from
audience (applause & laugh) to
the scene via VCI for real
time interaction
Web browser
(transmit haptic signal)
Audio & Video
Audio & Video
WebSocket
LED tape for illuminating
haptic effect
音声: 新VC
Or Discord
mute
翻訳字幕
※会場の熱気を可視化

39.
会場音声
（拍手＆笑い）
Alienware
（ホスト）
WebSocket
ブラウザ
Virutal
Cast
Hapbeat
演者（オーストラリア）
VRコント
ローラー
LED
Hapbeat
演者（東京）
VRコント
ローラー
マイコン
（LED用）
会場
画面
オーストラリア
システム構成図（新音声版＠11/17時点）
マイク用
PC(R,L)
拍手・笑い分析
＆送信
OMEN
X
無線
グラフ&音声配信
（ページを開いてい
る人全員へ配信）
グラフ&音声
触覚配信
用PC
パフォーマンス映像
Discord
アイテム衝突通知
会話
音声
LED発光コマンド
音声による触覚信号
公式API
公式API
音声による触覚信号
ミックスして放送
AD指示
Discord
※実際には会場音→HMDマイクをミュート出来ず
最終版は音声系統が全てDiscordになった（無念）

40.
VCI,VFX,触覚F/B一覧
ハグ
（心臓の鼓動）
ウィリアムテル
会場拍手
(Clap)
会場笑い
(Excitement)
※踊りやすい!!
握手
降らせるものに応じて振動とフルカラーLEDが明滅
Hand
Attachment
Hapbeat-Duo
弓矢とリング
鼓動に合わせて
LED光る
VCI
Paoz 紙吹雪
VFX
(VC)
VFX
(Real)
メーターに合わ
せてLED光る
矢が身体に当た
ると光る☆が出る
楽曲に合わせて
Hapbeat振動
Hapbeat-Duo
Hapbeat-Duo
イベント ダンス
紙吹雪
(自動生成)
帯部分が光る 帯部分が光る
矢が身体に当た
ると光る
命中すると
虹色に光るシナリオ進行

41.
会場マイク
（拍手＆笑い）
EmoAna &
NodePy
ブラウザ
Virutal
Cast
Hapbeat
演者（オーストラリア）
VRコント
ローラー
LED
Hapbeat
演者（東京）
VRコント
ローラー
マイコン
（LED用）
画面
VCIからの出力※ギフトを降らせる
振動および可視化
オーストラリア
システム構成図
（シンプル版）
自作ページ＋
youtubelive重ね合わせ
会場ホストPC
OMEN
会場PC
OMEN
東京PC
会場PC
OMEN
東京PC
会場PC
OMEN
東京PC
wifi経由
もあり
有線で
確定
※
案１：host側のVCの画面の色をvciによって変えることで、python側
でコマンドが走ったことを検知する（ただ、ホスト側のVCの画面を
ブロードキャストに使うとするとこの方法は使えない）
案２：（可能なら）TCP・UDPで送受信

42.
VRMちょっといい話
● 出国2日前。
Leaの表情が欠落していることに気づく。
● ダウンロード
● 足りない２表情のBlendshape作成
● VRMで保存→config.jsonに反映
● 全行程、たったの20分。
[参考]2018年12月の工程(SA18RTL)
● アーティストさんに原因調査依頼
● 外部の協力会社さんに作業依頼
● アセット反映まで1日以上...
いい時代になったなあ・・・

43.
Maya上でのBlendshapeの生成

44.
VirtualCastちょっといい話
7000km超えでも問題なし！
シナリオは全部英語。
ミルキークイーンさんが監修
カンペ画像としてVC内に表示
HMD内で観れる安心感はある
一方でダンスはカンペでは難しいので
出演者の練習はとても大事
実際には鏡やビデオではなくアバターを着た状態で練習する必要がある
直前の機材トラブルで、AD用機体と入れ替わって本番を演じた…
（良い話とはいえないが瞬時にアバター入れ替えられる良さは大きい）

45.
Global Bidirectional Remote Haptic Live Entertainment by Virtual Beings
- CREDIT -
Contributor:
GREE VR Studio Lab - Akihiko Shirai, Yusuke Yamazaki
EXR, Inc. - Kensuke Koike
NTT DOCOMO, Inc. - Yoshitaka Soejima
Cast:
Kilin : Akina Homoto
Xi:Emiri Iwai
MilkyQueen - Mai Princess：Inori R Oguruma
Lea IMAI : Akihiko Shirai
Music: “520”/ Tacitly - (C)NTTDOCOMO,INC. (C)MIGU.,Ltd
Special Thanks:
Just Pro - Ayumi Mino
Virtual Cast, Inc.
Hapbeat LLC.
WFLE, Inc. - all “REALITY” team

46.
1. 誰もやらない事をやる
1. どういう状態になっていればいいかを考える
1. R2Dのパスを考える
5G時代のR&D

47.
VTuberと触覚エンタテインメント
● IEEE World Haptics Conference (東京, 7/9- 12)でデモ発表
”Haptic Minesweeper”
● SIGGRAPH 2019 Posters 採択(ロサンゼルス, 7/28-8/1)
”Neck Strap Haptics: An Algorithm for Non-Visible VR Information
Using Haptic Perception on the Neck”
● Yusuke Yamazaki, et al.
バーチャルな世界の熱狂を
肌で感じることができる
触覚デバイス「Hapbeat」
（東工大発Startup企業）
→視覚に頼らず距離や方向を
表現するためのアルゴリズムに関する研究
東工大 オフキャンパス実習＆
長谷川研究室とコラボで実現

48.
2019/7/1発表

49.
https://twitter.com/koeuranai
https://vr.gree.net/lab/vc/

50.
「転声こえうらない」(β) 2019/6/27リリース
GREE VR Studio Labから初のプロダクト
しかもWebブラウザ上のサービス。
13タイプの様々なキャラクターから選択して、
好きな声になって気持ちを伝えよう！
あなたは「どんな声」で何を伝えますか？
「なりたい声」を選び「なりたい声」になって
Twitter等でシェアできる公開実験プロジェクト。
「おねえさん」「マダム」「男子中
学生」「ソプラノ」「おにいさん」
「小学生」「ゴリラ」「ダミボ」
「ヤミ声」「ムッシュ」「カワボ」
「ダンディ」「両声類」の計13種類
https://twitter.com/koeuranai
https://vr.gree.net/lab/vc/

51.
「転声こえうらない」(β)
http://bit.ly/KOEURANAIB

52.
とあるユーザさんによる例
#こえうらない で探してみてください
https://twitter.com/tanakayoshikazu/status/1144525991802331142
https://vr.gree.net/lab/vc/share#1uz04gem591q39t1v8am30jb54

53.
GREE VR Studio Lab, FY19でやったこと(抜粋)
・特許の使い方 IPの作り方
・機械学習を用いたフェイシャルキャプチャ
・指表現グローブの開発
・Vicon, Xsens等新型Mocapの評価導入
・外部デモを開発する
・価値を測る
・アバター社会の教育利用
・ボイスチェンジャー(基礎・応用)
・触覚VR
・外部発信ワークショップ開発
・国際連携

54.
1. 誰もやらない事をやる
1. どういう状態になっていればいいかを考える
1. R2Dのパスを考える
→1社の1ラボでできることには限界がある！
5G時代のR&D

55.
In DHW
テクノロジー特論D「人工現実」

56.
テクノロジー特論D「人工現実」課題
[20191002] VR技術者検定模試フォームの挑戦回数、ベストスコアを入力
[20191009] VRoid Studio をインストールして、自身のオリジナルVTuber設
計。コンセプトを「課題への回答」にテキストで書くとともに、Google Slides
で最低1枚のスライドを提出する。
[20191016] VroidHubにキャラクターを公開、3teneを使って自己紹介を演じ
て、録画、編集した動画をYouTubeで公開、そのURLと難しかったところ、楽し
かったところをレポートする。
[20191028] “SNSへの放流”...前回までの制作を進め短編自己紹介動画、そのキ
ャラに合わせたつぶやきをTwitterに投稿し、そのアカウントのURLを報告する。

57.
テクノロジー特論D「人工現実」課題
[20191030] (1)南昌VRテーマパークで展示する「普通ではないVR体験」を企画、
一般向けのキャッチコピーとシステム全体の販売価格、必要となる機材・開発
費・オペレーションコスト、リスクをまとめる。(2)南昌市を国際都市に発展させ
るためのVTuberを提案、キャラクターデザインと自己紹介動画、動画やSNS、イ
ベント展開先も含めて実験を行う。
[20191106] (1) 他者の企画に対してURLつきで建設的なコメントを述べる ⇒課
題への回答内にURL記載
(2) 前回の企画を改善してURLで再提出 その際、レイアウトには細心の時間を
かけて、できるだけ少ない枚数で提案でできること（動画は可）。URL欄に記載
[20191113] 最終課題(1) 学ぶ前と学んだあとで、自分自身の中で確実に変わっ
たこと (2) 前回までの企画を改善してURLで再提出

58.
https://twitter.com/ralicre/status/1191015846744715264/photo/4

59.
https://twitter.com/Mori_misaki1/status/1184000302271193088

60.
https://twitter.com/Mori_misaki1/status/1191547845901307904

61.
https://twitter.com/RAZIAMORI/status/1191545766659031040/photo/2

62.
https://twitter.com/Mori_misaki1/status/1153575159774662656/photo/1

63.
https://www.moguravr.com/nanchang-china-vtuber-naoise/

64.
https://twitter.com/NeneVtuber/status/1197205727875452928

65.
https://vr.gree.net/lab/vtc
【学生個人】本エントリー募集期間
2019年11月14日～2019年12月31日
【選考分野】
キャラクター表現を向上させるリアルタイムCG技術、ス
マホやHMDへの実装、モーション認識/自動生成、 番組
データ分析、 5G/クラウド等の通信活用技術、 ギフトや
演出技術、ボイスチェンジャー系技術、リアルイベント
向け技術、アバター社会の到来を見越した
VTuber活動分野を広げる未来技術
応募フォーム( http://j.mp/VTC19E )
協賛企業も募集
( http://j.mp/VTC19P )
Twitter
@VRStudioLab

66.
何を学んできたか？
どんな仕事なのか？
そして目指す未来は？
パネルトーク「あらたな人類の在り方」
Sli.Do
#DHW191128

67.
19:00 Real Time Show!リアルタイムグラフィックスの世界
- 19:30 Tokyo Demo Fest: FL1NE & 我無
- 19:40 リアルタイム高校生 やはぎ
- 19:50 産業向けXRスタートアップ＆VTuber配信P イクスアール株式会社
19:50-20:00 研究紀要の紹介
VR4.0 - リアルタイムバーチャルキャラクターが
牽引するVR産業における基盤研究
20:00-20:15 パネルトーク
プログラム進行
Sli.Do
#DHW191128

68.
会場からの質問(と簡単な回答)
教授っぽいアバターで講義やったらどうなるんだろう
結局ダンスは練習しないといけないんですね
バーチャルキャラクターを作るにあたり、商用のハードルが一番低いのってどこですか？
VRでゼルダの伝説が出来たら世界が変わる気がします。
容姿、年齢、性別が剥ぎ取られ、自由になった人類が獲得する「判断基準」はなんだと思いますか？
3Dアバターで大学の講義をやりたいんですが、かんたんに実現するのは何年先でしょうか？
トレーニングツールとしてのVR、もうここまで進んでいるんですね！ 新たな事業と価値の創造にワクワクします！
やはぎさんは、ご自身の高校で、先生方はどんな風に応援や理解を示されていますか？ 校風は自由な雰囲気ですか？
DEMOってどこで学べます？
新たな産業創成に繋げる事もできますね。 国の成長戦略予算とかは足りてますか？ 必要ないですか？
面白い視点ですね！
ぜひとも実験してみていただきたい
練習しなくてもそれなりに成立するかもですが、美的感覚的に×。
何をもって「商用のハードル」とするかですが
聞くよりも自分でやってみるのが一番大事と思います。
段ボール製自作HMDでできますよ
はぎとられるんじゃない
です
服や化粧と同じです
すぐできますよこれとかこれとか
Demo Festやハッカソン出るのがいいかも、@FL1NEさんに聞いてみるのが一番かも。
楽観視もできませんが、国に頼るべきかなと思います。例えていえば「ゆるキャラブーム」ぐらいのインパクトはあるし、日本が世界に挑戦する
分野ではあります。たとえば中京テレビのキミノミヤさんをプロデュースする河原さんの最近の講演などを観てみてはいかがでしょうか。