20191128 近未来教育フォーラム2019公開版

1. “In Real Time” リアルタイムグラフィックスの世界と VTuberが牽引する新たな人類 #DHW

2. YouTubeLive https://www.youtube.com/watch?v=j0yRASXFvlQ #DHW #DHW

3. GREE VR Studio Lab, GREE, Inc. リアルタイムグラフィックスの世界と VTuberが牽引する新たな人類デジタルハリウッド大学客員教授／グリー株式会社 GREE VR Studio Lab Director 白井暁彦Akihiko SHIRAI, Ph.D GREE VR Studio Lab Twitter@o_ob @VRStudioLab

4. 白井暁彦: VRエンタテインメントシステムの研究者書籍「白井博士の未来のゲームデザイン～エンタテイメントシステムの科学～」(2013)より ▶ 2018年6月より現職 GREE VR Studio Lab, Director

5. 19:00 Real Time Show!リアルタイムグラフィックスの世界 - 19:30 Tokyo Demo Fest: FL1NE & 我無 - 19:40 リアルタイム高校生やはぎ - 19:50 産業向けXRスタートアップ＆VTuber配信P イクスアール株式会社 19:50-20:00 研究紀要の紹介 VR4.0 - リアルタイムバーチャルキャラクターが牽引するVR産業における基盤研究 20:00-20:15 パネルトークプログラム進行 Sli.Do #DHW191128

6. Thank you!! & Join us!!

7. FL1NEさんの講演スライドはこちら SpeakerDeck FL1NE さんより発表聞いていただきありがとうございました！より細かく知りたい方はこちらも併せてご覧ください！ https://frontl1ne.net/2019/05/what-demoscene-is/ gam0022さんより会場質問> シェーダー芸を身につけるオススメのサイトとか参考書とかありますか？ https://www.shadertoy.com/ すごいシェーダーが転がっています。あとレイマーチングや raymarching というワードで検索すると情報にたどり着けるかもしれません。

9. 「VRMアバターを使った作品制作」やはぎ/yahagi_day ~self introduction~

10. Q.どんな活動をしているの？ A.文化祭で展示するライブ映像作品を制作しています。

11. 現在制作中の作品について

12. Q.なんでこんなことやってるの？ A.誰もやらないから ● VTuberめっちゃ面白い。アバター文化面白い。 ● 界隈を見れば面白いことやってる人は沢山いる。 ● でも、僕の近くの人達はやってない。知らない。 ● じゃあ、巻き込んでやろう。

13. 今回の作品を通して伝えたいこと ● VTuber / 自分でキャラクターを動かすのは面白い！ ● 高校生でもこれくらいはできる ● 「何かをする」のに年齢は関係ない ● とりあえずやってみることの大切さ

14. 関連リンクなど ● VRoidとは？ https://vroid.com/about ● Unity-Chan "Candy Rock Star" Public Repository https://github.com/unity3d-jp/unitychan-crs ● Live-V https://github.com/yahagi-day/Live-V ● VRM - VR向け3Dアバターファイルフォーマット - https://vrm.dev/ この作品はユニティちゃんライセンス条項の元に提供されています

15. thank you listening!! ● twitter : @yahagi_day ● VRChat : yahagi_day ● Discord : yahagi_day#5724

17. 法人向け触覚バーチャルシミュレーター「イークイップス」イクスアール株式会社代表取締役 COO 小池健輔感覚的スキルを体験で身に着ける

18. 会社概要設立：平成30年3月9日本社：愛知県名古屋市中村区名駅4-3-10 東海ビル307 事業内容：VR/ARコンテンツの企画・制作・運用 18 会社案内工場見学観光エンタメ

19. VR実演します法人向け触覚VRシミュレーター「イークイップス」とは？バーチャル空間上で、現実では困難な体験・訓練を体験できる法人向け学習システム 19

20. 21 昨今の日本は、労働人口の減少に伴う人手不足の問題を抱えており、生産年齢人口（14～65歳）が2030年には約850万人、 2045年には約1100万人の減少すると予測されており、人材を使い捨てる時代は終わりを迎えようとしています。イントロダクション

21. 22 感覚に働きかけるトレーニングで働く人の学習意欲・効率を高め ▪ 無駄なOJTを減らすことで省人化に寄与し、生産性を向上 ▪ さらに、命の危険が伴う仕事での危険予知能力を高め、貴重な人材の損失を防ぎ、企業のリスクマネジメントを強化を目指します。我々は、本事業によって

22. 実例： A社航空機整備訓練シミュレータ ※詳細な内容は守秘義務により非公開 ▪ 企業概要航空機・船舶など製造する重工業メーカー ▪ 対象と効果航空機のようなサイズの実機訓練は、人・時間・場所のコストが大きいため、VRの技術を使いバーチャル空間上で整備訓練をすることで、作業の手順・要領・感触を指導者不在でも、時間や場所を選ばず、繰り返し学ぶことができる。 23

23. ターゲット VRを使った事業を始めたいがノウハウの無い大企業・SIer・商社製造業（航空機・鉄道・船舶・自動車など）建設業/設備工事業（プラント設備 / エネルギー関連設備）運輸業（鉄道業、道路旅客運送業等）医療業活用例：手術トレーニング・遠隔医療等 24

24. 新規性・独自性理性へ働きかける学習ではなく、感覚へ働きかける触覚・力覚等、感覚への提示デバイスを追加し、より高い理解を得られる。 25 力覚デバイス触覚記録デバイス

25. 進捗状況（製品開発）触覚・力覚に加え温覚・冷覚・圧覚が追加 → より難しい感覚的スキル習得への寄与メンテナンス例：機械装置（モーター・ベアリング等）の異常検出遠隔医療での触診など 26 力覚デバイス触覚記録デバイス圧覚・温覚・冷感デバイス

26. 27 予習・復習履修管理・行動ログ管理評価・復習提案進捗状況（製品開発）履修記録・管理システムの開発 2月にベースシステムの完成。以降逐次投入データベース Web VR （視線・動き・声などのデータ）

27. 28 VR AR・IoT AI 失敗の傾向を予測失敗の予防・効率化進捗状況（製品開発）個別の訓練課題の検証・抽出・評価・自動化には必須の機能データベース Web 反復学習解析抽出評価の自動化実作業支援

28. 進捗状況（製品開発）パートナー企業と連携し業界特化型のトレーニングシステムを開発、同様の課題を抱える同業界企業へと教育ノウハウの拡散販売を行います。 29 コンテンツ制作学習システム販売・解析監修コンテンツ販売大企業商社・SIer パートナー顧客学習情報事業連携のできるパートナーを探しています。

29. 以上です。ありがとうございました！ 30

31. ＜ラボって何やってるの…？＞ VTuber事業を推進するWright Flyer Live Entertainment (WFLE)の技術支援国内/海外他社とのR&D連携推進成果発信・啓蒙活動・インターンシップ受け入れ Twitter @VRStudioLab YouTubeチャンネル j.mp/VRSYT

32. ACM SIGGRAPH ASIA 2018 TOKYO “Real-Time Live!” 【リアルタイム・ライヴ!!】東京国際フォーラム1500席の前でたった7分間ライブデモを行う SIGGRAPH内でも難度高いデモセッション

33. Global Bidirectional Remote Haptic Live Entertainment by Virtual Beings

34. 事務局から伝えられた進行 [時差-1H] ● 11/17(日) 午前到着必須 ○ 12-16h (日本11-15時)：公開リハーサル曙橋-会場のVC音声テスト日本での取材対応： 11:00～15:00：実験及び公開リハーサルにつき現地の進行に依存。 15:30～16:00：技術解説・インタビュー応対 ● 11/19(火) ■ 20:30~リハーサル ● 11/20(水) ○ 11-13h: 最終リハーサル(日本時間10-12時) ○ 13-15h: 会場閉め切り ○ 15-16h: 本番準備 ○ 16-18h: 本番ライブ(日本時間15-17時) 取材陣オーストラリア側からの中継を観ながら東京側本番公開

35. Live Demo GREE VR Studio Lab YouTube channel http://j.mp/VRSYT

36. [Recommend] LATENCY: 10ms or less DOWNLOAD: 50 Mbps or higher UPLOAD: 50 Mbps or higher PACKET LOSS: 0% [Minimum] LATENCY: around 20ms DOWNLOAD: around 10Mbps UPLOAD: around 20Mbps PACKET LOSS 0% Ref. [YouTube recommend] 3840 x 2160p(4K)@60 fps Video Bitrate: 20 - 50Mbps Distance from Brisbane to Tokyo 7,154 km = 20.95 fps By ideal optic speed (round trip) Remote VTuber live by Virtual Cast

37. Audience applause can make confetti on the stage!Audience applause can make confetti on the stage!

38. AustraliaJapan VC main OBS YouTubeLive return venue state & (1) Timing demo 3D Selected Users (Jury or Audio disability) Emotion Analyzer VC sub (1) Mocap data Monitor Projector HDMI ”REMOPRE”システム(概要設計) VC = Virtual Cast ※会場からの映像に加え熱気と触覚(ギフトと出演者の接触)情報を戻したい ※触覚情報を可視化 (2) Reactions are converted to haptic signal. 3,000 audiences MC (Dr.Shirai) Actors Sound (Haptic Feedback) Applause & Laugh... (3) Add feedbacks from audience (applause & laugh) to the scene via VCI for real time interaction Web browser (transmit haptic signal) Audio & Video Audio & Video WebSocket LED tape for illuminating haptic effect 音声: 新VC Or Discord mute 翻訳字幕 ※会場の熱気を可視化

39. 会場音声（拍手＆笑い） Alienware （ホスト） WebSocket ブラウザ Virutal Cast Hapbeat 演者（オーストラリア） VRコントローラー LED Hapbeat 演者（東京） VRコントローラーマイコン（LED用）会場画面オーストラリアシステム構成図（新音声版＠11/17時点）マイク用 PC(R,L) 拍手・笑い分析＆送信 OMEN X 無線グラフ&音声配信（ページを開いている人全員へ配信）グラフ&音声触覚配信用PC パフォーマンス映像 Discord アイテム衝突通知会話音声 LED発光コマンド音声による触覚信号公式API 公式API 音声による触覚信号ミックスして放送 AD指示 Discord ※実際には会場音→HMDマイクをミュート出来ず最終版は音声系統が全てDiscordになった（無念）

40. VCI,VFX,触覚F/B一覧ハグ（心臓の鼓動）ウィリアムテル会場拍手 (Clap) 会場笑い (Excitement) ※踊りやすい!! 握手降らせるものに応じて振動とフルカラーLEDが明滅 Hand Attachment Hapbeat-Duo 弓矢とリング鼓動に合わせて LED光る VCI Paoz 紙吹雪 VFX (VC) VFX (Real) メーターに合わせてLED光る矢が身体に当たると光る☆が出る楽曲に合わせて Hapbeat振動 Hapbeat-Duo Hapbeat-Duo イベントダンス紙吹雪 (自動生成) 帯部分が光る帯部分が光る矢が身体に当たると光る命中すると虹色に光るシナリオ進行

41. 会場マイク（拍手＆笑い） EmoAna & NodePy ブラウザ Virutal Cast Hapbeat 演者（オーストラリア） VRコントローラー LED Hapbeat 演者（東京） VRコントローラーマイコン（LED用）画面 VCIからの出力※ギフトを降らせる振動および可視化オーストラリアシステム構成図（シンプル版）自作ページ＋ youtubelive重ね合わせ会場ホストPC OMEN 会場PC OMEN 東京PC 会場PC OMEN 東京PC 会場PC OMEN 東京PC wifi経由もあり有線で確定 ※ 案１：host側のVCの画面の色をvciによって変えることで、python側でコマンドが走ったことを検知する（ただ、ホスト側のVCの画面をブロードキャストに使うとするとこの方法は使えない）案２：（可能なら）TCP・UDPで送受信

42. VRMちょっといい話 ● 出国2日前。 Leaの表情が欠落していることに気づく。 ● ダウンロード ● 足りない２表情のBlendshape作成 ● VRMで保存→config.jsonに反映 ● 全行程、たったの20分。 [参考]2018年12月の工程(SA18RTL) ● アーティストさんに原因調査依頼 ● 外部の協力会社さんに作業依頼 ● アセット反映まで1日以上... いい時代になったなあ・・・

43. Maya上でのBlendshapeの生成

44. VirtualCastちょっといい話 7000km超えでも問題なし！シナリオは全部英語。ミルキークイーンさんが監修カンペ画像としてVC内に表示 HMD内で観れる安心感はある一方でダンスはカンペでは難しいので出演者の練習はとても大事実際には鏡やビデオではなくアバターを着た状態で練習する必要がある直前の機材トラブルで、AD用機体と入れ替わって本番を演じた… （良い話とはいえないが瞬時にアバター入れ替えられる良さは大きい）

45. Global Bidirectional Remote Haptic Live Entertainment by Virtual Beings - CREDIT - Contributor: GREE VR Studio Lab - Akihiko Shirai, Yusuke Yamazaki EXR, Inc. - Kensuke Koike NTT DOCOMO, Inc. - Yoshitaka Soejima Cast: Kilin : Akina Homoto Xi:Emiri Iwai MilkyQueen - Mai Princess：Inori R Oguruma Lea IMAI : Akihiko Shirai Music: “520”/ Tacitly - (C)NTTDOCOMO,INC. (C)MIGU.,Ltd Special Thanks: Just Pro - Ayumi Mino Virtual Cast, Inc. Hapbeat LLC. WFLE, Inc. - all “REALITY” team

46. 1. 誰もやらない事をやる 1. どういう状態になっていればいいかを考える 1. R2Dのパスを考える 5G時代のR&D

47. VTuberと触覚エンタテインメント ● IEEE World Haptics Conference (東京, 7/9- 12)でデモ発表 ”Haptic Minesweeper” ● SIGGRAPH 2019 Posters 採択(ロサンゼルス, 7/28-8/1) ”Neck Strap Haptics: An Algorithm for Non-Visible VR Information Using Haptic Perception on the Neck” ● Yusuke Yamazaki, et al. バーチャルな世界の熱狂を肌で感じることができる触覚デバイス「Hapbeat」（東工大発Startup企業） →視覚に頼らず距離や方向を表現するためのアルゴリズムに関する研究東工大オフキャンパス実習＆長谷川研究室とコラボで実現

48. 2019/7/1発表

49. https://twitter.com/koeuranai https://vr.gree.net/lab/vc/

50. 「転声こえうらない」(β) 2019/6/27リリース GREE VR Studio Labから初のプロダクトしかもWebブラウザ上のサービス。 13タイプの様々なキャラクターから選択して、好きな声になって気持ちを伝えよう！あなたは「どんな声」で何を伝えますか？「なりたい声」を選び「なりたい声」になって Twitter等でシェアできる公開実験プロジェクト。「おねえさん」「マダム」「男子中学生」「ソプラノ」「おにいさん」「小学生」「ゴリラ」「ダミボ」「ヤミ声」「ムッシュ」「カワボ」「ダンディ」「両声類」の計13種類 https://twitter.com/koeuranai https://vr.gree.net/lab/vc/

51. 「転声こえうらない」(β) http://bit.ly/KOEURANAIB

52. とあるユーザさんによる例 #こえうらないで探してみてください https://twitter.com/tanakayoshikazu/status/1144525991802331142 https://vr.gree.net/lab/vc/share#1uz04gem591q39t1v8am30jb54

53. GREE VR Studio Lab, FY19でやったこと(抜粋) ・特許の使い方 IPの作り方・機械学習を用いたフェイシャルキャプチャ・指表現グローブの開発・Vicon, Xsens等新型Mocapの評価導入・外部デモを開発する・価値を測る・アバター社会の教育利用・ボイスチェンジャー(基礎・応用) ・触覚VR ・外部発信ワークショップ開発・国際連携

54. 1. 誰もやらない事をやる 1. どういう状態になっていればいいかを考える 1. R2Dのパスを考える →1社の1ラボでできることには限界がある！ 5G時代のR&D

55. In DHW テクノロジー特論D「人工現実」

56. テクノロジー特論D「人工現実」課題 [20191002] VR技術者検定模試フォームの挑戦回数、ベストスコアを入力 [20191009] VRoid Studio をインストールして、自身のオリジナルVTuber設計。コンセプトを「課題への回答」にテキストで書くとともに、Google Slides で最低1枚のスライドを提出する。 [20191016] VroidHubにキャラクターを公開、3teneを使って自己紹介を演じて、録画、編集した動画をYouTubeで公開、そのURLと難しかったところ、楽しかったところをレポートする。 [20191028] “SNSへの放流”...前回までの制作を進め短編自己紹介動画、そのキャラに合わせたつぶやきをTwitterに投稿し、そのアカウントのURLを報告する。

57. テクノロジー特論D「人工現実」課題 [20191030] (1)南昌VRテーマパークで展示する「普通ではないVR体験」を企画、一般向けのキャッチコピーとシステム全体の販売価格、必要となる機材・開発費・オペレーションコスト、リスクをまとめる。(2)南昌市を国際都市に発展させるためのVTuberを提案、キャラクターデザインと自己紹介動画、動画やSNS、イベント展開先も含めて実験を行う。 [20191106] (1) 他者の企画に対してURLつきで建設的なコメントを述べる ⇒課題への回答内にURL記載 (2) 前回の企画を改善してURLで再提出その際、レイアウトには細心の時間をかけて、できるだけ少ない枚数で提案でできること（動画は可）。URL欄に記載 [20191113] 最終課題(1) 学ぶ前と学んだあとで、自分自身の中で確実に変わったこと (2) 前回までの企画を改善してURLで再提出

58. https://twitter.com/ralicre/status/1191015846744715264/photo/4

59. https://twitter.com/Mori_misaki1/status/1184000302271193088

60. https://twitter.com/Mori_misaki1/status/1191547845901307904

61. https://twitter.com/RAZIAMORI/status/1191545766659031040/photo/2

62. https://twitter.com/Mori_misaki1/status/1153575159774662656/photo/1

63. https://www.moguravr.com/nanchang-china-vtuber-naoise/

64. https://twitter.com/NeneVtuber/status/1197205727875452928

65. https://vr.gree.net/lab/vtc 【学生個人】本エントリー募集期間 2019年11月14日～2019年12月31日【選考分野】キャラクター表現を向上させるリアルタイムCG技術、スマホやHMDへの実装、モーション認識/自動生成、番組データ分析、 5G/クラウド等の通信活用技術、ギフトや演出技術、ボイスチェンジャー系技術、リアルイベント向け技術、アバター社会の到来を見越した VTuber活動分野を広げる未来技術応募フォーム( http://j.mp/VTC19E ) 協賛企業も募集 ( http://j.mp/VTC19P ) Twitter @VRStudioLab

66. 何を学んできたか？どんな仕事なのか？そして目指す未来は？パネルトーク「あらたな人類の在り方」 Sli.Do #DHW191128

68. 会場からの質問(と簡単な回答) 教授っぽいアバターで講義やったらどうなるんだろう結局ダンスは練習しないといけないんですねバーチャルキャラクターを作るにあたり、商用のハードルが一番低いのってどこですか？ VRでゼルダの伝説が出来たら世界が変わる気がします。容姿、年齢、性別が剥ぎ取られ、自由になった人類が獲得する「判断基準」はなんだと思いますか？ 3Dアバターで大学の講義をやりたいんですが、かんたんに実現するのは何年先でしょうか？トレーニングツールとしてのVR、もうここまで進んでいるんですね！新たな事業と価値の創造にワクワクします！やはぎさんは、ご自身の高校で、先生方はどんな風に応援や理解を示されていますか？校風は自由な雰囲気ですか？ DEMOってどこで学べます？新たな産業創成に繋げる事もできますね。国の成長戦略予算とかは足りてますか？必要ないですか？面白い視点ですね！ぜひとも実験してみていただきたい練習しなくてもそれなりに成立するかもですが、美的感覚的に×。何をもって「商用のハードル」とするかですが聞くよりも自分でやってみるのが一番大事と思います。段ボール製自作HMDでできますよはぎとられるんじゃないです服や化粧と同じですすぐできますよこれとかこれとか Demo Festやハッカソン出るのがいいかも、@FL1NEさんに聞いてみるのが一番かも。楽観視もできませんが、国に頼るべきかなと思います。例えていえば「ゆるキャラブーム」ぐらいのインパクトはあるし、日本が世界に挑戦する分野ではあります。たとえば中京テレビのキミノミヤさんをプロデュースする河原さんの最近の講演などを観てみてはいかがでしょうか。