20191128 近未来教育フォーラム2019公開版
•Download as PPTX, PDF•
1 like•498 views
20191128 近未来教育フォーラム2019公開版 “In Real Time” リアルタイムグラフィックスの世界とVTuberが牽引する新たな人類 https://www.dhw.co.jp/forum/ YouTube Live https://www.youtube.com/watch?v=j0yRASXFvlQ FL1NEさんのスライドはこちら https://speakerdeck.com/fl1ne/riarutaimucgfalsejiu-ji-xi-demosin-nituite
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 20191128 近未来教育フォーラム2019公開版
Similar to 20191128 近未来教育フォーラム2019公開版 (20)
More from GREE VR Studio Lab
More from GREE VR Studio Lab (20)
20191128 近未来教育フォーラム2019公開版
- 3. GREE VR Studio Lab, GREE, Inc. リアルタイムグラフィックスの世界と VTuberが牽引する新たな人類 デジタルハリウッド大学 客員教授／ グリー株式会社 GREE VR Studio Lab Director 白井暁彦Akihiko SHIRAI, Ph.D GREE VR Studio Lab Twitter@o_ob @VRStudioLab
- 4. 白井暁彦: VRエンタテインメントシステムの研究者 書籍「白井博士の未来のゲームデザイン～エンタテイメントシステムの科学～」(2013)より ▶ 2018年6月より現職 GREE VR Studio Lab, Director
- 5. 19:00 Real Time Show!リアルタイムグラフィックスの世界 - 19:30 Tokyo Demo Fest: FL1NE & 我無 - 19:40 リアルタイム高校生 やはぎ - 19:50 産業向けXRスタートアップ＆VTuber配信P イクスアール株式会社 19:50-20:00 研究紀要の紹介 VR4.0 - リアルタイムバーチャルキャラクターが 牽引するVR産業における基盤研究 20:00-20:15 パネルトーク プログラム進行 Sli.Do #DHW191128
- 6. Thank you!! & Join us!!
- 7. FL1NEさんの講演スライドはこちら SpeakerDeck FL1NE さんより 発表聞いていただきありがとうございました！より細かく知りたい方はこちらも併せてご覧ください！ https://frontl1ne.net/2019/05/what-demoscene-is/ gam0022さんより 会場質問> シェーダー芸を身につけるオススメのサイトとか参考書とかありますか？ https://www.shadertoy.com/ すごいシェーダーが転がっています。あとレイマーチング や raymarching というワードで検索すると情報にたどり着け るかもしれません。
- 8. 19:00 Real Time Show!リアルタイムグラフィックスの世界 - 19:30 Tokyo Demo Fest: FL1NE & 我無 - 19:40 リアルタイム高校生 やはぎ - 19:50 産業向けXRスタートアップ＆VTuber配信P イクスアール株式会社 19:50-20:00 研究紀要の紹介 VR4.0 - リアルタイムバーチャルキャラクターが 牽引するVR産業における基盤研究 20:00-20:15 パネルトーク プログラム進行 Sli.Do #DHW191128
- 11. 現在制作中の作品について
- 12. Q.なんでこんなことやってるの？ A.誰もやらないから ● VTuberめっちゃ面白い。アバター文化面白い。 ● 界隈を見れば面白いことやってる人は沢山いる。 ● でも、僕の近くの人達はやってない。知らない。 ● じゃあ、巻き込んでやろう。
- 13. 今回の作品を通して伝えたいこ と ● VTuber / 自分でキャラクターを動かすのは面白い！ ● 高校生でもこれくらいはできる ● 「何かをする」のに年齢は関係ない ● とりあえずやってみることの大切さ
- 14. 関連リンクなど ● VRoidとは？ https://vroid.com/about ● Unity-Chan "Candy Rock Star" Public Repository https://github.com/unity3d-jp/unitychan-crs ● Live-V https://github.com/yahagi-day/Live-V ● VRM - VR向け3Dアバターファイルフォーマット - https://vrm.dev/ この作品はユニティちゃんライセンス条 項の元に提供されています
- 15. thank you listening!! ● twitter : @yahagi_day ● VRChat : yahagi_day ● Discord : yahagi_day#5724
- 16. 19:00 Real Time Show!リアルタイムグラフィックスの世界 - 19:30 Tokyo Demo Fest: FL1NE & 我無 - 19:40 リアルタイム高校生 やはぎ - 19:50 産業向けXRスタートアップ＆VTuber配信P イクスアール株式会社 19:50-20:00 研究紀要の紹介 VR4.0 - リアルタイムバーチャルキャラクターが 牽引するVR産業における基盤研究 20:00-20:15 パネルトーク プログラム進行 Sli.Do #DHW191128
- 17. 法人向け 触覚バーチャルシミュレーター 「イークイップス」 イクスアール株式会社 代表取締役 COO 小池 健輔 感覚的スキルを体験で身に着ける
- 23. 実例： A社 航空機整備訓練シミュレータ ※詳細な内容は守秘義務により非公開 ▪ 企業概要 航空機・船舶など製造する重工業メーカー ▪ 対象と効果 航空機のようなサイズの実機訓練は、人・時間・場所のコス トが大きいため、VRの技術を使いバーチャル空間上で整備 訓練をすることで、作業の手順・要領・感触を指導者不在で も、時間や場所を選ばず、繰り返し学ぶことができる。 23
- 24. ターゲット VRを使った事業を始めたいがノウハウの無い大企業・SIer・商社 製造業（航空機・鉄道・船舶・自動車など） 建設業/設備工事業（プラント設備 / エネルギー関連設備） 運輸業（鉄道業、道路旅客運送業等） 医療業 活用例： 手術トレーニング・遠隔医療等 24
- 26. 進捗状況（製品開発） 触覚・力覚に加え温覚・冷覚・圧覚が追加 → より難しい感覚的スキル習得への寄与 メンテナンス 例：機械装置（モーター・ベアリング等）の異常検出 遠隔医療での触診 など 26 力覚デバイス 触覚記録デバイス 圧覚・温覚・冷感デバイス
- 31. 19:00 Real Time Show!リアルタイムグラフィックスの世界 - 19:30 Tokyo Demo Fest: FL1NE & 我無 - 19:40 リアルタイム高校生 やはぎ - 19:50 産業向けXRスタートアップ＆VTuber配信P イクスアール株式会社 19:50-20:00 研究紀要の紹介 VR4.0 - リアルタイムバーチャルキャラクターが 牽引するVR産業における基盤研究 20:00-20:15 パネルトーク プログラム進行 Sli.Do #DHW191128
- 33. ＜ラボって何やってるの…？＞ VTuber事業を推進するWright Flyer Live Entertainment (WFLE)の技術支援 国内/海外他社とのR&D連携推進 成果発信・啓蒙活動・インターンシップ受け入れ Twitter @VRStudioLab YouTubeチャンネル j.mp/VRSYT
- 34. ACM SIGGRAPH ASIA 2018 TOKYO “Real-Time Live!” 【リアルタイム・ライヴ!!】 東京国際フォーラム1500席の前で たった7分間ライブデモを行う SIGGRAPH内でも難度高いデモセッション
- 35. Global Bidirectional Remote Haptic Live Entertainment by Virtual Beings
- 36. 事務局から伝えられた進行 [時差-1H] ● 11/17(日) 午前到着必須 ○ 12-16h (日本11-15時)：公開リハーサル 曙橋-会場のVC音声テスト 日本での取材対応： 11:00～15:00：実験及び公開リハーサルにつき現地の進行に依存。 15:30～16:00：技術解説・インタビュー応対 ● 11/19(火) ■ 20:30~リハーサル ● 11/20(水) ○ 11-13h: 最終リハーサル(日本時間10-12時) ○ 13-15h: 会場閉め切り ○ 15-16h: 本番準備 ○ 16-18h: 本番ライブ(日本時間15-17時) 取材陣オーストラリア側からの 中継を観ながら東京側本番公開
- 37. Live Demo GREE VR Studio Lab YouTube channel http://j.mp/VRSYT
- 38. [Recommend] LATENCY: 10ms or less DOWNLOAD: 50 Mbps or higher UPLOAD: 50 Mbps or higher PACKET LOSS: 0% [Minimum] LATENCY: around 20ms DOWNLOAD: around 10Mbps UPLOAD: around 20Mbps PACKET LOSS 0% Ref. [YouTube recommend] 3840 x 2160p(4K)@60 fps Video Bitrate: 20 - 50Mbps Distance from Brisbane to Tokyo 7,154 km = 20.95 fps By ideal optic speed (round trip) Remote VTuber live by Virtual Cast
- 39. Audience applause can make confetti on the stage!Audience applause can make confetti on the stage!
- 40. AustraliaJapan VC main OBS YouTubeLive return venue state & (1) Timing demo 3D Selected Users (Jury or Audio disability) Emotion Analyzer VC sub (1) Mocap data Monitor Projector HDMI ”REMOPRE”システム(概要設計) VC = Virtual Cast ※会場からの映像に加え 熱気と触覚(ギフトと出演者の 接触)情報を戻したい ※触覚情報を可視化 (2) Reactions are converted to haptic signal. 3,000 audiences MC (Dr.Shirai) Actors Sound (Haptic Feedback) Applause & Laugh... (3) Add feedbacks from audience (applause & laugh) to the scene via VCI for real time interaction Web browser (transmit haptic signal) Audio & Video Audio & Video WebSocket LED tape for illuminating haptic effect 音声: 新VC Or Discord mute 翻訳字幕 ※会場の熱気を可視化
- 42. VCI,VFX,触覚F/B一覧 ハグ （心臓の鼓動） ウィリアムテル 会場拍手 (Clap) 会場笑い (Excitement) ※踊りやすい!! 握手 降らせるものに応じて振動とフルカラーLEDが明滅 Hand Attachment Hapbeat-Duo 弓矢とリング 鼓動に合わせて LED光る VCI Paoz 紙吹雪 VFX (VC) VFX (Real) メーターに合わ せてLED光る 矢が身体に当た ると光る☆が出る 楽曲に合わせて Hapbeat振動 Hapbeat-Duo Hapbeat-Duo イベント ダンス 紙吹雪 (自動生成) 帯部分が光る 帯部分が光る 矢が身体に当た ると光る 命中すると 虹色に光るシナリオ進行
- 44. VRMちょっといい話 ● 出国2日前。 Leaの表情が欠落していることに気づく。 ● ダウンロード ● 足りない２表情のBlendshape作成 ● VRMで保存→config.jsonに反映 ● 全行程、たったの20分。 [参考]2018年12月の工程(SA18RTL) ● アーティストさんに原因調査依頼 ● 外部の協力会社さんに作業依頼 ● アセット反映まで1日以上... いい時代になったなあ・・・
- 49. Global Bidirectional Remote Haptic Live Entertainment by Virtual Beings - CREDIT - Contributor: GREE VR Studio Lab - Akihiko Shirai, Yusuke Yamazaki EXR, Inc. - Kensuke Koike NTT DOCOMO, Inc. - Yoshitaka Soejima Cast: Kilin : Akina Homoto Xi:Emiri Iwai MilkyQueen - Mai Princess：Inori R Oguruma Lea IMAI : Akihiko Shirai Music: “520”/ Tacitly - (C)NTTDOCOMO,INC. (C)MIGU.,Ltd Special Thanks: Just Pro - Ayumi Mino Virtual Cast, Inc. Hapbeat LLC. WFLE, Inc. - all “REALITY” team
- 50. 1. 誰もやらない事をやる 1. どういう状態になっていればいいかを考える 1. R2Dのパスを考える 5G時代のR&D
- 51. VTuberと触覚エンタテインメント ● IEEE World Haptics Conference (東京, 7/9- 12)でデモ発表 ”Haptic Minesweeper” ● SIGGRAPH 2019 Posters 採択(ロサンゼルス, 7/28-8/1) ”Neck Strap Haptics: An Algorithm for Non-Visible VR Information Using Haptic Perception on the Neck” ● Yusuke Yamazaki, et al. バーチャルな世界の熱狂を 肌で感じることができる 触覚デバイス「Hapbeat」 （東工大発Startup企業） →視覚に頼らず距離や方向を 表現するためのアルゴリズムに関する研究 東工大 オフキャンパス実習＆ 長谷川研究室とコラボで実現
- 52. 2019/7/1発表
- 54. 「転声こえうらない」(β) 2019/6/27リリース GREE VR Studio Labから初のプロダクト しかもWebブラウザ上のサービス。 13タイプの様々なキャラクターから選択して、 好きな声になって気持ちを伝えよう！ あなたは「どんな声」で何を伝えますか？ 「なりたい声」を選び「なりたい声」になって Twitter等でシェアできる公開実験プロジェクト。 「おねえさん」「マダム」「男子中 学生」「ソプラノ」「おにいさん」 「小学生」「ゴリラ」「ダミボ」 「ヤミ声」「ムッシュ」「カワボ」 「ダンディ」「両声類」の計13種類 https://twitter.com/koeuranai https://vr.gree.net/lab/vc/
- 57. GREE VR Studio Lab, FY19でやったこと(抜粋) ・特許の使い方 IPの作り方 ・機械学習を用いたフェイシャルキャプチャ ・指表現グローブの開発 ・Vicon, Xsens等新型Mocapの評価導入 ・外部デモを開発する ・価値を測る ・アバター社会の教育利用 ・ボイスチェンジャー(基礎・応用) ・触覚VR ・外部発信ワークショップ開発 ・国際連携
- 58. 1. 誰もやらない事をやる 1. どういう状態になっていればいいかを考える 1. R2Dのパスを考える →1社の1ラボでできることには限界がある！ 5G時代のR&D
- 60. テクノロジー特論D「人工現実」課題 [20191002] VR技術者検定模試フォームの挑戦回数、ベストスコアを入力 [20191009] VRoid Studio をインストールして、自身のオリジナルVTuber設 計。コンセプトを「課題への回答」にテキストで書くとともに、Google Slides で最低1枚のスライドを提出する。 [20191016] VroidHubにキャラクターを公開、3teneを使って自己紹介を演じ て、録画、編集した動画をYouTubeで公開、そのURLと難しかったところ、楽し かったところをレポートする。 [20191028] “SNSへの放流”...前回までの制作を進め短編自己紹介動画、そのキ ャラに合わせたつぶやきをTwitterに投稿し、そのアカウントのURLを報告する。
- 61. テクノロジー特論D「人工現実」課題 [20191030] (1)南昌VRテーマパークで展示する「普通ではないVR体験」を企画、 一般向けのキャッチコピーとシステム全体の販売価格、必要となる機材・開発 費・オペレーションコスト、リスクをまとめる。(2)南昌市を国際都市に発展させ るためのVTuberを提案、キャラクターデザインと自己紹介動画、動画やSNS、イ ベント展開先も含めて実験を行う。 [20191106] (1) 他者の企画に対してURLつきで建設的なコメントを述べる ⇒課 題への回答内にURL記載 (2) 前回の企画を改善してURLで再提出 その際、レイアウトには細心の時間を かけて、できるだけ少ない枚数で提案でできること（動画は可）。URL欄に記載 [20191113] 最終課題(1) 学ぶ前と学んだあとで、自分自身の中で確実に変わっ たこと (2) 前回までの企画を改善してURLで再提出
- 74. https://vr.gree.net/lab/vtc 【学生個人】本エントリー募集期間 2019年11月14日～2019年12月31日 【選考分野】 キャラクター表現を向上させるリアルタイムCG技術、ス マホやHMDへの実装、モーション認識/自動生成、 番組 データ分析、 5G/クラウド等の通信活用技術、 ギフトや 演出技術、ボイスチェンジャー系技術、リアルイベント 向け技術、アバター社会の到来を見越した VTuber活動分野を広げる未来技術 応募フォーム( http://j.mp/VTC19E ) 協賛企業も募集 ( http://j.mp/VTC19P ) Twitter @VRStudioLab
- 76. 19:00 Real Time Show!リアルタイムグラフィックスの世界 - 19:30 Tokyo Demo Fest: FL1NE & 我無 - 19:40 リアルタイム高校生 やはぎ - 19:50 産業向けXRスタートアップ＆VTuber配信P イクスアール株式会社 19:50-20:00 研究紀要の紹介 VR4.0 - リアルタイムバーチャルキャラクターが 牽引するVR産業における基盤研究 20:00-20:15 パネルトーク プログラム進行 Sli.Do #DHW191128
- 78. 会場からの質問(と簡単な回答) 教授っぽいアバターで講義やったらどうなるんだろう 結局ダンスは練習しないといけないんですね バーチャルキャラクターを作るにあたり、商用のハードルが一番低いのってどこですか？ VRでゼルダの伝説が出来たら世界が変わる気がします。 容姿、年齢、性別が剥ぎ取られ、自由になった人類が獲得する「判断基準」はなんだと思いますか？ 3Dアバターで大学の講義をやりたいんですが、かんたんに実現するのは何年先でしょうか？ トレーニングツールとしてのVR、もうここまで進んでいるんですね！ 新たな事業と価値の創造にワクワクします！ やはぎさんは、ご自身の高校で、先生方はどんな風に応援や理解を示されていますか？ 校風は自由な雰囲気ですか？ DEMOってどこで学べます？ 新たな産業創成に繋げる事もできますね。 国の成長戦略予算とかは足りてますか？ 必要ないですか？ 面白い視点ですね！ ぜひとも実験してみていただきたい 練習しなくてもそれなりに成立するかもですが、美的感覚的に×。 何をもって「商用のハードル」とするかですが 聞くよりも自分でやってみるのが一番大事と思います。 段ボール製自作HMDでできますよ はぎとられるんじゃない です 服や化粧と同じです すぐできますよこれとかこれとか Demo Festやハッカソン出るのがいいかも、@FL1NEさんに聞いてみるのが一番かも。 楽観視もできませんが、国に頼るべきかなと思います。例えていえば「ゆるキャラブーム」ぐらいのインパクトはあるし、日本が世界に挑戦する 分野ではあります。たとえば中京テレビのキミノミヤさんをプロデュースする河原さんの最近の講演などを観てみてはいかがでしょうか。