Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20191128 近未来教育フォーラム2019公開版

608 views

Published on

20191128 近未来教育フォーラム2019公開版
“In Real Time”
リアルタイムグラフィックスの世界とVTuberが牽引する新たな人類
https://www.dhw.co.jp/forum/
YouTube Live
https://www.youtube.com/watch?v=j0yRASXFvlQ
FL1NEさんのスライドはこちら
https://speakerdeck.com/fl1ne/riarutaimucgfalsejiu-ji-xi-demosin-nituite

  • Be the first to comment

20191128 近未来教育フォーラム2019公開版

  1. 1. “In Real Time” リアルタイムグラフィックスの世界と VTuberが牽引する新たな人類 #DHW
  2. 2. YouTubeLive https://www.youtube.com/watch?v=j0yRASXFvlQ #DHW #DHW
  3. 3. GREE VR Studio Lab, GREE, Inc. リアルタイムグラフィックスの世界と VTuberが牽引する新たな人類 デジタルハリウッド大学 客員教授/ グリー株式会社 GREE VR Studio Lab Director 白井暁彦Akihiko SHIRAI, Ph.D GREE VR Studio Lab Twitter@o_ob @VRStudioLab
  4. 4. 白井暁彦: VRエンタテインメントシステムの研究者 書籍「白井博士の未来のゲームデザイン~エンタテイメントシステムの科学~」(2013)より ▶ 2018年6月より現職 GREE VR Studio Lab, Director
  5. 5. 19:00 Real Time Show!リアルタイムグラフィックスの世界 - 19:30 Tokyo Demo Fest: FL1NE & 我無 - 19:40 リアルタイム高校生 やはぎ - 19:50 産業向けXRスタートアップ&VTuber配信P イクスアール株式会社 19:50-20:00 研究紀要の紹介 VR4.0 - リアルタイムバーチャルキャラクターが 牽引するVR産業における基盤研究 20:00-20:15 パネルトーク プログラム進行 Sli.Do #DHW191128
  6. 6. Thank you!! & Join us!!
  7. 7. FL1NEさんの講演スライドはこちら SpeakerDeck FL1NE さんより 発表聞いていただきありがとうございました!より細かく知りたい方はこちらも併せてご覧ください! https://frontl1ne.net/2019/05/what-demoscene-is/ gam0022さんより 会場質問> シェーダー芸を身につけるオススメのサイトとか参考書とかありますか? https://www.shadertoy.com/ すごいシェーダーが転がっています。あとレイマーチング や raymarching というワードで検索すると情報にたどり着け るかもしれません。
  8. 8. 19:00 Real Time Show!リアルタイムグラフィックスの世界 - 19:30 Tokyo Demo Fest: FL1NE & 我無 - 19:40 リアルタイム高校生 やはぎ - 19:50 産業向けXRスタートアップ&VTuber配信P イクスアール株式会社 19:50-20:00 研究紀要の紹介 VR4.0 - リアルタイムバーチャルキャラクターが 牽引するVR産業における基盤研究 20:00-20:15 パネルトーク プログラム進行 Sli.Do #DHW191128
  9. 9. 「VRMアバターを使った作品制作」 やはぎ/yahagi_day ~self introduction~
  10. 10. Q.どんな活動をしているの? A.文化祭で展示するライブ映像作品を制 作しています。
  11. 11. 現在制作中の作品について
  12. 12. Q.なんでこんなことやってるの? A.誰もやらないから ● VTuberめっちゃ面白い。アバター文化面白い。 ● 界隈を見れば面白いことやってる人は沢山いる。 ● でも、僕の近くの人達はやってない。知らない。 ● じゃあ、巻き込んでやろう。
  13. 13. 今回の作品を通して伝えたいこ と ● VTuber / 自分でキャラクターを動かすのは面白い! ● 高校生でもこれくらいはできる ● 「何かをする」のに年齢は関係ない ● とりあえずやってみることの大切さ
  14. 14. 関連リンクなど ● VRoidとは? https://vroid.com/about ● Unity-Chan "Candy Rock Star" Public Repository https://github.com/unity3d-jp/unitychan-crs ● Live-V https://github.com/yahagi-day/Live-V ● VRM - VR向け3Dアバターファイルフォーマット - https://vrm.dev/ この作品はユニティちゃんライセンス条 項の元に提供されています
  15. 15. thank you listening!! ● twitter : @yahagi_day ● VRChat : yahagi_day ● Discord : yahagi_day#5724
  16. 16. 19:00 Real Time Show!リアルタイムグラフィックスの世界 - 19:30 Tokyo Demo Fest: FL1NE & 我無 - 19:40 リアルタイム高校生 やはぎ - 19:50 産業向けXRスタートアップ&VTuber配信P イクスアール株式会社 19:50-20:00 研究紀要の紹介 VR4.0 - リアルタイムバーチャルキャラクターが 牽引するVR産業における基盤研究 20:00-20:15 パネルトーク プログラム進行 Sli.Do #DHW191128
  17. 17. 法人向け 触覚バーチャルシミュレーター 「イークイップス」 イクスアール株式会社 代表取締役 COO 小池 健輔 感覚的スキルを体験で身に着ける
  18. 18. 会社概要 設立:平成30年3月9日 本社:愛知県名古屋市中村区名駅4-3-10 東海ビル307 事業内容:VR/ARコンテンツの企画・制作・運用 18 会社案内 工場見学 観光 エンタメ
  19. 19. VR実演します 法人向け触覚VRシミュレーター「イークイップス」とは? バーチャル空間上で、 現実では困難な体験・訓練を体験できる法人向け学習システム 19
  20. 20. 21 昨今の日本は、労働人口の減少に伴う人手不足の問題を抱えて おり、生産年齢人口(14~65歳)が2030年には約850万人、 2045年には約1100万人の減少すると予測されており、 人材を使い捨てる時代は終わりを迎えようとしています。 イントロダクション
  21. 21. 22 感覚に働きかけるトレーニングで働く人の学習意欲・効率を高め ▪ 無駄なOJTを減らすことで省人化に寄与し、生産性を向上 ▪ さらに、命の危険が伴う仕事での危険予知能力を高め、 貴重な人材の損失を防ぎ、企業のリスクマネジメントを強化 を目指します。 我々は、本事業によって
  22. 22. 実例: A社 航空機整備訓練シミュレータ ※詳細な内容は守秘義務により非公開 ▪ 企業概要 航空機・船舶など製造する重工業メーカー ▪ 対象と効果 航空機のようなサイズの実機訓練は、人・時間・場所のコス トが大きいため、VRの技術を使いバーチャル空間上で整備 訓練をすることで、作業の手順・要領・感触を指導者不在で も、時間や場所を選ばず、繰り返し学ぶことができる。 23
  23. 23. ターゲット VRを使った事業を始めたいがノウハウの無い大企業・SIer・商社 製造業(航空機・鉄道・船舶・自動車など) 建設業/設備工事業(プラント設備 / エネルギー関連設備) 運輸業(鉄道業、道路旅客運送業等) 医療業 活用例: 手術トレーニング・遠隔医療等 24
  24. 24. 新規性・独自性 理性へ働きかける学習ではなく、感覚へ働きかける 触覚・力覚等、感覚への提示デバイスを追加し、 より高い理解を得られる。 25 力覚デバイス 触覚記録デバイス
  25. 25. 進捗状況(製品開発) 触覚・力覚に加え温覚・冷覚・圧覚が追加 → より難しい感覚的スキル習得への寄与 メンテナンス 例:機械装置(モーター・ベアリング等)の異常検出 遠隔医療での触診 など 26 力覚デバイス 触覚記録デバイス 圧覚・温覚・冷感デバイス
  26. 26. 27 予習・復習 履修管理・行動ログ管理 評価・復習提案 進捗状況(製品開発) 履修記録・管理システムの開発 2月にベースシステムの完成。以降逐次投入 データベース Web VR (視線・動き・声などのデータ)
  27. 27. 28 VR AR・IoT AI 失敗の 傾向を 予測 失敗の 予防・ 効率化 進捗状況(製品開発) 個別の訓練課題の検証・抽出・評価・自動化には必須の機能 データベース Web 反復 学習 解析 抽出 評価の自動化 実作業支援
  28. 28. 進捗状況(製品開発) パートナー企業と連携し業界特化型のトレーニングシステムを開発、 同様の課題を抱える同業界企業へと教育ノウハウの拡散販売を行います。 29 コンテンツ制作 学習システム販売・解析 監修 コンテンツ販売 大企業 商社・SIer パートナー 顧客 学習情報 事業連携のできるパートナーを探しています。
  29. 29. 以上です。ありがとうございました! 30
  30. 30. 19:00 Real Time Show!リアルタイムグラフィックスの世界 - 19:30 Tokyo Demo Fest: FL1NE & 我無 - 19:40 リアルタイム高校生 やはぎ - 19:50 産業向けXRスタートアップ&VTuber配信P イクスアール株式会社 19:50-20:00 研究紀要の紹介 VR4.0 - リアルタイムバーチャルキャラクターが 牽引するVR産業における基盤研究 20:00-20:15 パネルトーク プログラム進行 Sli.Do #DHW191128
  31. 31. <ラボって何やってるの…?> VTuber事業を推進するWright Flyer Live Entertainment (WFLE)の技術支援 国内/海外他社とのR&D連携推進 成果発信・啓蒙活動・インターンシップ受け入れ Twitter @VRStudioLab YouTubeチャンネル j.mp/VRSYT
  32. 32. ACM SIGGRAPH ASIA 2018 TOKYO “Real-Time Live!” 【リアルタイム・ライヴ!!】 東京国際フォーラム1500席の前で たった7分間ライブデモを行う SIGGRAPH内でも難度高いデモセッション
  33. 33. Global Bidirectional Remote Haptic Live Entertainment by Virtual Beings
  34. 34. 事務局から伝えられた進行 [時差-1H] ● 11/17(日) 午前到着必須 ○ 12-16h (日本11-15時):公開リハーサル 曙橋-会場のVC音声テスト 日本での取材対応: 11:00~15:00:実験及び公開リハーサルにつき現地の進行に依存。 15:30~16:00:技術解説・インタビュー応対 ● 11/19(火) ■ 20:30~リハーサル ● 11/20(水) ○ 11-13h: 最終リハーサル(日本時間10-12時) ○ 13-15h: 会場閉め切り ○ 15-16h: 本番準備 ○ 16-18h: 本番ライブ(日本時間15-17時) 取材陣オーストラリア側からの 中継を観ながら東京側本番公開
  35. 35. Live Demo GREE VR Studio Lab YouTube channel http://j.mp/VRSYT
  36. 36. [Recommend] LATENCY: 10ms or less DOWNLOAD: 50 Mbps or higher UPLOAD: 50 Mbps or higher PACKET LOSS: 0% [Minimum] LATENCY: around 20ms DOWNLOAD: around 10Mbps UPLOAD: around 20Mbps PACKET LOSS 0% Ref. [YouTube recommend] 3840 x 2160p(4K)@60 fps Video Bitrate: 20 - 50Mbps Distance from Brisbane to Tokyo 7,154 km = 20.95 fps By ideal optic speed (round trip) Remote VTuber live by Virtual Cast
  37. 37. Audience applause can make confetti on the stage!Audience applause can make confetti on the stage!
  38. 38. AustraliaJapan VC main OBS YouTubeLive return venue state & (1) Timing demo 3D Selected Users (Jury or Audio disability) Emotion Analyzer VC sub (1) Mocap data Monitor Projector HDMI ”REMOPRE”システム(概要設計) VC = Virtual Cast ※会場からの映像に加え 熱気と触覚(ギフトと出演者の 接触)情報を戻したい ※触覚情報を可視化 (2) Reactions are converted to haptic signal. 3,000 audiences MC (Dr.Shirai) Actors Sound (Haptic Feedback) Applause & Laugh... (3) Add feedbacks from audience (applause & laugh) to the scene via VCI for real time interaction Web browser (transmit haptic signal) Audio & Video Audio & Video WebSocket LED tape for illuminating haptic effect 音声: 新VC Or Discord mute 翻訳字幕 ※会場の熱気を可視化
  39. 39. 会場音声 (拍手&笑い) Alienware (ホスト) WebSocket ブラウザ Virutal Cast Hapbeat 演者(オーストラリア) VRコント ローラー LED Hapbeat 演者(東京) VRコント ローラー マイコン (LED用) 会場 画面 オーストラリア システム構成図(新音声版@11/17時点) マイク用 PC(R,L) 拍手・笑い分析 &送信 OMEN X 無線 グラフ&音声配信 (ページを開いてい る人全員へ配信) グラフ&音声 触覚配信 用PC パフォーマンス映像 Discord アイテム衝突通知 会話 音声 LED発光コマンド 音声による触覚信号 公式API 公式API 音声による触覚信号 ミックスして放送 AD指示 Discord ※実際には会場音→HMDマイクをミュート出来ず 最終版は音声系統が全てDiscordになった(無念)
  40. 40. VCI,VFX,触覚F/B一覧 ハグ (心臓の鼓動) ウィリアムテル 会場拍手 (Clap) 会場笑い (Excitement) ※踊りやすい!! 握手 降らせるものに応じて振動とフルカラーLEDが明滅 Hand Attachment Hapbeat-Duo 弓矢とリング 鼓動に合わせて LED光る VCI Paoz 紙吹雪 VFX (VC) VFX (Real) メーターに合わ せてLED光る 矢が身体に当た ると光る☆が出る 楽曲に合わせて Hapbeat振動 Hapbeat-Duo Hapbeat-Duo イベント ダンス 紙吹雪 (自動生成) 帯部分が光る 帯部分が光る 矢が身体に当た ると光る 命中すると 虹色に光るシナリオ進行
  41. 41. 会場マイク (拍手&笑い) EmoAna & NodePy ブラウザ Virutal Cast Hapbeat 演者(オーストラリア) VRコント ローラー LED Hapbeat 演者(東京) VRコント ローラー マイコン (LED用) 画面 VCIからの出力※ギフトを降らせる 振動および可視化 オーストラリア システム構成図 (シンプル版) 自作ページ+ youtubelive重ね合わせ 会場ホストPC OMEN 会場PC OMEN 東京PC 会場PC OMEN 東京PC 会場PC OMEN 東京PC wifi経由 もあり 有線で 確定 ※ 案1:host側のVCの画面の色をvciによって変えることで、python側 でコマンドが走ったことを検知する(ただ、ホスト側のVCの画面を ブロードキャストに使うとするとこの方法は使えない) 案2:(可能なら)TCP・UDPで送受信
  42. 42. VRMちょっといい話 ● 出国2日前。 Leaの表情が欠落していることに気づく。 ● ダウンロード ● 足りない2表情のBlendshape作成 ● VRMで保存→config.jsonに反映 ● 全行程、たったの20分。 [参考]2018年12月の工程(SA18RTL) ● アーティストさんに原因調査依頼 ● 外部の協力会社さんに作業依頼 ● アセット反映まで1日以上... いい時代になったなあ・・・
  43. 43. Maya上でのBlendshapeの生成
  44. 44. VirtualCastちょっといい話 7000km超えでも問題なし! シナリオは全部英語。 ミルキークイーンさんが監修 カンペ画像としてVC内に表示 HMD内で観れる安心感はある 一方でダンスはカンペでは難しいので 出演者の練習はとても大事 実際には鏡やビデオではなくアバターを着た状態で練習する必要がある 直前の機材トラブルで、AD用機体と入れ替わって本番を演じた… (良い話とはいえないが瞬時にアバター入れ替えられる良さは大きい)
  45. 45. Global Bidirectional Remote Haptic Live Entertainment by Virtual Beings - CREDIT - Contributor: GREE VR Studio Lab - Akihiko Shirai, Yusuke Yamazaki EXR, Inc. - Kensuke Koike NTT DOCOMO, Inc. - Yoshitaka Soejima Cast: Kilin : Akina Homoto Xi:Emiri Iwai MilkyQueen - Mai Princess:Inori R Oguruma Lea IMAI : Akihiko Shirai Music: “520”/ Tacitly - (C)NTTDOCOMO,INC. (C)MIGU.,Ltd Special Thanks: Just Pro - Ayumi Mino Virtual Cast, Inc. Hapbeat LLC. WFLE, Inc. - all “REALITY” team
  46. 46. 1. 誰もやらない事をやる 1. どういう状態になっていればいいかを考える 1. R2Dのパスを考える 5G時代のR&D
  47. 47. VTuberと触覚エンタテインメント ● IEEE World Haptics Conference (東京, 7/9- 12)でデモ発表 ”Haptic Minesweeper” ● SIGGRAPH 2019 Posters 採択(ロサンゼルス, 7/28-8/1) ”Neck Strap Haptics: An Algorithm for Non-Visible VR Information Using Haptic Perception on the Neck” ● Yusuke Yamazaki, et al. バーチャルな世界の熱狂を 肌で感じることができる 触覚デバイス「Hapbeat」 (東工大発Startup企業) →視覚に頼らず距離や方向を 表現するためのアルゴリズムに関する研究 東工大 オフキャンパス実習& 長谷川研究室とコラボで実現
  48. 48. 2019/7/1発表
  49. 49. https://twitter.com/koeuranai https://vr.gree.net/lab/vc/
  50. 50. 「転声こえうらない」(β) 2019/6/27リリース GREE VR Studio Labから初のプロダクト しかもWebブラウザ上のサービス。 13タイプの様々なキャラクターから選択して、 好きな声になって気持ちを伝えよう! あなたは「どんな声」で何を伝えますか? 「なりたい声」を選び「なりたい声」になって Twitter等でシェアできる公開実験プロジェクト。 「おねえさん」「マダム」「男子中 学生」「ソプラノ」「おにいさん」 「小学生」「ゴリラ」「ダミボ」 「ヤミ声」「ムッシュ」「カワボ」 「ダンディ」「両声類」の計13種類 https://twitter.com/koeuranai https://vr.gree.net/lab/vc/
  51. 51. 「転声こえうらない」(β) http://bit.ly/KOEURANAIB
  52. 52. とあるユーザさんによる例 #こえうらない で探してみてください https://twitter.com/tanakayoshikazu/status/1144525991802331142 https://vr.gree.net/lab/vc/share#1uz04gem591q39t1v8am30jb54
  53. 53. GREE VR Studio Lab, FY19でやったこと(抜粋) ・特許の使い方 IPの作り方 ・機械学習を用いたフェイシャルキャプチャ ・指表現グローブの開発 ・Vicon, Xsens等新型Mocapの評価導入 ・外部デモを開発する ・価値を測る ・アバター社会の教育利用 ・ボイスチェンジャー(基礎・応用) ・触覚VR ・外部発信ワークショップ開発 ・国際連携
  54. 54. 1. 誰もやらない事をやる 1. どういう状態になっていればいいかを考える 1. R2Dのパスを考える →1社の1ラボでできることには限界がある! 5G時代のR&D
  55. 55. In DHW テクノロジー特論D「人工現実」
  56. 56. テクノロジー特論D「人工現実」課題 [20191002] VR技術者検定模試フォームの挑戦回数、ベストスコアを入力 [20191009] VRoid Studio をインストールして、自身のオリジナルVTuber設 計。コンセプトを「課題への回答」にテキストで書くとともに、Google Slides で最低1枚のスライドを提出する。 [20191016] VroidHubにキャラクターを公開、3teneを使って自己紹介を演じ て、録画、編集した動画をYouTubeで公開、そのURLと難しかったところ、楽し かったところをレポートする。 [20191028] “SNSへの放流”...前回までの制作を進め短編自己紹介動画、そのキ ャラに合わせたつぶやきをTwitterに投稿し、そのアカウントのURLを報告する。
  57. 57. テクノロジー特論D「人工現実」課題 [20191030] (1)南昌VRテーマパークで展示する「普通ではないVR体験」を企画、 一般向けのキャッチコピーとシステム全体の販売価格、必要となる機材・開発 費・オペレーションコスト、リスクをまとめる。(2)南昌市を国際都市に発展させ るためのVTuberを提案、キャラクターデザインと自己紹介動画、動画やSNS、イ ベント展開先も含めて実験を行う。 [20191106] (1) 他者の企画に対してURLつきで建設的なコメントを述べる ⇒課 題への回答内にURL記載 (2) 前回の企画を改善してURLで再提出 その際、レイアウトには細心の時間を かけて、できるだけ少ない枚数で提案でできること(動画は可)。URL欄に記載 [20191113] 最終課題(1) 学ぶ前と学んだあとで、自分自身の中で確実に変わっ たこと (2) 前回までの企画を改善してURLで再提出
  58. 58. https://twitter.com/ralicre/status/1191015846744715264/photo/4
  59. 59. https://twitter.com/Mori_misaki1/status/1184000302271193088
  60. 60. https://twitter.com/Mori_misaki1/status/1191547845901307904
  61. 61. https://twitter.com/RAZIAMORI/status/1191545766659031040/photo/2
  62. 62. https://twitter.com/Mori_misaki1/status/1153575159774662656/photo/1
  63. 63. https://www.moguravr.com/nanchang-china-vtuber-naoise/
  64. 64. https://twitter.com/NeneVtuber/status/1197205727875452928
  65. 65. https://vr.gree.net/lab/vtc 【学生個人】本エントリー募集期間 2019年11月14日~2019年12月31日 【選考分野】 キャラクター表現を向上させるリアルタイムCG技術、ス マホやHMDへの実装、モーション認識/自動生成、 番組 データ分析、 5G/クラウド等の通信活用技術、 ギフトや 演出技術、ボイスチェンジャー系技術、リアルイベント 向け技術、アバター社会の到来を見越した VTuber活動分野を広げる未来技術 応募フォーム( http://j.mp/VTC19E ) 協賛企業も募集 ( http://j.mp/VTC19P ) Twitter @VRStudioLab
  66. 66. 何を学んできたか? どんな仕事なのか? そして目指す未来は? パネルトーク「あらたな人類の在り方」 Sli.Do #DHW191128
  67. 67. 19:00 Real Time Show!リアルタイムグラフィックスの世界 - 19:30 Tokyo Demo Fest: FL1NE & 我無 - 19:40 リアルタイム高校生 やはぎ - 19:50 産業向けXRスタートアップ&VTuber配信P イクスアール株式会社 19:50-20:00 研究紀要の紹介 VR4.0 - リアルタイムバーチャルキャラクターが 牽引するVR産業における基盤研究 20:00-20:15 パネルトーク プログラム進行 Sli.Do #DHW191128
  68. 68. 会場からの質問(と簡単な回答) 教授っぽいアバターで講義やったらどうなるんだろう 結局ダンスは練習しないといけないんですね バーチャルキャラクターを作るにあたり、商用のハードルが一番低いのってどこですか? VRでゼルダの伝説が出来たら世界が変わる気がします。 容姿、年齢、性別が剥ぎ取られ、自由になった人類が獲得する「判断基準」はなんだと思いますか? 3Dアバターで大学の講義をやりたいんですが、かんたんに実現するのは何年先でしょうか? トレーニングツールとしてのVR、もうここまで進んでいるんですね! 新たな事業と価値の創造にワクワクします! やはぎさんは、ご自身の高校で、先生方はどんな風に応援や理解を示されていますか? 校風は自由な雰囲気ですか? DEMOってどこで学べます? 新たな産業創成に繋げる事もできますね。 国の成長戦略予算とかは足りてますか? 必要ないですか? 面白い視点ですね! ぜひとも実験してみていただきたい 練習しなくてもそれなりに成立するかもですが、美的感覚的に×。 何をもって「商用のハードル」とするかですが 聞くよりも自分でやってみるのが一番大事と思います。 段ボール製自作HMDでできますよ はぎとられるんじゃない です 服や化粧と同じです すぐできますよこれとかこれとか Demo Festやハッカソン出るのがいいかも、@FL1NEさんに聞いてみるのが一番かも。 楽観視もできませんが、国に頼るべきかなと思います。例えていえば「ゆるキャラブーム」ぐらいのインパクトはあるし、日本が世界に挑戦する 分野ではあります。たとえば中京テレビのキミノミヤさんをプロデュースする河原さんの最近の講演などを観てみてはいかがでしょうか。

×