GREE VR Studio Laboratory - UXDev R&D Summary 2022 REALITY株式会社　Director　白井 暁彦 REALITY株式会社　Intern　堀部貴紀 中野友介 加藤琢磨 Alexandre Berthault https://techcon.gree.jp/2022 2022/10/25

1. REALITY株式会社 Director 白井 暁彦
GREE VR Studio Laboratory
- UXDev R&D Summary 2022
REALITY株式会社 Intern 堀部貴紀 中野友介 加藤琢磨
Alexandre Berthault

2. グリーグループでメタバース事業を推進する
REALITY株式会社において、
XR・メタバース時代の研究開発・発信活動を推進
するGREE VR Studio Laboratoryの
最新の活動成果を報告します。具体的には、
・複数のユーザによるアバター楽曲演奏
「AI Fusion」
・音声信号処理による感情・表情推定、
・HMD体験におけるプロトタイピング、
・その可視化
…を凝縮して紹介します！
GREE VR Studio Laboratory 2022 - Metaverse Research and Development
GREE VR Studio Laboratory
- UXDev R&D Summary 2022

3. 中野さん
明治大学総合数理学部先端メディアサイエンス学科の4年。
2020年12月よりラボに参加。UXDevシリーズを通して助監督としてストーリーライン設計から
Unityのエンジニアリングなど幅広く担当。アカペラサークル所属。映画好き。
やはぎさん
デジタルハリウッド大学デジタルコミュニケーション学部デジタルコンテンツ学科の2年。
UxDevシリーズのUnityのエンジニアリングや各種スクリプティングを担当しています。
高校時代からラボに出入りしていた生粋のメタバースの住人。VALORANTで戦っている。
堀部さん
明治大学大学院先端数理科学研究科先端メディアサイエンス専攻修士1年。
2019年10月よりGREE VR Studio Laboratoryにて実験的ボイスチェンジャーサービス『転声こ
えうらない』利用者の音声分析やボイスチェンジャーのiOS実装や高速化に取り組む。UXDevで
は、主に音声や表情を担当している。Pikmin BloomでLv70超。
Member in GREE VR Studio Laboratory

4. Alexandre Berthaultさん
フランスのデジタルアート系大学ISART Digitalを卒業し、東京港工科大学の研究生をやっている
UXデザイナー。UXDevシリーズでは、主にUXプロトタイピングとエフェクトデザインを担当し
ている。ラーメンが好き。漢字が苦手。
山岡さん
明治大学総合数理学部先端メディアサイエンス学科4年。2022年10月よりGREE VR Studio
Laboratoryに参加。アバターが現実世界に違和感なく溶け込む技術を研究している。
Meta Quest, Hololens2, Web AR等での制作経験を活かしてアバター周りのR&Dを担当。
最近はQuest等HMDデバイスのアバターベンチマークツールを担当。
白井暁彦 Director
GREE VR Studio Laboratoryのディレクター。研究開発と教育、ビジュアルアート、VRエンター
テインメント、科学コミュニケーションなどで25年以上の経験を持つ。多様な才能を発揮してグ
リーグループの開発文化に多様性を沿えている。
業務外でグリー技術書典部や書籍「AIとコラボして神絵師になる」などを執筆している。
Member in GREE VR Studio Laboratory

5. •GREE VR Studio Laboratory, REALITY株式会社
•UXDev https://vr.gree.net/lab/uxdev/
•チーム紹介 https://vr.gree.net/lab/internship/
GREE VR Studio Laboratory
- UXDev R&D Summary 2022
5

6. 弦楽器・打楽器における AI Fusion: システム構成
技術課題：モーションキャプチャーを使う
と楽器演奏が難しい。
正解譜面から生成したアニメーションは
（演奏として正しいが）見ていて飽きる。
個人の表現力の豊かさを維持しながら
将来的にネットワーク上で
「アバターカラオケ」ができる気軽さが
可能になるAIアシスト技術を開発。
参考：正解譜面だけで生成した
ドラムアニメーション

7. みんなで楽曲を演奏する体験
Collaborative Music Play Experience
REALITYのアバターで Questだけで
メタバース内でスクールバンドのメンバーに
なれる体験ができる……！
自由度が高い近未来の「アバターカラオケ」
GREE VR Studio Laboratory、メタバース
時代のアバターを活用したクリエイターエコノ
ミーを刺激～バーチャル演奏技術映像 「AI
Fusion」を公開～
PRTIMES 2022/10/19

8. Voice2Emote：HMD装着時のアバター表情生成
堀部貴紀, 中野友介
【背景】
「HMD装着時は顔トラッキングが使えない！」
…と思考停止することなく、現在のREALITYと近い感覚で、
より多様で高速な表情生成を行うことができないか？
→ 音声による表情生成を検討。
【過去の取り組み：uLipSyncによるエモート再生】
● リアルタイムに音響特徴量MFCCを解析
● 予めキャリブレーションしたプロファイルと
照らし合わせて一番近い音素を推定
● BlendShapeへ反映する（かなり高速）
[uLipSyncによる実装@GTC21]

9. 音声から表情を生成する研究
【NVIDIA Audio2Face】
Facial Action Coding Systemに基づくと思われるBlendShapeを46項目取得する
例えば、口唇の動きに関係する値は、Audio2Face：24項目, REALITY VRM：5項目
→ 互換性がない、表現方法が制限される。
フォトリアルなアバターとアニメ調のアバターの構成の違い
https://www.nvidia.com/ja-jp/omniverse/apps/audio2face/
Related Works Avatar File Format Languages
Audio2Face (NVIDIA) 3D Photo-Realistic .usd, Maya 英語、フランス語、
ロシア語
MeshTalk (Facebook) 3D Photo-Realistic .obj
MakeItTalk (Adobe) 2D Any
関連研究

10. 音素セグメンテーション
Julius Segmentation-Kit
Voice/音声
時刻[s], 音素
モーラ変換
時刻[s], モーラ
0.0000 1.2125 silB
1.2125 1.3025 m
1.3025 1.3425 a
1.3425 1.3725 d
1.3725 1.4525 a
1.2125 1.3425 ma
1.3425 1.4525 da
1.4525 1.5625 mi
1.5625 1.6625 ta
…
…
.anim
● 「あいうえお」に対応するBlendShapeを用いたアニメーション
● 母音/子音の分類は可能 → 母音/子音を考慮したキーフレーム
● 口の開き具合、眉毛の角度/動きによる感情表現の重要性
→ 音声信号処理と表現に対する機械学習を利用した改善
In Unity
母音から口の形状の決定
Voice2Emote：パイプライン

11. UXDev エフェクト
Visual Effect Graph
11

12. UXDev エフェクト
Visual Effect Graph
12
Pros
● Optimised
● Multiple systems
● Easy iteration
● Compatible with shaders
● No easy collisions
Cons
● No easy collisions

13. 13
Shader Graph Animations
UXDev エフェクト

14. 14
Simple particle system Post process
Off On
UXDev エフェクト

15. Guitar effects
15
Off On
UXDev エフェクト

16. UXDevでのキャラクターアニメーション
デジタルハリウッド大学2年
VRStudioLab
Takuma Kato aka.やはぎ

17. VR機器を使ったモーションキャプチャーシステム
• Q2,Q3の実装の中でアニメーションを作るコストが高いと感じてい
た。
• キャラクターを動かすのにメンバーがリモート環境でアニメーション
を作成する方法が欲しかった。
• Labのメンバーは全員Meta Quest2を持っている。
• 足の表現をしたいのでフルトラッキングも可能だと望ましい

18. QueTra: Questを使った簡易モーションキャプチャ

19. VRデバイス
(SteamVR)
DVRSDK ※
キャリブレーション
SteamVRからのinput
アバター(VRM)
Easy
MotionRecorder
Project内の
キャラクター
VRIK
IKベースで
キャラクターを動作
頭・手等の座標
データ
キャラクターと
現実の人間の
体格差を補正
Humanoid形式の
Animation
キャラクターの
モーション
※DMM VR Connect SDK
システムのフロー

20. • 小学生を対象とした子供向けのワーク
ショップ
• メタバースを作ろう！というテーマで
キャラクターを踊らせるためのアニメー
ション作成を体験してもらいました。
• 実装などはnoteに詳しく書いています。
https://note.com/reality_eng/n/n17b0202971fd
UXDev以外での利用シーン
→子供でも使える！簡単さを評価

21. SIGGRAPH ASIA 2022にPosters採択
• Cross-platforming “School life
metaverse” user experience
• メタバースで学校生活を体験する中で必要
になってくるのはどんなことだろう?
• HMD時代のREALITYを考えてどれぐらい
のアバターを描画できるか?
• こちらもnoteを制作予定です！

22. emoji, button-tap type “continuous tap”
Continuous tap detection: The emoji button is tapped twice (or more) within 1
second.
• Solving practical problem such as large number of server requests.
• Expressing the magnitude of the viewers’ emotion.
Today’s following talk “Continuous tap”

23. Bottom axis: Video Playback time [s]
Requests
Left axis: The cumulative count of taps or requests within 5 s.
Right axis: The single moving average (5 s window with the resolution of 1 s/red line)
Taps
Result

24. [UXDevT5] ”Meta Communication”

25. 25
Confidential

26. 26
Confidential

27. 27
Confidential

28. UXDevデモ体験コーナー
REALITYのアバターを使って
Oculus Questで
複数人同時バンド演奏を体験!!
[Trigger]長押し→決定
プレイ中: ギター弦を押さえる
[サムスティック] 押し込み→位置リセット
3秒間倒す→楽器選択
[Menuボタン]
タイトルに戻る
YouTube配信アーカイブ
j.mp/VRSYT
Belle: Bass
ビューティフル先輩
Yahagi: Guitar
マイペース先輩
Damivo: Drum
マイペース後輩
Miku: Keyboard
協調タイプ(automatic)
GREE VR Studio Laboratoryは
「REALITYがVR/AR時代になったときの新しいUX」を
探求しています。この体験ではアバターによる新しいUXの
一例としてアバター楽曲演奏カラオケ(エアギター+ドラム)を
HMDだけで、しかもライブをYouTube配信できる体験を
デモしています。
開発協力 GONBEEE Project

29. 六本木で開催中の
GREE Tech Conf 2022
会場から配信中!!
Oculus Questで
REALITYのアバターを
使ったバンド体験が
できます
コメント歓迎です
詳細は
vr.gree.net/lab/uxdev

30. GREE VR Studio Lab
=「すごいことを楽しそうにやる」
UXDevティザーシリーズは
各国語版を http://vr.gree.net/lab/uxdev
にて公開しています
学術面も論文賞授賞、CEDEC、
SIGGRAPH ASIA採択など豊作
技術紹介はこちら
YouTube: https://j.mp/VRSYT

31. https://vr.gree.net/lab/vtc/
Make your VR challenge into a page of metaverse history
あなたのVRでの挑戦をメタバース史の1ページに！

32. Twitter@VRStudioLab
インターン募集中です！

33. GREE技術書典部
現地即売会開催中！
社内部活動で技術同人誌を
執筆・頒布しています
グリー技術書典部誌
各1,000円
部員による初の商業誌
「AIとコラボして神絵師になる
論文から読み解くStable Diffusion」
2022/10/28発売!!
新刊
「グリー技術書典部誌 2022 年秋号」
オンライン版もあります

34. 34