1. GREE VR Studio Lab, GREE, Inc.
VTuber向け特殊表情コントローラの
可能性と機械学習的アプローチ
グリー株式会社 GREE VR Studio Lab
Director 白井暁彦
Akihiko SHIRAI, Ph.D
GREE VR Studio Lab
Twitter@o_ob @VRStudioLab
速公開版

2. 白井暁彦: VRエンタテインメントシステムの研究者
書籍「白井博士の未来のゲームデザイン～エンタテイメントシステムの科学～」(2013)より
▶ 2018年6月より現職
GREE VR Studio Lab, Director

3. [現在] GREE VR StudioDirector
＜ラボって何やってるの…？＞
VTuber事業を推進するWright Flyer Live Entertainment (WFLE)の技術支援
国内/海外他社とのR&D連携推進
成果発信・啓蒙活動・インターンシップ受け入れ
Twitter @VRStudioLab
YouTubeチャンネル
j.mp/VRSYT

4. GREE VR Studio Lab, FY19でやったこと(抜粋)
・特許の使い方 IPの作り方
・機械学習を用いたフェイシャルキャプチャ
・指表現グローブの開発
・Vicon, Xsens等新型Mocapの評価導入
・外部デモを開発する
・価値を測る
・アバター社会の教育利用
・ボイスチェンジャー(基礎・応用)
・触覚VR
・外部発信ワークショップ開発
・国際連携

5. 1. 誰もやらない事をやる
1. どういう状態になっていればいいかを考える
1. R2Dのパスを考える
GREE VR Studio Lab

6. 2019/7/1発表

7. VTuberと触覚エンタテインメント(まじめ)
● IEEE World Haptics Conference (東京, 7/9- 12)でデモ発表
”Haptic Minesweeper”
● SIGGRAPH 2019 Posters 採択(ロサンゼルス, 7/28-8/1)
”Neck Strap Haptics: An Algorithm for Non-Visible VR Information
Using Haptic Perception on the Neck”
● Yusuke Yamazaki, et al.
バーチャルな世界の熱狂を
肌で感じることができる
触覚デバイス「Hapbeat」
（東工大発Startup企業）
→視覚に頼らず距離や方向を
表現するためのアルゴリズムに関する研究
東工大 オフキャンパス実習＆
長谷川研究室とコラボで実現

8. https://twitter.com/koeuranai
https://vr.gree.net/lab/vc/

9. 「転声こえうらない」(β) 2019/6/27リリース
GREE VR Studio Labから初のプロダクト
しかもWebブラウザ上のサービス。
13タイプの様々なキャラクターから選択して、
好きな声になって気持ちを伝えよう！
あなたは「どんな声」で何を伝えますか？
「なりたい声」を選び「なりたい声」になって
Twitter等でシェアできる公開実験プロジェクト。
「おねえさん」「マダム」「男子中
学生」「ソプラノ」「おにいさん」
「小学生」「ゴリラ」「ダミボ」
「ヤミ声」「ムッシュ」「カワボ」
「ダンディ」「両声類」の計13種類
https://twitter.com/koeuranai
https://vr.gree.net/lab/vc/

10. 「転声こえうらない」(β)
http://bit.ly/KOEURANAIB

11. とあるユーザさんによる例
#こえうらない で探してみてください
https://twitter.com/tanakayoshikazu/status/1144525991802331142
https://vr.gree.net/lab/vc/share#1uz04gem591q39t1v8am30jb54

12. “なりたい自分で、生きていく” (WFLE社HPより)

14. ACM SIGGRAPH ASIA 2018 TOKYO “Real-Time Live!”
【リアルタイム・ライヴ!!】
東京国際フォーラム1500席の前で
たった7分間ライブデモを行う
SIGGRAPH内でも難度高いデモセッション

15. VTuber 産業における
R&D要素

16. VTuber
3D Avatar Technology
Voice Record & Lip Sync
Motion Capture Finger Capture
Hair & Accessary
Face Capture & Blend Shape
Body & Cloth
Xsens MVN Animate - Products - Xsens 3D motion tracking
https://www.xsens.com/products/xsens-mvn-animate/
Real Time Rendering
Network Broadcasting
Gifting
https://ikinema.com/orion

18. 記者会見やライブデモにも活用
👈決算説明会（朝日新聞社YouTubeより）
外部イベント用仕様
iPhone新機種のキラーアプリ的扱い
YouTube「KDDI iPhone XS／XS Max
発売イベント」で検索
VTuber社員
「いそら真実」@_Isoramanami/

19. REALITY Studio Tokyo - プロによる公式番組
MVN LinkMVN Link
MVN Studio
Live Action
Vive Tracker x8Vive Tracker x8
Live Action
iKinema Orion iKinema Orion
収録と生放送で
共演可能
複数人のライブモーションキャプチャーに対応

20. REALITY Studio Tokyo - プロによる公式番組
収録と生放送で
共演可能
現実空間のカメラワークや音響と
仮想空間の3D演出をリアルタイムにミックス
マイクやミキサー
による音声出力
Vive Tracker
のカメラワーク
Unreal Engineの
3D表現の出力
現実空間 仮想空間
ゲームの映像出力
OBS/WireCast

21. REALITY Studio → クラウド → REALITYアプリへ
収録と生放送で
共演可能
毎日の収録&生配信に耐えうる機材を常備
他のプラットフォームにサイマル配信が可能
技術スタッフによる検証

22. REALITY Studioの紹介
専用アプリで
視聴者と交流
3Dギフトによる視聴者との交流
無料ギフト
応援グッズ
バラエティ
アピール
定常ギフトは毎月追加予定！
季節ごとに入れ替わるギフトや
専用ギフトを準備中

23. 表情の可能性

25. “特殊表情”

26. REALITY 公式番組における特殊表情の例
奏天まひろ ＆ 葉月ナツ さんによる
デスソースチャレンジ

27. Unreal Engine 4
(自社開発)
Pipelines for VTuber Live Entertainment
in REALITY Studio
REALITY Glove
(StretchSense)
Facial Capture
Blendshape
(iPhoneX TrueDepth)
Gifting (GCP)
Real-Time Rendering
(Unreal Engine4)
OBS Studio
IP Broadcasting

28. Maya上でのBlendshapeの生成

31. 機械学習的
アプローチ

32. フランスEISKO社Startup“Polywink”
機械学習と人力によりアップロード後24時間で
iPhoneX用 52Blendshapesを生成してくれるサービス
【海外技術評価】

33. “特殊表情”
どうやってこれを
コントロールす
る？

34. Real-Time Rendering (Unreal Engine4)
Pipelines for VTuber Live Entertainment in REALITY Studio
REALITYGlove
(StretchSense)
Facial Capture
(iPhoneX TrueDepth)
Gifting (GCP)
OBS Studio
IP Broadcasting
VIVE Tracker (Bluetooth / USB Cable)
Xsens
MVN Studio
Facial
Controller
- LiveAction
- Camera controller
- Studio props
- Collision
2D Real-Time Compositing
RTMP Transfer

35. 今回扱った特殊表情15種類
happy: 嬉しい顔
plan: 企み・ドヤ顔
pressure: 威圧顔
x: ＞＜（バツ目）顔
fear: 恐怖/青ざめ
angry: 怒り顔
spiritless: 無気力顔
beg: おねだり
sad: 泣き顔
shame: 照れ顔
star: 星目
o: 白丸目
Kiss: キス顔
speak: 通常顔
default: 通常顔（顔閉じ）

36. それぞれの表情を
10秒かけて演じてください
・iPhoneXを顔が正面中央に撮影されるよう固定し、目線は特に指定ない限りは
カメラに向けてください（スタジオではヘッドセットを装着して実験します）
・表情は15種類あります
・セリフはアドリブ可です。間違ったりしてもそのまま続けてください。
・誰か特定の人物に向けて語りかけるイメージだとやりやすいです。
・同じ実験を5テイク収録します。それぞれのテイクで「 再現性あるキャラづくり」を
意識しつつ、バリエーションは広めにつけていただいて構いません。
演技開始
演技終了
600で
約10秒です
保存/次へ
save
学習シーケンスの例

37. 学習環境
顔が見えると集中できない、など
様々なノウハウあり
※PKSHA Technology社との
コラボレーションに関しては
詳細資料割愛

38. 52 blendshapes (upto 75 fps)

39. その他検討した手法
・音声を組み合わせた学習
・クラスを統合
・ルールベースの組み合わせ

40. 完成したプロトタイプ
● 予測結果の表示
● Blendshape値
● スレッショルド
● 時間方向フィルタ
● ルールベースOn/Off
● 機械学習On/Off
● 分類器On/Off
● 分類クラスの選択
PKSHA Tech Collaboration

41. (できたものベース)まとめ

42. (意味的な) まとめ
人間がやるべきこと
ルールを見つける
これからも継続すべき良いテーマ

43. https://vr.gree.net/lab/vc/

44. 「転声こえうらない」(β) の背景
【技術】
・VR Studio Labと社内のインフラ基盤などを支える開発本部を中心に開発
・音声変換の高品質化、クラウド化、リアルタイム化を目標の基盤研究
・ラボプロトタイプ「声のバーチャルリアリティ」
・明治大学 総合数理学部先端メディアサイエンス学科 森勢将雅 准教授に
よる音声分析合成方式「WORLD」を応用
・楽しい体験とシェア機能を通して、
みなさんの「なりたい自分」についての調査・研究が可能なサービス
【今後】
・リアルタイム化、クラウド上で動くエンジンモジュール化
・音声コミュニケーションと将来のソーシャルメディア研究基盤
・今後も「R2D」で新たな社会実装を続けて参ります
https://twitter.com/koeuranai
https://vr.gree.net/lab/vc/

46. GREE VR Studio Labインターン募集
学位認定型インターン(3-6か月)：修士～博士の専門テーマに関連
自由研究型インターン(3か月)：提案により
ミッション達成型インターン（機械学習系）
実装エンジニア（グラフィックス / Web / サーバーインフラ）
・総合的なR&D就業体験、キャリア相談、素敵なランチ
・出勤日は週2日～。ミッション達成型は自宅作業も検討します。
・時給は規定により優遇：
・修士/博士課程学生優遇
・指導教員と連携して進めます
・欧州型インターンシップ・学位認定要件に最適
・International (English/Japanese)： 英語を日常的に使いたい人オススメ
応募方法：VRSionUpの懇親会で名刺交換
もしくは Twitter @o_ob へDMにて応募

47. Copyright © GREE, Inc. All Rights Reserved.
GREE Camp（2日間）
エンジニア、デザイナー、ビジネス／ゲームプランナー混成チームを組み、
新規ゲームやインターネットサービスの企画・モックアップ開発に挑む。
優秀チームは社内イベントや勉強会などに特別ご招待いたします。
■開催日程
・2019年7月20日（土）～21日（日）
・2019年8月3日（土）～4日（日）
■開催場所
六本木ヒルズ グリー本社
■待遇
・実習手当20,000円
・本選考特別選考パス
6/1よりエントリー開始！
皆さんのご応募をお待ちしております！！

48. Copyright © GREE, Inc. All Rights Reserved.
GREE Jobs（3週間～）
実際の開発環境でグリーの社員や役員と席を並べて、実践に即した
知識やスキルを身につけることができる長期実践型インターンシップ。
■募集コース
・ゲーム（Web/Native）事業
・広告・メディア事業
・XR（VR/AR/MR）事業
・VTuber事業
・インフラストラクチャ開発
■開催場所
六本木ヒルズ グリー本社
■待遇
・時給1,000円～
・本選考特別選考パス

51. “ゲーム機能” 7月中旬リリース!
今後もご注目ください!!