#VRSionUp! #1 ～ 高校生VRを国際会議へ VRChatを科学の研究に GREE VR Studio Lab @ 2019/JAN/11 https://gree.connpass.com/event/112901/ Google Slides版 http://bit.ly/VRSIONUP1

1. YouTube LIVE
アーカイブあります
パート１
https://youtu.be/oeXdvxAfg6w
パート２
https://youtu.be/jp8thsnPTjQ
このスライドのURL http://bit.ly/VRSIONUP1
Twitter #VRSionUp
ゲスト 猫田あゆむさん
@virtual_ayumu

2. VRSionUp! #1
高校生VRを国際会議へ
VRChatを科学の研究に
ボイスチェンジャ探求
GREE VR Studio Lab @ 2019/JAN/11

3. VRSionUp! #1 ご参加ありがとうございます
「VRSionUp!」(ヴァージョンアップ！)は GREE VR Studio Labによる「VRを通したイノベーションの発掘」をテーマに
したVR研究系ワークショップです。
GREE VR Studio Labは グリーグループが推進するゲーム事業、ライブエンタメ事業、メディア事業、投資事業などの中
でも特に、(1) VTuber関連技術のR&D促進、(2) 異業種R&D連携強化、(3) 業界振興・イノベーション型人材の支援発掘や
育成を推進する先端研究組織です。VR時代の未来を拓く若い才能のイノベーションを応援します。
個別のテクノロジーだけでなく、人々の理解やおもしろさを巻き込んでいくイベントを続けていきたいと考えています。
今回のテーマは3つ
1. 高校生VR作品を国際会議へ！Laval Virtualへの挑戦
2. VRChatを科学の研究に！「SoE認定テスト」
3. ボイスチェンジャ探求
VRを通して、皆さんの常識をバージョンアップしていきます！
GREE VR Studio Lab Director 白井暁彦

4. ゲスト発表者紹介
[高校生VR作品を国際会議へ！Laval Virtualへの挑戦]
立教池袋中学校・高等学校 数理研究部
神野優紀さん 三澤尚樹さん ほか
[VRChatを科学の研究に！「VR適応度検定」]
リリス・リリーホワイトさん 小柳陽光さん
[ボイスチェンジャ探求]
小池健輔 さん 猫田あゆむさん 魔王マグロナさん

5. Agenda / Time Table

6. 高校生VR作品を国際会議へ！
Laval Virtualへの挑戦
立教池袋中学校・高等学校 数理研究部
デモ発表: 齊木,平本,黒田,山崎,大日,銅金,神野,三澤,吉田,伴野,角田,橋本,小林,中川
登壇者：神野優紀, 三澤尚樹
(高校2年)

7. 立教池袋中学校・高等学校 数理研究部
Laval 用 ARCO紹介動画

13. Laval Virtual に向けて
● 学校の冬休みに企画書・ビデオ作り
苦労した点：言語面、素材集め
→ Laval Virtual 2019 ReVolution #students に投稿完了
● Avoid the Risks of CO
IVRCまでは...
→CO（一酸化炭素）
Laval Virtualでは...
→Conflagration （火災）

14. ● TATAMI360のサイズを拡大
● 新たに磁気センサ１６個追加し、計３２個に
● パイプの素材をスチールからアルミに

15. ● RSDプロテクターの強化

16. Laval Virtual ReVolution #studentでの目標
● #student demo部門において賞を取る（過去２回は取れていない）
● メンバーの英語力の向上
● 海外の作品などを通して、IVRCとの違いなどを体験する
● とにかく楽しむ
Professional day、Public day接客の練習
● Professionalではよりコンセプト・デバイス共に詳しい説明
● Publicでは体験の流れをより分かりやすく

17. ご静聴ありがとう
ございました

18. VRChatを科学の研究に！
「VR適応度検定」
リリス＝AH＝リリーホワイト
代理発表(共同研究者)：小柳陽光・白井暁彦

19. 背景
アカデミック現場
・1(多)対多の交流がメイン
・特定(複数)のアバタを使用
・長時間のアバタの使用
・アバタが与える心理的効果
・様々なアバタへの身体化感覚を得る(SoE)
現場とアカデミックとの間でギャップがある
⇒より良いアバタ社会実現のために現場を対象としたアバタの研究をする必要がある

20. 身体化感覚とは(Sense of Embiodiment(SoE))
アバタを自己の身体として認知し、アバタの位置に位置している感覚
実存感、および、空間認識に影響するとしてVRのQoEを向上させる

22. 目的
VRChatでは、IKを用いた簡易的なトラッキングを採用している
既存研究とは異なり、他者との交流が多い
・VRChatと同様の環境においてSoEを得る可能性を調査する
・SoEを向上させる要因として社会的要素を検討する
VRChatにおけるSoEを調査するとともに、SoEをVRへの
適用度として認証試験を行い、エンターテインメント向けに
アレンジしたデモを行う。

23. Certification Test for VR5.0:
The Effect of Social Cognitive Factor
for The Sense of Embodiment

24. Experience Plan (Overview Flow)
1.Calibration・Training Phase (1min)
Users manipulate the Avatar
2. Collaboration Phase (2min)
Users Stack Blocks with the Agent
3. Threat Phase (1min)
the Agent threaten Users
Post-Questionnaire
Pre-Questionnaire
Repeat with Another Scenario
Two Scenario
Experimenter or AI(Bot)
Any One of Agents interact with users(5 type)
inside the Agent

25. Demo

26. 【実験にご協力ありがとうございます】
1. 左にある鏡をみて
準備運動を1分間してみて！
・右腕を上げる 左腕を上げる
・屈伸運動を3回
・前後左右一歩ずつステップ
・手を振る
2. 準備運動終了→右手の箱■にさわる
3. 実験協力者さんと あいさつ してみよう
4. 一緒に つみき を積み上げよう
できるだけ高く！
制限時間2分間！
がんばってねー！
開始直後の掲示

29. Play brick in 1 min

30. Hug after done

31. Agent types
Agent’s appearance is different each user.
A... Humanoid type, B… Animetic Character type(Lilith=Lilywhite)
C… Simple Robot type, D… Monster type, E… Common Girl type in “VRChat”
A B C D E

32. 実験協力者を募集します！
こちらのTwitterアカウント
https://twitter.com/lilith2160

33. Agenda / Time Table

34. 魔王マグロナ
バーチャル美少女セルフ受肉
ボイスチェンジお絵かき魔王おじさん
本職はイラストレーターのはずが、
なぜかボイスチェンジ技術者として
認識されつつある
クリエイタ系ボイチェンVTuber。
特別対談
「次世代ボイスチェンジャに期待すること」

35. ボイスチェンジャー
の現状と奥深さ

36. なぜボイスチェンジャーを使うのか？
「見た目と声を一致させたいから。つまり、可愛くなりたいから。」
例えば・・・
可愛いVTuberの声がおじさん → ??
見た目も、声も、言動も、
「可愛ければ問題ない」

37. そもそも、なぜこんなことになっているのか。
VTuberの流行の流れから、恋声というフリーのボイスチェンジャーソフトで女性
の声を出すVTuberが次々と出てきました。
その中心となった先駆者が「マグロナさん」です。
「バーチャル美少女受肉」
略して「バ美肉」として話題になりました。
この恋声を使ってナチュラルで可愛い
声を出せる声帯を持った方を
恋声「適合者」と呼んでいます。
→不適合者はどうしたらいいの！？！？！
Twitter：マグロナさん

38. 恋声などのソフトウェアボイスチェンジャー
恋声
無料 簡単 遅延が大きい
VST（Roveeなどのボイチェンプラグイン）
イコライザーや、ディエッサーや、
ノイズフィルターなどのプラグインが
フリーで豊富にある。
そして、遅延が少ないものも存在する
→遅延があると脳がバグって会話しにくい。

39. VT-4などのハードウェアボイスチェンジャー
本当はボコーダーなんですが・・・
Roland VT-4（VT-3）
遅延がほぼない。そのため歌うこともできる。
ボイチェン後の声を自分の声だと脳が錯覚する。
ただし、こだわるとプリアンプやイコライザーが欲しくなる
さらに、入手困難でした。
・・・今は予約して待てば手に入る！
→遅延なく、問題となる機械的なケロケロ音も
機材を追加するなどである程度解決できる魅力

40. 本日のボイスチェンジャー構成
マイク 体験用 RODE NT-2 講演用 SHURE beta 54
プリアンプ BEHRINGER MIC100
イコライザー DBX 131s
エキサイター APHEX EXCITER
ボコーダー ROLAND VT-4
インターフェース TASCAM US-42
マイクはできるだけ音の発生元の近く（口元）に。
プリアンプでケロリにくい音量を確保、イコライザーで
ケロリやすい周波数を抑え、
エキサイターで削った音を補ってこもり＋鼻声対策を
行ってVT-4へ音を入力しています。

41. 専用ソフトウェアの新たな試み
今はピッチやフォルマントを変化させる音楽機材をつかっていますが、やはり専
用のソフトウェア開発が進むことを私は期待しています。
現在は、ディープラーニングを含む機械学習を用いたアプローチでボイスチェン
ジャー関連の開発に取り組む企業が出てきています。
ただ、それらの技術は道具であり、何をどのようにして、
機械学習を使うのか、それがこれからどのくらいの時期に
手に取りやすい金額でリリースされ、今さかんに使われ
ているハードやソフトのツールの性能を凌駕できるのかが、
ネックになるだろうと考えています。

42. 現状のツールの課題
恋声不適合者の場合・・・
結局、ボイスチェンジャーで変換するもととなる声を
作ることが重要で、自分の身体的な努力が必要。
両声類と呼ばれる存在
自分の体のみで機械を頼らずに、
男性の声と女性の声を出すことができる方々。
参考：YouTube ふぇありすさん
「誰でも可愛くなれる ガチ両声類講座【入門編】」
https://www.youtube.com/watch?v=fVr3p_rvYFk
Twitter：ふぇありすさん

43. ボイスチェンジャーの比較
※ソフトウェアは遅延があるため喋りにくい等の理由で中にしています。
→今のところに身体的な改善アプローチは必須

44. 身体的なアプローチ
トレーニングをするうえで、２つのアプローチをご紹介します。
１．目標としている声を逆ピッチをかけて、
男性声になった女性声をマネする（シャドーイング）
２．裏声を出して普通に喋れるところで慣らして、
少しづつ音程とピッチを調整する。
高い声を出す練習。

45. 声の高さだけではない
声の質は、声帯の振動を、
喉や口で響かせて決まる。
実は声の高さは男女差がそれほどない。
本当に必要なのは喉をコントロールする力。
図の引用：KawaiiVoiceを目指す本-改訂1-ダウンロード版｜https://booth.pm/ja/items/1158075

46. 今後について
肉体的なアプローチは非常につらく、
時間もかかるため、
だれでも簡単に
ボイチェンできるツールが必要。

47. ご清聴ありがとうございました。
マグロナさん
YouTube：まぐろなちゃんねる
バーチャル美少女受肉として、
ボイスチェンジャーを使って自
然な女性声を使い話題になった
中心の存在であり、今も声の設
定を調整アップデートを続けて
いらっしゃいます。
KawaiiVoiceを目指す本
作者：じょんこさん
女声の出し方を精神論で
はなくきちんとした方法
として伝えるため、練習
方法やそれによる声の変
化が丁寧に説明されてい
ます。
ふぇありすさん
YouTube：Fairys Channel
両声類として活動をしていら
っしゃいます。「ふぇありす
ショック」という言葉がある
くらい、発声法だけで自然な
女性声になっています。
参考： 引用：

48. ボイスチェンジャ研究をサ
ーベイしてみた(1)
Survey on voice changer research
GREE VR Studio Lab
Akihiko SHIRAI, Ph.D

49. ボイスチェンジャの研究分野
【音声の理解・認識側の研究】
音声情報処理
自然言語処理
・大語彙連続音声認識 (ディクテーション)
・音素体系を用いる方法
【生成側の研究】
・ボイスシンセサイザー/音声合成
・ヴォコーダーの研究
voice（声）+corder（符号化）= vocoder (楽器)
Talkbox, Vocoder, Sonovox, Autotune…など
1940年ぐらいから研究されている
History of Talkbox, Vocoder, and Autotune
https://www.youtube.com/watch?v=yA9Xmgt41NA

50. 音声合成について1時間ぐらいで学びたい人は...
国立情報学研究所 コンテンツ科学研究所 山岸 順一先生
平成27年度市民講座 「おしゃべりなコンピュータ ～音声合成技術の現在と未来～」
国際音声記号のなりたち、発音辞書「レキシコン」、
日本語と他言語の違いなど…短時間でわかりやすい講演
▼発表スライドより

51. 本日は【音声の理解・認識側の研究】
【大学】
東京大学 大学院 システム情報学専攻
猿渡・小山研究室
名古屋大学/NAIST 大学戸田智基先生
東北大学大学院工学研究科 伊藤・能勢研究室
電気通信大学 - 南・古賀・戸田・中鹿研究室
【企業・海外】
NTT, ATR
YAMAHA
Roland, BOSS

52. 東北大学大学院工学研究科 伊藤・能勢研究室
・高精度な大語彙連続音声認識システム
・人間のように感情豊かに話す音声合成
・声真似が可能なボイスチェンジャー
・音声およびマルチモーダル対話システム
・音声言語処理を応用した外国語教育システム
「Live2D」に深層学習に基づく音声合成を導入した例
歌声音声のデモ
http://www.spcom.ecei.tohoku.ac.jp/introduction.html

53. 電気通信大学 - 南・古賀・戸田・中鹿研究室
[南先生]
● 雑談対話
● 言語獲得機構の解明
● 心理学的知見に基づく音声言語処理
[中鹿先生]
● 統計的モデリングに基づくメディア情報処理
● 教師なしディープラーニングを用いた
音素体系の自動獲得
● 適応型制限ボルツマンマシンによる
任意話者声質変換
http://www.sd.is.uec.ac.jp/custom1.html

54. 東京大学 大学院 システム情報学専攻 猿渡・小山研
● 音バーチャルリアリティ・音拡張現実感
● 教師無し最適化理論に基づく音コミュニケーション拡張システム
● ユーザオリエンテッドな音楽情報処理
● 非線形信号処理系の数理解析と感性定量化
聴覚的に意味のある統計的信号推定方法は何か→新しい信号処理の枠組み
● 音声合成変換による音声コミュニケーション拡張
http://www.sp.ipc.i.u-tokyo.ac.jp/research/

55. “統計的信号処理” というアプローチ
「音声音響信号処理」は
従来の音の物理特性を利用したアナログフィルタやDSPの研究
（だったのですが）
統計的手法による音声変換処理に近づいている
今回は「統計的(音声)信号処理」と括ることにしたが
画像認識系のディープラーニングを応用した手法も多い

56. 名古屋大学 戸田智基 先生
MIRU2016 第19回画像の認識・理解シンポジウム
特別企画MIRU x KIKU 招待講演
戸田智基「音情報処理における特徴表現」
https://www.slideshare.net/NU_I_TODALAB/toda20160803-miru2016
情報学研究科知能システム学専攻基盤知能情報学講座／情報基盤センター教育情
報メディア研究部門
戸田研究室（音メディア情報処理研究室）
他に
「楽曲中歌声加工における声質変換精度向上のための歌声・伴奏分離法」
「CTCに基づく音響イベントからの擬音語表現への変換」

57. https://www.slideshare.net/NU_I_TODALAB/toda20160803-miru2016

58. https://www.slideshare.net/NU_I_TODALAB/toda20160803-miru2016

59. https://www.slideshare.net/NU_I_TODALAB/toda20160803-miru2016

60. https://www.slideshare.net/NU_I_TODALAB/toda20160803-miru2016

61. https://www.slideshare.net/NU_I_TODALAB/toda20160803-miru2016

62. https://www.slideshare.net/NU_I_TODALAB/toda20160803-miru2016

63. https://www.slideshare.net/NU_I_TODALAB/ctc-92020994

64. https://www.slideshare.net/NU_I_TODALAB/ctc-92020994

65. Lightining Talk

66. 前回のLT告知より
Add your draft freely

67. ● 名前：中野 萌士（NAKANO Kizashi）or signs(さいんす)
● 所属：奈良先端大・清川研究室M1
● 研究：クロスモーダル効果を用いた食べ物の種類操作
（ラーメンを見ながら食べると味や種類がラーメンと感じる）
● なぜ：病気で大好物のラーメンが食べられなくなったから
そうめん ラーメンを に変換！
@signs0302

68. VR アカデミア
VR で研究で学問で VTuber な
ひとびと（？）のあつまり
私について
ジャンル： データサイエンス VTuber
なまえ ： アイシア=ソリッド
活動 ： YouTube で週一更新
Math Power 2018 出演
ひとこと： よろしくね！

69. “中の人”LT

72. ◯◯◯近日公開！？

73. ● T.Kameoka （faruco10032）
○ 電気通信大学 梶本研究室M1
○ 触覚メカニズムの解明、デバイスの製作
○ 失禁研究会代表
○ VSMeetup創設者
○ xR界隈向け履修科目リストの作成←New!
● ひとこと
○ おめシスはいいぞ
粘着力計測装置の開発

74. Jose Luis Abreu Jose Luis Abreu– A
Global Game
Developer
Self-Introduction
Twitter: @Yumcans

75. Jose Luis Abreu

76. Jose Luis Abreu
● Programming
● Advocacy
● Language: Spanish, English, Japanese
● Wants to make lots of friends in Japan
● Needs to find アルバイト

77. 本日24時ごろ、
日本テレビ系を観てね
VTuber特集!
https://twitter.com/ntvnewszero/status/1083305242689658881

78. テーマは(1)VRChat, (2)ボイスチェンジャ,
(3)クラウドファンディングでイノベーション支援
VRSionUp! #2 2019/3/1 予定!!
ボランティア募集中！
Discordで活動しています
@o_ob までどうぞ