Download to read offline
Uploaded byIGDA Japan SIG-Audio
SIG-AUDIO #22 オンラインセミナー「VRのサウンド演出」VRアドベンチャーゲーム 「ディスクロニア CA」サウンドデザイン.pdf
SIG-AUDIO #22 オンラインセミナー「VRのサウンド演出」 株式会社MyDearest 田中 孝
SIG-AUDIO #22 オンラインセミナー「VRのサウンド演出」VRアドベンチャーゲーム 「ディスクロニア CA」サウンドデザイン.pdf
- 1.
- 2. ◆このセッションで得られるもの - サウンドの演出と実装のヒントとアイデア - VRでのサウンドデザイン -リリースした実際のデータ（CRI・ミドルウェアADX2データ） ◆注意事項 - 最適解や万能な手法ではないです - 特定の条件下での解決を挑んだ話になります はじめに
- 3. 自己紹介 VRゲームテクニカルオーディオエンジニア 田中孝 武蔵野音楽大学作曲学科卒業 1999年 株式会社セガAM2 内製サウンドツール の開発 （５年） 2004年株式会社CRI・ミドルウェア サウンドツールの開発 （15年） 2019年~ MyDearest株式会社にて （４年） VRゲームに特化した 内製サウンドツール ・データ作成 アルトデウス: BC ディスクロニア: CA EP I,EP II,EP III Brazen Blaze @tatmos サウンドツール開発 (SoundFactory、CRI Audio(V1 V3)、 CRI Atom Craft) 様々なゲームのサウンドのサポート経験 VRゲームのサウンド挑戦 Cycling74 Max/mspとかメディアアート作成 コンピューターやMIDIデバイスでの表現に興味 ゲームジャム (GGJ、福島ゲームジャム) サウンド系ハッカソン 音楽制作
- 4. OculusDK1の開発機を触る → Mac・Unityで開発していたが、めっちゃ酔う 解像度もフレームレートも死ぬほどひどかった 公開されていたアプリとかも死ぬほど酔うものばかり ただ、いろいろな試みが新鮮なものが多かった（ジャンプしたり、段ボールだったり） OculusTouchに出会う → コントローラが優れている事に気が付く 楽器が作れないか試したりした →新しいデバイスのサウンド環境に興味 MyDearestの夢の相談所に出会う →音声が飛びぬけて良かった（当時のアプリと比較して） VRChatに出会う → 草の根ネット的な懐かしさ・無法地帯感（新しいものに出会える） 自己紹介・VRとの出会い
- 5. MyDearestのVR作品紹介 ◆東京クロノス VRアドベンチャー ◆アルトデウス: BC ◆ディスクロニア:CA ◆ブレイゼンブレイズ（ 3vs3通信対戦・運営型） これらのタイトルに挑んだ歴史の概要を紹介 VRサウンドに挑んだ４年
- 6. ◆2019 ～2021年 東京クロノス (OculusGo、PCVR） UnityAudio + DearVRによる立体音響を利用していた 3Dオーディオやバイノーラル技術を利用して音を鳴らしていた CRI ADX2へ移行（PSVRから） PSVRでDearVRは動作しないため、代替ミドルウェアが必要になった DearVRにある残響・減衰・バイノーラル再生を CRI ADX2上で再現するため 既存の機能（AISACによる距離減衰・機種固有のバイノーラル） プラットフォームによって再生ミドルウェアが異なるため、 目的の音に近づけるための調整がとても大変だったとのこと。 MyDearestのVRサウンドの歴史（初期） VR上でキャラを動 かすだけでも苦労 した
- 7. ◆2019年～2023年 MdsCanonという内製サウンドライブラリを作成 Unityのパッケージ機能を利用 別パッケージ化しゲームに依存しないバージョン管理 サウンドミドルウェアCRI ADX2を採用 再生機能の簡易化 起動後ならいつでもどこでも再生可能（全ストリーム再生 ） インタラクティブミュージック制御 各種フェード処理、複数レイヤー・ブロック構成の BGM リアルタイムのボイスエフェクト 波形側の加工を最小限にして、開発効率優先 アルトデウス: BC(Oculus Quest、PCVR、PSVR) ディスクロニア: CA EP I、EP II、EP III Meta Quest2、Pico4、PSVR2、Switch、PCVR IRリバーブ、6DOF空間音響、サウンドの空間配置、足音システム MyDearestのVRサウンドの歴史（中期） CEDEC2021講演 slide
- 8. ◆2024年～ MdsDostiという内製サウンドライブラリを更新 よりシンプルな設計 ADVに特化していたSE、VOICE、BGMという区別のないコントロール イマーシブサウンド（ 7.1.4ch） 大量の発音管理、高速移動 適切な座標更新処理・リソース管理・最適化・ 72fps、ボイスチャット 通信タイトルに耐えうるデータ構造 １キュー１キューシート・分割ダウンロード・キャッシュ・バージョン・整合性管理 ブレイゼンブレイズ（ 3vs3通信対戦・運営型） MetaQuest2、PCVR、他 MyDearestのVRサウンドの歴史（現在） 本格的なアクション ゲームサウンドの技術を VRに という挑戦（次回）
- 9. ・今回の紹介する内容 - アドベンチャーゲームに特化していて 音楽重要 -制作負荷軽減しつつもサウンドの要望を多く取り入れる - VRサウンド固有の表現・処理・実装 - BGM、ボイス処理優先 ・次回予告 - アクションゲームでも耐えうる性能 MyDearestのVRサウンドの歴史まとめ
- 10. VRアドベンチャーゲーム 「ディスクロニア: CA」の作成を通して得た サウンドにおける 以下の知見を紹介します。 - 音像定位で気を付ける点 -VRならではの残響と移動効果の話 - VRとBGM - サウンド演出事例集 （BGM、足音、環境音などADX2データ） - まとめと質疑応答 アジェンダ
- 11. ユーザー視点で考察 迷わせない 聴き心地を最適に→ わかりやすさ 音に優先度をつけて制御（不要な音は鳴らさない） 体験を倍増させる 横から、後ろから 声がする実在感 空間にいるという納得感を体験できるようにするVRらしさ 自由度をなるべく制限しない ステレオミックスの音響はなるべく避ける（音楽は例外？） 本来空間にあるべき音は空間に配置する 音像定位で気を付ける点
- 12.
- 13. 音像定位いろいろ 声の位置・距離感の違い アニメ的 声の距離が近い 音の位置が記号的（残響付与など）（わかりやすい） 舞台的か 声の距離が遠い 音の位置が物理的（情報量が多い・没入感） 映画的かホームビデオ（GoPro）的か（視点とマイク位置）（画面 or主観空間） センターを意識して鳴らすか サラウンド側で鳴らすか 演出ごとに最適なものを選ぶ （視界の範囲・視界の外） 話を聞かせたい場合 長尺 → アニメ・映画的 没入感を強調したい 短尺 → 舞台・ホームビデオ 疲れさせないようにする調整 例：没入シーン（激しい）を連続で長尺にしすぎない うまく 効果的に それぞれの演出を利用するように心がける 音像定位で気を付ける点
- 14. 音楽的整合性を可能なかぎり優先する （サウンド屋の意識） 残響による明瞭さ不足を避ける 不必要な残響や、過度なぼかし表現になっていないか 例：声を聞かせたいのにぼやけていないか 音の分離感に気を使う 同時に再生されてもそれぞれ分離して聞こえるように 自然に空間配置できないかなど検討する →常にどこで鳴るかを気に掛ける （誰もが気にかけてほしい） 例：音源位置不明な音は意図的か・設定ミスか（不明な場合は聞いてほしい） 利用できる音響材料 （サウンド屋の仕事） 音の再生位置、広がり感、音域差、 時間差、音響エフェクトの差など 例：ボイスはセンター、BGMはステレオ、環境音はサラウンド BGMの帯域と声の帯域、効果音によるダッキング、演出の微調整 遠くの音はハイカット＆残響など （データ作成・調整） 音像定位で気を付ける点
- 15. ◆VRならではの残響と移動効果の話 「ディスクロニア: CA」で挑戦した点 移動が伴うVRで残響変化させたい - 自由移動x距離変化 -音源方向とIRリバーブ - 残響ヘッドロック問題 - 疑似アコースティックサウンド
- 16. VRの残響 自由移動 x距離変化 - ボイスは聞きやすく - 環境の雰囲気も残す - 配置に無理がある場合の対処 相反する要望 残響を付与すると不明瞭になる 距離減衰をかけると聞こえなくなる 向きによる変化で不明瞭になる 例：遠くにいるキャラのセリフ ：動き回るキャラのセリフ ：後ろから話しかけるキャラのセリフ
- 17. VRの残響 部屋鳴り（実在感） ◆距離感の表現 残響付与＋ローパスフィルターで表現 →残響は、場所の空間表現に特徴づけができる ↑音量はほとんど変わらない （グラフ：右に行くほど遠い） 場の表現としての部屋鳴り 壁や床、天井の質感、空間の広さ などの 詳細情報を音に追加できる 高級感がでる -SEはおおむね良い（小さな音量のもの） - ボイスは聞き取りづらくなりがち 実在感が増す（音響が良い感じに聞える） ↓遠いほど残響がかかる （グラフ：右に行くほど遠い） 距離が離れると 若干残響が増える
- 18. VRの残響 残響に高品質のIRリバーブ リアルな反響効果 残響の雑味からくる空間情報 負荷が高い（同時に多用できない） 低スペックなマシンでは ノイズになる 指向性が無い サンプリングされたものなので 向き・位置による変化がない 飽和しがち 大きな音など響きすぎる傾向がある 静かなシーンに向いている ◆鳴らし分けの必要性 あらかじめ音に残響があるような音は不向き 例：銃声・爆発音 ←なるべくドライな音の方がリアルに感じる、迫力を出したい場合など悩みどころ 爆発音が箱の中で鳴っているみたいになってしまった（正しいのかもだけど、IR掛けない方が映画的・劇的だったか も） 気持ち良い音を目指すなら掛けない選択肢も要検討 緻密な残響変化を再現できるので 空間表現がしやすい 反面 サンプリングしたみたいな印象になる面も 部屋なり感は 付与しやすい
- 19.
- 20. VRの残響 危機感の表現 ◆ボイスの発音場所が動き回る 相手がしゃべりながらこちらを探している 距離の変化が残響だけでは 不十分 危険な状態 このシーン自体は長時間ではないため 少し過剰な距離表現 近接だと声がかなり大きい←残響も増える やりすぎると不自然＝疲れ・酔いにつながる （何かの要因が酔いに繋がっている可能性） →危機状態かなどを BGMの変化でも補う （相乗効果） 例：狙われている時はドラムやブラスが強く鳴る ：隠れいている時は全体に静めになる ボイスに関しては、 距離で音量変化をつけている ステルスパートでは敵キャラが発話しながら 近づいてくる
- 21. VRの残響 残響ヘッドロック問題 一般的に残響の処理負荷が高いためモノラルの残響が提供さ れることが多い。 VRでは首を動かせるため、モノラルは不自然 残響が頭に追従し不自然 な現象が起こる 例：部屋鳴りが頭と一緒に動いてしまう 酔いの問題なのではと仮定 InputSeparatorを使うことで、 左右の分離した入力と出力を得られるため、 残響成分の偏りを作ることができる。 本来固定の結果になりがちのところを 左右差が発生することで回避した しかし、まだ足りない印象が残った InputSeparatorを使うことで左右の残響成 分の分離が行える
- 22. VRの残響 疑似アコースティックサウンド 空間に音が響く現象は、壁に音が跳ね返ってくる音で認知する。 壁に近ければ、最も近い壁から反射音が聞こえてくる。 VRでは首を自由に傾けることができる。 真面目に行うと、あらゆる方向へレイを飛ばして距離を図り、音速分遅延した反射音を提 供することでらしくなるが、それは負荷の問題がおこる。 非常にシンプルに４方向（左右前上）のディレイをリアルタイムに操作することにした メリット： ゲームの空間内の配置状況によって音が変化する （空間にいる気がする） デメリット：近接の壁からも音が発生するため音像定位が曖昧になる 負荷もかかる 今回は変化のある残響を重視し、音像がぼやけてもよしとすることにしたが、音の濁りが 激しいため、かなり調整で弱めに設定することになった 工夫した点 - 曖昧なのを良いことにレイを飛ばす時間間隔を減らし負荷軽減 （キャラが高速移動しない前提） - CRIのマルチタップディレイでは水平角度指定のみのため 上下のディレイ位置の変化はディレイの密度での変化で代用 SpatialDelayを使うことで壁反射をとりいれた
- 23.
- 24. ◆やはり疑似なので未解決問題がある 改善したい点 - マルチタップディレイの位置が不自然問題 水平面にしか角度指定できないディレイ音だけ特定の平面にしか発生しない。 頭を上や下に傾けるとおかしくなる。 ディレイの鳴っている方向を見ても、それが水平面に落とされた位置からに追従してしまう。 - ディレイ音がヘッドロックしている 動的に角度を変更しているが、本来ディレイの音は発生した場所の位置に残っているべきな のに頭の動きに追従してしまう 例えるなら反射板が頭と一緒に動いているような違和感 （どこまでシミュレーションするか問題） まだ違和感（疑似アコースティックでも）
- 25. ◆Unityからネイティブの関数を呼び出すコスト問題 - サウンドは可能な限り高速でパラメータを変化させないと ぎざぎざした変化がおこる。（量子化問題） 72fpsは12msecほどなので、その間は値が変わらない。（連続変化だとばれてしまう）オーディオ サーバー周期は4msecくらいなので３段階くらいの補間をしてほしいところもあるかもしれない。 あるいは補間前提のパラメータ指定方法が音的には必要そう。ＤＳＰ処理側で必要そう - なるべく多く呼ぶことでごまかせるが、 そもそもエフェクトのパラメータは数が多く（角度、ディレイ時間を 4タップ分） ネイティブ関数を多く呼ぶことによるコストが高い印象（別スレッドへの呼び出しは何かしらブロックが 発生する←回数分ブロックが増える印象） -エフェクトパラメータの変更とスナップショット変更が競合している →ミドルウェアの進化orシグナル処理を自作？ そこまでは自分はいけていないが課題 余談：Unityとミドルウェアの問題
- 26. VRの残響 まとめ - ステルスで敵のボイス距離変化に音量変化の誇張表現を加えた -IRリバーブで雑味のある残響はなかなか良い印象が得られた - 残響のヘッドロック回避のためにステレオ分離した残響 - 残響変化の単純さ回避のために壁反射を簡易シミュレーションしてみた - もっと改善・追及したいところ @tatmos
- 27.
- 28. ゲームの音楽はどこから鳴っているか → 現実的には ラジオから スピーカーから 車のラジオ、店内放送 良い感じに聞かせるのが難しい アニメ的BGM再生 感情を動かすBGM 具体的な再生位置はない→ 2D再生 今回はこちら。ただし なるべく脳内再生にさせないように工夫 （センターを避ける） 音像定位と音楽の定位 オブジェクトオーディオ チャンネルベースオーディオ サイド多めサラウンド感のあるス テレオ再生
- 29. Switch版の移植作品を5.1ch環境で遊ぶと 音楽はLRからステレオ再生 LR LsRsの4chから ボイス・SE・環境音が再生（センターは未使用） 立っている位置で環境音が裏側に勝手に回り込む 例：後ろ側でしまるドアの音がリアスピーカーから出る →VRミックスをそのまま5.1chにもっていける （厳密にはセンターと LFEもケアする必要があるかもですが） 余談・脱線話：イマーシブミックス？ 意外な効果 VRミックス→サラウンドミックス チャンネルベースオーディオ
- 30.
- 31.
- 32. 飽きさせるBGMはいらない → 飽きさせない・聞き心地の良さを大事に 適度な長さ、繰り返し感を希薄に 主張が強すぎない程度に変化をさせる 体験を倍増させる → 熱くなるシーンや泣けるシーンの展開 感情遷移など音楽が伴奏・付き添ってくれる 自由度をなるべく制限しない →音楽的整合性が保てる範囲でのアダプティブミュージック インタラクティブミュージックで気を付ける点
- 33. 作曲家の意図・ゲームの意図をねじまげない → ちゃんと意図を組みとり できるだけコミュニケーションをとる →ゲームがメイン・付随音楽としての徹底（バレエ音楽、舞台音楽、映画音楽的） 大きくとらえるとインタラクティブミュージック → 音の止め方・再生のフェードイン、曲の切り替え・飛び道具音響エフェクト （DJプレイ） 音楽がインタラクティブではなく、ユーザー操作や演出が音楽に合わせる → 最強の音楽とゲームの連携は、 分岐しないシューティングゲームや音ゲー、ライブ鑑賞 （ VJ、照明、舞台演出） 音楽的整合性を可能なかぎり優先する → 意図しない不協和音・不正なコード展開・不規則リズム（切り替えタイミング） 音の濁り・音の急激な変化など避ける 音程感のある効果音と BGMの濁りが無いか、ビートに同期して演出を切り替えるべきか、 尺感（短すぎ・長すぎ）はないか など インタラクティブミュージックで気を付ける点
- 34. ◆音楽とゲームの連携 → オープニング、エンディング曲 ゲームのシーンに寄り添った内容で、選択したエンディングと相乗効果を生む。 歌詞にも意味がある - 演出が入る（ただのスタッフロールでは終わらない工夫） →効果音が入る →エンディングへの入り方 →いわゆるＣパートへのつなぎ インタラクティブミュージックで気を付ける点
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44. 市街地での音楽のパート単位でのクロスフェード 市街地の例 ドラムパートはゆっくりとフェードインする 弦は０.5（標準） ５秒かけて ピアノは0.5（標準）３秒かけて ギターは0.5（標準） 3秒秒かけて ドラム・ベースは0.5（標準）7秒かけて リズムループは0.5（標準） 5秒かけて シンセは0.5（標準） ５秒かけて 拡張夢は0 ０秒かけて ドラムベースがあ とから入ってくる ピアノ・ギターが 先行 弦が入ってきて
- 45. 楽器ごとにフェードタイミングを調整 管理局の例 弦は０（無音） ５秒かけて ピアノは0.5（標準）３秒かけて ギターは0.5 3秒秒かけて ドラム・ベースは05秒秒かけて リズムループは0.5 ３秒かけて シンセは0.5 ３秒かけて 拡張夢は0 ０秒かけて 各パートごとにフェード値と目標値を指定して エリアが切り替わった時に切り替わる 弦・ドラムベース はゆっくり消える ピアノ・ギターが 先行 エリア間で 同じ楽曲 同じパートレベルの場合 継続
- 46.
- 47.
- 48.
- 49. インタラクティブミュージックの課題 仕組みはできても どこで どの部分を どのように鳴らすのか その設定方針や設定作業・調整作業は誰がいつどのように行うのか問題 演出にお願いする場合や プログラマにお願いする場合資料のフォーマット・再生の正しさなどの判断やチェックが難しい サウンドが行う場合 サウンドは理解しているが、仕組みの理解が必要 演出が変わった場合の再調整はいつどのタイミングで行うか どこまで立ち戻るか（音楽まで変更が必要な場合の対応時間はあるかどうか） ミドルウェアでできること 波形差し替えでできること Unity上のパラメータ変更でできること スクリプトの書き換え うまく取り入れる
- 50.
- 51.
- 52.
- 53.
- 54.
- 55.
- 56.
- 57.
- 58. ◆主観の足音は足元から鳴らしたい - 主観のゲームのキャラの足音はどこから鳴る？ LRスピーカーから鳴っている？ 非VRでは主観の音はセンターや LFEなどを使うようだが・・・ - 既存のシステムに足元側に音源が置けない問題 DolbyAtmosの7.1.4chとしても上にしかスピーカーが増えない -主観視点で上を見上げた時、顎側の定位はどこになる？ →耳の高さまで移動してしまっている？ 異質な音響空間 →酔い・違和感問題 課題 足音の再生位置問題
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66. VRアドベンチャーサウンドデザイン おわりに VR自体の表現方法も発展途上で、答えが決まっていないため 曲の作り方やフォーマットも変わる可能性もあります。 さらに高度な音響技術や技術革新、スペック向上により VRに特化したエフェクトや演出技術が開発される余地があります。 新しい体験（VRやXR)に対してユーザーの 耳がVRサウンドの表現に慣れる必要もあります。 （より心地よい立体音響など） VRゲームサウンド ←未知のもの （まだまだこれから） VRゲームサウンドデザインについて情報共有や 新しい話題で盛り上げていきましょう。 @tatmos 質疑応答 と ADX2データによる 実演 配信だと伝わらないので 体験してほしい！