Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

第4回HoloLens参考書読書会発表資料

1,013 views

Published on

2018/2/26に行われた第4回HoloLens参考書読書会の発表資料です。
https://hololens.connpass.com/event/77720/

Published in: Technology
  • Be the first to comment

第4回HoloLens参考書読書会発表資料

  1. 1. 第4回HoloLens参考書読書会 2018/2/26 井出 将弘
  2. 2. 自己紹介 氏名:井出 将弘 所属:TIS 株式会社 戦略技術センター Twitter&Qiita:@decchi HoloLens + 対話システムやってます。
  3. 3. 今回の内容 今回の発表の範囲はHoloLens Beginner‘s Guideの Chapter 5 Now That Is How It Should Soundです。 ・目標 UnityのAudioについて理解し、 HoloLensの重要な機能である空間音響を習得する。
  4. 4. 今回の環境 ・Unity 2017.2.1p1 ・Visual Studio 2017 ・HoloToolkit-Unity-2017.2.1.0
  5. 5. まず手始めに① 私たちは2つの耳を持っているので、音を聞いただ けで、様々なことを理解できます。例えば ・音を発した物体の重さ ・どこから音が鳴っているのか ・物体の中身が詰まっているのか中空なのか ・どのような環境で音が発生しているのか ・音は本物か合成されたものか つまりHoloLensでも音響を適切に使えば視覚だけで は表現できないこともユーザーに伝えることができ ます。
  6. 6. まず手始めに② HoloLensアプリにおける音響についてはAcademy のHolograms 220で学びます。ここで質問。 空間音響を自分のアプリで使ったことある人手を 挙げて! 空間音響の設定はとても簡単です。是非自分のア プリケーションに取り入れてみましょう! (今回は一切コードを書きません!)
  7. 7. UnityのAudioについて
  8. 8. Unity Audioの概要 UnityのAudioには以下の2つの主要コンポーネント があります。(Audio Mixerもありますが、本で説明されていないので割愛します。) ・Audio Source 音の発生源のコンポーネント ・Audio Listener Audio Sourceから発生した音を受信するコンポーネント
  9. 9. Audio Listenerとは ・Unityのシーンにおけるプレイヤーの耳 ・耳の役割なので基本的にシーンに対して一つ ・基本的にCameraコンポーネントと同じオブジェ クトにアタッチされている ・設定値も特にないので、基本的にあまり意識す る必要はない。
  10. 10. Audio Sourceとは① ・アプリケーション空間でサウンドを再生するた めに使用されるコンポーネント ・音が発生する場所にあるGameObjectにアタッ チする (例:キャラクターの声なら口や喉のオブジェク トにアタッチ) ・ 設定値が多く、どのように音を鳴らすか意識し て設定する必要がある。
  11. 11. Audio Sourceとは② Audio Sourceインスペクターはこんな感じ 設定値の説明は後程
  12. 12. HoloLensにおける空間音響
  13. 13. HoloLensにおける空間音響 HoloLensのアプリケーションで実世界の音響効果 を再現するためにMS HRTF Spatializerを利用しま す。 HRTFはHead-Related Transfer Functionの略で日 本語にすると頭部伝達関数になります。
  14. 14. MS HRTF Spatializerの設定① Edit→Project Settings→Audio の順に選択
  15. 15. MS HRTF Spatializerの設定② Spatializer Pluginの セレクトボックスで MS HRTF Spatializerを設定
  16. 16. Audio Sourceの追加 MS HRTF Spatializerの設定ができたのでシーンにAudio Sourceを4つ追加します。 GameObject→Audio→ Audio Sourceの順に選択 作成したオブジェクト はLayer1~Layer4とい う名前にします。
  17. 17. Audio Sourceの追加 Layer1 (2,0,2) Layer4 (-2,0,-2) Layer2 (-2,0,2) Layer3 (2,0,-2) 原点 (0,0,0) Z X Audio Sourceを作成したら、以下のように各Audio Sourceを配置します。
  18. 18. サウンドアセットを見つけよう Audio Sourceに設定するサウンドアセットをネットから取得します。 ・freesound https://freesound.org/ 他にも以下のようなサイトもあります。 ・効果音ラボ https://soundeffect-lab.info
  19. 19. サウンドアセットを見つけよう 本で指定されているファイルをダウンロードします。 ・arcade.wav https://freesound.org/people/mrmayo/sounds/74913/ ・Penny arcade.wav https://freesound.org/people/NLM/sounds/179838/ ・Arcade Change .wav https://freesound.org/people/HarryPeeks/sounds/242138/ ・ Trevor Webb Arcade Ambience.wav https://freesound.org/people/Bleachbear/sounds/327010/
  20. 20. サウンドアセットを見つけよう ちなみにUnityのAudioで再生できるファイルは以下の通りです。 https://docs.unity3d.com/ja/2017.2/Manual/AudioFiles.html 参考書にも書いてありますが、基本的にはMP3かWAVのファイルを使えば大丈 夫です。 形式 拡張子 MPEG layer 3 .mp3 Ogg Vorbis .ogg WAV .wav AIFF .aiff / .aif Ultimate Soundtracker モジュール .mod Impulse Tracker モジュール .it Scream Tracker モジュール .s3m FastTracker 2 モジュール .xm
  21. 21. アセットのインポート ダウンロードしたファイルは Assets→Import New Assetで インポートする。
  22. 22. アセットのインポート インポートしたファイルは Projectウィンドウに配置され ます
  23. 23. Audio Sourceの設定値について Audio Clip:このAudio Sourceから再生するAudio Clipを設定。 Output:出力先。指定がなければAudio Listenerになる。 Mute:チェックを入れると再生されるが、無音となる。 Bypass Effects:フィルター効果を通すかどうか。 Bypass Listener Effects: Listener Effectsを通すかどうか。 Bypass Reverb Zones: Reverb Zonesを通すかどうか。 Play On Awake:Scene 開始時に音を鳴らし始めるかどうか。 Loop:チェックを入れると繰り返し再生される。 Priority:再生の優先度、常に再生したいものに低い値を設定する。 Volume:音の大きさ Pitch:再生スピード Stereo Pan:サウンドの聞こえる位置。-1で左、1で右になる。 Spatial Blend:2Dサウンドと3Dサウンドの比率 Reverb Zone Mix: Reverb Zoneコンポーネントの影響比率 3D Sound Settings:次ページで解説 Spatialize: MS HRTF Spatializerを適用するかどうか
  24. 24. 3D Sound Settingsの設定 : Doppler Level:適用されるドップラー効果の度合い(0で無効) Spread:音の広がりの角度 Volume Rolloff:音量の減衰の仕方 ・Logarithmic(対数) Rolloff:近くは大きく、遠くなると急激に減少 ・Linear(線形) Rolloff:距離に比例して減少 ・Custom Rolloff:下にあるRolloff グラフで設定 Min Disdance:元の音量を維持する最低距離 Max Distance:減衰した音が届く最大の距離
  25. 25. Layer1のオブジェクトについてAudio Sourceに今回のアプリケーションの設定を入れていきましょう。 空間音響の設定で重要なのは赤枠のSpatial Blend と Spatilizeです。 空間音響の設定 インポートしたファイルを設定 空間音響なので1に設定 チェックを入れる 今回のアプリはチェックを入れ ておきます
  26. 26. 空間音響の設定 残りのLayer2~4のオブジェクトについてもAudio Clipを違うものにして 同様の設定をいれます。 できたら、Holoの実機にデプロイして空間音響を体験してみましょう!
  27. 27. まとめ ・HoloLensで空間音響を使う場合はMS HRTF Spatializerを使う。 ・MS HRTF SpatializerはProject SettingsにあるAudioで設定する。 ・空間音響を適用するAudio SourceはSpatial Blend を1(3D)にして、 Spatilizeにチェックを入れる。
  28. 28. (応用編) Sound Occlusionについて これまでの説明では簡単に空間音響を使ってみるところまでやってみました。 ここからは応用編として空間音響で重要な機能であるSound Occlusionについ て少し解説します。 Sound OcclusionはHolograms 220のChapter 3で学びますが、サクッと試した い方はHoloToolkit-Unity-ExamplesにAudioOcclusionTestというシーンがあるの でそれを見てみるのが早いです。
  29. 29. (応用編) Sound Occlusionについて AudioOcclusionTestでのSound OcclusionはHoloToolkitにある AudioEmitterとAudioOccluderで実現しています。 ・ AudioEmitter Sound Occlusionする音源のオブジェクトにアタッチする。 ・ AudioOccluder Sound Occlusionで音を遮蔽するオブジェクトにアタッチする。 Sound Occlusionの処理としてあまり難しいことはしておらず。 CameraとAudioEmitterの間でRayを飛ばし、ヒットした AudioOccluderの数だけ音を減衰させています。

×