SlideShare a Scribd company logo
1 of 13
Download to read offline
交流型WebVRにおける
空間音響のオンライン評価手法
坂口 塔也*1, 山崎 勇祐*2, Bredikhina Liudmila*3, 白井 暁彦*2
*1: 静岡大学
*2: (株) Wright Flyer Live Entertaimnent / GREE VR Studio Laboratory
*3: Geneva University
日本VR学会 第25回大会 一般発表 (9/18)
10:30-11:50 テレプレゼンス 3D2-1
「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net
背景: Covid-19以降のカンファレンスにおける問題
国際会議や学会、展示会へのソーシャルVR(Hubs等)の活用
Social VR platform are extending to conference & expo.
複数人同時会話による音声混線の問題がある!
Here is audio crosstalk issue in social VR platform!
ポスター発表や商品紹介等の交流に使えるか?
Is it possible to apply to product or poster presentation?
Motivation: Issues in online conferences after Covid-19 crisis.
「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net
ソーシャルVR空間で発生する音声混線の例
(1)不特定多数の動的音源(話者)が同時に声を発する
Unspecified number of speakers (Dynamic moving) speak at the same time.
(2)交流目的であり”賑わい”は感じたい
Want to feel "presence" for the interaction in the network.
(3)環境効果をリアルタイム処理できない
In Real-time processing, environmental effects are not possible to perform.
Target case: audio crosstalk in spatial social VR
Group A Group B
「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net
Hubsで設定可能な音量減衰パラメータ “PannerNode”
減衰の関数モデル
DistanceModel
減衰の傾き
Rolloff Factor
減衰の開始地点
Ref Distance for reducing volume (meter)
減衰の終了地点
Max Distance (in meter)
● Linear
● Inverse
● Exponential
*Standardized on Web3D audio interface.
「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net
実験内容 - Experiments in Hubs (completely online!)
同時に存在する見えない2つの音源間を自由に移動しながら聴き、
質問に対する回答位置を記号(A~Y)で入力。
Hubsを用いて、完全にオンラインで実施。複数の実験用ルーム(6種)を用意。
Multiple experimental rooms (6 types) are prepared. Subjects can move freely, and listens between two invisible sound
sources that exist at the same time. Subjects then answer the survey questions with their position (A to Y) in the room.
「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net
実験内容
左右にのみ移動が可能
「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net
実験内容:各ルームの設定
Room 音源A 音源B
1 サイン波 ホワイトノイズ
2 サイン波 ホワイトノイズ
3 女性3人の会話 ホワイトノイズ
4 女性3人の会話 ホワイトノイズ
5 女性3人の会話 男性3人の会話
6 女性3人の会話 男性3人の会話
利用したデータベース:千葉大学3人会話コーパス
「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net
実験内容
(Room 1,3,5) (Room 2,4,6)
Linear Inverse
「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net
実験内容
音源Aの位置Q1
音源Aが聞こえなくなる境界の位置Q2
音源Bの位置Q3
音源Bが聞こえなくなる境界の位置Q4
両音源が同程度に混ざって聞こえる位置Q5
実施時間24時間
被験者 14名
「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net
実験結果: 自由に動けるにもかかわらず対人の位置関係がわからない...!
2つの減衰モデルで明らかに異なる傾向。
Inverseの”裾野”での差は 距離としては 聴き分けられていない
Inverseモデルは2音源の融合距離の定位も難しい
= 賑わっているが2つのグループの境界がどこにあるかわからない
「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net
結論:オンライン実験で2つのモデルが確認できた
会話グループが複数あるイベント
● 部屋の減衰モデルをLinearにする
● 部屋の減衰開始距離を短くする
会話グループが単一のイベント
● 部屋の減衰モデルをLinearにする
● 部屋の減衰開始距離が長くてもよい
・Inverseモデルを交流会
場に使わない!(負荷が大き
く、ユーザも混乱する)
・ゾーン設計においてポスター
交流を目的とする場合は細い
Linearを使う、懇親会で声が混
ざって良いなら広くとる。
・InverseはPA(Public Audio:会
場アナウンス)のみに使うべき、
もしくはLinearのRolloff Factor
の値を小さく。
・動画等のメディアは全体告知
用か、サイネージかによって
個々のオブジェクトで変更。
「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net
ディスカッション・可用性・今後の課題
KIDS’ WORKSHOP (8/12)
このワークショップでは会場を3つのゾーンに区切った
基本となる会話音声はLinearモデルに設定し、
減衰の終了地点をゾーンの半径に合わせて15mとした
→自由に発言する子供たちの発声練習にも対応できた
課題:今後同様の実験をされる方へ…
(1) 減衰開始地点を0mに設定したInverseで実験を行う
(2) LinearモデルでRolloff Factorを1以下に設定してInverseモデルと比較する
Virtual Being World in SIGGRAPH2020 (8/25)
左側に設置してある動画サイネージと
会場右側に設置してある登壇ステージで
音声が重ならないように設定してある
→多言語の参加者向け、ピッチコンテストに混ざらない
十分な広さとサイネージ、ギャラリーの設計に貢献。
https://hubs.mozilla.com/7LuRA4N/virtual-beings-world
https://hubs.mozilla.com/
VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」

More Related Content

More from GREE VR Studio Lab

AI神絵師はITエンジニアの未来をどう変えるのか
AI神絵師はITエンジニアの未来をどう変えるのかAI神絵師はITエンジニアの未来をどう変えるのか
AI神絵師はITエンジニアの未来をどう変えるのかGREE VR Studio Lab
 
Evaluation of time-shifted emotion through shared emoji reactions in a video ...
Evaluation of time-shifted emotion through shared emoji reactions in a video ...Evaluation of time-shifted emotion through shared emoji reactions in a video ...
Evaluation of time-shifted emotion through shared emoji reactions in a video ...GREE VR Studio Lab
 
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022GREE VR Studio Lab
 
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~GREE VR Studio Lab
 
GREE Tech Conf 2022 GREE VR Studio Laboratory - UXDev R&D Summary 2022 #GREETC
GREE Tech Conf 2022 GREE VR Studio Laboratory  - UXDev R&D Summary 2022 #GREETCGREE Tech Conf 2022 GREE VR Studio Laboratory  - UXDev R&D Summary 2022 #GREETC
GREE Tech Conf 2022 GREE VR Studio Laboratory - UXDev R&D Summary 2022 #GREETCGREE VR Studio Lab
 
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」GREE VR Studio Lab
 
REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...
REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...
REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...GREE VR Studio Lab
 
ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成
ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成
ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成GREE VR Studio Lab
 
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETCVTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETCGREE VR Studio Lab
 
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)GREE VR Studio Lab
 
VR Entertainment goes to XR metaverse
VR Entertainment goes to XR metaverseVR Entertainment goes to XR metaverse
VR Entertainment goes to XR metaverseGREE VR Studio Lab
 
第26回VR学会大会 企業セッション-メタバース panel talk
第26回VR学会大会 企業セッション-メタバース panel talk第26回VR学会大会 企業セッション-メタバース panel talk
第26回VR学会大会 企業セッション-メタバース panel talkGREE VR Studio Lab
 
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察GREE VR Studio Lab
 
VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-
VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-
VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-GREE VR Studio Lab
 
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLabGREE VR Studio Lab
 
VRSionUp!7-Spokeを使ったイベント設営TIPS
VRSionUp!7-Spokeを使ったイベント設営TIPSVRSionUp!7-Spokeを使ったイベント設営TIPS
VRSionUp!7-Spokeを使ったイベント設営TIPSGREE VR Studio Lab
 
VRSionUp7 Hubsイベント運営に便利なロール機能
VRSionUp7 Hubsイベント運営に便利なロール機能VRSionUp7 Hubsイベント運営に便利なロール機能
VRSionUp7 Hubsイベント運営に便利なロール機能GREE VR Studio Lab
 
Hubs Cloud研究-公開リポジトリを中心に-
Hubs Cloud研究-公開リポジトリを中心に-Hubs Cloud研究-公開リポジトリを中心に-
Hubs Cloud研究-公開リポジトリを中心に-GREE VR Studio Lab
 
『転声こえうらない』利用者の基本周波数分析 full version
『転声こえうらない』利用者の基本周波数分析 full version『転声こえうらない』利用者の基本周波数分析 full version
『転声こえうらない』利用者の基本周波数分析 full versionGREE VR Studio Lab
 

More from GREE VR Studio Lab (20)

AI神絵師はITエンジニアの未来をどう変えるのか
AI神絵師はITエンジニアの未来をどう変えるのかAI神絵師はITエンジニアの未来をどう変えるのか
AI神絵師はITエンジニアの未来をどう変えるのか
 
Evaluation of time-shifted emotion through shared emoji reactions in a video ...
Evaluation of time-shifted emotion through shared emoji reactions in a video ...Evaluation of time-shifted emotion through shared emoji reactions in a video ...
Evaluation of time-shifted emotion through shared emoji reactions in a video ...
 
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
 
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~
 
GREE Tech Conf 2022 GREE VR Studio Laboratory - UXDev R&D Summary 2022 #GREETC
GREE Tech Conf 2022 GREE VR Studio Laboratory  - UXDev R&D Summary 2022 #GREETCGREE Tech Conf 2022 GREE VR Studio Laboratory  - UXDev R&D Summary 2022 #GREETC
GREE Tech Conf 2022 GREE VR Studio Laboratory - UXDev R&D Summary 2022 #GREETC
 
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」
 
REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...
REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...
REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...
 
ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成
ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成
ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成
 
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETCVTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
 
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
 
VR Entertainment goes to XR metaverse
VR Entertainment goes to XR metaverseVR Entertainment goes to XR metaverse
VR Entertainment goes to XR metaverse
 
第26回VR学会大会 企業セッション-メタバース panel talk
第26回VR学会大会 企業セッション-メタバース panel talk第26回VR学会大会 企業セッション-メタバース panel talk
第26回VR学会大会 企業セッション-メタバース panel talk
 
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
 
VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-
VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-
VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-
 
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
 
VRSionUp!7-Spokeを使ったイベント設営TIPS
VRSionUp!7-Spokeを使ったイベント設営TIPSVRSionUp!7-Spokeを使ったイベント設営TIPS
VRSionUp!7-Spokeを使ったイベント設営TIPS
 
VRSionUp7 Hubsイベント運営に便利なロール機能
VRSionUp7 Hubsイベント運営に便利なロール機能VRSionUp7 Hubsイベント運営に便利なロール機能
VRSionUp7 Hubsイベント運営に便利なロール機能
 
#VRSionUp!7 "Hubs Study"
#VRSionUp!7 "Hubs Study"#VRSionUp!7 "Hubs Study"
#VRSionUp!7 "Hubs Study"
 
Hubs Cloud研究-公開リポジトリを中心に-
Hubs Cloud研究-公開リポジトリを中心に-Hubs Cloud研究-公開リポジトリを中心に-
Hubs Cloud研究-公開リポジトリを中心に-
 
『転声こえうらない』利用者の基本周波数分析 full version
『転声こえうらない』利用者の基本周波数分析 full version『転声こえうらない』利用者の基本周波数分析 full version
『転声こえうらない』利用者の基本周波数分析 full version
 

Recently uploaded

Module-1-(Building Acoustics) Noise Control (Unit-3). pdf
Module-1-(Building Acoustics) Noise Control (Unit-3). pdfModule-1-(Building Acoustics) Noise Control (Unit-3). pdf
Module-1-(Building Acoustics) Noise Control (Unit-3). pdfManish Kumar
 
Robotics Group 10 (Control Schemes) cse.pdf
Robotics Group 10  (Control Schemes) cse.pdfRobotics Group 10  (Control Schemes) cse.pdf
Robotics Group 10 (Control Schemes) cse.pdfsahilsajad201
 
Introduction to Machine Learning Part1.pptx
Introduction to Machine Learning Part1.pptxIntroduction to Machine Learning Part1.pptx
Introduction to Machine Learning Part1.pptxPavan Mohan Neelamraju
 
The Satellite applications in telecommunication
The Satellite applications in telecommunicationThe Satellite applications in telecommunication
The Satellite applications in telecommunicationnovrain7111
 
High Voltage Engineering- OVER VOLTAGES IN ELECTRICAL POWER SYSTEMS
High Voltage Engineering- OVER VOLTAGES IN ELECTRICAL POWER SYSTEMSHigh Voltage Engineering- OVER VOLTAGES IN ELECTRICAL POWER SYSTEMS
High Voltage Engineering- OVER VOLTAGES IN ELECTRICAL POWER SYSTEMSsandhya757531
 
Javier_Fernandez_CARS_workshop_presentation.pptx
Javier_Fernandez_CARS_workshop_presentation.pptxJavier_Fernandez_CARS_workshop_presentation.pptx
Javier_Fernandez_CARS_workshop_presentation.pptxJavier Fernández Muñoz
 
Theory of Machine Notes / Lecture Material .pdf
Theory of Machine Notes / Lecture Material .pdfTheory of Machine Notes / Lecture Material .pdf
Theory of Machine Notes / Lecture Material .pdfShreyas Pandit
 
Cost estimation approach: FP to COCOMO scenario based question
Cost estimation approach: FP to COCOMO scenario based questionCost estimation approach: FP to COCOMO scenario based question
Cost estimation approach: FP to COCOMO scenario based questionSneha Padhiar
 
Introduction of Object Oriented Programming Language using Java. .pptx
Introduction of Object Oriented Programming Language using Java. .pptxIntroduction of Object Oriented Programming Language using Java. .pptx
Introduction of Object Oriented Programming Language using Java. .pptxPoonam60376
 
Chapter 9 Mechanical Injection Systems.pdf
Chapter 9 Mechanical Injection Systems.pdfChapter 9 Mechanical Injection Systems.pdf
Chapter 9 Mechanical Injection Systems.pdfFaizanAhmed396943
 
A brief look at visionOS - How to develop app on Apple's Vision Pro
A brief look at visionOS - How to develop app on Apple's Vision ProA brief look at visionOS - How to develop app on Apple's Vision Pro
A brief look at visionOS - How to develop app on Apple's Vision ProRay Yuan Liu
 
Overview of IS 16700:2023 (by priyansh verma)
Overview of IS 16700:2023 (by priyansh verma)Overview of IS 16700:2023 (by priyansh verma)
Overview of IS 16700:2023 (by priyansh verma)Priyansh
 
Network Enhancements on BitVisor for BitVisor Summit 12
Network Enhancements on BitVisor for BitVisor Summit 12Network Enhancements on BitVisor for BitVisor Summit 12
Network Enhancements on BitVisor for BitVisor Summit 12cjchen22
 
Secure Key Crypto - Tech Paper JET Tech Labs
Secure Key Crypto - Tech Paper JET Tech LabsSecure Key Crypto - Tech Paper JET Tech Labs
Secure Key Crypto - Tech Paper JET Tech Labsamber724300
 
Guardians of E-Commerce: Harnessing NLP and Machine Learning Approaches for A...
Guardians of E-Commerce: Harnessing NLP and Machine Learning Approaches for A...Guardians of E-Commerce: Harnessing NLP and Machine Learning Approaches for A...
Guardians of E-Commerce: Harnessing NLP and Machine Learning Approaches for A...IJAEMSJORNAL
 
Machine Learning 5G Federated Learning.pdf
Machine Learning 5G Federated Learning.pdfMachine Learning 5G Federated Learning.pdf
Machine Learning 5G Federated Learning.pdfadeyimikaipaye
 
Detection&Tracking - Thermal imaging object detection and tracking
Detection&Tracking - Thermal imaging object detection and trackingDetection&Tracking - Thermal imaging object detection and tracking
Detection&Tracking - Thermal imaging object detection and trackinghadarpinhas1
 
priority interrupt computer organization
priority interrupt computer organizationpriority interrupt computer organization
priority interrupt computer organizationchnrketan
 
2022 AWS DNA Hackathon 장애 대응 솔루션 jarvis.
2022 AWS DNA Hackathon 장애 대응 솔루션 jarvis.2022 AWS DNA Hackathon 장애 대응 솔루션 jarvis.
2022 AWS DNA Hackathon 장애 대응 솔루션 jarvis.elesangwon
 
Artificial Intelligence in Power System overview
Artificial Intelligence in Power System overviewArtificial Intelligence in Power System overview
Artificial Intelligence in Power System overviewsandhya757531
 

Recently uploaded (20)

Module-1-(Building Acoustics) Noise Control (Unit-3). pdf
Module-1-(Building Acoustics) Noise Control (Unit-3). pdfModule-1-(Building Acoustics) Noise Control (Unit-3). pdf
Module-1-(Building Acoustics) Noise Control (Unit-3). pdf
 
Robotics Group 10 (Control Schemes) cse.pdf
Robotics Group 10  (Control Schemes) cse.pdfRobotics Group 10  (Control Schemes) cse.pdf
Robotics Group 10 (Control Schemes) cse.pdf
 
Introduction to Machine Learning Part1.pptx
Introduction to Machine Learning Part1.pptxIntroduction to Machine Learning Part1.pptx
Introduction to Machine Learning Part1.pptx
 
The Satellite applications in telecommunication
The Satellite applications in telecommunicationThe Satellite applications in telecommunication
The Satellite applications in telecommunication
 
High Voltage Engineering- OVER VOLTAGES IN ELECTRICAL POWER SYSTEMS
High Voltage Engineering- OVER VOLTAGES IN ELECTRICAL POWER SYSTEMSHigh Voltage Engineering- OVER VOLTAGES IN ELECTRICAL POWER SYSTEMS
High Voltage Engineering- OVER VOLTAGES IN ELECTRICAL POWER SYSTEMS
 
Javier_Fernandez_CARS_workshop_presentation.pptx
Javier_Fernandez_CARS_workshop_presentation.pptxJavier_Fernandez_CARS_workshop_presentation.pptx
Javier_Fernandez_CARS_workshop_presentation.pptx
 
Theory of Machine Notes / Lecture Material .pdf
Theory of Machine Notes / Lecture Material .pdfTheory of Machine Notes / Lecture Material .pdf
Theory of Machine Notes / Lecture Material .pdf
 
Cost estimation approach: FP to COCOMO scenario based question
Cost estimation approach: FP to COCOMO scenario based questionCost estimation approach: FP to COCOMO scenario based question
Cost estimation approach: FP to COCOMO scenario based question
 
Introduction of Object Oriented Programming Language using Java. .pptx
Introduction of Object Oriented Programming Language using Java. .pptxIntroduction of Object Oriented Programming Language using Java. .pptx
Introduction of Object Oriented Programming Language using Java. .pptx
 
Chapter 9 Mechanical Injection Systems.pdf
Chapter 9 Mechanical Injection Systems.pdfChapter 9 Mechanical Injection Systems.pdf
Chapter 9 Mechanical Injection Systems.pdf
 
A brief look at visionOS - How to develop app on Apple's Vision Pro
A brief look at visionOS - How to develop app on Apple's Vision ProA brief look at visionOS - How to develop app on Apple's Vision Pro
A brief look at visionOS - How to develop app on Apple's Vision Pro
 
Overview of IS 16700:2023 (by priyansh verma)
Overview of IS 16700:2023 (by priyansh verma)Overview of IS 16700:2023 (by priyansh verma)
Overview of IS 16700:2023 (by priyansh verma)
 
Network Enhancements on BitVisor for BitVisor Summit 12
Network Enhancements on BitVisor for BitVisor Summit 12Network Enhancements on BitVisor for BitVisor Summit 12
Network Enhancements on BitVisor for BitVisor Summit 12
 
Secure Key Crypto - Tech Paper JET Tech Labs
Secure Key Crypto - Tech Paper JET Tech LabsSecure Key Crypto - Tech Paper JET Tech Labs
Secure Key Crypto - Tech Paper JET Tech Labs
 
Guardians of E-Commerce: Harnessing NLP and Machine Learning Approaches for A...
Guardians of E-Commerce: Harnessing NLP and Machine Learning Approaches for A...Guardians of E-Commerce: Harnessing NLP and Machine Learning Approaches for A...
Guardians of E-Commerce: Harnessing NLP and Machine Learning Approaches for A...
 
Machine Learning 5G Federated Learning.pdf
Machine Learning 5G Federated Learning.pdfMachine Learning 5G Federated Learning.pdf
Machine Learning 5G Federated Learning.pdf
 
Detection&Tracking - Thermal imaging object detection and tracking
Detection&Tracking - Thermal imaging object detection and trackingDetection&Tracking - Thermal imaging object detection and tracking
Detection&Tracking - Thermal imaging object detection and tracking
 
priority interrupt computer organization
priority interrupt computer organizationpriority interrupt computer organization
priority interrupt computer organization
 
2022 AWS DNA Hackathon 장애 대응 솔루션 jarvis.
2022 AWS DNA Hackathon 장애 대응 솔루션 jarvis.2022 AWS DNA Hackathon 장애 대응 솔루션 jarvis.
2022 AWS DNA Hackathon 장애 대응 솔루션 jarvis.
 
Artificial Intelligence in Power System overview
Artificial Intelligence in Power System overviewArtificial Intelligence in Power System overview
Artificial Intelligence in Power System overview
 

VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」

  • 1. 交流型WebVRにおける 空間音響のオンライン評価手法 坂口 塔也*1, 山崎 勇祐*2, Bredikhina Liudmila*3, 白井 暁彦*2 *1: 静岡大学 *2: (株) Wright Flyer Live Entertaimnent / GREE VR Studio Laboratory *3: Geneva University 日本VR学会 第25回大会 一般発表 (9/18) 10:30-11:50 テレプレゼンス 3D2-1
  • 2. 「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net 背景: Covid-19以降のカンファレンスにおける問題 国際会議や学会、展示会へのソーシャルVR(Hubs等)の活用 Social VR platform are extending to conference & expo. 複数人同時会話による音声混線の問題がある! Here is audio crosstalk issue in social VR platform! ポスター発表や商品紹介等の交流に使えるか? Is it possible to apply to product or poster presentation? Motivation: Issues in online conferences after Covid-19 crisis.
  • 3. 「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net ソーシャルVR空間で発生する音声混線の例 (1)不特定多数の動的音源(話者)が同時に声を発する Unspecified number of speakers (Dynamic moving) speak at the same time. (2)交流目的であり”賑わい”は感じたい Want to feel "presence" for the interaction in the network. (3)環境効果をリアルタイム処理できない In Real-time processing, environmental effects are not possible to perform. Target case: audio crosstalk in spatial social VR Group A Group B
  • 4. 「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net Hubsで設定可能な音量減衰パラメータ “PannerNode” 減衰の関数モデル DistanceModel 減衰の傾き Rolloff Factor 減衰の開始地点 Ref Distance for reducing volume (meter) 減衰の終了地点 Max Distance (in meter) ● Linear ● Inverse ● Exponential *Standardized on Web3D audio interface.
  • 5. 「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net 実験内容 - Experiments in Hubs (completely online!) 同時に存在する見えない2つの音源間を自由に移動しながら聴き、 質問に対する回答位置を記号(A~Y)で入力。 Hubsを用いて、完全にオンラインで実施。複数の実験用ルーム(6種)を用意。 Multiple experimental rooms (6 types) are prepared. Subjects can move freely, and listens between two invisible sound sources that exist at the same time. Subjects then answer the survey questions with their position (A to Y) in the room.
  • 6. 「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net 実験内容 左右にのみ移動が可能
  • 7. 「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net 実験内容:各ルームの設定 Room 音源A 音源B 1 サイン波 ホワイトノイズ 2 サイン波 ホワイトノイズ 3 女性3人の会話 ホワイトノイズ 4 女性3人の会話 ホワイトノイズ 5 女性3人の会話 男性3人の会話 6 女性3人の会話 男性3人の会話 利用したデータベース:千葉大学3人会話コーパス
  • 8. 「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net 実験内容 (Room 1,3,5) (Room 2,4,6) Linear Inverse
  • 9. 「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net 実験内容 音源Aの位置Q1 音源Aが聞こえなくなる境界の位置Q2 音源Bの位置Q3 音源Bが聞こえなくなる境界の位置Q4 両音源が同程度に混ざって聞こえる位置Q5 実施時間24時間 被験者 14名
  • 10. 「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net 実験結果: 自由に動けるにもかかわらず対人の位置関係がわからない...! 2つの減衰モデルで明らかに異なる傾向。 Inverseの”裾野”での差は 距離としては 聴き分けられていない Inverseモデルは2音源の融合距離の定位も難しい = 賑わっているが2つのグループの境界がどこにあるかわからない
  • 11. 「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net 結論:オンライン実験で2つのモデルが確認できた 会話グループが複数あるイベント ● 部屋の減衰モデルをLinearにする ● 部屋の減衰開始距離を短くする 会話グループが単一のイベント ● 部屋の減衰モデルをLinearにする ● 部屋の減衰開始距離が長くてもよい ・Inverseモデルを交流会 場に使わない!(負荷が大き く、ユーザも混乱する) ・ゾーン設計においてポスター 交流を目的とする場合は細い Linearを使う、懇親会で声が混 ざって良いなら広くとる。 ・InverseはPA(Public Audio:会 場アナウンス)のみに使うべき、 もしくはLinearのRolloff Factor の値を小さく。 ・動画等のメディアは全体告知 用か、サイネージかによって 個々のオブジェクトで変更。
  • 12. 「交流型WebVRにおける空間音響のオンライン評価手法」坂口塔也 静岡大学/ GREE VR Studio Lab / vr.gree.net ディスカッション・可用性・今後の課題 KIDS’ WORKSHOP (8/12) このワークショップでは会場を3つのゾーンに区切った 基本となる会話音声はLinearモデルに設定し、 減衰の終了地点をゾーンの半径に合わせて15mとした →自由に発言する子供たちの発声練習にも対応できた 課題:今後同様の実験をされる方へ… (1) 減衰開始地点を0mに設定したInverseで実験を行う (2) LinearモデルでRolloff Factorを1以下に設定してInverseモデルと比較する Virtual Being World in SIGGRAPH2020 (8/25) 左側に設置してある動画サイネージと 会場右側に設置してある登壇ステージで 音声が重ならないように設定してある →多言語の参加者向け、ピッチコンテストに混ざらない 十分な広さとサイネージ、ギャラリーの設計に貢献。 https://hubs.mozilla.com/7LuRA4N/virtual-beings-world https://hubs.mozilla.com/