5. 4
Copyright NTT CORPORATION
今⽇のお話
n ⾝体感覚まで含めた観戦体験︓触覚メディアの活⽤
n プロ選⼿の五感の刺激を擬似体験
n 映像・⾳響メディアだけでは得られない臨場感
n スポーツ観戦の魅⼒のひとつである「ライブ」感
n 実競技と同時進⾏で⼀緒に戦う感じを味わう
メディアとしての
振動触覚情報
WebRTCの活⽤
によるリアルタイム伝送
6. 5
Copyright NTT CORPORATION
メディアとしての振動触覚情報
n 振動情報は⾳情報と発⽣メカニズムは同じ[2]
n ⾳ ︓ ⼀連の空気振動を⽿で知覚する情報
n 振動 ︓ ⼀連の物体振動を⽪膚で知覚する情報
⇒ オーディオの収⾳・伝送・提⽰と同じシステム設計が可能
n ヒトが知覚しやすい振動の周波数は数Hz〜数百Hzまで[3]
n ヒトの⽪膚には複数の触覚受容体があり、それぞれ異なる周波数帯に応答する
n 200Hz〜250Hzあたりの振動の知覚が最も感度が⾼い
(※実験条件による。加齢による影響も︕︖)
低周波数帯の⾳を取得・伝送・提⽰できることがカギ
[2]K. Minamizawa et. al., TECHTILE toolkit; a prototyping tool for design and education of haptic media., 2012
[3]坂本ほか, バイオメカニズム・ライブラリー ⽣体のふるえと振動知覚
-メカニカルバイブレーションの機能評価- 第10章「機械的振動受容の⼼理的特性」, 2009
8. 7
Copyright NTT CORPORATION
構成
360-degree
camera
Vibro-sound Mic
(Front)
Vibro-sound Mic
(Rear)
Single-board
Computer
Ambient Mic
(stereo)
360-degree Live Streaming
Ambient
Sound
Vibro
-sound
PC
Web Browser 1
Web Browser 2
WebRTC Media Stream 1
WebRTC Media Stream 2
360-degree Live Streaming
+
Vibro-sound
Ambient Sound
Recording Section(屋外⾃転⾞) Transmit Section Presentation Section(屋内トレーナ)
Screen/HMD
Amplifier(Front)
Body Sonic Device
Amplifier(Rear)
Body Sonic Device
Stereo Speaker
Jetson NANO
B01
ECM-PC60
モノラルコンデンサマイク
RICOH Theta Z1
Firefox v116
on
MacOS
ButtkickerGamer2
4K 360 video
(uvc, h264)
10. 9
Copyright NTT CORPORATION
振動⾳の取得・伝送
n 50Hz〜収⾳可能なモノラルコンデンサマイクで前輪・後輪の振動⾳を収⾳
(取付イメージは後半で)
n 前輪・後輪2chのモノラル⾳声を、ステレオ変換アダプタを介して⼊⼒
n 取得したステレオ振動⾳を映像と同じmediaStreamのAudioTrakへ
Jetson NANO B01
Ubuntu18.04 LTS※ Momo
(test mode)
Pulse Audio
(set-default-source)
(module-loopback latency_msec=ʻʼ)
WebRTC
mediaStream
libwebrtc
Vibro-sound Mic
(Front)
Vibro-sound Mic
(Rear)
11. 10
Copyright NTT CORPORATION
Jetson NANO B01
Ubuntu18.04 LTS※
libuvc-theta-sample
libuvc-theta
Thetaからの映像・環境⾳取得・伝送
n そのままではThetaZ1をWebカメラとして認識しない
n RICOH社が公開するTheta⽤libuvc(libuvc-theta)と、GStreamer・V4L2を使ったサンプル
(gst_loopback)を使⽤し、仮想カメラデバイス(/dev/video0)にビデオストリームを流し込む[6]
n 仮想カメラデバイスに流し込んだThetaZ1の360°映像をmomoでvideoTrakへ
n 環境⾳はカメラのマイク(ステレオ)をpulseAudio経由で取得し、
別のmediaStreamのaudioTrakへ(映像より早いのでpulseAudioで遅延を⼊れる)
360-degree camera
Ambient Mic
(stereo)
360-degree camera
(uvc, h.264)
[6] Linux Live Streaming Quick Start on Ubuntu x86 - How to Build libuvc for RICOH THETA V and Z1
https://community.theta360.guide/t/linux-live-streaming-quick-start-on-ubuntu-x86-how-to-build-libuvc-for-ricoh-theta-v-and-z1/6123s
gst_loopback
v4l2
/dev/video0
USB-C
Momo
(test mode)
Pulse Audio
(set-default-source)
GStreamer WebRTC
mediaStream
libwebrtc
18. 17
Copyright NTT CORPORATION
まとめ
n ⾝体感覚を伴う、臨場感の⾼いスポーツ観戦体験を⽬指して
n メディアとしての振動触覚(=⾳情報)のリアルタイム伝送にWebRTCを活⽤
n プロトタイプにもってこいの便利なWebRTC Nativeクライアントの利⽤
n 映像・⾳響に合わせて⾞体からの振動をリアルタイムに擬似体験できる
n VR酔いのケアをしないとめっちゃ酔う(モニタ出⼒でも少し酔う)
n 低周波数帯域に対応するオーディオコーデックについてはノーケア
n G.722 は50Hz以下はカットされるのでOpus⼀択︖(ブラウザの実装次第︖)
n ⾳響や振動のチャネル数を増やしたい
n Skyway WebRTC GatewayでRTPをたくさん流し込む︖
⇨ 別チームでマルチチャンネルオーディオの伝送検証に活⽤