SlideShare a Scribd company logo

VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-

VibeShare: Vote-オンラインでの出演者と観客の非言語コミュニケーションの実現- 芸術科学フォーラム2021 Yusuke Yamazaki, Akihiko SHIRAI GREE VR Studio Laboratory REALITY, Inc.

1 of 16
Download to read offline
VibeShare: Vote
-オンラインでの出演者と観客の
非言語コミュニケーションの実現-
芸術科学フォーラム2021
2021/03/08
Yusuke Yamazaki, Akihiko SHIRAI
GREE VR Studio Laboratory
REALITY, Inc.
問題提起:現状のオンラインコミュニケーションは非言語コミュニケーション不足
出演者
ライブ配信(映像・音声)
📢👏👍😂✨
お客さんが見えない!
拍手・歓声・表情などが...
届かない!
届かない!
音圧による体感音響
存在感
届かない!
リモートの観客
他の観客の
声援・熱狂
1人で録画を見ている感覚
テキストチャット
(チャット欄・SNS)
テキストチャット(チャット欄・SNS)
リアルタイム
に見られない
後から確認
多様な表現への活用
観客からの拍手と
声援をLEDに反映
エモートを
振動で体験
😂
😃
��
😍
様々な形態で[想い]を体感
国際的な実証実験多数
映像や音声に合わせた触覚体験
観客の声援に反応、コール&レス
ポンスがオンラインでも可能に
👍
ZoomやYouTubeと融合して利用可能
解決案:VibeShareによる多様な感情伝達手段・Hapbeatによる豊かな触覚体験
[社会包摂] 聴覚に障害がある方にも音楽イベントを楽しめる
[合理的配慮] リモートライブをリアルライブと同レベル以上に感動的な体験へ
[教育] リモート授業でも言語表現能力を気にせずミュニケーションできる
観客・受講生
※文字による情報保障はUDトーク等を利用可能
タップ 振る 拍手
声援
表情
様々な方法で [想い] を届ける
高速(1秒以下)で伝送
同時接続数
画面下部のアイコンをタップすることであなたのエモートを投票できます。
いつ、何回タップしてもOKです!たくさん投票して発表を盛り上げてください!
スマホ画面(PCでも可)
こちらから送信ページを
読み込んでください。
規約に同意していただけま
したら、こちらをタップし
次に進んでください。
自分や他の参加者の
エモートがこのエリ
アにリアルタイムで
表示されます
好き
いいね
なるほど
驚き
デモ:触覚とエモートだけでお互いの存在を感じる VibeShare
“Haptic Minesweeper”
触覚のみで距離・方向を提示
エモートが送られると
Hapbeatが振動します
データベース
③タップ情報を都度保存
②配信ツール合成用ページに
参加者全員分のエモートを反映
Websocket
視聴者 S
視聴者 n
不特定多数
①Sのタップ情報
● 送信された時刻
● 送信者
● 種類
● タップされた回数
をサーバーに送信
配信ツールで
合成
②Sのタップ情報を
ブロードキャスト
必要に応じてデータベースか
らタップ情報を取得
講師・出演者 T
出演者用
ダッシュボード Hapbeat-Duo
振動提示・Tが装着
振動駆動用の
音声信号を出力
音声ケーブルで接続
T の端末
VibeShare
サーバー
配信画面
VibeShare: Vote システム構成
OBSの全画面
プロジェクターを
Zoomで画面共有
デモはこちらから
Voteページ
①→② 遅延:200msec 程度
触覚フィードバック / Hapbeat の利用 https://hapbeat.com/
小型:簡単に総脱着可能
装着者の動作を邪魔にしない
“Haptic Minesweeper”
首への触覚のみで距離・方向を提示
ステレオ音声制御で容易かつ自在に制御可能
多様な触覚刺激を提示可能
触覚フィードバックの利点
Hapbeatの利点
● まだチャネルとして使われていない
(映像や音声だと配信の邪魔になる)
● 刺激に対する応答性が早く、
確実に気付ける
実装例
IEEE World Haptics Conferene 2019
DM1.01 Haptic Minesweeper
VR学会大会 2019
[首の触知覚を用いたナビゲー
ションシステムの提案]

Recommended

AI神絵師はITエンジニアの未来をどう変えるのか
AI神絵師はITエンジニアの未来をどう変えるのかAI神絵師はITエンジニアの未来をどう変えるのか
AI神絵師はITエンジニアの未来をどう変えるのかGREE VR Studio Lab
 
Evaluation of time-shifted emotion through shared emoji reactions in a video ...
Evaluation of time-shifted emotion through shared emoji reactions in a video ...Evaluation of time-shifted emotion through shared emoji reactions in a video ...
Evaluation of time-shifted emotion through shared emoji reactions in a video ...GREE VR Studio Lab
 
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022GREE VR Studio Lab
 
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~GREE VR Studio Lab
 
GREE Tech Conf 2022 GREE VR Studio Laboratory - UXDev R&D Summary 2022 #GREETC
GREE Tech Conf 2022 GREE VR Studio Laboratory  - UXDev R&D Summary 2022 #GREETCGREE Tech Conf 2022 GREE VR Studio Laboratory  - UXDev R&D Summary 2022 #GREETC
GREE Tech Conf 2022 GREE VR Studio Laboratory - UXDev R&D Summary 2022 #GREETCGREE VR Studio Lab
 
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」GREE VR Studio Lab
 
REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...
REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...
REALITY: We can be whoever we want - Avatar driven metaverse service and UX R...GREE VR Studio Lab
 
ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成
ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成
ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成GREE VR Studio Lab
 

More Related Content

More from GREE VR Studio Lab

VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETCVTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETCGREE VR Studio Lab
 
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)GREE VR Studio Lab
 
VR Entertainment goes to XR metaverse
VR Entertainment goes to XR metaverseVR Entertainment goes to XR metaverse
VR Entertainment goes to XR metaverseGREE VR Studio Lab
 
20211004 XRメタバース時代における触覚の役割について
20211004 XRメタバース時代における触覚の役割について20211004 XRメタバース時代における触覚の役割について
20211004 XRメタバース時代における触覚の役割についてGREE VR Studio Lab
 
第26回VR学会大会 企業セッション-メタバース panel talk
第26回VR学会大会 企業セッション-メタバース panel talk第26回VR学会大会 企業セッション-メタバース panel talk
第26回VR学会大会 企業セッション-メタバース panel talkGREE VR Studio Lab
 
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察GREE VR Studio Lab
 
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLabGREE VR Studio Lab
 
VIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoF
VIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoFVIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoF
VIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoFGREE VR Studio Lab
 
VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」
VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」
VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」GREE VR Studio Lab
 
VRSionUp!7-Spokeを使ったイベント設営TIPS
VRSionUp!7-Spokeを使ったイベント設営TIPSVRSionUp!7-Spokeを使ったイベント設営TIPS
VRSionUp!7-Spokeを使ったイベント設営TIPSGREE VR Studio Lab
 
VRSionUp7 Hubsイベント運営に便利なロール機能
VRSionUp7 Hubsイベント運営に便利なロール機能VRSionUp7 Hubsイベント運営に便利なロール機能
VRSionUp7 Hubsイベント運営に便利なロール機能GREE VR Studio Lab
 
Hubs Cloud研究-公開リポジトリを中心に-
Hubs Cloud研究-公開リポジトリを中心に-Hubs Cloud研究-公開リポジトリを中心に-
Hubs Cloud研究-公開リポジトリを中心に-GREE VR Studio Lab
 
『転声こえうらない』利用者の基本周波数分析 full version
『転声こえうらない』利用者の基本周波数分析 full version『転声こえうらない』利用者の基本周波数分析 full version
『転声こえうらない』利用者の基本周波数分析 full versionGREE VR Studio Lab
 
Mozilla Hubsが拓く新世代WebVRのススメ #HubsScrum
Mozilla Hubsが拓く新世代WebVRのススメ #HubsScrumMozilla Hubsが拓く新世代WebVRのススメ #HubsScrum
Mozilla Hubsが拓く新世代WebVRのススメ #HubsScrumGREE VR Studio Lab
 
20191128 近未来教育フォーラム2019公開版
20191128 近未来教育フォーラム2019公開版20191128 近未来教育フォーラム2019公開版
20191128 近未来教育フォーラム2019公開版GREE VR Studio Lab
 
ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719
ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719
ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719GREE VR Studio Lab
 
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版GREE VR Studio Lab
 
#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)
#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)
#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)GREE VR Studio Lab
 
#VRSionUp! #5 「kawaiiムーブ研究」Slideshare公開版
#VRSionUp! #5 「kawaiiムーブ研究」Slideshare公開版#VRSionUp! #5 「kawaiiムーブ研究」Slideshare公開版
#VRSionUp! #5 「kawaiiムーブ研究」Slideshare公開版GREE VR Studio Lab
 

More from GREE VR Studio Lab (20)

VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETCVTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
 
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
 
VR Entertainment goes to XR metaverse
VR Entertainment goes to XR metaverseVR Entertainment goes to XR metaverse
VR Entertainment goes to XR metaverse
 
20211004 XRメタバース時代における触覚の役割について
20211004 XRメタバース時代における触覚の役割について20211004 XRメタバース時代における触覚の役割について
20211004 XRメタバース時代における触覚の役割について
 
第26回VR学会大会 企業セッション-メタバース panel talk
第26回VR学会大会 企業セッション-メタバース panel talk第26回VR学会大会 企業セッション-メタバース panel talk
第26回VR学会大会 企業セッション-メタバース panel talk
 
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
 
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
 
VIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoF
VIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoFVIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoF
VIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoF
 
VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」
VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」
VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」
 
VRSionUp!7-Spokeを使ったイベント設営TIPS
VRSionUp!7-Spokeを使ったイベント設営TIPSVRSionUp!7-Spokeを使ったイベント設営TIPS
VRSionUp!7-Spokeを使ったイベント設営TIPS
 
VRSionUp7 Hubsイベント運営に便利なロール機能
VRSionUp7 Hubsイベント運営に便利なロール機能VRSionUp7 Hubsイベント運営に便利なロール機能
VRSionUp7 Hubsイベント運営に便利なロール機能
 
#VRSionUp!7 "Hubs Study"
#VRSionUp!7 "Hubs Study"#VRSionUp!7 "Hubs Study"
#VRSionUp!7 "Hubs Study"
 
Hubs Cloud研究-公開リポジトリを中心に-
Hubs Cloud研究-公開リポジトリを中心に-Hubs Cloud研究-公開リポジトリを中心に-
Hubs Cloud研究-公開リポジトリを中心に-
 
『転声こえうらない』利用者の基本周波数分析 full version
『転声こえうらない』利用者の基本周波数分析 full version『転声こえうらない』利用者の基本周波数分析 full version
『転声こえうらない』利用者の基本周波数分析 full version
 
Mozilla Hubsが拓く新世代WebVRのススメ #HubsScrum
Mozilla Hubsが拓く新世代WebVRのススメ #HubsScrumMozilla Hubsが拓く新世代WebVRのススメ #HubsScrum
Mozilla Hubsが拓く新世代WebVRのススメ #HubsScrum
 
20191128 近未来教育フォーラム2019公開版
20191128 近未来教育フォーラム2019公開版20191128 近未来教育フォーラム2019公開版
20191128 近未来教育フォーラム2019公開版
 
ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719
ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719
ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719
 
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版
 
#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)
#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)
#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)
 
#VRSionUp! #5 「kawaiiムーブ研究」Slideshare公開版
#VRSionUp! #5 「kawaiiムーブ研究」Slideshare公開版#VRSionUp! #5 「kawaiiムーブ研究」Slideshare公開版
#VRSionUp! #5 「kawaiiムーブ研究」Slideshare公開版
 

VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-