VibeShare::Performer — Emoji・触覚・音効によるオンライン音楽ライブの双方向化

GREE VR Studio Lab
GREE VR Studio LabGREE VR Studio Lab
VibeShare::Performer
Emoji・触覚・音効によるオンライン
音楽ライブの双方向化
第26回 日本バーチャルリアリティ学会大会
2021/09/12
Yusuke Yamazaki & Akihiko SHIRAI, Ph.D
GREE VR Studio Laboratory
REALITY, Inc.
Emoji(赤枠)をタップすることでEmojiを出演者に送れます。
ポイントが足りなくなったら緑枠のボタンを押して追加してください。
スマホ画面
(※動画のシークバーは無効)
お手持ちのスマホで
アクセス
規約に同意していただけまし
たら、こちらをタップし次に
進んでください。
VibeShareライブデモ
💰が送られるとHapbeatが振動します。
https://vibeshare-
open.herokuapp.com/
PC画面(下部)
Emojiが送られると
画面上に表示されます。
👏が送られると
拍手音が鳴ります。
出演者
ライブ配信(映像・音声)
📢👏👍😂✨
お客さんが見えない!
拍手・歓声・表情などが...
届かない!
届かない!
音圧による体感音響
存在感
届かない!
リモートの観客
他の観客の
声援・熱狂
1人で録画を見ている感覚
テキストチャット
(チャット欄・SNS)
テキストチャット(チャット欄・SNS)
リアルタイム
に見られない
後から確認
課題:観客の非言語情報を届けるのが難しい
デモはこちら
多様な表現への活用
観客からの拍手と
声援をLEDに反映
エモートを
振動で体験
😂
高速(1秒以下)で伝送
声援
拍手
表情
タップ 振る
😃
👏
オンラインライブの観客
😍
様々な方法で [想い] を届ける
映像や音声に合わせた触覚体験
観客の声援に反応、コール&レス
ポンスがオンラインでも可能に
👍
ZoomやYouTubeと融
合して利用可能
『配信者と視聴者の間にある非言語エモーション』
を共有するライブエンタメ技術
デモはこちら
Real Diva's 春フェス Day3
https://www.youtube.com/
watch?v=RFvXFXpcypw
© Hibino Entertainment Corporation / REAL DIVA’S アーティスト:Progressive Instrumental Band『寿司ドミナント』
実証実験 Day 3 in REAL DIVA’S
システム
構成図
デモはこちら
未来カンペ機能とオペレーション例
演奏開始 演奏終了
視聴者
D:ディレクター
(現場統括者)
演奏者 Hapbeat装着
VS動作確認
カンペ出し
確認
演奏終了
カンペ出し
演奏開始
カンペ出し
[演奏中]
演奏に集中しつつ視聴者の反応
を感じ表情や演奏で反応
マイクパフォーマンス中に
視聴者に問い掛け
MCの問い掛けを素早く
入力し、カンペ出し。
👏 演奏中 🍹
エモートの
💰 送信 🌸
拍手の
練習
配信開始
曲間
(休憩含め)
カンペに反応👏
(未来に合わせる)
視聴時系列
カンペに反応👏
(未来に合わせる)
(時差)
(時差) (時差)
演奏前
カンペ練習
(理解)
(時差)
[時差]=配信遅延(30秒程度)+送信(1秒未満)
送信時系列
Real Diva's 春フェス Day3
https://www.youtube.com/
watch?v=RFvXFXpcypw
ライブでの触覚フィードバック
© Hibino Entertainment Corporation / REAL DIVA’S アーティスト:Progressive Instrumental Band『寿司ドミナント』
「振動は演奏の邪魔にならなか
った。むしろ(観客の存在を感
じられて)嬉しかった」
演奏後の出演者からの感想より
デモはこちら
実証実験ライブ概要
開催回 参加人数
Youtube
コメント数
総tap回数
Tap回数 /
コメント数
Day 1 18人
52件
0.43件 / 分
13176回
110回 / 分
253倍
Day 2 20人
71件
0.63件 / 分
23532回
288回 / 分
331倍
Day 3 31人
216件
1.6件 / 分
71323回
528回 / 分
330倍
Youtubeでのコメントよりも Emoji のタップの方が
より多くのエンゲージメント機会を提供している
※実験参加者はREAL DIVA’S のライブ配信に参加された一般の方々
タイムラインまとめ(Day 3)
● 演奏終了直後 & 数分後に拍手が集中 → 実際の拍手の役割を担っている。
● お花やお酒に関する発言や贈呈後に、🌸や🍹が集中 → コールアンドレスポンス
→従来の音楽ライブの双方向性を実現し、可視化することに成功した。
番組後アンケート結果
性別:男性11人、女性11人
年代:20代1人、30代3人、40代8人、50代6人、60代3人、不明1人
まとめ
VibeShare::Performer -Emoji・触覚・音効によるオンライン音楽ライブの双方向
化
● Emoji・触覚・音効によってオンラインライブでも
観客の存在感を出演者に伝え、共有することができた。
● Youtubeでのコメントよりも Emoji のタップの方がより多くのエンゲージメント
機会を提供している(コメント1件に対し、タップ数が約250~330回程度)。
○ 特に分速に直した場合、Youtubeコメントは1分間に1件有るか無いか程度だが、
Emojiタップは1分間に少なくとも100回以上はタップされるため、
盛り上がり感の演出はEmojiタップの方が優れていると言える。
● 触覚フィードバックが演奏を阻害せず、観客の存在感の演出に寄与できた。
○ 出演者(女性シンガー、男性ドラム奏者、男性キーボード奏者)の口頭での感想
「振動は演奏の邪魔にならなかった。むしろ(観客の存在を感じられて)嬉しかった」より
従来の音楽ライブの双方向性を実現し、可視化することに成功した。
Appendix
© GREE VR Studio Laboratory / REALITY, Inc.
・今後有料になってくると1番需要があるであ
ろう拍手ボタンは下が良いです。右手でボタ
ン押してたら画面隠れちゃって。後は横向き
で固定できたら良いです!
・コメントとエールを両方できると良いで
す!あと、タイムラグが難しいので、例えば
「ソロ終わり」とかも合図貰えると応援しや
すいです。やっぱりJAZZはこまめに拍手入れ
たいですから。
VibeShareでの応援について
© GREE VR Studio Laboratory / REALITY, Inc.
コメント有りがいいですが、アイテム側のシス
テムにいるとコメント出来ないのが残念。戻る
と大幅タイムラグが生じるので行き来できない
のでどちらかに偏りそう。
YouTubeコメントについて:
実証実験ライブ概要
開催回
参加
人数
Youtube
コメント数
総tap回数
Tap回数 /
コメント数
👏回数 🌸回数 🍹回数 💰回数
Day 1 18人
52件
0.43件 / 分
13176回
110回 / 分
253 6716 3169 2346 945
Day 2 20人
71件
0.63件 / 分
23532回
288回 / 分
331 5061 4003 9638 4,830
Day 3 31人
216件
1.6件 / 分
71323回
528回 / 分
330 22806 21566 12502 14,449
視聴者参加画面(スマートフォン、Day 1)
© Hibino Entertainment Corporation / REAL DIVA’S
アーティスト:小野ひとみ(Vo)、MoMo. ( Vo )、土師一雄 ( Pf )、中村 " ちゅう " 和生 ( Gt )
視聴者参加画面(PC、Day 3)
© Hibino Entertainment Corporation / REAL DIVA’S
アーティスト:Progressive Instrumental Band『寿司ドミナント』
1 of 18

Recommended

AI神絵師はITエンジニアの未来をどう変えるのか by
AI神絵師はITエンジニアの未来をどう変えるのかAI神絵師はITエンジニアの未来をどう変えるのか
AI神絵師はITエンジニアの未来をどう変えるのかGREE VR Studio Lab
65 views85 slides
Evaluation of time-shifted emotion through shared emoji reactions in a video ... by
Evaluation of time-shifted emotion through shared emoji reactions in a video ...Evaluation of time-shifted emotion through shared emoji reactions in a video ...
Evaluation of time-shifted emotion through shared emoji reactions in a video ...GREE VR Studio Lab
281 views20 slides
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022 by
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022
オープンソースで構築するWebメタバース ~Mozilla Hubsで学ぶUX開発から運用コスト最小化まで #CEDEC2022GREE VR Studio Lab
2.4K views111 slides
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~ by
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~
パネルディスカッション:WebXRメタバースの挑戦 in CEDEC2022 ~Mozilla Hubs活用事例と課題共有~GREE VR Studio Lab
711 views71 slides
GREE Tech Conf 2022 GREE VR Studio Laboratory - UXDev R&D Summary 2022 #GREETC by
GREE Tech Conf 2022 GREE VR Studio Laboratory  - UXDev R&D Summary 2022 #GREETCGREE Tech Conf 2022 GREE VR Studio Laboratory  - UXDev R&D Summary 2022 #GREETC
GREE Tech Conf 2022 GREE VR Studio Laboratory - UXDev R&D Summary 2022 #GREETCGREE VR Studio Lab
35 views34 slides
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」 by
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」
20220113「LightShip Global Jam 参加体験記 ~ARDKを使った人材育成」GREE VR Studio Lab
385 views29 slides

More Related Content

More from GREE VR Studio Lab

VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC by
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETCVTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETCGREE VR Studio Lab
135 views28 slides
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11) by
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)GREE VR Studio Lab
436 views13 slides
VR Entertainment goes to XR metaverse by
VR Entertainment goes to XR metaverseVR Entertainment goes to XR metaverse
VR Entertainment goes to XR metaverseGREE VR Studio Lab
341 views72 slides
20211004 XRメタバース時代における触覚の役割について by
20211004 XRメタバース時代における触覚の役割について20211004 XRメタバース時代における触覚の役割について
20211004 XRメタバース時代における触覚の役割についてGREE VR Studio Lab
654 views29 slides
第26回VR学会大会 企業セッション-メタバース panel talk by
第26回VR学会大会 企業セッション-メタバース panel talk第26回VR学会大会 企業セッション-メタバース panel talk
第26回VR学会大会 企業セッション-メタバース panel talkGREE VR Studio Lab
568 views45 slides
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察 by
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察GREE VR Studio Lab
3.8K views15 slides

More from GREE VR Studio Lab(20)

VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC by GREE VR Studio Lab
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETCVTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
VTuber・XRライブエンタメ駆動の研究開発 - GREE VR Studio Laboratory のR2D #GREETC
GREE VR Studio Lab135 views
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11) by GREE VR Studio Lab
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
GREE VR Studio Laboratory 「XR-UX Devプロジェクト」の成果紹介 #GREETC (2021/Nov/11)
GREE VR Studio Lab436 views
20211004 XRメタバース時代における触覚の役割について by GREE VR Studio Lab
20211004 XRメタバース時代における触覚の役割について20211004 XRメタバース時代における触覚の役割について
20211004 XRメタバース時代における触覚の役割について
GREE VR Studio Lab654 views
第26回VR学会大会 企業セッション-メタバース panel talk by GREE VR Studio Lab
第26回VR学会大会 企業セッション-メタバース panel talk第26回VR学会大会 企業セッション-メタバース panel talk
第26回VR学会大会 企業セッション-メタバース panel talk
GREE VR Studio Lab568 views
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察 by GREE VR Studio Lab
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察
GREE VR Studio Lab3.8K views
VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現- by GREE VR Studio Lab
VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-
VibeShare: Vote -オンラインでの出演者と観客の非言語コミュニケーションの実現-
GREE VR Studio Lab483 views
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab by GREE VR Studio Lab
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
#XRKaigi 「Mozilla Hubsを用いたバーチャルイベントのWebVR化~その可能性と実際~」[20201208] #VRStudioLab
GREE VR Studio Lab2.9K views
VIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoF by GREE VR Studio Lab
VIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoFVIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoF
VIRTUAL BEINGS WORLD “NEW PLAY TOGETHER” - SIGGRAPH 2020 BoF
GREE VR Studio Lab217 views
VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」 by GREE VR Studio Lab
VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」
VRSJ2020「交流型WebVRにおける空間音響のオンライン評価手法」
GREE VR Studio Lab4.2K views
VRSionUp!7-Spokeを使ったイベント設営TIPS by GREE VR Studio Lab
VRSionUp!7-Spokeを使ったイベント設営TIPSVRSionUp!7-Spokeを使ったイベント設営TIPS
VRSionUp!7-Spokeを使ったイベント設営TIPS
GREE VR Studio Lab1.9K views
VRSionUp7 Hubsイベント運営に便利なロール機能 by GREE VR Studio Lab
VRSionUp7 Hubsイベント運営に便利なロール機能VRSionUp7 Hubsイベント運営に便利なロール機能
VRSionUp7 Hubsイベント運営に便利なロール機能
GREE VR Studio Lab1.5K views
Hubs Cloud研究-公開リポジトリを中心に- by GREE VR Studio Lab
Hubs Cloud研究-公開リポジトリを中心に-Hubs Cloud研究-公開リポジトリを中心に-
Hubs Cloud研究-公開リポジトリを中心に-
GREE VR Studio Lab2.6K views
『転声こえうらない』利用者の基本周波数分析 full version by GREE VR Studio Lab
『転声こえうらない』利用者の基本周波数分析 full version『転声こえうらない』利用者の基本周波数分析 full version
『転声こえうらない』利用者の基本周波数分析 full version
GREE VR Studio Lab4.7K views
Mozilla Hubsが拓く新世代WebVRのススメ #HubsScrum by GREE VR Studio Lab
Mozilla Hubsが拓く新世代WebVRのススメ #HubsScrumMozilla Hubsが拓く新世代WebVRのススメ #HubsScrum
Mozilla Hubsが拓く新世代WebVRのススメ #HubsScrum
GREE VR Studio Lab5.2K views
20191128 近未来教育フォーラム2019公開版 by GREE VR Studio Lab
20191128 近未来教育フォーラム2019公開版20191128 近未来教育フォーラム2019公開版
20191128 近未来教育フォーラム2019公開版
GREE VR Studio Lab497 views
ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719 by GREE VR Studio Lab
ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719
ACM SIGGRAPH2019 ロサンゼルスの歩き方増補版 - TokyoACM SIGGRAPH 20190719
GREE VR Studio Lab813 views
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版 by GREE VR Studio Lab
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版
GREE VR Studio Lab1.7K views
#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版) by GREE VR Studio Lab
#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)
#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)
GREE VR Studio Lab4.3K views

VibeShare::Performer — Emoji・触覚・音効によるオンライン音楽ライブの双方向化

Editor's Notes

  1. 山崎勇祐(REALITY株式会社/東京工業大学大学院), 白井暁彦「VibeShare::Performer — Emoji・触覚・音効によるオンライン音楽ライブの双方向化」, 第26回日本バーチャルリアリティ学会大会 (2021/9/12) https://vr.gree.net/lab/vibeshare/ https://vr.gree.net/lab/demo/vibeshare/
  2. https://vibeshare-open.herokuapp.com/
  3. 課題:観客の非言語情報を届けるのが難しい
  4. 『配信者と視聴者の間にある非言語エモーション』を共有するライブエンタメ技術
  5. https://www.youtube.com/watch?v=RFvXFXpcypw https://youtu.be/RFvXFXpcypw?t=667 https://youtu.be/RFvXFXpcypw?t=1868
  6. 未来カンペ機能とオペレーション例の図です。 [時差]=配信遅延(30秒程度)+送信(1秒未満) カンペ=cue card, cue card from future
  7. https://www.youtube.com/watch?v=RFvXFXpcypw https://youtu.be/RFvXFXpcypw?t=667 https://youtu.be/RFvXFXpcypw?t=1868
  8. まとめ VibeShare::Performer -Emoji・触覚・音効によるオンライン音楽ライブの双方向化 Emoji・触覚・音効によってオンラインライブでも 観客の存在感を出演者に伝え、共有することができた。 Youtubeでのコメントよりも Emoji のタップの方がより多くのエンゲージメント 機会を提供している(コメント1件に対し、タップ数が約250~330回程度)。 特に分速に直した場合、Youtubeコメントは1分間に1件有るか無いか程度だが、 Emojiタップは1分間に少なくとも100回以上はタップされるため、 盛り上がり感の演出はEmojiタップの方が優れていると言える。 触覚フィードバックが演奏を阻害せず、観客の存在感の演出に寄与できた。 出演者(女性シンガー、男性ドラム奏者、男性キーボード奏者)の口頭での感想 「振動は演奏の邪魔にならなかった。むしろ(観客の存在を感じられて)嬉しかった」より 従来の音楽ライブの双方向性を実現し、可視化することに成功した。
  9. Appendix
  10. VibeShareでの応援について
  11. YouTubeコメントについて:
  12. 実証実験ライブ概要
  13. 視聴者参加画面(スマートフォン、Day 1) © Hibino Entertainment Corporation / REAL DIVA’S アーティスト:小野ひとみ(Vo)、MoMo. ( Vo )、土師一雄 ( Pf )、中村 " ちゅう " 和生 ( Gt )
  14. 視聴者参加画面(PC、Day 3) © Hibino Entertainment Corporation / REAL DIVA’S アーティスト:Progressive Instrumental Band『寿司ドミナント』