COVID-19対応で需要がある遠隔懇親会用のビデオ会議に必要なことを考え、そのためのシステムの作り方を考えた

1. 遠隔懇親会のための遠隔会議システムについて
長谷川晶一

2. 背景と目的
背景
COVID-19のため、立食パーティーをはじめとした懇親会ができない。
新人の歓迎など懇親会は人々がチームとなって活動するために大切。社会を作る人類は昔から会食していた。
目的
遠隔コミュニケーションにより、立食パーティのような懇親会と同等の効果を得ること。
要求
1. 複数会話 会話の輪(会話する集団)が複数存在できること。
2. 複数参加 ある輪に参加をしつつ、近隣の輪を傍聴し、参加する輪を切り替えられること。
 他の会話の輪を傍聴することで、出会いが生じる。
3. 全体把握 参加者全体の雰囲気が伝わること＝大きな会話の盛り上がり(音量・ピッチ・会話頻度)と
誰がその会話をしているのかを、多くの参加者が把握できること。
 会話の輪がどこにあるかを知ることが必要
4. 非言語 声色、表情、ジェスチャが伝わること。
 発話したいかどうか、同意しているかどうか、楽しんでいるかどうかなど、聞き手の様子が伝わることが重要。
5. 同一性 相手がだれだか見ただけで分かる。
6. 紹介 人を、別の人に紹介することは、立食パーティーなどでは多い。

3. 要求の詳細と既存ツールの状況
1. 複数会話
 VR Chatなど共有VR、MinecraftのDiscord や Voice chatでは実現済。
 距離に応じた音量調整がされるので、場所を調節することで、複数の会話の輪が存在できる。
2. 複数参加
 音像定位があると聞き分けの助けになる。共有VRでは実現済。
 向きを考慮した音量調整が輪の切り替えに便利。既存ツールには見つからない。
3. 全体把握
 誰がどこに居るのか把握できる。 共有VRでは実現済。
4. 非言語
 ビデオチャットで実現済。共有VRでも表情のマッピングがあるものもある。
5. 同一性
ビデオチャットは顔映像で実現済。共有VRはアバターが同一性を持てばよいが、持てない人が多い？
6. 紹介
 ある人に向き、別の人を指しながら話す。共有VRでは実現済。

4. 要求を満たすシステムの一案
音量調節と音像定位を、2次元のアバタの位置と向きで行う、ビデオチャットツール。
画面下の2D地図のアバタを
カーソルキーやマウスで操作
距離と向きで音量が変わる
顔映像の配置を地図に
合わせる
顔の向きをカメラ映像から
認識し、顔の向きの音量を
大きくする。
顔の向き
カーソル
自分を中心にしたまわりの人の配置図
画面の例
顔映像を声量に
合わせてズーム
顔映像の配置は角度と距離を反映
会話の輪ができる
とテーブルが出現
顔写真は、自分とhttps://www.pakutaso.com/ より

5. 実現に必要な機能
音声のミキシング
普通のボイスチャットに加え、ユーザごとに
距離と向きに応じた音量によるミキシングが必要
３D音響か、パン位置の調整、ステレオが必要
配置図の表示と操作
２D座標と向きを保持
カーソルキーとマウスで移動、主観視点操作
ビデオ映像の表示位置の調整
顔の向きの検出
誰に向かって話しかけているのかを検出、表示

6. 実装方法の案
Jitsi-meeting を改造
ブラウザで動くクライアントが主。WebRTC。
サーバはSFU(jitsi video bridge)
https://www.slideshare.net/tnoho/jitsi-video-bridge
クライアントに全参加者の音声が別々の音声Trackとして届いている。
クライアントを改造するだけで、音量調整などができる。
Jitsiの役割分担
画面キャプチャ、マイク、スピーカー、エコーキャンセルはWebRTC
UIはJitsi-meeting
追加開発要素(クライアントのみで良いはず)
地図UI
音量調節(WebRTCを呼ぶだけでできるみたい)
https://blog.twoseven.xyz/chrome-webrtc-remote-volume/
https://jitsi.org/jitsi-videobridge/より