CSI2002

1. 多地点における 高品質な遠隔合唱の実現 広島市立大学大学院 情報科学研究科 岸田 崇志 河野 英太郎 前田 香織

2. はじめに ブロードバンドネットワークの普及 遠隔合唱、遠隔レコーディングを行うことも可能な環境 Mbone の音声会議システム RAT(Robust Audio Tool) 品質の悪いネットワークでも高品質な音声 多地点同時に複数の人数で会議に参加で きる

3. RATの問題点 音声会議用ツールであり、遠隔合唱を行うといった事は考慮されていない 音声会議には困らないのだが遅延が大きい 遠隔合唱を行うには、 遅延が小さくなければ ならない Robust Audio Tool with Short Delay scheduling （ RAT-SD) への改訂 RAT の遅延（片側 200ms ）

4. 遅延について 元の音と反射して返ってきた音の時間差が 50ms 以上になるとエコーと感じる 会話で許容できる遅延は 150ms ～ 200ms 以内 合唱では 100ms が許容範囲 遅延 転送遅延 処理遅延 ネットワークバッファ オーディオデバイスバッファ

5. オーディオバッファの処理の問題 データ量 経過時間 経過時間 他のプロセスに処理を奪われる 入力バッファ データ量 出力バッファ 遅延が生じる 読み込みに時間がかかる オーディオデータ 読み込み 出力バッファに渡す

6. RATでの処理 RAT では、マシンの負荷状況に応じてオーディオデバイスのバッファリング時間を調節する スケジューリング を行っている 一定期間オーディオデータを保持し、それをもとに出力バッファで遅延が生じないようバッファリング時間を設定する 調節されたバッファリング時間を Cushion と呼ぶ

7. Cushionを決定するパラメータ Cushion のとりうる範囲（固定値） ― 大きくとりぎると遅延が大きくなり、小さすぎると音質を損なう可能性がある History サイズ（固定値） ― オーディオデータの保持数、この数をもとに負荷計算を行う できる限り cushion のサイズを安定させ、小さい値であるものが望ましい

8. 各パラメータの概略 入力バッファ データ量 経過時間 History サイズ Cushion の範囲 Cushion

9. 各パラメータの概略 経過時間 入力バッファ データ量 History サイズ Cushion の範囲 Cushion 過剰な入力バッファのデータ量を制限

10. Cushionの最適化 Cushion のパラメータが現在の CPU では適切なものではない Cushion のパラメータは、 RAT 開発時 (1997 ）の SUN Sparc 10 ワークステーション（ 30MHz ～ 80MHz ）から算出 現在の CPU に適応するように見直す必要がある

11. オーディオデバイスのバッファ時間の推移 120ms

12. オーディオデバイスのバッファ時間の推移 25ms

13. オーディオデバイスのバッファ時間の分布

14. パラメータの変更 以下のようにパラメータの変更を行った 25 250 History サイズ 0ms ～ 40ms 40ms ～ 500ms Cushion の範囲 RAT-SD RAT

15. Historyサイズ

16. Cushionの変化 (b) (a)

17. RAT-SDの評価 遅延時間の測定 主観評価 パケットロスに対してのノイズ 遅延時間 RAT-SD の音質

18. 測定の実験環境 Ethernet 10Mbps ホスト A ホスト B 録音 CPU PentiumⅢ 1GHz OS Vine Linux2.1 CPU PentiumⅡ 300MHz OS Vine Linux2.1 RAT-SD の設定 送信 受信 モノラル チャンネル 32kHz サンプリングレート Linear-16 （無圧縮） エンコード方式

19. 遅延測定結果 RAT-SD では片側 70.5ms となる。 音速 343.5m/s とすると、 70.5ms という遅延は音が 24m 進む距離 大きな舞台で合唱を行うのとほぼ同じ 合唱に十分な遅延時間 141 RAT-SD 440 RAT 往復の遅延時間 [ms]

20. パケットロスによる ノイズの主観評価結果 RAT と RAT-SD の評価値はほぼ同じ RAT-SD の改訂による音質の劣化はみられない 非常に気になる 全く気にならない

21. 遅延の主観評価結果 RAT-SD では評価値 3.3 と気にならないといった回答が多い 遅延は十分に減らすことができている 非常に気になる 全く気にならない

22. RAT-SDの音質 FM 放送程度といった回答が多い 合唱に十分な音質は確保できている

23. 実証実験 広島市立南観音小学校と広島市立白島小学校で「マメ de がんすプロジェクト」の実証実験ネットワーク（ 10Mbps 広域 LAN) を用いて行った 各地点間はマルチキャストで伝送し、 RAT-SD で使用した帯域は各地点１ Mbps 両校の映像は MPEG2 伝送システムの MPEG2TS を用いた

24. 実験構成図 広島市立大学 白島小学校（ソプラノ） 南観音小学校 ( アルト） マメ de がんす ネットワーク 10Mbps Multicast 伴奏 伴奏 伴奏 伴奏＋ソプラノ 伴奏＋アルト アルト ソプラノ アルト＋ソプラノ 70 ～ 75ms 6 ms ジッター 2.1 ms 転送遅延 モノラル チャンネル 32kHz サンプリングレート Linear-16 （無圧縮） エンコード方式

25. おわりに 遠隔合唱を行うための音声伝送システムの条件についての検討 音声会議システムRATの遅延が小さくなるよう最適化したRAT-SDの作成、評価 RAT-SDを用いて2小学校間で遠隔合唱を行った

26. 今後の課題 CPU、ネットワークの状況に応じてCushionを決定する固定値のパラメータを動的に変える 遅延を維持したままでの音質の向上

27. 参考資料

28. History サイズと Cushion 入力バッファレベル 経過時間 History Cushion

29. History サイズと Cushion 入力バッファレベル 経過時間 History Cushion

30. Cushionについて i バッファ時間 bi バッファ時間 i [ms] かかるブロック数 ｔ 単位時間内に処理するブロックの個数 Cushion は、 (1) 式をみたす最小となる x [ms] となる (1) Cushion は、 (1) 式のように定義される

31. Cushionについて ｔ は History サイズを 25 とすると、 23 となる バッファ時間が小さいほうから 出現頻度の個数を 23 個カバーする範囲で Cushion を設定する 26ms 23 個

32. Byte － ms 換算 サンプリング周波数３２ｋ Hz ->一秒間32000回標本化 ->1msで32回標本化 16bit で量子化 1サンプル２byte ブロック (byte)÷2÷32 となる 1 ブロックでバッファリングに必要な時間 (ms) は

33. 転送遅延