Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

バイノーラル信号音源分離における両耳事前分布モデルの考察

13,664 views

Published on

バイノーラル音楽音源分離技術として統計的手法に基づくポストフィルタに関する研究をしています. 本研究発表では,両耳に到達する音源の確率分布の差に着目し,従来の決定論的に表されていた頭部伝達関数を統計的な信号モデルとして表すことを提案し,分離したい音源の事前分布が分離精度に与える影響を考察しました.

Published in: Technology
  • Be the first to comment

バイノーラル信号音源分離における両耳事前分布モデルの考察

  1. 1. Study on a priori statistical model of target signal for binaural signal source separation バイノーラル信号音源分離における両耳事前分 布モデルの考察 ☆室田勇騎*, 小山翔一**, 猿渡洋** 北村大地***, 中村哲* * 奈良先端科学技術大学院大学 ** 東京大学 *** 総研大
  2. 2. 研究背景:バイノーラル音楽音源分離 音楽音源分離において,分離音の定位や残響など は保持されていることが望ましい 頭部伝達関数(HRTF)などの空間情報を利用することが 考えられる 2 目的音の分離空間情報の保持+ 目的音の分離
  3. 3. HRTF利用の問題点及びその解決案 HRTFの利用における問題点 統計的視点からHRTF(もしくは伝達関数一般)を考える 3 • 基本的には未知の情報 • 事前計測のために大規模な装置が必要 • 未知のユーザを対象とした応用では利用困難 ねらい • 統計学的知見に基づき,,,,観測データからブライン ドにHRTFのような両耳情報を求める • 事前計測不要 • 未知のユーザに対しても適用可能
  4. 4. アプローチ 頭部回折 壁面反射 波形波形 ああ 4 p.d.f. p.d.f. 音源に近い耳の受音波形p.d.f. : 急なピークを持つ 音源に遠い耳の受音波形p.d.f. : 緩いピークを持つ HRTFの違いをp.d.f.の差によって表す
  5. 5. アプローチ 研究目的: 波形波形 従来の決定論的なHRTF推定問題を,統計モデ ああ 5 ルのパラメータ推定問題に変換し,未知ユーザへ p.d.f. p.d.f. の適応を実現する. 音源に近い側のp.d.f. : 急なピークを持つ バイノーラル信号音源分離において両耳の統計 音源に遠い側のp.d.f. : ゆるやかを持つ モデルが与える影響を考察する.
  6. 6. 先行研究 事前分布パラメータ推定を備えた一般化MMSE-STSA 推定器[Y. Murota, et al., ICASSP2014] 信号の混合モデル 6 : 観測音信号: 妨害音信号 : 目的音信号
  7. 7. 処理の流れ 先行研究 妨害音の推定: NMF により妨害音の振幅スペクトルを推定 パラメータ推定: 高次統計量を用いた目的音事前分布推定 ポスト処理部: 一般化MMSE-STSA推定器により妨害音を抑圧 7 STFT Shape parameter estimation Target kurtosis estimation Non-target signal estimation by SNMF Spectral gain calculation A posteriori SNR estimation ISTFT A priori SNR estimation target kurt Interference signal estimator Generalized MMSE-STSA estimator
  8. 8. 一般化MMSE-STSA推定器[Breithaupt, et al., 2008] 目的音の事前分布を仮定するベイズ推定器 目的音の振幅スペクトルはカイ分布に従うと仮定 8 カイ分布 : : 信号xのp.d.f. 形状母数: ガンマ関数 ρ = 1 : ガウス分布を仮定 ρ が小さくなるほど,信号は優ガウス性の分布となる 加法信号中での目的音の形状母数を直接計算する ことは困難
  9. 9. 一般化MMSE-STSA推定器[Breithaupt, et al., 2008] 目的音の事前分布を仮定するベイズ推定器 目的音の振幅スペクトルはカイ分布に従うと仮定 9 カイ分布 : : 信号xのp.d.f. 形状母数: ガンマ関数 ρ = 1 : ガウス分布を仮定 ρ が小さくなるほど,信号は優ガウス性の分布となる 加法信号中での目的音の形状母数を直接計算する ことは困難
  10. 10. 一般化MMSE-STSA推定器[Breithaupt, et al., 2008] 推定目的音は次のように表される 10 推定目的音 : 推定目的音: ゲイン関数 : : 形状母数ガンマ関数 : 合流型超幾何関数 : 事前SNR : 事後SNR : 忘却係数: 妨害音のパワースペクトル
  11. 11. 一般化MMSE-STSA推定器[Breithaupt, et al., 2008] 推定目的音は次のように表される 推定目的音 : 推定目的音: ゲイン関数 ブラインドに推定 : : 形状母数ガンマ関数 : 合流型超幾何関数 : 事後SNR : 忘却係数: 妨害音のパワースペクトル 11 : 事前SNR SNMFより推定
  12. 12. 事前分布に着目したバイノーラル信号モデル NL (f,t) 12 左耳 右耳 NR(f,t) SL (f,t) SR(f,t) (a) 従来のバイノーラル 決定論的信号モデル s(f,t) hL(f) hR(f) 左耳: 右耳: hL (f) hR (f) SL (f,t)+NL(f,t) SR(f,t)+NR(f,t) HRTF (b) 事前分布に着目した統計的信号モデル 未知 SL (f,t)=hL(f)s(f,t) SR (f,t)=hR(f)s(f,t)
  13. 13. 形状母数とカートシス 13 カイ分布の形状母数ρ : 目的音のカートシス : m次モーメント : 目的音の振幅スペクトル のp.d.f. 左右個別の目的音振幅スペクトルのカートシスを求 めることで形状母数が推定可能 : 信号チャネル
  14. 14. 目的音振幅スペクトルのカートシス推定 [Murota, ICASSP2014] 14 目的音振幅スペクトルカートシス : 観測音の振幅スペクトル : 教師ありNMF(SNMF)によって 得られる妨害音の振幅スペクトル 観測音から計算可能SNMFより推定可能 解析的に左右個別の目的音振幅スペクトル カートシスが得られる ⇒ 左右個別の統計モデルが推定可能
  15. 15. 実験条件(1/3) 15 楽器音(MIDI) Ob., Cl., Vc., Pf. 観測音(MIDI) Obとその他1種類を選び等パワーで混合したもの 目的音Ob. 教師音(MIDI) 目的音の半音階で2 オクターブ上昇する24 音 基底数目的音: 100 妨害音50 反復回数学習時: 500 分離時: 400 サンプリング周波数44100 忘却係数α 0.97 評価尺度 Signal-to-distortion ratio (SDR) : 分離度合と音質を考慮した評価尺度 Target T I Interference 90°
  16. 16. 実験目的 実験条件(2/3) 適切な事前分布を用いることにより,分離精度がどのように変 化するのかを確認する 比較手法 教師ありNMF(SNMF)のみの出力 SNMFとポストフィルタを組み合わせたもの(形状母数固定) SNMFとポストフィルタを組み合わせたもの(形状母数推定) 16 SNMF - - SNMF+post filter (fixed prior) 1 1 SNMF+post filter (prior adapt.) データから推定 ( ≪1) データから推定 ( ≒1)
  17. 17. 実験条件(3/3) 以下の三種類で妨害信号を推定し,妨害音の推定精 度による差を比較する. 1. 基底変形型教師ありNMF(Deformation SNMF) [Kitamura, 2013] • HRTFの情報を用いない推定法 2. HRTFを畳み込んだ教師音を使用した SNMF(HRTF+SNMF) • HRTFを間接的に用いた推定法 3. 真の妨害音(true noise) • 参考値として用いる 17 Bad Good
  18. 18. 実験結果 18 Deformation SNMF HRTF+SNMF 適切な事前分布を推定して分離 性能が向上した true noise
  19. 19. まとめと今後の課題 まとめ バイノーラル音楽信号分離において,両耳間での目的信 号分布の違いによる分離精度や音の知覚の影響を調べ るため,事前分布パラメータ推定を備えた一般化MMSE-STSA 推定器をバイノーラル信号に拡張し実験を行った. – 目的音の事前分布を行うことで性能が改善 今後の課題 音源の種類を増やして実験を行う 主観評価(特に定位に関する評価) 妨害音推定手法の改良 19

×