Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Music signal separation using supervised nonnegative matrix factorization with orthogonality and maximum-divergence penalties (in Japanese)

614 views

Published on

Presented at 28th Signal Processing Symposium (SIP Symposium) (domestic conference)
Daichi Kitamura, Hiroshi Saruwatari, Kosuke Yagi, Kiyohiro Shikano, Yu Takahashi, Kazunobu Kondo, "Music signal separation using supervised nonnegative matrix factorization with orthogonality and maximum-divergence penalties," Proceedings of 28th Signal Processing Symposium (SIP Symposium), C1-4, pp.539-544, Yamaguchi, November 2013 (信号処理若手奨励賞受賞).

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Music signal separation using supervised nonnegative matrix factorization with orthogonality and maximum-divergence penalties (in Japanese)

  1. 1. Music Signal Separation Using Supervised Nonnegative Matrix Factorization with Orthogonality and Maximum-divergence Penalties 直交化及び距離最大化則条件を用いた 教師あり非負値行列因子分解による音楽信号分離 北村大地, 猿渡洋, 八木浩介, 鹿野清宏 (奈良先端科学技術大学院大学) 高橋祐, 近藤多伸 (ヤマハ株式会社)
  2. 2. 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 2
  3. 3. 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 3
  4. 4. • 音源分離技術 – 複数の音源が混合された信号を個々の音源に分離する信号処理 – 音声と雑音の分離,個々の音源の編集,音拡張現実感への基盤技術 • 代表的な音源分離方法 – 時間-周波数表現されたスペクトログラム上で音源ごとに分解 研究背景 特定音源の 分離・抽出 Time Frequency 2つの音が存在 最初の音 2番目の音 分離 4
  5. 5. 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 5
  6. 6. • 非負値行列因子分解 (nonnegative matrix factorization: NMF) – スパース分解表現による特徴量抽出手法 • 分解された基底を音源毎に選別する教師無しNMFは非常に困難 従来手法: 非負値行列因子分解 [Lee, et al., 2012] Amplitude Amplitude 観測行列 (スペクトログラム) 基底行列 (頻出スペクトルパターン) アクティベーション行列 (時間的なゲイン変化) Time Ω: 周波数ビン数 𝑇: 時間フレーム数 𝐾: 基底数 Time Frequency Frequency 6 パーツ,基底
  7. 7. 従来手法: 教師ありNMF (SNMF) [Smaragdis, et al., 2007] • 分離したい目的音の教師 (サンプル) 音を事前に学習 – 学習プロセスで教師スペクトル基底 (dictionary) を作成 – 分離プロセスで目的音 と,非目的音 に分離 分離プロセス 最適化 学習プロセス 教師音から作成した教師スペクトル基底分離目的音の教師音 7 固定 音階情報等 目的音 非目的音混合音
  8. 8. 従来手法の問題点 • SNMFにおける基底共有問題 – 教師基底 とその他の基底 の間には特に制約が無い – 目的音のスペクトルがその他の基底 に現れる可能性がある – 推定した目的音には欠損が生じる – コスト関数が混合信号 と の距離のみで定義さ れているため 8 推定目的音 推定非目的音本来の目的信号 その他の基底 に教師と同じスペクトルが現れた場合
  9. 9. 基底共有問題: SNMFによる分離例 9 目的音のみの 信号 (理想) 混合信号 従来手法 SNMFで 分離
  10. 10. 基底共有問題: SNMFによる分離例 10 非目的音 目的音のみの 信号 (理想) 混合信号 従来手法 SNMFで 分離
  11. 11. 基底共有問題: SNMFによる分離例 11 目的音のみの 信号 (理想) 混合信号 分離信号 分離信号には目的成分 の欠損が生じている 従来手法 SNMFで 分離
  12. 12. 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 12
  13. 13. 提案手法: 罰則条件付きSNMF • 教師と同じスペクトル基底がその他の基底に現れる • その他の基底 を教師基底 と (できるだけ) 無相関に する罰則条件をコスト関数に付与する • 罰則条件付きSNMF (Penalized SNMF: PSNMF) 13 基底共有問題が発生,分離した目的音が欠落 目的音 非目的音混合音 固定 なるべく と無相関となるように最適化
  14. 14. SNMFの分解モデルとコスト関数 14 分解モデル: SNMFのコスト関数: 一般化距離関数: -divergence [Eguchi, et al., 2001] 教師基底 (固定)
  15. 15. PSNMFの分解モデルとコスト関数 15 無相関にする罰則項を付与 2種類の罰則項を提案する 分解モデル: SNMFのコスト関数: PSNMFのコスト関数: 教師基底 (固定)
  16. 16. 基底直交化罰則条件 • 教師基底 とその他の基底 の内積ができるだけ小さ くなる を求める – 類似した基底が現れると は大きな値になる • 基底は全て周波数方向の総和が1になる制限を与える – NMFにおけるスケールの任意性を無くすため • コスト関数に付与する際に重み係数 を与える 16 通常のNMFは スケールが任意
  17. 17. 基底間距離最大化罰則条件 • 教師基底 とできるだけ遠いその他の基底 を求める – 類似した基底が現れると距離値は小さな値になる • 基底は全て周波数方向の総和が1になる制限を与える • コスト関数に付与する際に負号を反転した指数関数とし 重み係数 と感度パラメータ を与える – NMF項と合わせて罰則項も最小化問題とするため – 罰則項の最小値を0とするため 17
  18. 18. PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める • 導出には補助関数法を用いる – コスト関数 の上限を与える補助関数 を定義 – 補助変数と目的変数を交互に最小化してコスト関数を間接的に 最小化 – と の補助関数を設計する 18
  19. 19. PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める • 第二項と第三項は の値に応じて凸関数 (Convex) か 凹関数 (Concave) になる – 凸関数: Jensenの不等式 – 凹関数: 接線不等式 19 但し,
  20. 20. PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める • 常に凸関数になる – 凸関数: Jensenの不等式 20 但し, は補助変数
  21. 21. PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める • 設計した補助関数 を各変数で偏微分 21
  22. 22. PSNMFの最適化更新式 • 直交化罰則条件の更新式 22 但し,
  23. 23. PSNMFの最適化更新式 • 距離最大化罰則条件の更新式 23 但し,
  24. 24. 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 24
  25. 25. • MIDI信号で作成したモノラル音源 • Clarinet, Oboe, Piano, Celloの4種類 • 2音源混合と4音源混合の信号で評価 – 2音源は全12パターン,4音源は全4パターンの平均評価値を算出 • 教師音は分離目的音の音域をカバーする同じMIDIの音階情報 実験条件 25 教師用 音源信号 目的音源の音域をカバーする2オクターブの24音階
  26. 26. • その他の実験条件 • 評価値はSDRを用いる [Vincent, 2006] – 分離した目的音の音質や分離度合を含む総合的な品質の尺度 – 値が大きい方が良い 実験条件 観測信号 2音源混合及び4音源混合した信号 教師信号 目的音源と同じMIDI信号で音域をカバーす る2オクターブの24音階からなる信号 距離規範 の全ての組み合わせ 基底数 教師基底 : 100, その他の基底 : 50 重み係数 実験的に調整して定めた値 比較手法 従来手法のSNMFと提案手法PSNMF 26
  27. 27. 0 2 4 6 8 10 12 14 16 SDR[dB] 0 2 4 6 8 10 12 14 16 SDR[dB] 0 2 4 6 8 10 12 14 16 SDR[dB] • 全12パターンの平均評価値を算出 • 全ての において従来手法から大きく改善された – 基底共有問題を防ぐことができたため – 直交化罰則と距離最大化罰則に大きな差はない 実験結果: 2音源混合 27 従来 SNMF PSNMF (直交化) PSNMF (距離最大化) PSNMF (直交化) PSNMF (距離最大化) PSNMF (直交化) PSNMF (距離最大化) 0 1 2 0 1 2 0 1 2 従来 SNMF 従来 SNMF
  28. 28. • 全4パターンの平均評価値を算出 • 2音源混合と同様に大きく改善された 0 2 4 6 8 10 12 14 SDR[dB] 0 2 4 6 8 10 12 14 SDR[dB] 0 2 4 6 8 10 12 14 SDR[dB] 実験結果: 4音源混合 28 PSNMF (直交化) PSNMF (距離最大化) PSNMF (直交化) PSNMF (距離最大化) PSNMF (直交化) PSNMF (距離最大化) 0 1 2 0 1 2 0 1 2 従来 SNMF 従来 SNMF 従来 SNMF
  29. 29. 直交化PSNMFによる分離例 (Cello と Oboe) 29 従来手法 SNMFで 分離 目的音のみ 混合信号 提案手法 直交化 PSNMF で分離
  30. 30. まとめ • 従来の教師ありNMFによる音源分離では,教師基底と 同じスペクトルがその他の基底に現れる基底共有問題 があった • その他の基底が教師基底とできるだけ無相関となるよう に最適化する罰則条件付き教師ありNMF (PSNMF) を 提案 – 基底直交化罰則条件と基底間距離最大化罰則条件を提案 • 従来手法と比較して高い精度で音源分離を達成 30

×