Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Music Signal Separation Using Supervised
Nonnegative Matrix Factorization with Orthogonality
and Maximum-divergence Penalt...
発表の流れ
• 研究背景
• 従来手法
– 非負値行列因子分解
– 教師あり非負値行列因子分解
– 従来手法の問題点

• 提案手法
– 罰則条件付き教師あり非負値行列因子分解
• 基底直交化罰則条件
• 基底間距離最大化罰則条件

• 評価実...
発表の流れ
• 研究背景
• 従来手法
– 非負値行列因子分解
– 教師あり非負値行列因子分解
– 従来手法の問題点

• 提案手法
– 罰則条件付き教師あり非負値行列因子分解
• 基底直交化罰則条件
• 基底間距離最大化罰則条件

• 評価実...
研究背景
• 音源分離技術
– 複数の音源が混合された信号を個々の音源に分離する信号処理
– 音声と雑音の分離,個々の音源の編集,音拡張現実感への基盤技術
特定音源の
分離・抽出

• 代表的な音源分離方法
– 時間-周波数表現されたスペクトロ...
発表の流れ
• 研究背景
• 従来手法
– 非負値行列因子分解
– 教師あり非負値行列因子分解
– 従来手法の問題点

• 提案手法
– 罰則条件付き教師あり非負値行列因子分解
• 基底直交化罰則条件
• 基底間距離最大化罰則条件

• 評価実...
従来手法: 非負値行列因子分解

[Lee, et al., 2012]

• 非負値行列因子分解 (nonnegative matrix factorization: NMF)

Amplitude

Frequency

Frequency...
従来手法: 教師ありNMF (SNMF) [Smaragdis, et al., 2007]
• 分離したい目的音の教師 (サンプル) 音を事前に学習
– 学習プロセスで教師スペクトル基底 (dictionary) を作成
– 分離プロセスで目...
従来手法の問題点
• SNMFにおける基底共有問題
– 教師基底 とその他の基底 の間には特に制約が無い
– 目的音のスペクトルがその他の基底 に現れる可能性がある

その他の基底

に教師と同じスペクトルが現れた場合

本来の目的信号

推定...
基底共有問題: SNMFによる分離例

従来手法
SNMFで
分離
混合信号

目的音のみの
信号 (理想)

9
基底共有問題: SNMFによる分離例

非目的音

従来手法
SNMFで
分離
混合信号

目的音のみの
信号 (理想)

10
基底共有問題: SNMFによる分離例

従来手法
SNMFで
分離
混合信号

目的音のみの
信号 (理想)

分離信号
分離信号には目的成分
の欠損が生じている

11
発表の流れ
• 研究背景
• 従来手法
– 非負値行列因子分解
– 教師あり非負値行列因子分解
– 従来手法の問題点

• 提案手法
– 罰則条件付き教師あり非負値行列因子分解
• 基底直交化罰則条件
• 基底間距離最大化罰則条件

• 評価実...
提案手法: 罰則条件付きSNMF
• 教師と同じスペクトル基底がその他の基底に現れる
基底共有問題が発生,分離した目的音が欠落
• その他の基底 を教師基底 と (できるだけ) 無相関に
する罰則条件をコスト関数に付与する
• 罰則条件付きSN...
SNMFの分解モデルとコスト関数
分解モデル:
教師基底 (固定)

SNMFのコスト関数:
一般化距離関数:

-divergence

[Eguchi, et al., 2001]

14
PSNMFの分解モデルとコスト関数
分解モデル:
教師基底 (固定)

SNMFのコスト関数:

PSNMFのコスト関数:

無相関にする罰則項を付与

2種類の罰則項を提案する
15
基底直交化罰則条件
• 教師基底 とその他の基底
くなる を求める

– 類似した基底が現れると

の内積ができるだけ小さ

は大きな値になる

• 基底は全て周波数方向の総和が1になる制限を与える

– NMFにおけるスケールの任意性を無くす...
基底間距離最大化罰則条件
• 教師基底

とできるだけ遠いその他の基底

を求める

– 類似した基底が現れると距離値は小さな値になる

• 基底は全て周波数方向の総和が1になる制限を与える
• コスト関数に付与する際に負号を反転した指数関数と...
PSNMFの最適化更新式の導出
• コスト関数を最小化する変数

を求める

• 導出には補助関数法を用いる
– コスト関数
の上限を与える補助関数
を定義
– 補助変数と目的変数を交互に最小化してコスト関数を間接的に
最小化
–
と
の補助関...
PSNMFの最適化更新式の導出
• コスト関数を最小化する変数

を求める

但し,

• 第二項と第三項は の値に応じて凸関数 (Convex) か
凹関数 (Concave) になる
– 凸関数: Jensenの不等式
– 凹関数: 接線不...
PSNMFの最適化更新式の導出
• コスト関数を最小化する変数

を求める

但し,

は補助変数

• 常に凸関数になる
– 凸関数: Jensenの不等式

20
PSNMFの最適化更新式の導出
• コスト関数を最小化する変数

• 設計した補助関数

を求める

を各変数で偏微分

21
PSNMFの最適化更新式
• 直交化罰則条件の更新式

但し,

22
PSNMFの最適化更新式
• 距離最大化罰則条件の更新式

但し,

23
発表の流れ
• 研究背景
• 従来手法
– 非負値行列因子分解
– 教師あり非負値行列因子分解
– 従来手法の問題点

• 提案手法
– 罰則条件付き教師あり非負値行列因子分解
• 基底直交化罰則条件
• 基底間距離最大化罰則条件

• 評価実...
実験条件
• MIDI信号で作成したモノラル音源
• Clarinet, Oboe, Piano, Celloの4種類
• 2音源混合と4音源混合の信号で評価
– 2音源は全12パターン,4音源は全4パターンの平均評価値を算出

• 教師音は分...
実験条件
• その他の実験条件
観測信号
教師信号
距離規範
基底数
重み係数
比較手法

2音源混合及び4音源混合した信号
目的音源と同じMIDI信号で音域をカバーす
る2オクターブの24音階からなる信号
の全ての組み合わせ
教師基底 : 1...
実験結果: 2音源混合
• 全12パターンの平均評価値を算出
16

16

14

14

8 従来
SNMF
6

16
14

12

12

10

PSNMF
PSNMF (距離最大化)
(直交化)

10

SDR [dB]

SD...
実験結果: 4音源混合
• 全4パターンの平均評価値を算出
14

14

12

12

従来
8 SNMF

14

PSNMF
PSNMF (距離最大化)
(直交化)
10
従来
8 SNMF
12

SDR [dB]

6

10
SD...
直交化PSNMFによる分離例 (Cello と Oboe)

従来手法
SNMFで
分離
混合信号
提案手法
直交化
PSNMF
で分離

目的音のみ

29
直交化PSNMFによる4音源分離例 (Clarinet)

従来手法
SNMFで
分離
混合信号
提案手法
直交化
PSNMF
で分離

目的音のみ

30
まとめ
• 従来の教師ありNMFによる音源分離では,教師基底と
同じスペクトルがその他の基底に現れる基底共有問題
があった
• その他の基底が教師基底とできるだけ無相関となるよう
に最適化する罰則条件付き教師ありNMF (PSNMF) を
提案...
Upcoming SlideShare
Loading in …5
×

直交化及び距離最大化則条件を用いた教師あり非負値行列因子分解による音楽信号分離

5,331 views

Published on

Published in: Technology
  • Be the first to comment

直交化及び距離最大化則条件を用いた教師あり非負値行列因子分解による音楽信号分離

  1. 1. Music Signal Separation Using Supervised Nonnegative Matrix Factorization with Orthogonality and Maximum-divergence Penalties 直交化及び距離最大化則条件を用いた 教師あり非負値行列因子分解による音楽信号分離 北村大地, 猿渡洋, 八木浩介, 鹿野清宏 (奈良先端科学技術大学院大学) 高橋祐, 近藤多伸 (ヤマハ株式会社)
  2. 2. 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 2
  3. 3. 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 3
  4. 4. 研究背景 • 音源分離技術 – 複数の音源が混合された信号を個々の音源に分離する信号処理 – 音声と雑音の分離,個々の音源の編集,音拡張現実感への基盤技術 特定音源の 分離・抽出 • 代表的な音源分離方法 – 時間-周波数表現されたスペクトログラム上で音源ごとに分解 Frequency 分離 最初の音 Time 2つの音が存在 2番目の音 4
  5. 5. 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 5
  6. 6. 従来手法: 非負値行列因子分解 [Lee, et al., 2012] • 非負値行列因子分解 (nonnegative matrix factorization: NMF) Amplitude Frequency Frequency – スパース分解表現による特徴量抽出手法 Amplitude Time 観測行列 (スペクトログラム) Time パーツ,基底 アクティベーション行列 (時間的なゲイン変化) 基底行列 (頻出スペクトルパターン) Ω: 周波数ビン数 𝑇: 時間フレーム数 𝐾: 基底数 • 分解された基底を音源毎に選別する教師無しNMFは非常に困難 6
  7. 7. 従来手法: 教師ありNMF (SNMF) [Smaragdis, et al., 2007] • 分離したい目的音の教師 (サンプル) 音を事前に学習 – 学習プロセスで教師スペクトル基底 (dictionary) を作成 – 分離プロセスで目的音 と,非目的音 に分離 学習プロセス 音階情報等 分離目的音の教師音 教師音から作成した教師スペクトル基底 最適化 分離プロセス 混合音 固定 目的音 非目的音 7
  8. 8. 従来手法の問題点 • SNMFにおける基底共有問題 – 教師基底 とその他の基底 の間には特に制約が無い – 目的音のスペクトルがその他の基底 に現れる可能性がある その他の基底 に教師と同じスペクトルが現れた場合 本来の目的信号 推定目的音 – 推定した目的音には欠損が生じる – コスト関数が混合信号 と れているため 推定非目的音 の距離のみで定義さ 8
  9. 9. 基底共有問題: SNMFによる分離例 従来手法 SNMFで 分離 混合信号 目的音のみの 信号 (理想) 9
  10. 10. 基底共有問題: SNMFによる分離例 非目的音 従来手法 SNMFで 分離 混合信号 目的音のみの 信号 (理想) 10
  11. 11. 基底共有問題: SNMFによる分離例 従来手法 SNMFで 分離 混合信号 目的音のみの 信号 (理想) 分離信号 分離信号には目的成分 の欠損が生じている 11
  12. 12. 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 12
  13. 13. 提案手法: 罰則条件付きSNMF • 教師と同じスペクトル基底がその他の基底に現れる 基底共有問題が発生,分離した目的音が欠落 • その他の基底 を教師基底 と (できるだけ) 無相関に する罰則条件をコスト関数に付与する • 罰則条件付きSNMF (Penalized SNMF: PSNMF) 混合音 固定 なるべく 目的音 非目的音 と無相関となるように最適化 13
  14. 14. SNMFの分解モデルとコスト関数 分解モデル: 教師基底 (固定) SNMFのコスト関数: 一般化距離関数: -divergence [Eguchi, et al., 2001] 14
  15. 15. PSNMFの分解モデルとコスト関数 分解モデル: 教師基底 (固定) SNMFのコスト関数: PSNMFのコスト関数: 無相関にする罰則項を付与 2種類の罰則項を提案する 15
  16. 16. 基底直交化罰則条件 • 教師基底 とその他の基底 くなる を求める – 類似した基底が現れると の内積ができるだけ小さ は大きな値になる • 基底は全て周波数方向の総和が1になる制限を与える – NMFにおけるスケールの任意性を無くすため • コスト関数に付与する際に重み係数 通常のNMFは スケールが任意 を与える 16
  17. 17. 基底間距離最大化罰則条件 • 教師基底 とできるだけ遠いその他の基底 を求める – 類似した基底が現れると距離値は小さな値になる • 基底は全て周波数方向の総和が1になる制限を与える • コスト関数に付与する際に負号を反転した指数関数とし 重み係数 と感度パラメータ を与える – NMF項と合わせて罰則項も最小化問題とするため – 罰則項の最小値を0とするため 17
  18. 18. PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める • 導出には補助関数法を用いる – コスト関数 の上限を与える補助関数 を定義 – 補助変数と目的変数を交互に最小化してコスト関数を間接的に 最小化 – と の補助関数を設計する 18
  19. 19. PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める 但し, • 第二項と第三項は の値に応じて凸関数 (Convex) か 凹関数 (Concave) になる – 凸関数: Jensenの不等式 – 凹関数: 接線不等式 19
  20. 20. PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める 但し, は補助変数 • 常に凸関数になる – 凸関数: Jensenの不等式 20
  21. 21. PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 • 設計した補助関数 を求める を各変数で偏微分 21
  22. 22. PSNMFの最適化更新式 • 直交化罰則条件の更新式 但し, 22
  23. 23. PSNMFの最適化更新式 • 距離最大化罰則条件の更新式 但し, 23
  24. 24. 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 24
  25. 25. 実験条件 • MIDI信号で作成したモノラル音源 • Clarinet, Oboe, Piano, Celloの4種類 • 2音源混合と4音源混合の信号で評価 – 2音源は全12パターン,4音源は全4パターンの平均評価値を算出 • 教師音は分離目的音の音域をカバーする同じMIDIの音階情報 教師用 音源信号 目的音源の音域をカバーする2オクターブの24音階 25
  26. 26. 実験条件 • その他の実験条件 観測信号 教師信号 距離規範 基底数 重み係数 比較手法 2音源混合及び4音源混合した信号 目的音源と同じMIDI信号で音域をカバーす る2オクターブの24音階からなる信号 の全ての組み合わせ 教師基底 : 100, その他の基底 : 50 実験的に調整して定めた値 従来手法のSNMFと提案手法PSNMF • 評価値はSDRを用いる [Vincent, 2006] – 分離した目的音の音質や分離度合を含む総合的な品質の尺度 – 値が大きい方が良い 26
  27. 27. 実験結果: 2音源混合 • 全12パターンの平均評価値を算出 16 16 14 14 8 従来 SNMF 6 16 14 12 12 10 PSNMF PSNMF (距離最大化) (直交化) 10 SDR [dB] SDR [dB] 10 PSNMF PSNMF (直交化) (距離最大化) SDR [dB] 12 PSNMF PSNMF (直交化) (距離最大化) 8 6 従来 SNMF 従来 8 SNMF 6 4 4 2 2 2 0 0 0 0 • 全ての 1 2 4 0 1 2 0 1 2 において従来手法から大きく改善された – 基底共有問題を防ぐことができたため – 直交化罰則と距離最大化罰則に大きな差はない 27
  28. 28. 実験結果: 4音源混合 • 全4パターンの平均評価値を算出 14 14 12 12 従来 8 SNMF 14 PSNMF PSNMF (距離最大化) (直交化) 10 従来 8 SNMF 12 SDR [dB] 6 10 SDR [dB] SDR [dB] PSNMF PSNMF 10 (直交化) (距離最大化) 従来 8 SNMF PSNMF PSNMF (直交化) (距離最大化) 6 6 4 4 4 2 2 2 0 0 0 0 1 2 0 1 2 0 1 2 • 2音源混合と同様に大きく改善された 28
  29. 29. 直交化PSNMFによる分離例 (Cello と Oboe) 従来手法 SNMFで 分離 混合信号 提案手法 直交化 PSNMF で分離 目的音のみ 29
  30. 30. 直交化PSNMFによる4音源分離例 (Clarinet) 従来手法 SNMFで 分離 混合信号 提案手法 直交化 PSNMF で分離 目的音のみ 30
  31. 31. まとめ • 従来の教師ありNMFによる音源分離では,教師基底と 同じスペクトルがその他の基底に現れる基底共有問題 があった • その他の基底が教師基底とできるだけ無相関となるよう に最適化する罰則条件付き教師ありNMF (PSNMF) を 提案 – 基底直交化罰則条件と基底間距離最大化罰則条件を提案 • 従来手法と比較して高い精度で音源分離を達成 31

×