1. Music Signal Separation Using Supervised
Nonnegative Matrix Factorization with Orthogonality
and Maximum-divergence Penalties
直交化及び距離最大化則条件を用いた
教師あり非負値行列因子分解による音楽信号分離
北村大地, 猿渡洋, 八木浩介, 鹿野清宏
（奈良先端科学技術大学院大学）
高橋祐, 近藤多伸
（ヤマハ株式会社）

2. 発表の流れ
• 研究背景
• 従来手法
– 非負値行列因子分解
– 教師あり非負値行列因子分解
– 従来手法の問題点
• 提案手法
– 罰則条件付き教師あり非負値行列因子分解
• 基底直交化罰則条件
• 基底間距離最大化罰則条件
• 評価実験
– 2音源混合信号
– 4音源混合信号
• まとめ
2

3. 発表の流れ
• 研究背景
• 従来手法
– 非負値行列因子分解
– 教師あり非負値行列因子分解
– 従来手法の問題点
• 提案手法
– 罰則条件付き教師あり非負値行列因子分解
• 基底直交化罰則条件
• 基底間距離最大化罰則条件
• 評価実験
– 2音源混合信号
– 4音源混合信号
• まとめ
3

4. 研究背景
• 音源分離技術
– 複数の音源が混合された信号を個々の音源に分離する信号処理
– 音声と雑音の分離，個々の音源の編集，音拡張現実感への基盤技術
特定音源の
分離・抽出
• 代表的な音源分離方法
– 時間-周波数表現されたスペクトログラム上で音源ごとに分解
Frequency
分離
最初の音
Time
2つの音が存在
2番目の音
4

5. 発表の流れ
• 研究背景
• 従来手法
– 非負値行列因子分解
– 教師あり非負値行列因子分解
– 従来手法の問題点
• 提案手法
– 罰則条件付き教師あり非負値行列因子分解
• 基底直交化罰則条件
• 基底間距離最大化罰則条件
• 評価実験
– 2音源混合信号
– 4音源混合信号
• まとめ
5

6. 従来手法: 非負値行列因子分解
[Lee, et al., 2012]
• 非負値行列因子分解 (nonnegative matrix factorization: NMF)
Amplitude
Frequency
Frequency
– スパース分解表現による特徴量抽出手法
Amplitude
Time
観測行列
(スペクトログラム)
Time
パーツ，基底
アクティベーション行列
(時間的なゲイン変化)
基底行列
(頻出スペクトルパターン)
Ω: 周波数ビン数
𝑇: 時間フレーム数
𝐾: 基底数
• 分解された基底を音源毎に選別する教師無しNMFは非常に困難
6

7. 従来手法: 教師ありNMF (SNMF) [Smaragdis, et al., 2007]
• 分離したい目的音の教師 (サンプル) 音を事前に学習
– 学習プロセスで教師スペクトル基底 (dictionary) を作成
– 分離プロセスで目的音
と，非目的音
に分離
学習プロセス
音階情報等
分離目的音の教師音
教師音から作成した教師スペクトル基底
最適化
分離プロセス
混合音
固定
目的音
非目的音
7

8. 従来手法の問題点
• SNMFにおける基底共有問題
– 教師基底 とその他の基底 の間には特に制約が無い
– 目的音のスペクトルがその他の基底 に現れる可能性がある
その他の基底
に教師と同じスペクトルが現れた場合
本来の目的信号
推定目的音
– 推定した目的音には欠損が生じる
– コスト関数が混合信号 と
れているため
推定非目的音
の距離のみで定義さ
8

9. 基底共有問題: SNMFによる分離例
従来手法
SNMFで
分離
混合信号
目的音のみの
信号 (理想)
9

10. 基底共有問題: SNMFによる分離例
非目的音
従来手法
SNMFで
分離
混合信号
目的音のみの
信号 (理想)
10

11. 基底共有問題: SNMFによる分離例
従来手法
SNMFで
分離
混合信号
目的音のみの
信号 (理想)
分離信号
分離信号には目的成分
の欠損が生じている
11

12. 発表の流れ
• 研究背景
• 従来手法
– 非負値行列因子分解
– 教師あり非負値行列因子分解
– 従来手法の問題点
• 提案手法
– 罰則条件付き教師あり非負値行列因子分解
• 基底直交化罰則条件
• 基底間距離最大化罰則条件
• 評価実験
– 2音源混合信号
– 4音源混合信号
• まとめ
12

13. 提案手法: 罰則条件付きSNMF
• 教師と同じスペクトル基底がその他の基底に現れる
基底共有問題が発生，分離した目的音が欠落
• その他の基底 を教師基底 と (できるだけ) 無相関に
する罰則条件をコスト関数に付与する
• 罰則条件付きSNMF (Penalized SNMF: PSNMF)
混合音
固定
なるべく
目的音
非目的音
と無相関となるように最適化
13

14. SNMFの分解モデルとコスト関数
分解モデル:
教師基底 (固定)
SNMFのコスト関数:
一般化距離関数:
-divergence
[Eguchi, et al., 2001]
14

15. PSNMFの分解モデルとコスト関数
分解モデル:
教師基底 (固定)
SNMFのコスト関数:
PSNMFのコスト関数:
無相関にする罰則項を付与
2種類の罰則項を提案する
15

16. 基底直交化罰則条件
• 教師基底 とその他の基底
くなる を求める
– 類似した基底が現れると
の内積ができるだけ小さ
は大きな値になる
• 基底は全て周波数方向の総和が1になる制限を与える
– NMFにおけるスケールの任意性を無くすため
• コスト関数に付与する際に重み係数
通常のNMFは
スケールが任意
を与える
16

17. 基底間距離最大化罰則条件
• 教師基底
とできるだけ遠いその他の基底
を求める
– 類似した基底が現れると距離値は小さな値になる
• 基底は全て周波数方向の総和が1になる制限を与える
• コスト関数に付与する際に負号を反転した指数関数とし
重み係数 と感度パラメータ を与える
– NMF項と合わせて罰則項も最小化問題とするため
– 罰則項の最小値を0とするため
17

18. PSNMFの最適化更新式の導出
• コスト関数を最小化する変数
を求める
• 導出には補助関数法を用いる
– コスト関数
の上限を与える補助関数
を定義
– 補助変数と目的変数を交互に最小化してコスト関数を間接的に
最小化
–
と
の補助関数を設計する
18

19. PSNMFの最適化更新式の導出
• コスト関数を最小化する変数
を求める
但し，
• 第二項と第三項は の値に応じて凸関数 (Convex) か
凹関数 (Concave) になる
– 凸関数: Jensenの不等式
– 凹関数: 接線不等式
19

20. PSNMFの最適化更新式の導出
• コスト関数を最小化する変数
を求める
但し，
は補助変数
• 常に凸関数になる
– 凸関数: Jensenの不等式
20

21. PSNMFの最適化更新式の導出
• コスト関数を最小化する変数
• 設計した補助関数
を求める
を各変数で偏微分
21

22. PSNMFの最適化更新式
• 直交化罰則条件の更新式
但し，
22

23. PSNMFの最適化更新式
• 距離最大化罰則条件の更新式
但し，
23

24. 発表の流れ
• 研究背景
• 従来手法
– 非負値行列因子分解
– 教師あり非負値行列因子分解
– 従来手法の問題点
• 提案手法
– 罰則条件付き教師あり非負値行列因子分解
• 基底直交化罰則条件
• 基底間距離最大化罰則条件
• 評価実験
– 2音源混合信号
– 4音源混合信号
• まとめ
24

25. 実験条件
• MIDI信号で作成したモノラル音源
• Clarinet, Oboe, Piano, Celloの4種類
• 2音源混合と4音源混合の信号で評価
– 2音源は全12パターン，4音源は全4パターンの平均評価値を算出
• 教師音は分離目的音の音域をカバーする同じMIDIの音階情報
教師用
音源信号
目的音源の音域をカバーする2オクターブの24音階
25

26. 実験条件
• その他の実験条件
観測信号
教師信号
距離規範
基底数
重み係数
比較手法
2音源混合及び4音源混合した信号
目的音源と同じMIDI信号で音域をカバーす
る2オクターブの24音階からなる信号
の全ての組み合わせ
教師基底 : 100, その他の基底 : 50
実験的に調整して定めた値
従来手法のSNMFと提案手法PSNMF
• 評価値はSDRを用いる [Vincent, 2006]
– 分離した目的音の音質や分離度合を含む総合的な品質の尺度
– 値が大きい方が良い
26

27. 実験結果: 2音源混合
• 全12パターンの平均評価値を算出
16
16
14
14
8 従来
SNMF
6
16
14
12
12
10
PSNMF
PSNMF (距離最大化)
(直交化)
10
SDR [dB]
SDR [dB]
10
PSNMF PSNMF
(直交化) (距離最大化)
SDR [dB]
12
PSNMF PSNMF
(直交化) (距離最大化)
8
6
従来
SNMF
従来
8 SNMF
6
4
4
2
2
2
0
0
0
0
• 全ての
1
2
4
0
1
2
0
1
2
において従来手法から大きく改善された
– 基底共有問題を防ぐことができたため
– 直交化罰則と距離最大化罰則に大きな差はない
27

28. 実験結果: 4音源混合
• 全4パターンの平均評価値を算出
14
14
12
12
従来
8 SNMF
14
PSNMF
PSNMF (距離最大化)
(直交化)
10
従来
8 SNMF
12
SDR [dB]
6
10
SDR [dB]
SDR [dB]
PSNMF PSNMF
10 (直交化) (距離最大化)
従来
8 SNMF
PSNMF PSNMF
(直交化) (距離最大化)
6
6
4
4
4
2
2
2
0
0
0
0
1
2
0
1
2
0
1
2
• 2音源混合と同様に大きく改善された
28

29. 直交化PSNMFによる分離例 (Cello と Oboe)
従来手法
SNMFで
分離
混合信号
提案手法
直交化
PSNMF
で分離
目的音のみ
29

30. 直交化PSNMFによる4音源分離例 (Clarinet)
従来手法
SNMFで
分離
混合信号
提案手法
直交化
PSNMF
で分離
目的音のみ
30

31. まとめ
• 従来の教師ありNMFによる音源分離では，教師基底と
同じスペクトルがその他の基底に現れる基底共有問題
があった
• その他の基底が教師基底とできるだけ無相関となるよう
に最適化する罰則条件付き教師ありNMF (PSNMF) を
提案
– 基底直交化罰則条件と基底間距離最大化罰則条件を提案
• 従来手法と比較して高い精度で音源分離を達成
31