1. 半教師あり非負値行列因子分解における
音源分離性能向上のための効果的な基底学習法
Effective Basis Learning for Sound Source Separation by
Semi-Supervised Nonnegative Matrix Factorization
総合研究大学院大学
国立情報学研究所/総合研究大学院大学
東京大学
ヤマハ株式会社
ヤマハ株式会社
北村大地
小野順貴
猿渡洋
高橋祐
近藤多伸
応用音響（EA）研究会
7月8日(金) 午前 （10：10～11：50）
※本講演は2016年3月研究会の未発表分であり，
資料はEA2015-130に掲載されています

2. 発表内容
• 研究背景
– 音源分離技術と非負値行列因子分解（NMF）
• 従来手法
– 全教師ありNMFと半教師ありNMF
– 音源成分のスプリット問題
– 罰則条件付き半教師ありNMFと識別的全教師ありNMF
• 提案手法
– 再現用基底と分離用基底
– 識別用基底の学習アルゴリズム
• 実験
– 識別用基底学習の基礎実験
– 音楽信号を用いた音源分離実験
• まとめ 2

3. 発表内容
• 研究背景
– 音源分離技術と非負値行列因子分解（NMF）
• 従来手法
– 全教師ありNMFと半教師ありNMF
– 音源成分のスプリット問題
– 罰則条件付き半教師ありNMFと識別的全教師ありNMF
• 提案手法
– 再現用基底と分離用基底
– 識別用基底の学習アルゴリズム
• 実験
– 識別用基底学習の基礎実験
– 音楽信号を用いた音源分離実験
• まとめ 3

4. • 音源分離技術
– 複数の音源が混ざった信号を個々の音源に分離する信号処理
– 音声と雑音の分離，個々の音源の編集，音拡張現実感等
• 音源分離の基本的な処理
– 時間-周波数表現されたスペクトログラム上で音源ごとに分解
音源分離技術とは？
特定音源の
分離・抽出
Time
Frequency
2つの音が存在
最初の音
2番目の音
分離
4

5. 非負値行列因子分解 [Lee, 1999]
Amplitude
Amplitude
観測行列
(スペクトログラム)
基底行列
(頻出スペクトルパターン)
アクティベーション行列
(時間的なゲイン変化)
Time
Ω: 周波数ビン数
𝑇: 時間フレーム数
𝐾: 基底ベクトル数
Time
Frequency
Frequency
5
基底ベクトル
• 非負値行列因子分解 (nonnegative matrix factorization: NMF)
– 非負制約条件付き次元圧縮，有用な特徴量抽出法
– 非負制約によって暗にスパースな解が得られる傾向

6. 発表内容
• 研究背景
– 音源分離技術と非負値行列因子分解（NMF）
• 従来手法
– 全教師ありNMFと半教師ありNMF
– 音源成分のスプリット問題
– 罰則条件付き半教師ありNMFと識別的全教師ありNMF
• 提案手法
– 再現用基底と分離用基底
– 識別用基底の学習アルゴリズム
• 実験
– 識別用基底学習の基礎実験
– 音楽信号を用いた音源分離実験
• まとめ 6

7. • 全ての音源のスペクトル基底（音色の辞書）を事前学習
– 分離ステージでは各音源のアクティベーションのみを最適化
– 教師音は音源毎に必要
全教師ありNMF(full-supervised NMF) [Smaragdis, 2007]
分離ステージ 最適化
学習ステージ
7
固定 目的音1 目的音2観測（混合）音
，
固定
ピアノの基底 サックスの基底

8. • 分離したい音源のみの教師基底を事前学習
– 分離ステージでは非目的音用の基底と各成分のアクティベー
ションを同時に最適化
半教師ありNMF(semi-supervised NMF) [Smaragdis, 2007]
最適化
教師音から作成した目的音基底分離目的音の教師音
8
目的音 非目的音固定観測（混合）音
分離ステージ
学習ステージ

9. 教師ありNMFにおける音源分離の根本的な問題
• 教師ありNMFの分離ステージのコスト関数は
「混合音をどれだけよく表現できるか」であり
「各音源をどれだけよく分離できるか」とはなっていない
• 非目的音基底に目的音成分が混入する例
9
赤色が目的音の成分
Frequency
Basis index
Frequency
Basis index
非目的音基底 には
何の制約もないため，
目的音成分の一部を
含んでしまうことがある

10. 半教師ありNMFにおける効果的な基底学習
• Penalized semi-supervised NMF [Kitamura, et al., 2013]
– 半教師ありNMFにおいて，非目的音用の基底 が教師基底
と出来るだけ無相関となる罰則条件を追加
– 分離精度を大きく向上（目的信号成分のスプリットを防ぐ）
10
コスト関数:
直交化罰則項
事前学習した目的音基底（固定） 最適化変数
依然として，教師基底 がその他の音源成分（非目的音）を表
現する問題は解決されていない

11. • 分離ステージには「音源をできるだけ分離する」というコ
ストがない
• 学習ステージの段階で，できるだけ他の音源の成分を表
さない教師基底 を得ることが望ましい
本研究のモチベーション
11
「目的音源は表現するが他の音源は表現しない」
ような識別的な基底の学習が必要
（半教師ありNMFにも全教師ありNMFにも必要）
「目的音源をよく表現する基底」
しか学習できない
「混合信号の表現度合」
しか考慮されない

12. 従来手法：識別的な目的音基底の学習
• 全教師ありNMFにおいては識別的基底の学習が既に提
案されている [Sprechmann, et al., 2014], [Weninger, et al., 2014]
– 学習ステージで仮の混合信号 を作成しそれを分離す
るアクティベーションを用いて基底を学習する
– 最適化の制約条件の中に最適化（bilevel optimization）
– 各音源の基底は「目的音の正確な表現」と「他音源との識別性
能の最大化」の二つの目的を満たすように学習される
– 従来手法は，上記の二段階最適化を提案しながらも解けない
ので，交互最適化での近似や簡略化した目的関数を解く
12
s.t.

13. 発表内容
• 研究背景
– 音源分離技術と非負値行列因子分解（NMF）
• 従来手法
– 全教師ありNMFと半教師ありNMF
– 音源成分のスプリット問題
– 罰則条件付き半教師ありNMFと識別的全教師ありNMF
• 提案手法
– 再現用基底と分離用基底
– 識別用基底の学習アルゴリズム
• 実験
– 識別用基底学習の基礎実験
– 音楽信号を用いた音源分離実験
• まとめ 13

14. 本研究のアプローチ
• アプローチ
– 「目的音成分の正確な表現」と「他音源との識別性能を最大化」
の二つの目的を別の基底でそれぞれ実現
– 一つの目的音源に対して再現用基底 と識別用基底 の
二種類の教師基底を学習ステージで用意する
– 分離ステージでは識別用基底を用いて分離
– 推定されたアクティベーションと再現用基底で分離音を再構成
14

15. • 提案手法のアイデア
再現用基底と識別用基底の違い
15
Amp.
Frequency
Time
Frequency
（赤は目的音，青は非目的音を表す）
混合信号
として
Amp.
Frequency
Amp.
Frequency
Time
Frequency
Time
Amp.
Time
Amp.
混合信号
を推定すると
目的音と非目的音間で重複する成分
が識別性能劣化の原因
Amp.
Frequency
Time
Frequency
分離信号
Amp.
として
分離すると

16. • 提案手法のアイデア
再現用基底と識別用基底の違い
16
Time
Frequency
混合信号
として
を推定すると 重複成分を他の基底に任せて目的音源
固有の周波数成分だけ持てば識別的
（アクティベーションは変わらない）
Amp.
Frequency
Time
Frequency
分離信号
Amp.
として
分離すると
Amp.
Frequency
Amp.Amp.
Amp.
Frequency
Amp.
Frequency
Time
Frequency
Time
Time
Amp.
Amp.
Frequency
Time
（赤は目的音，青は非目的音を表す）

17. 提案法の利点と半教師ありNMFへの応用
• 提案法の利点
– 「目的音の正確な表現」と「他音源との識別性能の最大化」の
両立を一つの教師基底で試みている
– 変数が複雑に絡む二段階最適 困難
– 実用的なことを考えると，目的音の教師信号だけを用いる「半
教師ありNMF」の方が望ましい
• 半教師ありNMFへの適用
– 目的音の教師信号 に対して混合しうる信号（非目的音の候
補信号） を用意
• 両者の混合 で目的音のスペクトルのどの帯域が他音源と重
なりやすいかを学習し識別用目的音基底 を作成
• 混合候補信号 は観測信号 内の（真の）非目的音 と同種の音
源でなくても良い
• 「同じ調の楽曲の別の楽器音による旋律や和音」等が好適
17

18. アルゴリズム
• 学習ステージ
• 分離ステージ
18
識別用教師基底を固定
固定
再現用基底
識別用基底

19. 発表内容
• 研究背景
– 音源分離技術と非負値行列因子分解（NMF）
• 従来手法
– 全教師ありNMFと半教師ありNMF
– 音源成分のスプリット問題
– 罰則条件付き半教師ありNMFと識別的全教師ありNMF
• 提案手法
– 再現用基底と分離用基底
– 識別用基底の学習アルゴリズム
• 実験
– 識別用基底学習の基礎実験
– 音楽信号を用いた音源分離実験
• まとめ 19

20. 識別用基底学習の基礎実験
• MIDI音源（Garritan Personal Orchestra 4）で生成した
Pf.音（C5）とFl.音（C6）の2音を時間差付きで混合
• Pf.音（C5）を として再現用基底 を学習
– 基底数は1本のみ
20
-100
-80
-60
-40
-20
0
20
Power[dB]
543210
Frequency [kHz]
学習された再現用教師基底（Pf.）

21. 分離用基底学習の基礎実験
• Pf.音（C5）を ，Fl.音（C6）を として識別用教師基
底 を学習（反復50回）
– 基底 の基底数は2本
21
-100
-80
-60
-40
-20
0
20
Power[dB]
543210
Frequency [kHz]
-100
-80
-60
-40
-20
0
20
Power[dB]
543210
Frequency [kHz]
学習された識別用目的音基底（Pf.）
その他の基底 （Fl.）
スペクトルがぶつかる
成分にノッチが生じて
おり，識別的な学習
が進んだことが確認
できる

22. • データセット（SiSEC201１，プロ音楽信号）
– 下記の4種類の楽曲で2楽器の音源を混合
• 4-fold cross-validationを行う
SiSEC201１の楽曲の実験: 条件
22
楽曲No. 楽曲名 混合音源（1/2）
１ bearlin-roads Gt. / Dr.
2 tamy-que pena tanto faz Gt. / Vo.
3 another dreamer-the ones we love Dr. / Gt.
4 ultimate nz tour Gt. / Synth.
音源1
音源2
（ がテスト区間の例）

23. • その他の実験条件
– 短時間フーリエ変換（STFT）の設定
• 92msのハミング窓，シフト量46ms
– NMFは振幅スペクトログラムの一般化KLD基準
– 再現用基底学習ステップと分離ステージの反復回数は1000回
– 識別用基底学習ステップは0～100回でそれぞれの性能を確認
– NMFの基底数は全て35本
MUS100の楽曲の実験: 条件
23
再現用基底
学習ステップ
識別用基底
学習ステップ
分離
ステージ
学習
ステージ

24. • 楽曲1の結果
SiSEC201１の楽曲の実験: 結果
24
音源1（Gt.） 音源2（Dr.）
20
18
16
14
12
10
8
6
4
2
0
SDRimprovement[dB]
1009080706050403020100
分離用基底学習ステップの反復回数 [回]
0回目が従来手法（通常の半教師ありNMF）
0回目が従来手法（通常の半教師ありNMF）

25. • 楽曲2の結果
SiSEC201１の楽曲の実験: 結果
25
音源1（Gt.） 音源2（Vo.）
12
10
8
6
4
2
0
SDRimprovement[dB]
1009080706050403020100
分離用基底学習ステップの反復回数 [回]

26. • 楽曲3の結果
SiSEC201１の楽曲の実験: 結果
26
音源1（Dr.） 音源2（Gt.）
14
12
10
8
6
4
2
0
SDRimprovement[dB]
1009080706050403020100
分離用基底学習ステップの反復回数 [回]

27. • 楽曲4の結果
SiSEC201１の楽曲の実験: 結果
27
音源1（Gt.） 音源2（Synth.）
12
10
8
6
4
2
0
SDRimprovement[dB]
1009080706050403020100
分離用基底学習ステップの反復回数 [回]

28. まとめ
• 目的: 半教師ありNMFにおける分離精度向上
– 識別的な教師基底の学習法
– （但し，提案法は全教師ありにも応用可）
• 一つの音源に対して再現用基底と識別用基底の2種の
基底を学習
– 再現用基底: 全スペクトル成分を保持
– 識別用基底: 対象となる音源固有の成分のみを保持
• いくつかの実験例において分離精度の向上を確認
– 「目的音源を正確に表現する基底が最高の分離性能を与える
とは限らない」という事実を実証
• 現状の問題: アルゴリズムの収束時が最高性能でない
– Stopping criteriaの検討 or 別の識別用基底学習アルゴリズム
の検討
28