1. 一般化ガウス分布に基づく
非負値行列因子分解を用いた音楽音源分離
Music source separation using generalized-Gaussian-
distribution-based nonnegative matrix factorization
香川高専電気情報工学科 北村研究室
5年 田中 勇気
香川高専電気情報工学科 卒業研究発表会

2. • 音源分離とは
– 音声・雑音・歌声・楽器音・機械音等の音源を個々に分離する
– 人間の持つカクテルパーティ効果を機械で実現
• 「教師なし音源分離」と「教師あり音源分離」
– 教師なし：事前情報（ヒント）を使わない手法
– 教師あり：何らかの教師情報を活用する手法
研究背景
1
楽譜 各楽器の音色のサンプル 動画

3. 本研究の俯瞰
• 内容：音楽の教師あり音源分離
• 目的1：最新手法（GGD-NMF）の実験的調査
– 一部のパラメータでIS-NMFを上回る
– 最適なパラメータは楽器の種類に依存
• 目的2：音源分離精度の事前予測法の検討
– 混ざっている楽器間の音色の類似度に着目
– 類似度から最適パラメータを予測
2
[Kitamura, 2017]
GGD-NMF
IS-NMF
[Fevotte, 2009]
従来手法
最新手法

4. 音の時間周波数変換
• 短時間フーリエ変換（short-time Fourier transform: STFT）と非負化
– 一次元（時間）の信号を二次元（時間と周波数）の信号に変換
3
時間領域
窓関数
フーリエ変換長
シフト長
時間周波数領域
時間波形
…
離散フーリエ変換
離散フーリエ変換
離散フーリエ変換
スペクトログラム
複素数要素を持つ行列
周波数
時間
…
非負スペクトログラム
非負（ゼロ以上）の実数要素の行列
要素毎の
絶対値と𝑝乗 𝑿 .𝑝
X

5. 低ランク構造のモデリング手法
• 非負値行列因子分解（nonnegative matrix factorization: NMF）
– 非負制約付きの任意基底数（𝐾本）による低ランク近似
• 限られた数の非負基底ベクトルとそれらの非負係数を抽出
– STFTで得られる非負スペクトログラムに適用
• 頻出するスペクトルパターンとそれらの時間的な強度変化
4
Amplitude Amplitude
混合された観測行列
(非負スペクトログラム)
基底行列
(スペクトルパターン)
アクティベーション行列
(時間的強度変化)
Time
: 周波数ビン数
: 時間フレーム数
: 基底数
Time
Frequency
Frequency 基底 アクティベーション
W H
D 𝐼 × 𝐽 𝐼 × 𝐾 𝐾 × 𝐽
𝐼
𝐽
𝐼
𝐽
𝐾
𝐾
𝐼
𝐾
𝐽

6. • 教師ありNMF（supervised NMF）
教師ありNMFによる音源分離
5
𝑫1
𝑾1
𝑯1
𝑫2
𝑾2
𝑯2
arg min
𝑮1,𝑮2
D 𝒀||𝑾1𝑮1 + 𝑾2𝑮2
分離ステージ
𝒀
𝑾1 𝑾2
𝑮1 𝑮2
学習ステージで得られる
各楽器音の音色の辞書
𝑮1, 𝑮2のみ最適化
音色の辞書を学習
Y : 混合音楽
𝑫1 : 音階サンプル1
𝑫2 : 音階サンプル2
学習ステージ

7. • NMFにおける変数の最適化
– 非負行列𝑫とモデル間𝑾𝑯のダイバージェンスの最小化
– 距離関数は任意
• 例：二乗ユークリッド距離
• 非負行列𝑫またはその背後にある複素行列𝑿の
生成モデルを仮定した最尤推定と等価
• 例：二乗ユークリッド距離
NMFのパラメータ推定
6
min
𝑾,𝑯
D 𝑫||𝑾𝑯 s. t. 𝑤𝑖𝑘, ℎ𝑘𝑗 ≥ 0 ∀𝑖, 𝑗, 𝑘
𝜇𝑖𝑗 =
𝑘
𝑤𝑖𝑘ℎ𝑘𝑗
min
𝑾, 𝑯
𝑫 − 𝑾𝑯 Fr
2
0
0.5
-1 8
𝜇𝑖𝑗
𝑁 𝜇𝑖𝑗, 𝜎2
𝑑𝑖𝑗
𝑑𝑖𝑗が𝑁 𝜇𝑖𝑗, 𝜎2 から生成されると仮定
最尤となる平均値𝜇𝑖𝑗(= 𝑘 𝑤𝑖𝑘ℎ𝑘𝑗)を推定

8. • 最新の手法（GGD-NMF）で使われるダイバージェンス
– 上式の最小化は下記の生成モデルの最尤推定と等価
• 複素一般化ガウス分布（generalized Gaussian distribution: GGD)
GGD-NMFの生成モデル
7
𝑝 𝑿 =
𝑖,𝑗
𝑝 𝑥𝑖𝑗 =
𝜌
1−
2
𝜌
2
1−
2
𝜌𝜋 𝑘 𝑤𝑖𝑘ℎ𝑘𝑗
2
𝑝Γ
2
𝜌
exp −
2
𝜌
𝑥𝑖𝑗
𝑘 𝑤𝑖𝑘ℎ𝑘𝑗
1
𝑝
𝜌
𝜌：形状母数
複素GGD
の概形
min
𝑾,𝑯
𝑖=1
𝐼
𝑗=1
𝐽
1
𝜌
𝑑𝑖𝑗
𝑘 𝑤𝑖𝑘ℎ𝑘𝑗
𝜌
− log
𝑑𝑖𝑗
𝑘 𝑤𝑖𝑘ℎ𝑘𝑗
𝜌
− 1
s. t. 𝑤𝑖𝑘, ℎ𝑘𝑗 ≥ 0
∀𝑖, 𝑗, 𝑘
𝜌 = 2
𝜌 = 1 𝜌 = 4

9. • 実験に用いた音楽「songKitamura」データセット
• その他の実験条件
性能評価実験：条件
8
基底数 30 [本]
反復回数 200 [回]
サンプル周波数 44100 [Hz]
短時間Fourier変換 92.9 [ms] のハミング窓を窓長の1/2でシフト
初期値 0 ~ 1の一様乱数
評価指標 信号対歪み比（SDR）改善量
分離ステージで用いた
混合音の楽譜
学習ステージで用いた
教師音源の楽譜

10. • クラリネットとホルンの混合音の分離結果
– 𝑝 = 1の時，𝜌の値が3.5 ~ 4.5にかけて精度が高くなっている
– 𝜌の値が5.0以降はどれも精度が低くなっている
実験結果1
9
0
2
4
6
8
10
12
14
16
0.0 1.0 2.0 3.0 4.0 5.0 6.0
SDR改善量
[dB]
形状母数𝜌
p=2.0 p=1.0 p=0.4
Good
Poor
従来手法（IS-NMF）
𝑝 = 𝜌 = 2

11. 0
2
4
6
8
10
0.0 1.0 2.0 3.0 4.0 5.0 6.0
SDR改善量
[dB]
形状母数𝜌
p=2.0 p=1.0 p=0.4
• バイオリンとハープシコードの混合音の分離結果
– 𝑝 = 2の時，𝜌の値が0.9 ~ 2.2にかけて精度が高くなっている
– 𝑝 = 1の時，𝜌の値が3.5 ~ 3.9にかけて精度が高くなっている
実験結果1
10
Good
Poor
従来手法（IS-NMF）
𝑝 = 𝜌 = 2

12. • トランペットとトロンボーンの混合音の分離結果
– 𝑝 = 2の時，𝜌の値が1.2 ~ 2.2にかけて精度が高くなっている
– どの𝑝においても，𝜌の値が0.2 ~ 0.5にかけて精度が高くなって
いる
実験結果1
11
0
1
2
3
4
5
6
0.0 1.0 2.0 3.0 4.0 5.0 6.0
SDR改善量
[dB]
形状母数𝜌
p=2.0 p=1.0 p=0.4
Good
Poor
従来手法（IS-NMF）
𝑝 = 𝜌 = 2

13. • 性能評価実験より分かったこと
– GGD-NMFの有効性を確認
• ただし音源に依存して最適なパラメータは変わる
– 音色の似た楽器の混合では精度が低くなる
• 既存の手法（IS-NMF）も同様
• 最適パラメータ予測法の検討
– 音源分離において最適なパラメータは不明
• SDR値は混合前の音源がないと算出できない
– 学習ステージを終えた段階で音源分離性能を予測したい
• 「各楽器の音色の類似度」と「音源分離性能」には相関関係がある？
GGD-NMFの最適パラメータ予測法
12
𝒀
𝑾𝟏 𝑾𝟐
𝑮𝟏 𝑮𝟐
類似度

14. • cos類似度の式
– 𝒂及び𝒃は同じ次元数の任意ベクトル
– 𝒂と𝒃のなす角が求められる
– cos類似度を全基底ベクトル間で測り，総和した値を
「各楽器の音色の類似度」とした
cos類似度の総和
13
Dcos 𝒂||𝒃 =
𝒂 ∙ 𝒃
𝒂 𝒃
𝒂
𝒃
この角度が知りたい
Dcos 𝑾1||𝑾2 =
𝑘1=1
𝐾1
𝑘2=1
𝐾2
Dcos 𝒘1𝑘1
||𝒘2𝑘2
𝑾1
楽器1の
基底行列
𝒘11 𝒘1𝐾1
Dcos 𝑾1||𝑾2 =
𝑾1
T
𝑾2 1
𝑾1 Fr ∙ 𝑾2 Fr
⋯
𝑾2
楽器2の
基底行列
𝒘21 𝒘2𝐾2
⋯

15. 実験結果2
• トランペットとハープシコードの相関関係
14

16. • 「cos類似度の総和」と「SDR値」の相関係数
– 実験条件は同じ
– 相関係数を平均すると-0.47となった
実験結果2
15

17. • GGD-NMFはIS-NMFより分離性能が高い
– ただし最適パラメータは音源に強く依存する
• 「cos類似度の総和」と「音源分離性能」には中程度の
負の相関関係がある
• 今後の課題
– 混合されている音源にとって重要な周波数をより考慮するよう
な重みづけcos類似度を用いる手法
– cos類似度以外の音源分離性能とより強い相関関係を持つ基
準の検討
– GGD-NMFの音声信号に対する音源分離への適用
まとめ
16