1. 日本音響学会2021年秋季研究発表会
2021年9月7日午後(15:30～15:45) [第1会場]
深層学習に基づく間引きインジケータ付き周波数帯域
補間手法による音源分離処理の高速化
Fast audio source separation based on deep-neural-network-based
frequency component interpolation with decimation indicator
☆渡辺瑠伊（香川高専）, 北村大地（香川高専）, 猿渡洋（東大）,
高橋祐（ヤマハ），近藤多伸（ヤマハ）
1-1-14

2. 研究背景
1
• 多チャネル音源分離
⁃ 多チャネル観測信号をもとに特定の信号を推定
• 混合された音源数と録音時のマイク数の関係
⁃ 劣決定条件（音源数 ＞ マイク数）
⁃ 多チャネル非負値行列因子分解（MNMF）[Sawada+, 2013]
⁃ DNNに基づく多チャネル音源分離
⁃ 優決定条件（音源数 ≦ マイク数）
⁃ 周波数領域独立成分分析（ICA） [Smaragdis, 1998]
⁃ 独立ベクトル分析（IVA） [Hiroe, 2006], [Kim+, 2006], [Ono, 2011]
⁃ 独立低ランク行列分析（ILRMA）[Kitamura+, 2016]

3. 研究背景
• 周波数領域での多チャネル音源分離
⁃ 短時間フーリエ変換して得られるスペクトログラムに対し
周波数毎の分離フィルタを推定する手法が一般的
⁃ 例：MNMF，周波数領域ICA，IVA，ILRMA
2

4. 本研究で用いる音源分離手法
• 多チャネル非負値行列因子分解（MNMF）[Sawada+, 2013]
⁃ 事前情報なしで高品質な劣決定音源分離
⁃ 膨大な数のパラメータの推定に高い計算コスト
がかかる
3
：周波数ビン数
：時間フレーム数
：音源数
：基底数（NMF）

5. 音源分離の高速化フレームワーク [Watanabe+, 2020], [渡辺+, 2021]
4
• 高品質な多チャネル音源分離を低い計算コストで実現
• 周波数領域多チャネル音源分離と深層学習（DNN）を
組み合わせた音源分離フレームワーク
⁃ 特定の周波数のみ先に分離し他の周波数はDNNで予測・分離
• 混合信号の間引き方によって音源分離の品質が変化

6. 従来手法：混合信号の間引き方
5
[Watanabe+, 2020] [渡辺+, 2021]
高周波帯域を
間引く手法
等間隔に
間引く手法
不等間隔に
間引く手法

7. 本発表の概要
• 混合信号の間引き方が音源分離の品質に影響
• 前段の音源分離に有効な周波数帯域を適応的に選択する
ことで品質向上が期待できる
• 信号のパワーが大きい帯域が音源分離に有効であると
仮定し，パワーの小さな帯域を優先的に間引く手法を提案
• 従来の間引き方と提案手法で性能を比較
6

8. 提案手法
• 観測パワーに基づいて混合信号を間引く
⁃ パワーの大きい周波数帯域：前段の音源分離に入力
⁃ パワーの小さい周波数帯域：後段のDNNで予測・分離
• 各周波数ビンに対して時間方向にL2ノルムを算出
7
Time
Frequency
混合信号
周波数ビン毎に
L2ノルムを算出
L2ノルム

9. 提案手法
• ベクトル を用いて間引きインジケータ を作成
• 間引く量に応じて閾値以上の帯域と未満の帯域に分類
⁃ パワーが閾値未満となる帯域はDNNで予測・分離
• DNN学習時及びテスト時に間引きインジケータを利用
⁃ DNNがどの帯域を予測すべきかの手がかりとなる
8
0：DNNが予測する帯域
1：音源分離を行う帯域
全体の1/3を音源分離するように
間引きインジケータを作成

10. DNNの入力
• 時間 に対して分離成分
を予測する場合
⁃ 各信号の振幅スペクトロ
グラムの隣接時間フレーム
を連結しベクトル を作成
⁃ ベクトル と間引きインジ
ケータ を結合
9

11. • ベクトル と間引きインジケータ を結合しDNNに入力
⁃ DNNは から，音源分離を適用しなかった帯域 ， を
得られるようなソフトマスク ， を出力
10
DNNによる分離マスク推定

12. 実験条件
• 全周波帯域を分離するMNMFとの比較を行う
⁃ Source-to-distortion ratio (SDR) [Vincent+, 2006] の改善量と時間
• 各手法における実験条件
11
データセット
SiSEC2016データベースのドラム (Dr.) 及び
ボーカル (Vo.) 音源100曲 (Fs=16 kHz)
FFT窓長/シフト長 128 ms/64 ms
スペクトログラムのビン数 1025
手法 分割した周波数ビン数
全周波帯域を分離するMNMF MNMF：1025，DNN：0
低周波帯域と高周波帯域に分割 MNMF：512，DNN：513
等間隔間引き MNMF：340，DNN：685
不等間隔間引き MNMF：330，DNN：695
観測パワーに基づいて間引き（提案） MNMF：340，DNN：685

13. 実験結果
12

14. 実験結果
• 提案手法は各従来手法と比較し，品質の向上かつ高速化
を達成している
• 信号のパワーが大きい帯域は音源分離に有効であると考
えられる
13

15. 実験結果
14

16. まとめ
• 音源分離処理を高速化するフレームワークにおいて，
観測パワーを基準に混合信号を分割する手法を提案
• 従来手法と比較し音源分離性能の向上が見られた
• 今後の展望
⁃ 音源の組み合わせや音源数，基底数等条件を変えた際に音源
分離フレームワークの性能がどう変化するかを調査
15