1. 応用音響研究会
2022年5月13日 16:50〜17:15
深層ニューラルネットワークに基づく
パーミュテーション解決法の基礎的検討
Basic study for permutation solver based on
deep neural networks
香川高等専門学校
蓮池 郁也，渡辺 瑠伊，北村 大地

2. 2
• 音源分離とは
– 音声，雑音，歌声，楽器音，機械音等の音源を個々に分離
• 音源分離の応用先
⁃ 音声認識
⁃ AI スピーカー
⁃ 補聴器の高機能化
⁃ ノイズキャンセリング etc.
はじめに

3. 3
ブラインド音源分離
• ブラインド音源分離 (blind source separation: BSS)
– 混合系 が未知の条件で分離系 を推定
– 優決定BSS（マイク数≧分離したい音源の数）
• 混合系が正方行列にできるので逆行列が定義可能
• 線形分離が可能なため分離音の音質が良い
• 本研究では，優決定BSSについて取り扱う
– 高音質であり，様々な分野に適用可能
例. 独立成分分析（ICA） [Comon, 1994]
例. 独立低ランク行列分析 (ILRMA) [Kitamura+, 2018]
例. 時間周波数マスクに基づくBSS (TFMBSS) [Yatabe+, 2019]
混合系
BSS
分離系

4. 4
本発表の概要
• 従来の音源分離手法（代表的な手法を掲載）
• 深層パーミュテーション解決法[Yamaji+, 2020]
– 入力が2音源に限られ，3音源以上への拡張は複雑
• 本発表では，3音源以上でも一般性を失わない深層パー
ミュテーション解決法を提案
周波数領域ICA(FDICA) フルランク空間共分散分析(FCA)
[Smaragdis] [Duong+]
パーミュテーション問題発生
独立ベクトル分析(IVA) [Hiroe], [Kim+]
補助関数IVA(AuxIVA) [Ono]
独立低ランク行列分析 (ILRMA) [Kitamura+]
深層パーミュテーション解決法 [Yamaji+]
パーミュテーション問題を回避 パーミュテーション問題を解決
提案手法
独立深層学習行列分析 [Makishima+]
時間周波数マスクBSS [Yatabe+]
周波数間相関に基づく解決法
DOAに基づく解決法 [Saruwatari]
[Murata], [Sawada]

5. 5
本発表の目次
• 従来手法
– 独立成分分析（ICA）と周波数領域ICA（FDICA）におけるパー
ミュテーション問題
– 独立ベクトル分析（IVA）と独立低ランク行列分析（ILRMA）
– 局所時間周波数構造に基づく深層パーミュテーション解決法
• 提案手法
– 概要とパーミュテーション行列の推定方法
– 推定分離信号の作成と損失の計上
– テストデータに対する処理
• 実験
• まとめ

6. 6
本発表の目次
• 従来手法
– 独立成分分析（ICA）と周波数領域ICA（FDICA）におけるパー
ミュテーション問題
– 独立ベクトル分析（IVA）と独立低ランク行列分析（ILRMA）
– 局所時間周波数構造に基づく深層パーミュテーション解決法
• 提案手法
– 概要とパーミュテーション行列の推定方法
– 推定分離信号の作成と損失の計上
– テストデータに対する処理
• 実験
• まとめ

7. 7
• 独立成分分析（independent component analysis: ICA）[Comon, 1994]
– 混合行列 が未知の条件で分離行列 を推定
– 2つの仮定を用いて分離行列 を推定
• 1. 独立成分は互いに独立（音源は多くの場合独立）
• 2. 混合行列は可逆で時不変（優決定，音源やマイクは移動しない）
– 分離信号の順番（パーミュテーション）は決定できない
音源間の独立性に基づくBSS：ICA
混合行列
音源信号 混合信号
1. 互いに独立
2. 可逆で時不変
分離行列
逆行列
実際の混合は残響による畳み込み混合である

8. 8
ICAに基づくBSSの耐残響性の向上
• 周波数領域ICA（FDICA）[Smaragdis, 1998]
– 各周波数ビンの複素時系列に対して独立なICAを適用
スペクトログラム
ICA1
ICA2
ICA3
…
…
ICA
Frequency
Time
…
逆行列
周波数領域の時不変
瞬時混合行列

9. 9
• FDICAにおけるパーミュテーション問題
– 各周波数ビンで推定信号の順序がバラバラになる
周波数領域ICA（FDICA）
ICA
全て時間周波数
領域の信号
音源1
音源2
観測1
観測2
Permutation
Solver
分離信号1
分離信号2
Time
パーミュテーション
不整合信号1
パーミュテーション
不整合信号2
各周波数では音源分離されているが，分離信号の順序が周波数間
で不揃いになっている状態（パーミュテーション問題）

10. 10
本発表の目次
• 従来手法
– 独立成分分析（ICA）と周波数領域ICA（FDICA）におけるパー
ミュテーション問題
– 独立ベクトル分析（IVA）と独立低ランク行列分析（ILRMA）
– 局所時間周波数構造に基づく深層パーミュテーション解決法
• 提案手法
– 概要とパーミュテーション行列の推定方法
– 推定分離信号の作成と損失の計上
– テストデータに対する処理
• 実験
• まとめ

11. 11
IVAとILRMA
• 独立ベクトル分析（IVA）[Hiroe, 2006], [Kim+, 2006]
– 各信号源は全周波数成分の
強弱が同期すると仮定
• 独立低ランク行列分析（ILRMA）[Kitamura+, 2016]
– 各信号源は時間周波数構造が
低ランクな構造（繰り返しを多分
に含む）を持つと仮定
Time
Frequency
IVAの音源モデル
M
icrophone
Frequency
ILRMAの音源モデル
Time M
icrophone
どんな音源にも対応できる万能な音源モデルを
作成するのは難しい

12. 12
本発表の目次
• 従来手法
– 独立成分分析（ICA）と周波数領域ICA（FDICA）におけるパー
ミュテーション問題
– 独立ベクトル分析（IVA）と独立低ランク行列分析（ILRMA）
– 局所時間周波数構造に基づく深層パーミュテーション解決法
• 提案手法
– 概要とパーミュテーション行列の推定方法
– 推定分離信号の作成と損失の計上
– テストデータに対する処理
• 実験
• まとめ

13. 13
先行研究：深層パーミュテーション解決法
• 局所時間周波数構造に基づく深層パーミュテーション解
決法の実験的評価 [Yamaji+, 2020]
– DNNを用いて参照周波数成分と近傍の周波数成分が一致して
いるか異なるかを判断
– 推定結果が1の場合は周波数成分が異なる
Time
Frequency
…
DNN
DNN
1 : Diff.
1 : Diff.
0 : Same
1 : Diff.
0 : Same
Input vector
DNN
outputs
…
DNN
…
…
入力ベクトル DNN推定結果
1 : 異なる音源
1 : 異なる音源
0 : 同一音源
1 : 異なる音源
0 : 同一音源

14. 14
先行研究：時間方向への多数決処理
• パーミュテーション問題の不変性
– パーミュテーション問題は全時間フレームで固定
– 入力ベクトルを時間方向にずらし多数決を取ることで，分離精
度向上
Time
Frequency
1
1
0
1
0
1
1
0
1
0
1
1
0
1
0
Majority
decision
1
1
0
1
0
Stride
…
DNN
outputs
Subband
permutation
vector
DNN推定結果
サブバンド
ベクトル
多数決処理

15. 15
Time
Frequency
1
0
0
1
0
1
1
0
1
0
0
1
1
0
1
0
1
1
0
1
0
2. Set
0
1
1
0
1
1. Similarity comparison
3.
Majority
decision
Fullband
permutation
vector
フルバンド
ベクトル
1.類似度比較
1.類似度比較
2.セット
3.多数決処理
Time
Frequency
1
0
0
1
0
1
1
0
1
0
0
1
1
0
1
0
1
1
0
1
0
2. Set
0
1
1
0
1
1. Similarity comparison
3.
Majority
decision
Fullband
permutation
vector
フルバンド
ベクトル
1.類似度比較
1.類似度比較
2.セット
3.多数決処理
DNN
2音源の入力に限定
• サブバンド領域をDNNに入力し，取得した結果に対して
多数決処理
– 周波数方向に対して多数決処理を施す
– フルバンドベクトル作成時には，類似度比較を行う
先行研究：フルバンドベクトルの作成

16. 16
Time
Frequency
DNN
DNN
Input vector
DNN
outputs
・
・
・
・
・
・
・
・
・
1 : 異なる⾳源
1 : 異なる⾳源
0 : 同⼀⾳源
1 : 異なる⾳源
0 : 同⼀⾳源
先行研究：3音源以上でアルゴリズムが複雑化
• 入力が3音源以上での問題点
– DNNの予測が「1:異なる音源」の時，音源の組み合わせが一
意に定まらない
音源の組み合わせ
が不明
音源数分の組み合わせの処理を行う必要があり，
処理が複雑になる
入力ベクトル 出力ベクトル

17. 17
本発表の目次
• 従来手法
– 独立成分分析（ICA）と周波数領域ICA（FDICA）におけるパー
ミュテーション問題
– 独立ベクトル分析（IVA）と独立低ランク行列分析（ILRMA）
– 局所時間周波数構造に基づく深層パーミュテーション解決法
• 提案手法
– 概要とパーミュテーション行列の推定方法
– 推定分離信号の作成と損失の計上
– テストデータに対する処理
• 実験
• まとめ

18. 18
• パーミュテーション不整合信号を並び替えるようなパー
ミュテーション行列をDNNを用いて予測
– 行列積を用いて分離信号を推定
提案手法の概要
DNNを用いて推定
行列積
解析可能
推定する
2音源のパーミュテーション行列

19. 19
前処理
• パーミュテーション不整合信号 に対して正規化処理を
行う [Sawada+, 2007]
– 同一音源の成分の相関を強調できる
– DNNの入力の値を区間 [0,1] に制限できる
Frequency
Time
Frequency
Time
Frequency
Time
Frequency
Time
Frequency
Frequency
Frequency
Time
Frequency
Time
Time
Time

20. 20
提案手法におけるDNNの入力
• 正規化パーミュテーション不整合信号 から局所時間
のスペクトログラム を抽出
– から各時間ごとに成分を抽出し一次元にしたものをDNNの
入力ベクトルに用いる

21. 21
DNNの構造
• DNNは入力層，隠れ層3層，出力層の計5層で構成
– 出力層にSoftmax関数をかけて，各周波数成分の値が足して1
になる制約を設けた
Frequency
1.0
0.1
0.9
0.1
0.5
0.0
0.9
Frequency
0.0
0.1
0.9
0.9
0.1
0.5
1.0
入力ベクトル
全結合層
全結合層
出力層
出力層
全結合層
3層の隠れ層
出力ベクトル
2個の出力層 出力行列

22. 22
推定パーミュテーション行列の導出
• DNNの出力値（確率値）を用いて，推定パーミュテーショ
ン行列 を作成
– 確率値をパーミュテーション行列の係数として考える
– 2音源の場合，2つのパーミュテーション行列を足し合わせて推
定パーミュテーション行列を作成
推定パーミュテーション
行列へ変換
Frequency
1.0
0.1
0.9
0.1
0.5
0.0
0.9
Frequency
0.0
0.1
0.9
0.9
0.1
0.5
1.0

23. 23
本発表の目次
• 従来手法
– 独立成分分析（ICA）と周波数領域ICA（FDICA）におけるパー
ミュテーション問題
– 独立ベクトル分析（IVA）と独立低ランク行列分析（ILRMA）
– 局所時間周波数構造に基づく深層パーミュテーション解決法
• 提案手法
– 概要とパーミュテーション行列の推定方法
– 推定分離信号の作成と損失の計上
– テストデータに対する処理
• 実験
• まとめ

24. 24
局所時間における推定分離信号の導出
• 推定パーミュテーション行列と局所時間スペクトログラム
との間で行列積を取り，推定分離信号を作成
– パーミュテーション行列の値によっては2つの音源が混じった成
分が作成される
行列積

25. 25
損失の導出方法
• 損失関数の設計
– 推定分離信号と完全分離信号との間で平均二乗誤差（mean
squared error: MSE）を導入
– 分離信号の順序は予測の対象としないため，順序不変学習
（permutation invariant training: PIT）[Yu+, 2017]を導入
Frequency
Time Time
Frequency
Time Time
Frequency
Frequency
MSE & PIT

26. 26
本発表の目次
• 従来手法
– 独立成分分析（ICA）と周波数領域ICA（FDICA）におけるパー
ミュテーション問題
– 独立ベクトル分析（IVA）と独立低ランク行列分析（ILRMA）
– 局所時間周波数構造に基づく深層パーミュテーション解決法
• 提案手法
– 概要とパーミュテーション行列の推定方法
– 推定分離信号の作成と損失の計上
– テストデータに対する処理
• 実験
• まとめ

27. 27
Frequency
Time
Frequency
Time
テストデータに対する多数決処理
• 各局所時間スペクトログラムに対してDNNで予測を行い
多数決処理を施す
多数決処理
パーミュテーション
行列へ変換
パーミュテーション
行列へ変換
パーミュテーション
行列へ変換

28. 28
推定分離信号の導出
• パーミュテーション不整合信号の並び替え
– DNNが予測した推定パーミュテーション行列を元にパーミュ
テーション不整合信号を並び替える
– 推定分離信号は各周波数に対して，パーミュテーション不整合
信号の値が混じらない
Frequency
Time
Frequency Time
Frequency
Time
Frequency Time
Frequency
Time
Frequency
Time
Frequency
Time
Frequency
Time

29. 29
本発表の目次
• 従来手法
– 独立成分分析（ICA）と周波数領域ICA（FDICA）におけるパー
ミュテーション問題
– 独立ベクトル分析（IVA）と独立低ランク行列分析（ILRMA）
– 局所時間周波数構造に基づく深層パーミュテーション解決法
• 提案手法
– 概要とパーミュテーション行列の推定方法
– 推定分離信号の作成と損失の計上
– テストデータに対する処理
• 実験
• まとめ

30. 30
• 音声信号と音楽信号に対する実験を行った
• 使用したデータ
実験条件
音響信号 SiSEC2011にある男女の音声信号及びドラムとピアノの音楽信号
FFT長 2048 点 (ハミング窓)
シフト長 1024 点
客観評価値 各周波数ビンにおける並び替えの正答率
音響の種類 音響信号 ファイル名 信号長 [s]
音声
男性 Dev2_male4_inst_src_2 10.0
女性 Dev3_female4_inst_src_2 10.0
音楽
ピアノ Dev2_nodrums_liverec_250ms_src_3 11.0
ドラム Dev2_wdrums_liverec_250ms_src_3 11.0

31. 31
• 学習データ
– 音声信号及び音楽信号の時間周波数信号を16行1セットにし
てランダムに入れ替えたデータ
– ブロックパーミュテーション問題を模擬
– シャッフルパターンは300
– エポック数は300
• テストデータ
– 学習データにはないパターンで時間周波数信号を16行1セット
にしてランダムに入れ替えたデータ
実験条件
ランダムにシャッフル
ランダムにシャッフル
ランダムにシャッフル

32. 32
実験結果（音声信号）
正答率 92.5%

33. 33
実験結果（音楽信号）
0
0
0
5
5
5
10
10
10
0
2
4
6
8
0
2
4
6
8
0
2
4
6
8
Frequency
[kHz]
Time [s]
Time [s]
Frequency
[kHz]
Frequency
[kHz]
0
0
5
5
10
10
0
2
4
6
8
0
2
4
6
8
Frequency
[kHz]
Frequency
[kHz]
Time [s]
Time [s]
正答率 97.5%

34. 34
本発表の目次
• 従来手法
– 独立成分分析（ICA）と周波数領域ICA（FDICA）におけるパー
ミュテーション問題
– 独立ベクトル分析（IVA）と独立低ランク行列分析（ILRMA）
– 局所時間周波数構造に基づく深層パーミュテーション解決法
• 提案手法
– 概要とパーミュテーション行列の推定方法
– 推定分離信号の作成と損失の計上
– テストデータに対する処理
• 実験
• まとめ

35. 35
まとめ
• パーミュテーション問題に対して深層学習を用いて解決
する手法を提案した
• 実験結果より，音声及び音楽信号に対して高い精度で分
離を行うことができた
• 今後の課題
– 従来手法との比較実験を行う
– 系列データの再帰性を予測に活用する双方向RNNの応用を行
う
– 今回は真の分離信号を用いたので，実際にFDICAを適用した
信号を用いて実験を行う
– 学習データとテストデータに異なる音響信号を用いて実験を行
う