![背景
• ブラインド音源分離（blind source separation: BSS）
– 混合系 （マイクや音源位置の部屋の形状等）が未知
• 優決定条件（マイク数≧音源数）のBSS
– 独立成分分析（ICA）[P. Comon, 1994]
– 周波数領域ICA（FDICA）[P. Smaragdis, 1998], [H. Saruwatari+, 2000], [H. Sawada+, 2004], ・・・
• 時間周波数領域の音源分離（パーミュテーション問題が発生）
– 独立ベクトル分析（IVA）[A. Hiroe, 2006], [T. Kim+, 2006], [T. Kim+, 2007], [N. Ono, 2011]
• ベクトル音源モデルでパーミュテーション問題を回避するFDICA
• 高速＆安定な最適化アルゴリズムAuxIVA [N. Ono, 2011]
– 独立低ランク行列分析（ILRMA）[D. Kitamura+, 2016]
• 低ランク行列音源モデルでパーミュテーション問題を回避するFDICA 2
混合系 分離系](https://image.slidesharecdn.com/2021asjsprkitamura-210827050700/75/-2-2048.jpg?cb=1670384971)
![本発表の概要
• 解決すべき問題
– IVAやILRMAでもパーミュテーション問題解決にしばしば失敗
• 統計モデル（音源モデル）の改良，DNN等の教師あり化，etc.
• 新たな手掛かり
– スペクトログラム無矛盾性（spectrogram consistency） [J. L. Roux+, 2010]
• 時間周波数領域の信号の近傍共起関係の一貫性
• Consistent IVA [K. Yatabe, 2020]
– IVAでスペクトログラム無矛盾性を考慮すると性能が向上
• Consistent ILRMA [豊島ら, 2020年秋ASJ]
– ILRMAでも同様に性能向上を確認
• 本発表の新規報告
– Consistent IVA/Consistent ILRMAにおける反復毎のプロジェ
クションバックの重要性を実験的に調査
• プロジェクションバック：周波数毎のスケールの補正処理[K. Matsuoka+, 2001]
– 実録音環境における分離性能の改善量を調査 4](https://image.slidesharecdn.com/2021asjsprkitamura-210827050700/75/-4-2048.jpg?cb=1670384971)
![スペクトログラム無矛盾BSS [K. Yatabe, 2020]
• IVAやILRMAの分離信号のスペクトログラム無矛盾性を
反復最適化で担保
– パーミュテーション問題発生＝とても矛盾したスペクトログラム
– 周波数の滲みの強調によりパーミュテーション問題が緩和
12](https://image.slidesharecdn.com/2021asjsprkitamura-210827050700/75/-12-2048.jpg?cb=1670384971)
![ILRMAの概要
• 独立低ランク行列分析
（independent low-rank matrix analysis: ILRMA）[D. Kitamura+, 2016]
– FDICA＋各音源のスペクトログラムの低ランク仮定
– 分離信号のパワースペクトログラム を非負値行列因子分
解（NMF）[D. Lee+, 1999] で低ランク近似しながら分離行列を推定
– 周波数毎の分離行列 とNMF低ランク音源モデル を
交互に反復最適化
– Consistent ILRMAは上記反復最適化の中で無矛盾性を担保 13](https://image.slidesharecdn.com/2021asjsprkitamura-210827050700/75/-13-2048.jpg?cb=1670384971)
![反復最適化アルゴリズムの比較
従来手法：ILRMA 提案手法：Consistent ILRMA
15
NMF低ランク
モデルの更新
分離行列の更新
（AuxIVA [N. Ono, 2011] と同様）](https://image.slidesharecdn.com/2021asjsprkitamura-210827050700/75/-15-2048.jpg?cb=1670384971)
![反復最適化アルゴリズムの比較
従来手法：ILRMA 提案手法：Consistent ILRMA
16
NMF低ランク
モデルの更新
分離行列の更新
（AuxIVA [N. Ono, 2011] と同様）
分離信号 を逆STFT→STFTし
無矛盾スペクトログラムに変換
分離信号の大きさを全周波数で
統一するスケール補正（プロジェ
クションバック）[K. Matsuoka+, 2001]](https://image.slidesharecdn.com/2021asjsprkitamura-210827050700/75/-16-2048.jpg?cb=1670384971)
![反復最適化アルゴリズムの比較
従来手法：ILRMA 提案手法：Consistent ILRMA
18
NMF低ランク
モデルの更新
分離行列の更新
（AuxIVA [N. Ono, 2011] と同様）
分離信号 を逆STFT→STFTし
無矛盾スペクトログラムに変換
分離信号の大きさを全周波数で
統一するスケール補正（プロジェ
クションバック）[K. Matsuoka+, 2001]](https://image.slidesharecdn.com/2021asjsprkitamura-210827050700/75/-18-2048.jpg?cb=1670384971)
スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価
•0 likes•82 views
Report
Share
Download to read offline
北村大地, 矢田部浩平, "スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価," 日本音響学会 2021年春季研究発表会講演論文集, 1-1-2, pp. 121–124, 東京, 2021年3月（査読無）.
More Related Content
What's hot
What's hot(20)
More from Kitamura Laboratory
More from Kitamura Laboratory(20)
Recently uploaded
Recently uploaded(7)
スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価
- 2. 背景 • ブラインド音源分離（blind source separation: BSS） – 混合系 （マイクや音源位置の部屋の形状等）が未知 • 優決定条件（マイク数≧音源数）のBSS – 独立成分分析（ICA）[P. Comon, 1994] – 周波数領域ICA（FDICA）[P. Smaragdis, 1998], [H. Saruwatari+, 2000], [H. Sawada+, 2004], ・・・ • 時間周波数領域の音源分離（パーミュテーション問題が発生） – 独立ベクトル分析（IVA）[A. Hiroe, 2006], [T. Kim+, 2006], [T. Kim+, 2007], [N. Ono, 2011] • ベクトル音源モデルでパーミュテーション問題を回避するFDICA • 高速＆安定な最適化アルゴリズムAuxIVA [N. Ono, 2011] – 独立低ランク行列分析（ILRMA）[D. Kitamura+, 2016] • 低ランク行列音源モデルでパーミュテーション問題を回避するFDICA 2 混合系 分離系
- 3. • FDICAに基づくBSSにおけるパーミュテーション問題 – 分離行列 （ は周波数インデクス）が周波数間で非依存 周波数毎に分離信号の順番がバラバラになる 優決定条件BSSの難しさ 3 分離 行列 音源1 音源2 観測1 観測2 パーミュテーション の整合 分離信号1 分離信号2 Time
- 4. 本発表の概要 • 解決すべき問題 – IVAやILRMAでもパーミュテーション問題解決にしばしば失敗 • 統計モデル（音源モデル）の改良，DNN等の教師あり化，etc. • 新たな手掛かり – スペクトログラム無矛盾性（spectrogram consistency） [J. L. Roux+, 2010] • 時間周波数領域の信号の近傍共起関係の一貫性 • Consistent IVA [K. Yatabe, 2020] – IVAでスペクトログラム無矛盾性を考慮すると性能が向上 • Consistent ILRMA [豊島ら, 2020年秋ASJ] – ILRMAでも同様に性能向上を確認 • 本発表の新規報告 – Consistent IVA/Consistent ILRMAにおける反復毎のプロジェ クションバックの重要性を実験的に調査 • プロジェクションバック：周波数毎のスケールの補正処理[K. Matsuoka+, 2001] – 実録音環境における分離性能の改善量を調査 4
- 5. スペクトログラム無矛盾性 • 短時間フーリエ変換（STFT）で得られるスペクトログラム には本来一貫した近傍共起関係がある • 無矛盾なスペクトログラム – 時間と周波数の両方向に滲んでいる（共起している） – STFTの窓関数乗算やオーバーラップシフトが原因 矛盾（inconsistent） 無矛盾（consistent） 5 Frequency Frequency Time Time
- 11. スペクトログラム無矛盾性 • 矛盾したスペクトログラムは逆STFTしてSTFTすることで 無矛盾なスペクトログラムに変換可能 – 但しSTFTが完全再構成条件を満たす条件が必要 矛盾（inconsistent） 無矛盾（consistent） 11
- 12. スペクトログラム無矛盾BSS [K. Yatabe, 2020] • IVAやILRMAの分離信号のスペクトログラム無矛盾性を 反復最適化で担保 – パーミュテーション問題発生＝とても矛盾したスペクトログラム – 周波数の滲みの強調によりパーミュテーション問題が緩和 12
- 13. ILRMAの概要 • 独立低ランク行列分析 （independent low-rank matrix analysis: ILRMA）[D. Kitamura+, 2016] – FDICA＋各音源のスペクトログラムの低ランク仮定 – 分離信号のパワースペクトログラム を非負値行列因子分 解（NMF）[D. Lee+, 1999] で低ランク近似しながら分離行列を推定 – 周波数毎の分離行列 とNMF低ランク音源モデル を 交互に反復最適化 – Consistent ILRMAは上記反復最適化の中で無矛盾性を担保 13
- 15. 反復最適化アルゴリズムの比較 従来手法：ILRMA 提案手法：Consistent ILRMA 15 NMF低ランク モデルの更新 分離行列の更新 （AuxIVA [N. Ono, 2011] と同様）
- 16. 反復最適化アルゴリズムの比較 従来手法：ILRMA 提案手法：Consistent ILRMA 16 NMF低ランク モデルの更新 分離行列の更新 （AuxIVA [N. Ono, 2011] と同様） 分離信号 を逆STFT→STFTし 無矛盾スペクトログラムに変換 分離信号の大きさを全周波数で 統一するスケール補正（プロジェ クションバック）[K. Matsuoka+, 2001]
- 17. • 独立性最大化基準では分離信号のスケール（音量）は 決まらない – 分離行列 の乗算で周波数毎にスケールがバラバラになる 優決定条件BSSの難しさ 17 分離 行列 音源1 音源2 観測1 観測2 分離信号1 分離信号2 Time プロジェクション バック
- 18. 反復最適化アルゴリズムの比較 従来手法：ILRMA 提案手法：Consistent ILRMA 18 NMF低ランク モデルの更新 分離行列の更新 （AuxIVA [N. Ono, 2011] と同様） 分離信号 を逆STFT→STFTし 無矛盾スペクトログラムに変換 分離信号の大きさを全周波数で 統一するスケール補正（プロジェ クションバック）[K. Matsuoka+, 2001]
- 19. 実験条件（インパルス応答の畳み込み混合） • 混合条件（2音源2マイク） – RWCP E2Aインパルス応答 • 残響時間: = 300 ms • 音源信号（ドライソース） – SiSEC2011の音楽4曲の 楽器を組み合わせで10パターン • その他の条件 19 窓関数 ハン窓 窓長 128, 256, 512, 768, 1024 ms シフト長 窓長の1/4 （原稿には他の結果も掲載） 基底数 1音源あたり10本 初期値 単位行列 及び (0, 1) の一様乱数 反復回数 100回 試行回数 異なる乱数シードで5回 2m 5.66cm 50 音源1 音源2 50
- 21. 実験条件（実環境録音混合） • 混合条件（2音源2マイク） – SiSEC2011UND liverec信号（音源位置は様々） • 残響時間： = 250 ms • マイク間隔：1m • 音源信号（ドライソース） – 音楽12パターン及び音声（男女）12パターン • その他の条件 21 窓関数 ハン窓 窓長 512 ms シフト長 窓長の1/4 基底数 1音源あたり：10本（音楽） or 2本（音声） 初期値 単位行列 及び (0, 1) の一様乱数 反復回数 100回 試行回数 異なる乱数シードで5回
- 24. まとめ • 本発表の概要 – Consistent BSSでのプロジェクションバック有無調査と実録音 での性能 • 明らかになったこと – Consistent IVAでもConsistent ILRMAでもプロジェクション バックは性能向上に大きく寄与（予想通り） – 実録音でも従来のIVAやILRMAから性能向上 • 論文（open access） – D. Kitamura and K. Yatabe, “Consistent independent low-rank matrix analysis for determined blind source separation,” EURASIP J. Adv. in Signal Process., vol. 2020, no. 46, p. 35, 2020. • MATLABソースコード（ILRMAとConsistent ILRMA） – https://github.com/d-kitamura/ILRMA – 本発表の原稿にURLの記載あり 24
Editor's Notes
- 初めに本研究の背景です． 本研究は，ブラインド音源分離，いわゆるBSSの研究です．これは，マイクや音源の位置等の「混合系A」が未知な状況での教師無し音源分離です． 未知な混合系Aの逆システムである分離系Wを推定する問題となります． もしマイクの数が音源の数と同じか，マイクの方が多い場合は「優決定条件」と呼ばれ，BSS自体は分離行列の掛け算でできますので，線形で自然な分離が可能になります． 本研究もこの優決定条件BSSを対象としています． この問題では，分離信号間の独立性を最大化するようなWを求める方法が主流でして，独立成分分析，ICAから発展してきた歴史があります． 残響を含む音響信号の混合は，時間周波数領域でICAを適用するFDICAで分離できますが，このときに「パーミュテーション問題」と呼ばれる問題に直面します． 後の発展である「独立ベクトル分析，IVA」や「独立低ランク行列分析，ILRMA」はいずれもこのパーミュテーション問題をいかに回避するか，という内容になっています． 本発表は，ILRMAの性能の改善を提案するものになります．
- 1:20 ではこのパーミュテーション問題について説明します． FDICAは周波数のひとつひとつに対して独立にICAを適用し，周波数毎の分離行列Wiを推定します．iは周波数ビンの番号です． そうすると，ICAは分離信号間の独立性しか考えないので，まさにこの図のように，「赤と青の音源はちゃんと分離はされているけど，周波数毎に順番がバラバラになってしまう」という状態になってしまいます． これをパーミュテーション問題と呼び，昔は後処理として，分離した後にさらにパーミュテーションソルバをかけて何とか順番を揃える，という方法が考えられていました． その後，分離信号の周波数間の関係性も考慮するように「音源モデル」と呼ばれるものを導入して，分離行列を推定する段階でそもそもパーミュテーション問題が起こらないようにする手法が，IVAやILRMAとして提案されました．
- 2:15 本発表の概要です． 解決すべき問題は，IVAやILRMAでも，いくつかの周波数でパーミュテーション問題の解決にしばしば失敗してしまい，分離精度が落ちることです． これに対してモデルを改良したり，DNNで教師ありにしたりする発展がありますが，我々は新たな手掛かりとして「スペクトログラム無矛盾性」に着目しています． この性質の詳細は後程説明しますが，これを導入したConsistent IVAやConsistent ILRMAで性能が向上することがすでに確認されています． 本発表で新規に報告できる内容としては，Consistent IVAやConsistent ILRMAで反復毎にプロジェクションバックを適用することの重要性を新たに調査しています． プロジェクションバックについても後程説明します． また，新たに実録音環境での実験を行いましたので，これを報告します．
- 3:05 ではまず，スペクトログラム無矛盾性について説明します． 短時間フーリエ変換，STFTで得られるスペクトログラムには本来，一貫した近傍共起関係があります． 例えば左の図は，中央の時間周波数グリッドにのみパワーがありその周囲は全て0ですが，これは矛盾したスペクトログラムであり，実は人工的に作成したものです． 時間波形をSTFTしてこのようなスペクトログラムが出てくることは通常ありません． どんなスペクトログラムがありえるかというと，右の図のように，パワーが強い成分の周囲近傍で共起している成分がある状態です．これを無矛盾スペクトログラムと呼びます． ざっくりいえば，スペクトログラムは本来，時間と周波数の両方向に滲んでいて，その滲みが無い，あるいは一貫していないものは全て矛盾したスペクトログラムと呼ばれます． この近傍共起関係が生まれる原因ですが，これはSTFTの中で窓関数の乗算が周波数方向への滲みを生み，オーバーラップシフトが時間方向への滲みを生むためです．
- 4:15 このスペクトログラムの矛盾と無矛盾について，集合でイメージを説明します． 赤枠が時間信号の集合，青枠がスペクトログラムの集合です． 時間周波数領域は時間領域よりも高次元であり，無矛盾なスペクトログラムの集合はこの図のように全体の一部分になります．
- ある時間信号sをSTFTすると，スペクトログラムSに変換されます． Sは無矛盾なスペクトログラムであり，逆STFTすると元の時間波形sに戻ります． これはいわゆる完全再構成条件であり，本研究はこれを満たすSTFTを適用しています．
- 無矛盾なスペクトログラムSに対して，BSS等の信号処理を加えると，通常は一貫した共起関係が崩れ， この図のように「矛盾したスペクトログラムS’」になります．
- この矛盾したスペクトログラムS’を逆STFTすると，S’は無矛盾なスペクトログラムに射影された上で，時間信号へと変換されます．
- つまり，どんな矛盾したスペクトログラムも，一度逆STFTして時間信号に戻し，もう一度STFTすることで，無矛盾なスペクトログラムに変換できます．
- 5:30 実は先ほどお見せしていたものも，左側は人工的に作成した矛盾スペクトログラムですが，右側は左を一度逆STFTし，もう一度STFTした結果になります．
- 5:45 そして，スペクトログラムの無矛盾変換は，パーミュテーション問題を緩和する能力があります． この図は，左端の2つがギターとボーカルのスペクトログラムで，真ん中の2つは周波数毎にギターとボーカルをシャッフルし，擬似的にパーミュテーション問題を起こしたものです． そして右端は，真ん中のパーミュテーション問題が残る信号を逆STFTしてSTFTし，無矛盾スペクトログラムに変換したものです． こうして眺めると，確かにパーミュテーション問題による周波数方向の不連続性がスムージングされて，真の音源信号に少しだけ近づいていることが分かります． 従って，IVAやILRMAの反復最適化の中で，分離信号を毎回無矛盾に変換するだけで，パーミュテーション問題を回避する能力が上がります． これがConsistent IVA及びConsistent ILRMAの原理になります．
- 6:45 次にILRMAについて簡単に説明します． ILRMAは周波数領域BSSであり，分離信号間の独立性を最大化するような周波数毎の分離行列Wiを推定します． このとき，各分離信号のパワースペクトログラムが，非負値行列因子分解，NMFで低ランク近似されることで，パーミュテーション問題を回避します． この分離行列の最適化とNMFによる低ランク近似は交互に計算されます． Consistent ILRMAは，この交互反復最適化の中で，毎回分離信号のスペクトログラムの無矛盾性を担保します．
- 7:20 従来のILRMAとConsistent ILRMAのアルゴリズムを比較したものがコチラです． 赤色の個所のみが異なります．
- 7:30 従来のILRMAは，4行目と5行目がNMF低ランクモデルの更新，6行目から8行目が分離行列の更新をしています． 最後の12行目は分離信号を更新しています． この流れを100回等の決められた回数反復してBSSができます．
- 7:45 Consistent ILRMAは，NMFと分離行列の更新は同じですが，3行目で現在の分離信号を一度逆STFTしてSTFTし，無矛盾スペクトログラムに変換します． さらに，分離行列の更新後に，分離信号の大きさを全周波数で統一する，スケール補正を毎回の反復で行います． これは，プロジェクションバックと呼ばれる処理であり，次のスライドで説明します．
- 8:10 独立性最大化のBSSでは，分離信号の音量，スケールが決まりません． 周波数毎に分離するIVAやILMRAでは，例え分離が成功してパーミュテーションが完璧でも，この真ん中の図のように周波数毎のスケールがバラバラになっています． これを右端のように正しく補正する処理がプロジェクションバックであり，通常は反復最適化によって分離行列を収束させた後，最後に1度だけ適用します．
- 8:40 周波数毎のスケールがずれていると，それだけでスペクトログラムの無矛盾性は失われます． なので，提案手法のConsistent ILRMAでは，3行目で分離信号を無矛盾スペクトログラムに変換するそのまえに，分離信号のスケールが正しく揃っている必要があるので， 9行目から11行目として反復毎にプロジェクションバックをかけています． ただ，この処理が本当に必要であったかどうかは未調査でしたので，今回はその有無についても実験で比較しました．
- 9:10 それでは実験について説明します． 実験はインパルス応答の畳み込み混合と，実環境録音混合の2種類を実施しています． 先に畳み込み混合の結果を報告をします． 残響時間300msの部屋で，こちらの図の配置で測定されたインパルス応答を音楽信号に畳み込んで，2音源2マイクの混合信号を10パターン作りました． 窓長は128msから1024msまで変化させ，シフト長は常に窓長の1/4としています． ILRMAは初期値によって結果が変わりますので，各混合信号で5回試行しています．
- 9:45 こちらが全10パターン×5回試行の50個の結果のbox plotを手法毎に描いたものです． グラフの違いは窓長であり，左端が128ms，右端が1024msです． 各グラフの横軸は手法であり，左からIVA，Consistent IVAの反復毎のプロジェクションバック無しと有り，ILRMA，Consistent ILRMAの反復毎のプロジェクションバック無しと有り，の6手法です． 縦軸は音源分離性能のSDRの改善量です． 窓長512msや768msをみると，Consistent ILRMAは明らかに性能が改善しており，さらに反復毎のプロジェクションバックの有無でも性能が変わっています． 予想通り，スペクトログラムを無矛盾に変換する前に，分離信号のスケールをプロジェクションバックで統一しておくことは非常に重要と言えます． また，Consistent ILRMAは，従来のILRMAの分離が成功する程，より大きな改善が得られるという傾向も見えます．
- 10:50 さらに，実環境録音混合の実験です． こちらはSiSEC2011のliverec信号を使いました． 残響時間は250ms，マイク間隔は1mで，音楽12パターンと音声12パターンで実験しました． 今回は窓長は512msに統一しています．
- 11:10 これが音楽信号の結果です． この結果では総合性能のSDRだけでなく，分離度合のSIRや歪みの少なさのSARも示しています． 実環境録音混合でも，プロジェクションバックするConsistent ILRMAは性能改善があります． また，SARの改善がSDR向上に大きく寄与していることが分かり，より歪みの少ない分離となっていることが分かります．
- 11:35 音声信号の結果です． コチラも同じく，SARが改善されており，スペクトログラム無矛盾性が歪みの少ない分離を誘導していることが分かります．
- 11:45
- それでは，スペクトログラムについて説明します． スペクトログラムとは，1次元の時間信号を，時間と周波数の2次元領域で表現したものです． 時間波形に対して，このように短時間区間に分割しその一つ一つに窓関数を掛けて離散フーリエ変換することで，横軸時間，縦軸周波数の行列ができます． この行列Xをスペクトログラムと呼び，この変換を短時間フーリエ変換，通称STFTと呼びます．
- これは従来手法と提案手法の違いのイメージを表した図です． 橙色の矢印は提案手法における反復毎の無矛盾なスペクトログラムへの射影を表しており，青色の矢印は従来手法の反復最適化処理を表しています． この反復毎の射影によって，提案手法は真の分離信号Sに常に近づきながら音源分離を進めることができます．