深層学習に基づく周波数帯域補間手法による音源分離処理の高速化
Aug. 27, 2021•0 likes•174 views
Download to read offline
Report
Engineering
渡辺瑠伊, 北村大地, 猿渡洋, 高橋祐, 近藤多伸, "深層学習に基づく周波数帯域補間手法による音源分離処理の高速化," 日本音響学会 2021年春季研究発表会講演論文集, 2-1-3, pp. 213–216, 東京, 2021年3月（査読無）.
Kitamura LaboratoryFollow
Recommended
深層学習に基づく音響帯域拡張による音源分離処理の高速化Kitamura Laboratory
調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離Kitamura Laboratory
深層学習に基づく間引きインジケータ付き周波数帯域補間手法による音源分離処理の高速化Kitamura Laboratory
スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価Kitamura Laboratory
スペクトログラム無矛盾性に基づく独立低ランク行列分析Kitamura Laboratory
独立深層学習行列分析に基づく多チャネル音源分離（Multichannel audio source separation based on indepen...Daichi Kitamura
More Related Content
What's hot
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価（Experimental evaluation of multichannel audio s...Daichi Kitamura
多重解像度時間周波数表現に基づく独立低ランク行列分析,Kitamura Laboratory
音源分離における音響モデリング（Acoustic modeling in audio source separation）Daichi Kitamura
過決定条件BSSにおけるランク1空間制約の緩和 Relaxation of rank-1 spatial model in overdetermined...Daichi Kitamura
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...Daichi Kitamura
局所時間周波数構造に基づく深層パーミュテーション解決法の実験的評価Kitamura Laboratory
More from Kitamura Laboratory
付け爪センサによる生体信号を用いた深層学習に基づく心拍推定Kitamura Laboratory
STEM教育を目的とした動画像処理による二重振り子の軌跡推定Kitamura Laboratory
ギタータブ譜からのギターリフ抽出アルゴリズムKitamura Laboratory
時間微分スペクトログラムに基づくブラインド音源分離Kitamura Laboratory
Amplitude spectrogram prediction from mel-frequency cepstrum coefficients and...Kitamura Laboratory
周波数双方向再帰に基づく深層パーミュテーション解決法Kitamura Laboratory
深層学習に基づく周波数帯域補間手法による音源分離処理の高速化
- 1. 日本音響学会2021年春季研究発表会 2021年3月11日午前(9:00～9:15)[音源分離2] 深層学習に基づく周波数帯域補間手法による 音源分離処理の高速化 Fast audio source separation based on deep-neural- network-based frequency component interpolation ☆渡辺瑠伊（香川高専）, 北村大地（香川高専）, 猿渡洋（東大）, 高橋祐（ヤマハ），近藤多伸（ヤマハ） 2-1-3
- 2. 研究背景 1 • 多チャネル音源分離 ⁃ 多チャネル観測信号をもとに特定の信号を推定 • 混合された音源数と録音時のマイク数の関係 ⁃ 劣決定条件（音源数 ＞ マイク数） ⁃ 多チャネル非負値行列因子分解（MNMF）[Sawada+, 2013] ⁃ DNNに基づく多チャネル音源分離 ⁃ 優決定条件（音源数 ≦ マイク数） ⁃ 独立成分分析（ICA）[Comon,1994] ⁃ 周波数領域ICA [Smaragdis, 1998] ⁃ 独立低ランク行列分析（ILRMA）[Kitamura, 2016]
- 3. 研究背景 • 周波数領域での多チャネル音源分離 ⁃ 短時間フーリエ変換して得られるスペクトログラムに対し 周波数毎の分離フィルタを推定する手法が一般的 ⁃ 例：MNMF，周波数領域ICA，ILRMA 2
- 4. 本研究で用いる音源分離手法 • 多チャネル非負値行列因子分解（MNMF）[Sawada+, 2013] ⁃ 事前情報なしで高品質な劣決定音源分離 ⁃ 膨大な数のパラメータの推定に高い計算コスト がかかる 3 ：周波数ビン数 ：時間フレーム数 ：音源数 ：基底数（NMF）
- 5. 本研究の概要 4 • 高品質な多チャネル音源分離を低い計算コストで実現 • 周波数領域多チャネル音源分離と深層学習（DNN）を 組み合わせた音源分離フレームワーク ⁃ 特定の周波数のみ分離し他の周波数の分離成分はDNNで予測 • 混合信号の分割方法を様々にして実験
- 6. • 混合信号の振幅スペクトログラム を低周波帯域と 高周波帯域に分割 • の低周波帯域 にMNMFを適用し分離信号 及び を得る ⁃ 高周波帯域 は音源分離しない 5 提案フレームワークでの既存手法 [Watanabe+, 2020]
- 7. • 分離信号 ， ，及び混合信号 をDNNに入力 ⁃ DNNは から分離信号の高周波帯域 ， を得ら れるようなソフトマスク ， を出力 ⁃ を利用することで，より高精度な予測が可能 6 提案フレームワークでの既存手法 [Watanabe+, 2020]
- 8. 提案手法1：等間隔間引き手法 • 従来手法では，低周波帯域と高周波帯域に分割 ⁃ 周波数成分の外挿を行っている • 周波数ビンを等間隔に間引き，間引いた成分を予測 • DNNは周波数成分の内挿を行うため，高精度な推論が期 待される 7
- 9. • 基準となる周波数ビン を定め間引き数を変化させる ⁃ ：全周波数ビンをMNMF， ：1ビン飛ばしで間引き ⁃ ：2ビン飛ばしで間引き， ：3ビン飛ばしで間引き • 人間の聴覚の認知を考慮した間引き方 8 提案手法2：不等間隔間引き手法
- 10. DNNの入力 • 時間 における高周波成分を予測する場合 ⁃ 各信号の振幅スペクトログラムの隣接時間フレームを連結し結合 9
- 11. 実験条件 • 全周波帯域を分離するMNMFとの比較を行う ⁃ Source-to-distortion ratio (SDR) [Vincent+, 2006] の改善量及び 処理時間で評価 • 各手法における実験条件 10 データセット SiSEC2016データベースのドラム (Dr.) 及び ボーカル (Vo.) 音源100曲 (16 kHz) FFT窓長/シフト長 128 ms/64 ms スペクトログラムのビン数 1025 手法 分割した周波数ビン数 全周波帯域を分離するMNMF MNMF：1025，DNN：0 低周波帯域と高周波帯域に分割 MNMF：512，DNN：513 等間隔間引き MNMF：340，DNN：685 不等間隔間引き MNMF：330，DNN：695
- 12. 実験結果 11
- 13. 実験結果 • Song ID3について ⁃ 異なる乱数で10回実験を行った際の平均処理時間及び平均SDR 改善量の関係 • 各手法について音源分離の高速化が達成されている ⁃ 特に，不等間隔間引きでは，全周波帯域を分離するMNMFと比 較し高速かつより高品質に分離が可能 12/15
- 14. 実験結果 13 混合信号 不等間隔間引き 提案フレームワーク フルバンドMNMF
- 15. まとめ • 音源分離処理を高速化するフレームワークにおいて， 周波数成分予測が内挿となる間引き手法を2種類提案 ⁃ 不等間隔間引き手法では，従来の低周波帯域と高周波帯域に分 割する手法と比較し，より高速に同程度な音源分離が可能 • 今後の展望 ⁃ Song ID4のように全ての手法において高精度な予測が出来ない ものもあった ⁃ MNMFが有効な周波数ビンを任意に選択し間引く必要がある 14
Editor's Notes
- [00:05] 表記のタイトルで香川高専北村研究室の渡辺が発表いたします．
- [01:05] まず，本研究の背景について説明を行います． 本研究では多チャネル信号の音源分離について取り扱います． これは，マイクが複数ある環境で録音した観測信号をもとに，混合前の信号を推定する技術です． 図では，ギターとピアノの信号が2本のマイクで録音された混合信号から，それぞれの信号を得られるような分離系Wを推定しています． 混合された音源数と録音時のマイク数の関係は次のようなものがあります． 録音するマイク数よりも音源数のほうが多いという劣決定条件，そして録音するマイク数が音源数以上あるという優決定条件があり， 劣決定条件では，多チャネル非負値行列因子分解，通称MNMFや近年ではDNNに基づく多チャネル音源分離が提案されています． 優決定条件では，独立成分分析・ICAや周波数領域でのICA，および独立低ランク行列分析などがあります．
- [01:15] 特に，周波数領域での多チャネル音源分離では観測信号に対し，短時間フーリエ変換を行い，スペクトログラムを計算します． そして，周波数ごとの分離フィルタを推定することで，分離信号を得る手法が一般的です．
- [03:00] 本研究で取り扱う従来の多チャネル音源分離として，多チャネル非負値行列因子分解，，MNMFについて簡単に説明を行います． MNMFは，周波数領域での多チャネル音源分離手法であり，事前情報なしで高品質な劣決定音源分離が可能です． この図の左端Xは，縦軸周波数，横軸時間でそれぞれの要素がチャネルかけるチャネルの相関行列になっています． MNMFは，このXを空間モデルと音源モデルの二つに分解します． 空間モデルは音源ごとの空間的な違い，すなわち伝達系を表し，音源モデルは，すべての音源の音色構造を表します． したがって，伝達系を使って全音源の音色をクラスタリングして音源分離しています． 但し，この手法の問題は非常に膨大な数のパラメータを推定しなければならず，高い計算コストがかかります． 1セルが各行列 灰色が実数 赤色が複素数 全音源の低ランク近似 潜在変数Z クラスタリング
- [04:00] 本研究では，高品質な多チャネル音源分離を低い計算コストで実現することを目的とします． そして，これまでに我々は，周波数領域多チャネル音源分離とDNNを組み合わせた音源分離フレームワークを提案しました． 図のように，多チャネル観測信号の特定の周波数のみを音源分離し，分離しなかった他の周波数成分はポスト処理としてDNNで予測します． この図の状況では，混合信号を低周波帯域と高周波帯域に分割し，それぞれ処理を行っています． 本発表では，この，混合信号の様々な分割方法を提案し，音源分離フレームワークに与える影響を調査しました．
- [04:40] ここからは，従来の音源分離フレームワークの説明を行います． これまでに提案した手法として，混合信号を低周波帯域と高周波帯域に分割する手法があります． まず，混合信号の振幅スペクトログラムMを低周波帯域と高周波帯域に分割します． 次に，混合信号Mの低周波帯域であるMLにのみMNMFを適用し，低周波帯域の分離信号Y1L及びY2Lを得ます．
- [05:00] そして，分離信号Y1L，Y2L及び混合信号の高周波帯域MHをDNNに入力します． DNNはMHから，分離信号の高周波帯域 Y1H，およびY2Hが得られるようなソフトマスクW1，W2を出力します．
- [05:50] 本発表では，低周波帯域と高周波帯域に分割する従来手法の他に新たに二種類の分割方法を提案します． まず，等間隔間引き手法について説明します． 従来手法では，DNNは分離信号の高周波帯域を予測する，つまり周波数成分の外挿を行っていました． しかし，外挿問題は一般的に難しい推論処理となっています． そこで，周波数帯域を等間隔に間引き，DNNは間引いた成分を予測する，つまり，周波数成分の内挿を行うため，高精度な推論が可能であると期待できます． 図では，一つ飛ばしに周波数ビンを間引いていますが，これを二つ飛ばし三つ飛ばしのように間隔を空けていけばいくほど，高速な音源分離処理が可能となります．
- [06:50] 次に，不等間隔間引き手法について説明を行います． 人間の聴覚の認知では，周波数に対して対数的に変化することから，低周波帯域はほとんど間引かず，高周波帯域になるにつれ間引き数を増やす方が妥当である可能性があります． そこで，基準となる周波数ビンを定め間引き数を変化させています． 図のように，基準となるビンをFとすると，0~Fの帯域は間引かず，F~2Fの区間では一つ飛ばし，2F~4Fの区間では二つ飛ばし，4F~8Fの区間では三つ飛ばしのように 高周波帯域になるにつれて間隔を空け間引いています．
- [07:30] DNNの入力情報について，ここでは等間隔間引き手法を例に説明を行います． まず，DNNに入力する周波数ビンを一つ飛ばしに選択していきます． そして，時間フレームjにおける周波数成分を予測する場合，このように，各信号のスペクトログラムの隣接する時間フレームj±2，j±4におけるベクトルを結合し一本のベクトルを作成します． このベクトルをＤＮＮの入力情報として用います．
- [08:00] 各手法に音源分離フレームワークを適用し実験を行いました．実験の評価対象として，全周波帯域を分離するＭＮＭＦとの比較を行います． 音源分離の良しあしを表すＳＤＲ値の改善量及び音源分離にかかった処理時間を評価指標として用いています． ＤＮＮの学習データセットにはSiSEC2016のドラム及びボーカル音源の100曲を使用しました．FFT窓長及びシフト長はそれぞれ，128ms，64msです． そして，各手法における分割サイズは表のようになっています．今回扱うスペクトログラムのビン数は1025ビンあり，低周波帯域と高周波帯域に分割する手法では，半分の512ビンと513ビンに分割，等間隔間引きでは，二つ飛ばしで間引きを行ったので，MNMFが請け負う周波数ビンはおよそ1/3となっています． 不等間隔間引き手法は等間隔間引き手法と分割サイズが揃うように基準の周波数ビンを決めています．
- [09:00] 4曲の実験結果です． 横軸が音源分離にかかった時間，縦軸がSDR改善量となっています．また，異なる乱数を用いて5回実験を行った平均値となっています． 黒い実線が全周波帯域を分離するMNMF，紫の点が，低周波帯域と高周波帯域に分割する手法，青い点が，等間隔間引き手法，そして，黄色い点が不等間隔間引き手法のSDRの推移です． 多少のオーバーヘッドがあるものの，削減サイズに比例した処理時間となっていることがわかります． ここで，SongID3について詳しく説明を行います．
- [10:00] SongID3では，各手法について音源分離の高速化が達成されています． そして，黄色い点の不等間隔間引き手法では，全周波帯域を分離するMNMFと比較し，高速かつより高品質な音源分離が達成されていることが確認できます． また，全周波帯域を分離するMNMFでは，約200秒で10dB強に到達しているのに対し，不等間隔間引き手法では，50秒程度で到達していることがわかります． 等間隔間引き手法は全周波帯域をMNMFする手法よりもSDR改善量が劣っています．これは，低周波帯域を間引くことによって， MNMFの分離があまり出来ていないことが原因であると考えられます．
- [11:00] それでは最後に，デモを行いたいと思います． 左上が混合信号のスペクトログラム，そしてその下が不等間隔間引き手法によって間引かれたスペクトログラム， 右側が全周波帯域を分離するMNMFと音源分離フレームワークでの分離結果となっています． まず，混合信号を流します． 次に全周波帯域を分離するMNMFです． そして，音源分離フレームワークによる分離結果です． このように同程度な品質の音源分離ができています．
- 本発表のまとめです． （余ったら） 音源分離処理～ 実験結果から，不等間隔～ 一方で，SongID4～ ～あると考えられます． 以上で発表を終わります．