基底変形型教師ありNMFによる実楽器信号分離 (in Japanese)
•Download as PPTX, PDF•
11 likes•5,976 views
Presented at IEICE EA conderence (domestic conference) 北村大地, 猿渡洋, 鹿野清宏, 近藤多伸, 高橋祐, "基底変形型教師ありNMFによる実楽器信号分離," IEICE Technical Report, EA2012-121, vol.112, no.388, pp.13-18, Kyoto, January 2013.
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (12)
Similar to 基底変形型教師ありNMFによる実楽器信号分離 (in Japanese)
Similar to 基底変形型教師ありNMFによる実楽器信号分離 (in Japanese) (6)
More from Daichi Kitamura
More from Daichi Kitamura (9)
基底変形型教師ありNMFによる実楽器信号分離 (in Japanese)
- 1. 基底変形型教師あり NMF による 実楽器信号分離 奈良先端科学技術大学院大学 北村大地 猿渡洋 鹿野清宏 ヤマハ株式会社 近藤多伸 高橋祐 Signal separation for real instruments based on supervised NMF with basis deformation
- 3. • 多重音解析に用いられる技術の一つとして， 非負値行列因子分解がある [Lee, 1999] • 効率的な反復アルゴリズムが提案され，画像 処理，音響信号処理等様々な分野に応用さ れる 研究背景 3
- 4. Time [sec] Frequency[Hz] Nonnegative Matrix Factorization (NMF) 4 … … … … 頻出スペクトル 各スペクトルの タイミングと音量
- 5. Time [sec] Frequency[Hz] Nonnegative Matrix Factorization (NMF) 5 … … … … アクティベーション行列 スペクトル基底行列
- 6. • 分離する楽器の教師音を用いる手法 学習プロセス 罰則条件付き教師あり NMF [八木, 2010] 6 目的の楽器の教師音を 用いて学習した基底 分離プロセス 教師基底 を固定して を構成
- 7. • 分離する楽器の教師音を用いる手法 学習プロセス 罰則条件付き教師あり NMF [八木, 2010] 7 目的の楽器の教師音を 用いて学習した基底 分離プロセス 教師基底 を固定して を構成 から再構成した スペクトログラムが分離結果
- 8. 罰則条件付き教師あり NMF [八木, 2010] • 教師基底 とその他の基底 が互いに無相 関となる罰則条件を与える 8 に教師基底 と同じスペクトル パターンが現れた場合， から 得られる抽出音に欠損が生じる Ex.
- 9. 実楽器音を対象とした NMF の信号分離 • 本研究では，実楽器の混合信号から目的の 楽器音を分離する • 従来手法では，混合信号中の目的楽器音と 教師音の音色に差があると分離精度が著しく 劣化する 9 信号分解 実楽器の混合信号 教師音 分離音
- 10. 実楽器音を対象とした NMF の信号分離 • 本研究では，実楽器の混合信号から目的の 楽器音を分離する • 従来手法では，混合信号中の目的楽器音と 教師音の音色に差があると分離精度が著しく 劣化する 10 信号分解 実楽器の混合信号 教師音 分離音音色に差があると 分離精度が低下
- 11. 実楽器音を対象とした NMF の信号分離 • 同じ種類の楽器であっても，音色は楽器の個 体差や演奏者などに強く依存 • 事前に入手可能な教師音を分離対象音に適 応させる新たな分解手法が必要 11 事前入手可能な教師音 分離対象音
- 12. • 次のような分解を提案する • 教師基底 の変形項として，共通のアクティ ベーション を持つスペクトル基底 を導入 • 教師基底 を変形して目的音に合わせる 基底変形型教師あり NMF 12 を 分離結果とする 目的音のスペクトル 教師音のスペクトル Amplitude Frequency 減算 加算
- 13. • 基底 は加算と減算に対応した変形項 • は以下の制約下で正負値を持つ • は教師基底 に対する減算の許容範囲 基底変形型教師あり NMF 13 減算 の場合 30%まで 減算可能
- 14. • 基底 は，教師基底 と同じアクティベー ション を持つため，分離目的音と同じタイミ ングで生じる別の楽器のスペクトルが現れる 恐れがある 基底変形型教師あり NMF 14 と と が 全て別の基底 目的音 非目的音
- 15. • 基底 は，教師基底 と同じアクティベー ション を持つため，分離目的音と同じタイミ ングで生じる別の楽器のスペクトルが現れる 恐れがある 基底変形型教師あり NMF 15 同じタイミングで生じる別の楽器 が，基底 に現れる恐れがある と と が 全て別の基底 目的音 非目的音
- 16. • 目的関数 基底変形型教師あり NMF 目的関数 16
- 17. • 通常の NMF の更新式導出と同様に補助関 数法を用いる • 目的関数 の上限を与える補助関数 を以 下のように定義 • と はそれぞれ対数項と罰則項の 上限， は定数 基底変形型教師あり NMF 更新式導出 17
- 18. • 補助関数 を最小化することで，間接的に 目的関数 を最小化 • 基底 の更新式を導出するために を で偏微分し とおくと以下の式を得る 基底変形型教師あり NMF 更新式導出 18
- 19. • 補助関数 を最小化することで，間接的に 目的関数 を最小化 • 基底 の更新式を導出するために を で偏微分し とおくと以下の式を得る 基底変形型教師あり NMF 更新式導出 19 正負の値を持つ
- 20. 基底変形型教師あり NMF 更新式 20 基底行列 更新式 (一般化 KL divergence 規準)
- 21. 基底変形型教師あり NMF 更新式 21 基底行列 更新式 (一般化 KL divergence 規準)
- 22. 基底変形型教師あり NMF 更新式 22 アクティベーション行列 更新式 (一般化 KL divergence 規準)
- 23. 基底変形型教師あり NMF 実験条件 23 入力信号 実録の Fl. と Cl. の 2 楽器の等パワー混合信号 教師信号 Fl. と Cl.の MIDI 音 入力信号の音域をカバーする範囲において 半音階で2オクターブ上昇する信号 STFT 窓関数： 矩形 → ハニング 窓長： 92.9 msec, シフト長: 46.4 msec 教師基底数 100 その他基底数 50 変形許容範囲 0.3 更新回数 学習プロセス：500, 分離プロセス：400 各行列の初期値 乱数 各罰則項の重み 実験的に調整した値 分離精度評価値 SDR, SIR, SAR (10回試行の平均値)
- 24. 客観的評価尺度 • 分離した推定信号が次式で表現できると仮 定する 24 SDR ：分離した目的音の品質 SIR ：分離した目的音と非目的音との分離度合 SAR ：一連の信号処理によって生じた歪みの少なさ 高いほうが 良い分離
- 25. • 実験結果の比較 • Fl. の分離では，全ての評価値が向上 • Cl. の分離では，SDR と SAR が向上したが， SIR は低下 • 提案手法の分離信号はより実音に近い 基底変形型教師あり NMF 分離実験 25 入力信号 分離 目的音 従来手法 提案手法 SDR SIR SAR SDR SIR SAR Flute 5.3 13.4 6.2 7.6 16.4 8.4 Clarinet 7.2 21.1 7.4 8.9 16.9 9.9 SDR ：分離した目的音の品質 SIR ：分離した目的音と非目的音との分離度合 SAR ：一連の信号処理によって生じた歪みの少なさ
- 26. 基底変形型教師あり NMF 分離実験 26 Fl. と Cl. の混合信号 Fl. のみの真の信号 従来法の Fl. 抽出信号 提案法のFl. 抽出信号
- 27. • 教師音を用いた実楽器音の音源分離手法と して，基底変形型教師あり NMF を提案 • 提案法は従来法より優れた分離を実現し，よ り実音に近い自然な分離音が得られる • 様々な実楽器に適応して分離精度を比較 • 罰則項の重みパラメータの最適値推定方法 の検討 • マルチチャネル信号分解への応用 まとめと今後 27
Editor's Notes
- CDのように複数の楽器が混合された音楽信号から，特定の楽器のみを分離して抽出する技術は，一般に多重音解析と呼ばれる 例えば下の図のように，ピアノやサックスなどが混ざった音から，サックスのみを取り出すようなタスク これが実現できれば，ユーザが自分の好みに応じてそれぞれの楽器の音量などを調節するという能動的な音楽鑑賞が可能になる また，音楽信号の自動採譜にも応用できる重要な技術
- この多重音解析に用いられる技術の一つとして，NMF，非負値行列因子分解が挙げられる これは非常に単純な分解で，ある行列Yを別の２つの行列HとUの行列積で表現するという手法 このYとHとUの要素はいずれも0以上の非負値という制約がある このNMFの解法として，下の式のような効率的な反復アルゴリズムが提案されており， 様々な分野で応用されている
- 音響信号にNMFを用いる場合，振幅あるいはパワースペクトログラムを行列Yとみなし，HとUに分解する この場合，NMFの性質から，Hにはスペクトログラムの中で頻繁に出てくるスペクトルのパターンが現れ， Uにはそれぞれのスペクトルパターンがアクティブになるタイミングと音量が現れる． 今この図で示している例では，この部分の成分に対してこのパーツ，この部分の成分に対してこのパーツが Hに現れ，それらの発生するタイミングと音量がUに現れている
- この二つの行列を「スペクトル基底行列」と「アクティベーション行列」と呼ぶ
- このNMFを用いた教師ありの信号分離手法として，罰則条件付き教師ありNMFが提案された この手法は分離する楽器の教師音を用いる手法で，学習プロセスと分離プロセスから成る 学習プロセスでは，目的の楽器の教師音対してNMFを行い，教師スペクトル基底Fを作る そして，分離プロセスでは，学習した教師基底を用い，そのアクティベーションGとその他の成分が入るHUを用意する 教師基底Fは固定し，残りのG,H,Uを求める 教師基底のみで再構成されたFGのスペクトログラムが分離結果になる
- 教師基底のみで再構成されたFGのスペクトログラムが分離結果になる
- このとき，教師基底Fとその他の基底Hが互いに無相関となるような罰則条件を 与えてGHUを求める これはFとHに同じスペクトルパターンが現れた場合，FGから 得られる抽出音に欠損が生じる為 ここまでが教師ありNMFによる信号分離の従来手法の説明
- ここからが本研究で提案する手法について 本研究では，実楽器の混合信号から目的の楽器音を分離することを目標とする 従来手法では，混合信号中の目的楽器音と教師音の音色に差があると 分離精度が著しく劣化するという問題があった これはたとえば，この混合信号からピアノを取り出すときに， 教師音に用いたピアノの音色と信号中のピアノの音色に差があった時
- 分離精度が極端に低下するという問題
- しかし，同じ種類の楽器であっても音色は楽器の個体差や演奏者などに強く依存するため， 事前に入手可能な教師音を，分離対象音に適応させる新たな分解手法が必要となる
- そこで，次のような分解を提案する 従来法でY=FG+HUだったところを，(F+D)G+HUとして， 教師基底Fの変形項として，共通のアクティベーションGをもつ スペクトル基底Dを導入する これは下の図のように，黒の教師音スペクトルに対して目的音の スペクトルが赤色のように異なっていたとき，このピークではDで教師スペクトルを 減算し，このピークでは教師を加算することで変形する 分離結果は(F+D)Gとなる
- この時，基底Dは加算と減算に対応した変形項であり，正負の値を持つ行列になる ただし，このF+Dは非負の行列とするために，この制約条件のもとで負の値を制限する ここでηは，教師基底Fに対する減算の許容範囲を示すパラメータであり， η=0.3の時は教師スペクトルを30%まで減算変形が可能となる
- さらに，基底Dは，教師基底Fと同じアクティベーションを持つため， 分離目的音と同じタイミングで生じる別の楽器のスペクトルが現れる恐れがある 例えば，このような混合信号に対して，目的音を取り出したいとき，
- 同じタイミングで生じる別の楽器が基底Dに現れるということ これを防ぐために，このような4種類の罰則条件をあたえて分解する これらはすべて，教師基底Fと音色の差異基底Dとその他の楽器の基底H がそれぞれ別物であるという条件を示している
- 目的関数はこのようになる 本研究では，左辺と右辺の距離関数に 一般化カルバックライブラダイバージェンスを用いた 距離関数と各罰則条件に重みを付けた項を， 先ほどの非負制約の下で最小化することで更新式を導出できる
- この目的関数は通常のNMFの更新式導出と同様に，補助関数法を用いることで 更新式を導出できる 先ほどの目的関数Jの上限を与える補助関数J+を定義する 式中のQlogはKLダイバージェンス中の対数項の上限，Qpenaltyは罰則項の上限であり， Cjは定数
- この補助関数J+を最小化することで，間接的に目的関数Jを最小化する Dの更新式を導出するためにJ+をDで微分し0とおくとこのような式になる
- この式中のVはこの式で表され，Dが単独で存在するので正負の値を持つ Vが負の場合は右辺に移項して式全体の非負性を保つ 従ってこのVの正負に応じて2つの更新式を導出する
- 先ほどの式から導出されるDの更新式はこのようになる Vの正負によって形がかわる
- 同様にしてその他の基底Hの更新式を導出した結果 こちらもWの正負によって形がかわる
- さらにアクティベーションGとUの更新式は このようになる
- 分離実験の条件はこの通り 入力信号は実録のフルートとクラリネットの2楽器を等パワー混合した信号 教師信号には，それぞれの楽器のMIDI音を半音階で2オクターブ用いる スペクトログラムはこの条件で作成し 教師基底の変形許容範囲は30%とした 教師基底数を100，その他の基底数を30とし，それぞれのプロセスの更新回数はこの通り 各行列の初期値は乱数を与え，分離精度の評価値にはこの3つを用いる また，各罰則項の重み係数は実験的に調整した値を使用した
- この評価尺度について簡単に説明する 分離した推定信号が，目的音成分，非目的音成分，それ以外の成分の3つで表現できると仮定すると SDR,SIR,SARはそれぞれこのように表される SDRは分離した目的音の品質，SIRは分離度合，SARは一連の処理によって生じた歪みの少なさを表し， どの値も高いほうが良い分離となる
- 分離結果． Flの分離結果ではすべての評価値が向上している Clの分離結果ではSDRとSARが向上したが，SIRは低下した それでは，入力信号と，それぞれの手法のフルートの分離結果をお聞かせします 従来手法はMIDIの教師基底で再構成しているので，少しこもった様な音ですが， 提案手法では教師基底が実楽器音に合うように変形されているので，より実楽器に近い 自然な音色となり，フルートの息遣いなども良く再現されています．音色の違いに着目して聞いてください． 始めに入力信号です，次に従来手法です，最後に提案手法です 提案法の分離信号の中の目的音は，従来法に比べより実音に近い音になっている
- これはフルートの結果をスペクトログラムで比較したもの 左上が分離前の混合信号，右上がフルートのみの真の信号 左下が従来手法の分離結果で，右下が提案手法の分離結果 提案手法は目的の信号成分がより多く含まれており， 高周波成分もよく表現しているが，若干非目的音のクラリネットの成分が 混在していることが確認できる
- 分離実験の条件はこの通り 入力信号は実録のフルートとクラリネットの2楽器を等パワー混合した信号 教師信号には，それぞれの楽器のMIDI音を半音階で2オクターブ用いる スペクトログラムはこの条件で作成し 教師基底の変形許容範囲は30%とした 教師基底数を100，その他の基底数を30とし，それぞれのプロセスの更新回数はこの通り 各行列の初期値は乱数を与え，分離精度の評価値にはこの3つを用いる SDRは分離した目的音の品質，SIRは分離度合，SARは一連の処理によって生じた歪みの少なさを表し， どの値も高いほうが良い分離となる また，各罰則項の重み係数は実験的に調整した値を使用した
- 分離結果． Flの分離結果ではすべての評価値が向上している Clの分離結果ではSDRとSARが向上したが，SIRは低下した 提案法の分離信号の中の目的音は，従来法に比べより実音に近い音になっている
- しかし，この下の図のように，MIDIの教師音と実楽器音との音色の差があったとき， 分離精度を大きく低下させる要因となる．
- 特定の楽器を分離するためには，その楽器の音のスペクトル基底とアクティベーションのみを 取り出してスペクトログラムを再構成すればよい 例えば，この図のように2本だけを取り出して再構成すれば，このように2音だけの分離音が得られる
- しかし，これは問題があり，スペクトル基底から目的の楽器音の基底を探す必要がある また，予め用意するスペクトル基底の本数が不適切な場合，基底に複数のスペクトルが混在する等の問題がある