Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Asj2017 3 bileveloptnmf

5,084 views

Published on

ASJ 2017 Spring Meeting

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Asj2017 3 bileveloptnmf

  1. 1. 2017年日本音響学会春季研究発表会 NMFにおける識別的基底学習のための 2段階最適化 ☆遠藤宣明(東大),中嶋広明(東大),高宗典玄(東大), 高道慎之介(東大),猿渡洋(東大),小野順貴(NII / 総研大), 高橋祐(ヤマハ),近藤多伸(ヤマハ)
  2. 2. 非負値行列因子分解(NMF) • NMF [Lee & Seung, 1999] – 非負値行列を非負値行列の積に低ランク近似 – 画像処理、自動採譜など応用先は様々 – 音源分離の場合,音源のスペクトログラムを基底行列と アクティベーション行列に分解 Time Time Frequency 𝑭 𝑮 𝑡 𝒀 𝑡 Frequency Amplitude Amplitude 観測行列 (スペクトログラム) 基底行列 (頻出スペクトルパターン) アクティベーション行列 (時間的なゲイン変化) 𝑓 : 周波数ビン数 𝑡 : 時間フレーム数 𝑘 : 基底数 2/17
  3. 3. 音源分離と教師ありNMF • 教師ありNMF(supervised NMF: SNMF)[Smaragdis et al., 2007] – 教師基底に重複する特徴が多い場合,分離性能が低下 分離プロセス 教師基底𝑭, 𝑯を固定して𝑸, 𝑿を構成 𝒀mix 学習プロセス 目的の楽器の教師音を用いて学習した基底行列 特徴が重複しないように基底を学習させて、分離性能を向上させたい = 𝑯 𝑼 𝑭 𝑮 𝑭 𝑸 𝑯 𝑿 3/17
  4. 4. 2段階最適化問題としての音源分離問題 • 2段階最適化問題 – 下位制約関数が最適化問題で記述されている – 2つの最適化問題の変数が互いに入れ子構造を形成 𝑭 = argmin 𝑭,𝑮 𝔇KL 𝒀 𝟏 𝑭 𝑮 , 𝑯 = argmin 𝑯,𝑼 𝔇KL 𝒀 𝟐 𝑯 𝑼 s. t. 𝑮, 𝑼 = argmin 𝑮,𝑼 𝔇KL 𝒀mix 𝑭 𝑮 + 𝑯 𝑼 上位目的関数 教師音𝒀 𝟏, 𝒀 𝟐から 教師基底𝑭, 𝑯をNMFで学習 下位制約関数 アクティベーション行列𝑮, 𝑼は 混合音𝒀mixをよく表現できる 4/17
  5. 5. 2段階最適化問題としての音源分離問題 • 従来研究 [Weninger et al., 2014] – 仮定を設け,問題を緩和→厳密性を損なう 𝑭 = argmin 𝑭,𝑮 𝔇KL 𝒀 𝟏 𝑭 𝑮 , 𝑯 = argmin 𝑯,𝑼 𝔇KL 𝒀 𝟐 𝑯 𝑼 s. t. 𝑮, 𝑼 = argmin 𝑮,𝑼 𝔇KL 𝒀mix 𝑭 𝑮 + 𝑯 𝑼 上位目的関数 教師音𝒀 𝟏, 𝒀 𝟐から 教師基底𝑭, 𝑯をNMFで学習 下位制約関数 アクティベーション行列𝑮, 𝑼は 混合音𝒀mixをよく表現できる 𝑭 = argmin 𝑭,𝑮 𝔇KL 𝒀 𝟏 𝑭 𝑮 , 𝑯 = argmin 𝑯,𝑼 𝔇KL 𝒀 𝟐 𝑯 𝑼 s. t. 𝑮, 𝑼 = argmin 𝑮,𝑼 𝔇KL 𝒀mix 𝑭(∗) 𝑮 + 𝑯(∗) 𝑼 𝑭(∗) = argmin 𝑭, 𝑮 𝔇KL 𝒀 𝟏 𝑭 𝑮 , 𝑯(∗) = argmin 𝑯, 𝑼 𝔇KL 𝒀 𝟐 𝑯 𝑼 5/17 下位制約関数中の基底行列𝑭 ∗ , 𝑯(∗)を事前学習したものから動かさない
  6. 6. 2段階最適化問題としての音源分離問題 • 提案手法 – 下位問題を等式制約に置き換える – 非負値制約付きのargminによる問題をどう等式制約とするか? – 等式制約を罰金関数化して、上位目的関数に組み込む 下位問題はNMFの形→独立に解くと乗算更新式が得られる(更新係数が非 負であれば非負値制約を満たしたまま解が得られる) →乗算更新式の等号が成り立てば更新が停留する →停留に関する等式制約が得られる+非負値制約も解決 min 𝑭,𝑮,𝑯,𝑼 𝔇KL 𝒀 𝟏 𝑭𝑮 + 𝔇KL 𝒀 𝟐 𝑯𝑼 + 𝛼 𝐺 𝐶 𝐺 + 𝛼 𝑈 𝐶 𝑈 上位目的関数 罰金関数項 上位目的関数 教師音𝒀 𝟏, 𝒀 𝟐から 教師基底𝑭, 𝑯をNMFで学習 下位制約関数 アクティベーション行列𝑮, 𝑼は 混合音𝒀mixをよく表現できる 𝑭 = argmin 𝑭,𝑮 𝔇KL 𝒀 𝟏 𝑭 𝑮 , 𝑯 = argmin 𝑯,𝑼 𝔇KL 𝒀 𝟐 𝑯 𝑼 s. t. 𝑮, 𝑼 = argmin 𝑮,𝑼 𝔇KL 𝒀mix 𝑭 𝑮 + 𝑯 𝑼 6/17
  7. 7. 乗算更新式による罰金関数の導出 補助関数法で下位問題を解いたときの 𝑮の乗算更新式           𝐺 𝑘,𝑡 ← 𝐺 𝑘,𝑡 𝑌mix 𝜔,𝑡 𝐹 𝜔,𝑘 𝐹 𝜔,𝑘′𝑘′ 𝐺 𝑘′,𝑡 + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ 𝜔 𝐹 𝜔,𝑘𝜔 乗算更新式 下位目的関数の停留点では 更新式の「←」は等号になるはず 等式制約 𝐺 𝑘,𝑡 = 𝐺 𝑘,𝑡 𝑌mix 𝜔,𝑡 𝐹 𝜔,𝑘 𝐹 𝜔,𝑘′𝑘′ 𝐺 𝑘′,𝑡 + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ 𝜔 𝐹 𝜔,𝑘𝜔 罰金関数 𝐶 𝐺 = 𝐺 𝑘,𝑡 2 𝑌mix 𝜔,𝑡 𝐹 𝜔,𝑘 𝐹 𝜔,𝑘′𝑘′ 𝐺 𝑘′,𝑡 + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ 𝜔 𝐹 𝜔,𝑘𝜔 − 1 2 𝑡𝑘 両辺の差の2乗が罰金関数 𝐶 𝑈についても同様に定められる. 7/17
  8. 8. 最適化問題の求解 • 罰金付きの目的関数を非負値制約の下で解かねばならない – 通常のNMFのように補助関数法で解くことが困難 → 乗算型の最急降下法[Fevotte et al., 2009]で解く 𝜕 𝜕𝐹Ω,𝐾 𝔇KL 𝒀 𝟏 𝑭𝑮 + 𝔇KL 𝒀 𝟐 𝑯𝑼 + 𝛼 𝐺 𝐶 𝐺 + 𝛼 𝑈 𝐶 𝑈 = 𝐺 𝐾,𝑡 − 𝑌1Ω,𝑡 𝐺 𝐾,𝑡 𝐹Ω,𝑘′ 𝐺 𝑘′,𝑡𝑘′ 𝑡 + ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ 項別に展開、整理 = 𝐺 𝐾,𝑡 𝑡 + ⋯ ⋯ ⋯ ⋯ − 𝑌1Ω,𝑡 𝐺 𝐾,𝑡 𝐹Ω,𝑘′ 𝐺 𝑘′,𝑡𝑘′ 𝑡 + ⋯ ⋯ ⋯ ⋯ 正の項の和 負の項の和 = Δ𝑓+ − Δ𝑓− 最急降下法の式 𝐹Ω,𝐾 ← 𝐹Ω,𝐾 − 𝜂(Δ𝑓+ − Δ𝑓− ) ステップ幅の設定 𝜂 = 𝐹Ω,𝐾 Δ𝑓+ 乗算型最急降下法 𝐹Ω,𝐾 ← 𝐹Ω,𝐾 × Δ𝑓− Δ𝑓+ 非負制約を容易に解決 非負の更新係数 8/17
  9. 9. 最適化問題の求解 Δ𝑓− = 𝑌1Ω,𝑡 𝐺 𝐾,𝑡 𝐹Ω,𝑘′ 𝐺 𝑘′,𝑡𝑘′ 𝑡 + 2𝛼 𝐺 𝐺 𝑘,𝑡 2 𝑘,𝑡 𝑌mix 𝜔,𝑡𝜔 𝐹 𝜔,𝑘 𝐹 𝜔,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ −1 𝑌mix Ω,𝑡 𝐹Ω,𝑘 𝐺 𝐾,𝑡 𝐹 𝜔,𝑘𝜔 2 𝐹Ω,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻Ω,𝑙′ 𝑈𝑙′,𝑡𝑙′ 2 + 2𝛼 𝐺 𝐺 𝐾,𝑡 2 𝑡 𝑌mix Ω,𝑡 𝐹 𝜔,𝐾 𝐹Ω,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻Ω,𝑙′ 𝑈𝑙′,𝑡𝑙′𝜔 + 2𝛼 𝐺 𝐺 𝐾,𝑡 2 𝑡 𝑌mix 𝜔,𝑡𝜔 𝐹 𝜔,𝐾 𝐹 𝜔,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ −1 2 𝐹 𝜔,𝐾𝜔 3 𝐹Ω,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻Ω,𝑙′ 𝑈𝑙′,𝑡𝑙′ + 2𝛼 𝑈 𝑈𝑙,𝑡 2 𝑙,𝑡 𝑌mix 𝜔,𝑡𝜔 𝐻 𝜔,𝑙 𝐹 𝜔,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ −1 𝑌mix Ω,𝑡 𝐻Ω,𝑙 𝐺 𝐾,𝑡 𝐻 𝜔,𝑙 𝐹 𝜔,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ 2 𝜔 Δ𝑓+ = 𝐺 𝐾,𝑡 𝑡 + 2𝛼 𝐺 𝐺 𝑘,𝑡 2 𝑘,𝑡 𝑌mix Ω,𝑡 𝐹Ω,𝑘 𝐺 𝐾,𝑡 𝐹 𝜔,𝑘 𝐹 𝜔,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ 2 𝜔 + 2𝛼 𝐺 𝐺 𝐾,𝑡 2 𝑡 𝑌mix 𝜔,𝑡𝜔 𝐹 𝜔,𝐾 𝐹 𝜔,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ −1 𝐹 𝜔,𝐾𝜔 2 + 2𝛼 𝐺 𝐺 𝐾,𝑡 2 𝑡 𝑌mix 𝜔,𝑡𝜔 𝐹 𝜔,𝐾 𝐹 𝜔,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ −1 𝑌mix Ω,𝑡 𝐹 𝜔,𝐾𝜔 2 𝐹Ω,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻Ω,𝑙′ 𝑈𝑙′,𝑡𝑙′ + 2𝛼 𝑈 𝑈𝑙,𝑡 2 𝑙,𝑡 𝑌mix Ω,𝑡 𝐻Ω,𝑙 𝐺 𝐾,𝑡 𝐻 𝜔,𝑙 𝐹 𝜔,𝑘′ 𝐺 𝑘′,𝑡𝑘′ + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ 2 𝜔 Δ𝑓−, Δ𝑓+の第1項のみを考えると(つまり𝛼 𝐺 = 𝛼 𝑈 = 0のとき)SNMFに相当する 𝜕 𝜕𝐹Ω,𝐾 𝔇KL 𝒀 𝟏 𝑭𝑮 9/17
  10. 10. 罰金関数の設定 • 罰金関数の候補 (2) 𝐶 𝐺 ≡ 𝐺 𝑘,𝑡 𝑌mix 𝜔,𝑡 𝐹 𝜔,𝑘 𝐹 𝜔,𝑘′𝑘′ 𝐺 𝑘′,𝑡 + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ 𝜔 𝐹 𝜔,𝑘𝜔 − 1 2 𝑡𝑘 (1) 𝐶 𝐺 ≡ 𝐺 𝑘,𝑡 2 𝑌mix 𝜔,𝑡 𝐹 𝜔,𝑘 𝐹 𝜔,𝑘′𝑘′ 𝐺 𝑘′,𝑡 + 𝐻 𝜔,𝑙′ 𝑈𝑙′,𝑡𝑙′ 𝜔 𝐹 𝜔,𝑘𝜔 − 1 2 𝑡𝑘 各行列は非負値行列なので(2) のように𝐶 𝐺を定めても罰金関数 として成立する.他にも様々なバリエーションが考えられる. 10/17
  11. 11. トイモデルに対する実験 • 実験条件 – 乱数シードは固定 – 個別教師音𝒀 𝟏, 𝒀 𝟐:各要素が形状母数0.4, 尺度母数1のガ ンマ分布に従う行列𝑭, 𝑮, 𝑯, 𝑼の積を生成し,これにガウス ノイズ(平均0、分散10−4)を加えたもの – 𝑭𝑮,𝑯𝑼のサイズは65×100,ランクは10 – 混合教師音は𝒀 𝟏 + 𝒀 𝟐に一様乱数で生成した位相を加えた もの – NMFの際の行列の基底数は5 – 各行列の初期値は乱数で生成(乱数シードは固定) 11/17
  12. 12. トイモデルに対する実験 • 混合音源に対する目的関数値 𝔇KL 𝒀 𝐦𝐢𝐱 𝑭𝑮 + 𝑯𝑼 のグラフ(重み係数 = 10) KKT条件由来の更新則 SNMF ※KKT条件由来の更新則: 下位問題を不等式制約付き 最適化問題とみなして, KKT条件から導かれる 等号条件を罰金化して 得られる更新則 乗算更新式由来の更新則 • 下位制約の効果でSNMFよりも最適な解へ収束している. • KKT条件由来の更新則は収束が遅い. 12/17 罰金関数(1) 罰金関数(2)
  13. 13. トイモデルに対する実験 • 個別音源に対する目的関数値 𝔇KL 𝒀 𝟏 𝑭𝑮 のグラフ(重み係数 = 10) KKT条件由来の更新則 SNMF ※KKT条件由来の更新則: 下位問題を不等式制約付き 最適化問題とみなして, KKT条件から導かれる 等号条件を罰金化して 得られる更新則 乗算更新式由来の更新則 • 下位制約により,SNMFに比べて上位目的関数値は増加する. • KKT条件由来の更新則は収束が遅い. 13/17 罰金関数(1) 罰金関数(2)
  14. 14. 実データに対する実験 • 実験条件(訓練時) – 個別音の訓練データ𝒀 𝟏, 𝒀 𝟐:2つの楽器の24音階分のMIDI信 号(YAMAHA)𝑦1 𝑡 , 𝑦2(𝑡)の振幅スペクトログラム. – 各信号のサンプリング周波数は44.1 kHz, STFTの窓長は 1024 点,Hanning窓を使用 – 訓練データ中の音階数は24 – 混合教師音𝒀 𝟑は𝑦1 𝑡 + 𝑦2(𝑡)の振幅スペクトログラム – 基底行列の基底数は100 – 各行列の初期値は乱数で生成(乱数シードは固定) – 評価指標:signal to distortion ratio (SDR) • SN比と信号の歪みの両方を考慮した指標 • ダイナミックレンジが狭く人間は0.5 dB差も知覚可能 14/17
  15. 15. 実データに対する実験 • 実験条件(分離時) – テストデータとして2つの楽器音𝑦1 t 𝑡 , 𝑦2 t 𝑡 からなる曲 [Kitamura et al., 2014] 𝑦t 𝑡 = 𝑦1 t 𝑡 + 𝑦2 t 𝑡 を与え,そのスペ クトログラム𝒀𝐭に対して個別教師音に対するNMFおよび提案手 法で推定した基底行列を用いてSNMFを行う. – 10種類の初期値から計算を行い,平均SDRで分離度評価 15/17
  16. 16. 実験結果 • 平均SDR [dB] 楽器の組 楽器1 SNMF 楽器1 Proposed 楽器2 SNMF 楽器2 Proposed Fg & Fl 13.5 14.6 13.8 17.0 Fg & Hp 16.6 18.2 5.80 8.59 Fg & Hr 4.03 5.24 6.39 6.53 Fl & Hp 15.7 16.2 4.21 5.55 Fl & Hr 3.37 7.14 5.02 8.25 Hp & Hr 3.60 5.27 16.4 17.2 Average 9.48 11.1 8.61 10.5 • SNMFに比べ分離精度が大幅に改善された. 16/17
  17. 17. まとめ • 識別的基底学習を定式化した2段階最適化問題に対して, 下位制約関数の停留点条件を利用して局所最適解を導出 した. • NMFで用いられる乗算更新式の停留条件に着目し,等式 制約を導き,罰金関数として上位目的関数に組み込んだ. • 実データの音源分離において,平均SDRがSNMFに比べ 実験的に改善された. 17/17

×