基底変形型教師ありNMFによる実楽器信号分離 (in Japanese)

Daichi Kitamura
Daichi KitamuraAssistant Professor at National Institute of Technology, Kagawa College
基底変形型教師あり NMF による
実楽器信号分離
奈良先端科学技術大学院大学
北村大地 猿渡洋 鹿野清宏
ヤマハ株式会社
近藤多伸 高橋祐
Signal separation for real instruments based on
supervised NMF with basis deformation
研究背景
• 複数の楽器が多重に混合された音楽信号の
中から,特定の楽器音を分離・抽出する技術
は,一般に多重音解析と呼ばれる
• ユーザの好み応じて各楽器音を編集する新
しい音楽の楽しみ方や,音楽信号の自動採
譜等に応用できる重要な技術
2
• 多重音解析に用いられる技術の一つとして,
非負値行列因子分解がある [Lee, 1999]
• 効率的な反復アルゴリズムが提案され,画像
処理,音響信号処理等様々な分野に応用さ
れる
研究背景
3
Time [sec]
Frequency[Hz]
Nonnegative Matrix Factorization (NMF)
4
…
…
…
…
頻出スペクトル
各スペクトルの
タイミングと音量
Time [sec]
Frequency[Hz]
Nonnegative Matrix Factorization (NMF)
5
…
…
…
…
アクティベーション行列
スペクトル基底行列
• 分離する楽器の教師音を用いる手法
学習プロセス
罰則条件付き教師あり NMF [八木, 2010]
6
目的の楽器の教師音を
用いて学習した基底
分離プロセス 教師基底 を固定して を構成
• 分離する楽器の教師音を用いる手法
学習プロセス
罰則条件付き教師あり NMF [八木, 2010]
7
目的の楽器の教師音を
用いて学習した基底
分離プロセス 教師基底 を固定して を構成
から再構成した
スペクトログラムが分離結果
罰則条件付き教師あり NMF [八木, 2010]
• 教師基底 とその他の基底 が互いに無相
関となる罰則条件を与える
8
に教師基底 と同じスペクトル
パターンが現れた場合, から
得られる抽出音に欠損が生じる
Ex.
実楽器音を対象とした NMF の信号分離
• 本研究では,実楽器の混合信号から目的の
楽器音を分離する
• 従来手法では,混合信号中の目的楽器音と
教師音の音色に差があると分離精度が著しく
劣化する
9
信号分解
実楽器の混合信号
教師音
分離音
実楽器音を対象とした NMF の信号分離
• 本研究では,実楽器の混合信号から目的の
楽器音を分離する
• 従来手法では,混合信号中の目的楽器音と
教師音の音色に差があると分離精度が著しく
劣化する
10
信号分解
実楽器の混合信号
教師音
分離音音色に差があると
分離精度が低下
実楽器音を対象とした NMF の信号分離
• 同じ種類の楽器であっても,音色は楽器の個
体差や演奏者などに強く依存
• 事前に入手可能な教師音を分離対象音に適
応させる新たな分解手法が必要
11
事前入手可能な教師音
分離対象音
• 次のような分解を提案する
• 教師基底 の変形項として,共通のアクティ
ベーション を持つスペクトル基底 を導入
• 教師基底 を変形して目的音に合わせる
基底変形型教師あり NMF
12
を
分離結果とする
目的音のスペクトル
教師音のスペクトル
Amplitude
Frequency
減算
加算
• 基底 は加算と減算に対応した変形項
• は以下の制約下で正負値を持つ
• は教師基底 に対する減算の許容範囲
基底変形型教師あり NMF
13
減算
の場合 30%まで
減算可能
• 基底 は,教師基底 と同じアクティベー
ション を持つため,分離目的音と同じタイミ
ングで生じる別の楽器のスペクトルが現れる
恐れがある
基底変形型教師あり NMF
14
と と が
全て別の基底
目的音
非目的音
• 基底 は,教師基底 と同じアクティベー
ション を持つため,分離目的音と同じタイミ
ングで生じる別の楽器のスペクトルが現れる
恐れがある
基底変形型教師あり NMF
15
同じタイミングで生じる別の楽器
が,基底 に現れる恐れがある
と と が
全て別の基底
目的音
非目的音
• 目的関数
基底変形型教師あり NMF 目的関数
16
• 通常の NMF の更新式導出と同様に補助関
数法を用いる
• 目的関数 の上限を与える補助関数 を以
下のように定義
• と はそれぞれ対数項と罰則項の
上限, は定数
基底変形型教師あり NMF 更新式導出
17
• 補助関数 を最小化することで,間接的に
目的関数 を最小化
• 基底 の更新式を導出するために を
で偏微分し とおくと以下の式を得る
基底変形型教師あり NMF 更新式導出
18
• 補助関数 を最小化することで,間接的に
目的関数 を最小化
• 基底 の更新式を導出するために を
で偏微分し とおくと以下の式を得る
基底変形型教師あり NMF 更新式導出
19
正負の値を持つ
基底変形型教師あり NMF 更新式
20
基底行列 更新式 (一般化 KL divergence 規準)
基底変形型教師あり NMF 更新式
21
基底行列 更新式 (一般化 KL divergence 規準)
基底変形型教師あり NMF 更新式
22
アクティベーション行列 更新式
(一般化 KL divergence 規準)
基底変形型教師あり NMF 実験条件
23
入力信号 実録の Fl. と Cl. の 2 楽器の等パワー混合信号
教師信号
Fl. と Cl.の MIDI 音
入力信号の音域をカバーする範囲において
半音階で2オクターブ上昇する信号
STFT
窓関数: 矩形 → ハニング
窓長: 92.9 msec, シフト長: 46.4 msec
教師基底数 100
その他基底数 50
変形許容範囲 0.3
更新回数 学習プロセス:500, 分離プロセス:400
各行列の初期値 乱数
各罰則項の重み 実験的に調整した値
分離精度評価値 SDR, SIR, SAR (10回試行の平均値)
客観的評価尺度
• 分離した推定信号が次式で表現できると仮
定する
24
SDR :分離した目的音の品質
SIR :分離した目的音と非目的音との分離度合
SAR :一連の信号処理によって生じた歪みの少なさ
高いほうが
良い分離
• 実験結果の比較
• Fl. の分離では,全ての評価値が向上
• Cl. の分離では,SDR と SAR が向上したが,
SIR は低下
• 提案手法の分離信号はより実音に近い
基底変形型教師あり NMF 分離実験
25
入力信号
分離
目的音
従来手法 提案手法
SDR SIR SAR SDR SIR SAR
Flute 5.3 13.4 6.2 7.6 16.4 8.4
Clarinet 7.2 21.1 7.4 8.9 16.9 9.9
SDR :分離した目的音の品質
SIR :分離した目的音と非目的音との分離度合
SAR :一連の信号処理によって生じた歪みの少なさ
基底変形型教師あり NMF 分離実験
26
Fl. と Cl. の混合信号 Fl. のみの真の信号
従来法の Fl. 抽出信号 提案法のFl. 抽出信号
• 教師音を用いた実楽器音の音源分離手法と
して,基底変形型教師あり NMF を提案
• 提案法は従来法より優れた分離を実現し,よ
り実音に近い自然な分離音が得られる
• 様々な実楽器に適応して分離精度を比較
• 罰則項の重みパラメータの最適値推定方法
の検討
• マルチチャネル信号分解への応用
まとめと今後
27
1 of 27

Recommended

半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法 by
半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法
半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法Daichi Kitamura
4.3K views28 slides
コサイン類似度罰則条件付き半教師あり非負値行列因子分解と音源分離への応用 by
コサイン類似度罰則条件付き半教師あり非負値行列因子分解と音源分離への応用コサイン類似度罰則条件付き半教師あり非負値行列因子分解と音源分離への応用
コサイン類似度罰則条件付き半教師あり非負値行列因子分解と音源分離への応用Kitamura Laboratory
142 views16 slides
非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法 by
非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法
非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法Daichi Kitamura
3.5K views23 slides
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s... by
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...Daichi Kitamura
4.1K views26 slides
非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto... by
非負値行列分解の確率的生成モデルと多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...非負値行列分解の確率的生成モデルと多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...
非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...Daichi Kitamura
5.9K views48 slides
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep... by
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...Daichi Kitamura
5.9K views74 slides

More Related Content

What's hot

Music signal separation using supervised nonnegative matrix factorization wit... by
Music signal separation using supervised nonnegative matrix factorization wit...Music signal separation using supervised nonnegative matrix factorization wit...
Music signal separation using supervised nonnegative matrix factorization wit...Daichi Kitamura
985 views30 slides
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank... by
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...Daichi Kitamura
8.3K views67 slides
実環境音響信号処理における収音技術 by
実環境音響信号処理における収音技術実環境音響信号処理における収音技術
実環境音響信号処理における収音技術Yuma Koizumi
2.1K views76 slides
直交化及び距離最大化則条件を用いた教師あり非負値行列因子分解による音楽信号分離 by
直交化及び距離最大化則条件を用いた教師あり非負値行列因子分解による音楽信号分離直交化及び距離最大化則条件を用いた教師あり非負値行列因子分解による音楽信号分離
直交化及び距離最大化則条件を用いた教師あり非負値行列因子分解による音楽信号分離奈良先端大 情報科学研究科
6.3K views31 slides
信号の独立性に基づく多チャンネル音源分離 by
信号の独立性に基づく多チャンネル音源分離信号の独立性に基づく多チャンネル音源分離
信号の独立性に基づく多チャンネル音源分離NU_I_TODALAB
393 views21 slides
音源分離における音響モデリング(Acoustic modeling in audio source separation) by
音源分離における音響モデリング(Acoustic modeling in audio source separation)音源分離における音響モデリング(Acoustic modeling in audio source separation)
音源分離における音響モデリング(Acoustic modeling in audio source separation)Daichi Kitamura
22.5K views114 slides

What's hot(20)

Music signal separation using supervised nonnegative matrix factorization wit... by Daichi Kitamura
Music signal separation using supervised nonnegative matrix factorization wit...Music signal separation using supervised nonnegative matrix factorization wit...
Music signal separation using supervised nonnegative matrix factorization wit...
Daichi Kitamura985 views
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank... by Daichi Kitamura
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...
Daichi Kitamura8.3K views
実環境音響信号処理における収音技術 by Yuma Koizumi
実環境音響信号処理における収音技術実環境音響信号処理における収音技術
実環境音響信号処理における収音技術
Yuma Koizumi2.1K views
直交化及び距離最大化則条件を用いた教師あり非負値行列因子分解による音楽信号分離 by 奈良先端大 情報科学研究科
直交化及び距離最大化則条件を用いた教師あり非負値行列因子分解による音楽信号分離直交化及び距離最大化則条件を用いた教師あり非負値行列因子分解による音楽信号分離
直交化及び距離最大化則条件を用いた教師あり非負値行列因子分解による音楽信号分離
信号の独立性に基づく多チャンネル音源分離 by NU_I_TODALAB
信号の独立性に基づく多チャンネル音源分離信号の独立性に基づく多チャンネル音源分離
信号の独立性に基づく多チャンネル音源分離
NU_I_TODALAB393 views
音源分離における音響モデリング(Acoustic modeling in audio source separation) by Daichi Kitamura
音源分離における音響モデリング(Acoustic modeling in audio source separation)音源分離における音響モデリング(Acoustic modeling in audio source separation)
音源分離における音響モデリング(Acoustic modeling in audio source separation)
Daichi Kitamura22.5K views
統計的独立性と低ランク行列分解理論に基づく ブラインド音源分離 –独立低ランク行列分析– Blind source separation based on... by Daichi Kitamura
統計的独立性と低ランク行列分解理論に基づくブラインド音源分離 –独立低ランク行列分析– Blind source separation based on...統計的独立性と低ランク行列分解理論に基づくブラインド音源分離 –独立低ランク行列分析– Blind source separation based on...
統計的独立性と低ランク行列分解理論に基づく ブラインド音源分離 –独立低ランク行列分析– Blind source separation based on...
Daichi Kitamura2.9K views
調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離 by Kitamura Laboratory
調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離
調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離
音楽信号処理における基本周波数推定を応用した心拍信号解析 by Kitamura Laboratory
音楽信号処理における基本周波数推定を応用した心拍信号解析音楽信号処理における基本周波数推定を応用した心拍信号解析
音楽信号処理における基本周波数推定を応用した心拍信号解析
論文紹介 Unsupervised training of neural mask-based beamforming by Shinnosuke Takamichi
論文紹介 Unsupervised training of neural  mask-based beamforming論文紹介 Unsupervised training of neural  mask-based beamforming
論文紹介 Unsupervised training of neural mask-based beamforming
独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia... by Daichi Kitamura
独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia...独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia...
独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia...
Daichi Kitamura4.9K views
非負値行列因子分解を用いた被り音の抑圧 by Kitamura Laboratory
非負値行列因子分解を用いた被り音の抑圧非負値行列因子分解を用いた被り音の抑圧
非負値行列因子分解を用いた被り音の抑圧
コサイン類似度罰則条件付き非負値行列因子分解に基づく音楽音源分離 by Kitamura Laboratory
コサイン類似度罰則条件付き非負値行列因子分解に基づく音楽音源分離コサイン類似度罰則条件付き非負値行列因子分解に基づく音楽音源分離
コサイン類似度罰則条件付き非負値行列因子分解に基づく音楽音源分離
環境音の特徴を活用した音響イベント検出・シーン分類 by Keisuke Imoto
環境音の特徴を活用した音響イベント検出・シーン分類環境音の特徴を活用した音響イベント検出・シーン分類
環境音の特徴を活用した音響イベント検出・シーン分類
Keisuke Imoto2.1K views
やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析 by Shinnosuke Takamichi
やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析
やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析
Shinnosuke Takamichi56.5K views
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank... by Daichi Kitamura
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...
Daichi Kitamura1.5K views
音情報処理における特徴表現 by NU_I_TODALAB
音情報処理における特徴表現音情報処理における特徴表現
音情報処理における特徴表現
NU_I_TODALAB6.2K views
独立低ランク行列分析に基づく音源分離とその発展 by Kitamura Laboratory
独立低ランク行列分析に基づく音源分離とその発展独立低ランク行列分析に基づく音源分離とその発展
独立低ランク行列分析に基づく音源分離とその発展

Viewers also liked

Blind source separation based on independent low-rank matrix analysis and its... by
Blind source separation based on independent low-rank matrix analysis and its...Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...Daichi Kitamura
1.6K views47 slides
Relaxation of rank-1 spatial constraint in overdetermined blind source separa... by
Relaxation of rank-1 spatial constraint in overdetermined blind source separa...Relaxation of rank-1 spatial constraint in overdetermined blind source separa...
Relaxation of rank-1 spatial constraint in overdetermined blind source separa...Daichi Kitamura
1.6K views23 slides
ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi... by
ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi...ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi...
ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi...Daichi Kitamura
1.8K views24 slides
Study on optimal divergence for superresolution-based supervised nonnegative ... by
Study on optimal divergence for superresolution-based supervised nonnegative ...Study on optimal divergence for superresolution-based supervised nonnegative ...
Study on optimal divergence for superresolution-based supervised nonnegative ...Daichi Kitamura
1K views47 slides
Efficient initialization for nonnegative matrix factorization based on nonneg... by
Efficient initialization for nonnegative matrix factorization based on nonneg...Efficient initialization for nonnegative matrix factorization based on nonneg...
Efficient initialization for nonnegative matrix factorization based on nonneg...Daichi Kitamura
2.8K views19 slides
擬似ハムバッキングピックアップの弦振動応答 (in Japanese) by
擬似ハムバッキングピックアップの弦振動応答 (in Japanese)擬似ハムバッキングピックアップの弦振動応答 (in Japanese)
擬似ハムバッキングピックアップの弦振動応答 (in Japanese)Daichi Kitamura
1.1K views13 slides

Viewers also liked(12)

Blind source separation based on independent low-rank matrix analysis and its... by Daichi Kitamura
Blind source separation based on independent low-rank matrix analysis and its...Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...
Daichi Kitamura1.6K views
Relaxation of rank-1 spatial constraint in overdetermined blind source separa... by Daichi Kitamura
Relaxation of rank-1 spatial constraint in overdetermined blind source separa...Relaxation of rank-1 spatial constraint in overdetermined blind source separa...
Relaxation of rank-1 spatial constraint in overdetermined blind source separa...
Daichi Kitamura1.6K views
ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi... by Daichi Kitamura
ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi...ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi...
ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi...
Daichi Kitamura1.8K views
Study on optimal divergence for superresolution-based supervised nonnegative ... by Daichi Kitamura
Study on optimal divergence for superresolution-based supervised nonnegative ...Study on optimal divergence for superresolution-based supervised nonnegative ...
Study on optimal divergence for superresolution-based supervised nonnegative ...
Daichi Kitamura1K views
Efficient initialization for nonnegative matrix factorization based on nonneg... by Daichi Kitamura
Efficient initialization for nonnegative matrix factorization based on nonneg...Efficient initialization for nonnegative matrix factorization based on nonneg...
Efficient initialization for nonnegative matrix factorization based on nonneg...
Daichi Kitamura2.8K views
擬似ハムバッキングピックアップの弦振動応答 (in Japanese) by Daichi Kitamura
擬似ハムバッキングピックアップの弦振動応答 (in Japanese)擬似ハムバッキングピックアップの弦振動応答 (in Japanese)
擬似ハムバッキングピックアップの弦振動応答 (in Japanese)
Daichi Kitamura1.1K views
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou... by Daichi Kitamura
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
Daichi Kitamura12.2K views
ICASSP2017読み会(関東編)・AASP_L3(北村担当分) by Daichi Kitamura
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
Daichi Kitamura4K views
Audio Source Separation Based on Low-Rank Structure and Statistical Independence by Daichi Kitamura
Audio Source Separation Based on Low-Rank Structure and Statistical IndependenceAudio Source Separation Based on Low-Rank Structure and Statistical Independence
Audio Source Separation Based on Low-Rank Structure and Statistical Independence
Daichi Kitamura2.5K views
Experimental analysis of optimal window length for independent low-rank matri... by Daichi Kitamura
Experimental analysis of optimal window length for independent low-rank matri...Experimental analysis of optimal window length for independent low-rank matri...
Experimental analysis of optimal window length for independent low-rank matri...
Daichi Kitamura850 views
TensorFlow を使った 機械学習ことはじめ (GDG京都 機械学習勉強会) by 徹 上野山
TensorFlow を使った機械学習ことはじめ (GDG京都 機械学習勉強会)TensorFlow を使った機械学習ことはじめ (GDG京都 機械学習勉強会)
TensorFlow を使った 機械学習ことはじめ (GDG京都 機械学習勉強会)
徹 上野山319.6K views

More from Daichi Kitamura

スペクトログラム無矛盾性を用いた 独立低ランク行列分析の実験的評価 by
スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価
スペクトログラム無矛盾性を用いた 独立低ランク行列分析の実験的評価Daichi Kitamura
1.1K views24 slides
Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも) by
Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)
Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)Daichi Kitamura
2.8K views67 slides
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen... by
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...Daichi Kitamura
2.1K views15 slides
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm) by
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)Daichi Kitamura
2K views22 slides
Blind source separation based on independent low-rank matrix analysis and its... by
Blind source separation based on independent low-rank matrix analysis and its...Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...Daichi Kitamura
1.4K views50 slides
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese) by
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)Daichi Kitamura
1.3K views14 slides

More from Daichi Kitamura(9)

スペクトログラム無矛盾性を用いた 独立低ランク行列分析の実験的評価 by Daichi Kitamura
スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価
スペクトログラム無矛盾性を用いた 独立低ランク行列分析の実験的評価
Daichi Kitamura1.1K views
Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも) by Daichi Kitamura
Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)
Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)
Daichi Kitamura2.8K views
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen... by Daichi Kitamura
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...
Daichi Kitamura2.1K views
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm) by Daichi Kitamura
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)
Daichi Kitamura2K views
Blind source separation based on independent low-rank matrix analysis and its... by Daichi Kitamura
Blind source separation based on independent low-rank matrix analysis and its...Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...
Daichi Kitamura1.4K views
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese) by Daichi Kitamura
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)
Daichi Kitamura1.3K views
Evaluation of separation accuracy for various real instruments based on super... by Daichi Kitamura
Evaluation of separation accuracy for various real instruments based on super...Evaluation of separation accuracy for various real instruments based on super...
Evaluation of separation accuracy for various real instruments based on super...
Daichi Kitamura676 views
Divergence optimization based on trade-off between separation and extrapolati... by Daichi Kitamura
Divergence optimization based on trade-off between separation and extrapolati...Divergence optimization based on trade-off between separation and extrapolati...
Divergence optimization based on trade-off between separation and extrapolati...
Daichi Kitamura917 views
Depth estimation of sound images using directional clustering and activation-... by Daichi Kitamura
Depth estimation of sound images using directional clustering and activation-...Depth estimation of sound images using directional clustering and activation-...
Depth estimation of sound images using directional clustering and activation-...
Daichi Kitamura919 views

Recently uploaded

Najah Matsuo Self Introduction by
Najah Matsuo Self IntroductionNajah Matsuo Self Introduction
Najah Matsuo Self IntroductionNajahMatsuo
10 views29 slides
JISTA月例会2023年12月 書籍『3カ月で改善!システム障害対応実践ガイド』ご紹介+失敗学と障害対応と私 by
JISTA月例会2023年12月 書籍『3カ月で改善!システム障害対応実践ガイド』ご紹介+失敗学と障害対応と私JISTA月例会2023年12月 書籍『3カ月で改善!システム障害対応実践ガイド』ご紹介+失敗学と障害対応と私
JISTA月例会2023年12月 書籍『3カ月で改善!システム障害対応実践ガイド』ご紹介+失敗学と障害対応と私修治 松浦
195 views36 slides
onewedge_companyguide1 by
onewedge_companyguide1onewedge_companyguide1
onewedge_companyguide1ONEWEDGE1
32 views22 slides
システム概要.pdf by
システム概要.pdfシステム概要.pdf
システム概要.pdfTaira Shimizu
44 views1 slide
SSH超入門 by
SSH超入門SSH超入門
SSH超入門Toru Miyahara
405 views21 slides
概要.pdf by
概要.pdf概要.pdf
概要.pdfTaira Shimizu
5 views1 slide

Recently uploaded(6)

Najah Matsuo Self Introduction by NajahMatsuo
Najah Matsuo Self IntroductionNajah Matsuo Self Introduction
Najah Matsuo Self Introduction
NajahMatsuo10 views
JISTA月例会2023年12月 書籍『3カ月で改善!システム障害対応実践ガイド』ご紹介+失敗学と障害対応と私 by 修治 松浦
JISTA月例会2023年12月 書籍『3カ月で改善!システム障害対応実践ガイド』ご紹介+失敗学と障害対応と私JISTA月例会2023年12月 書籍『3カ月で改善!システム障害対応実践ガイド』ご紹介+失敗学と障害対応と私
JISTA月例会2023年12月 書籍『3カ月で改善!システム障害対応実践ガイド』ご紹介+失敗学と障害対応と私
修治 松浦195 views
onewedge_companyguide1 by ONEWEDGE1
onewedge_companyguide1onewedge_companyguide1
onewedge_companyguide1
ONEWEDGE132 views

基底変形型教師ありNMFによる実楽器信号分離 (in Japanese)

Editor's Notes

  1. CDのように複数の楽器が混合された音楽信号から,特定の楽器のみを分離して抽出する技術は,一般に多重音解析と呼ばれる 例えば下の図のように,ピアノやサックスなどが混ざった音から,サックスのみを取り出すようなタスク これが実現できれば,ユーザが自分の好みに応じてそれぞれの楽器の音量などを調節するという能動的な音楽鑑賞が可能になる また,音楽信号の自動採譜にも応用できる重要な技術
  2. この多重音解析に用いられる技術の一つとして,NMF,非負値行列因子分解が挙げられる これは非常に単純な分解で,ある行列Yを別の2つの行列HとUの行列積で表現するという手法 このYとHとUの要素はいずれも0以上の非負値という制約がある このNMFの解法として,下の式のような効率的な反復アルゴリズムが提案されており, 様々な分野で応用されている
  3. 音響信号にNMFを用いる場合,振幅あるいはパワースペクトログラムを行列Yとみなし,HとUに分解する この場合,NMFの性質から,Hにはスペクトログラムの中で頻繁に出てくるスペクトルのパターンが現れ, Uにはそれぞれのスペクトルパターンがアクティブになるタイミングと音量が現れる. 今この図で示している例では,この部分の成分に対してこのパーツ,この部分の成分に対してこのパーツが Hに現れ,それらの発生するタイミングと音量がUに現れている
  4. この二つの行列を「スペクトル基底行列」と「アクティベーション行列」と呼ぶ
  5. このNMFを用いた教師ありの信号分離手法として,罰則条件付き教師ありNMFが提案された この手法は分離する楽器の教師音を用いる手法で,学習プロセスと分離プロセスから成る 学習プロセスでは,目的の楽器の教師音対してNMFを行い,教師スペクトル基底Fを作る そして,分離プロセスでは,学習した教師基底を用い,そのアクティベーションGとその他の成分が入るHUを用意する 教師基底Fは固定し,残りのG,H,Uを求める 教師基底のみで再構成されたFGのスペクトログラムが分離結果になる
  6. 教師基底のみで再構成されたFGのスペクトログラムが分離結果になる
  7. このとき,教師基底Fとその他の基底Hが互いに無相関となるような罰則条件を 与えてGHUを求める これはFとHに同じスペクトルパターンが現れた場合,FGから 得られる抽出音に欠損が生じる為 ここまでが教師ありNMFによる信号分離の従来手法の説明
  8. ここからが本研究で提案する手法について 本研究では,実楽器の混合信号から目的の楽器音を分離することを目標とする 従来手法では,混合信号中の目的楽器音と教師音の音色に差があると 分離精度が著しく劣化するという問題があった これはたとえば,この混合信号からピアノを取り出すときに, 教師音に用いたピアノの音色と信号中のピアノの音色に差があった時
  9. 分離精度が極端に低下するという問題
  10. しかし,同じ種類の楽器であっても音色は楽器の個体差や演奏者などに強く依存するため, 事前に入手可能な教師音を,分離対象音に適応させる新たな分解手法が必要となる
  11. そこで,次のような分解を提案する 従来法でY=FG+HUだったところを,(F+D)G+HUとして, 教師基底Fの変形項として,共通のアクティベーションGをもつ スペクトル基底Dを導入する これは下の図のように,黒の教師音スペクトルに対して目的音の スペクトルが赤色のように異なっていたとき,このピークではDで教師スペクトルを 減算し,このピークでは教師を加算することで変形する 分離結果は(F+D)Gとなる
  12. この時,基底Dは加算と減算に対応した変形項であり,正負の値を持つ行列になる ただし,このF+Dは非負の行列とするために,この制約条件のもとで負の値を制限する ここでηは,教師基底Fに対する減算の許容範囲を示すパラメータであり, η=0.3の時は教師スペクトルを30%まで減算変形が可能となる
  13. さらに,基底Dは,教師基底Fと同じアクティベーションを持つため, 分離目的音と同じタイミングで生じる別の楽器のスペクトルが現れる恐れがある 例えば,このような混合信号に対して,目的音を取り出したいとき,
  14. 同じタイミングで生じる別の楽器が基底Dに現れるということ これを防ぐために,このような4種類の罰則条件をあたえて分解する これらはすべて,教師基底Fと音色の差異基底Dとその他の楽器の基底H がそれぞれ別物であるという条件を示している
  15. 目的関数はこのようになる 本研究では,左辺と右辺の距離関数に 一般化カルバックライブラダイバージェンスを用いた 距離関数と各罰則条件に重みを付けた項を, 先ほどの非負制約の下で最小化することで更新式を導出できる
  16. この目的関数は通常のNMFの更新式導出と同様に,補助関数法を用いることで 更新式を導出できる 先ほどの目的関数Jの上限を与える補助関数J+を定義する 式中のQlogはKLダイバージェンス中の対数項の上限,Qpenaltyは罰則項の上限であり, Cjは定数
  17. この補助関数J+を最小化することで,間接的に目的関数Jを最小化する Dの更新式を導出するためにJ+をDで微分し0とおくとこのような式になる
  18. この式中のVはこの式で表され,Dが単独で存在するので正負の値を持つ Vが負の場合は右辺に移項して式全体の非負性を保つ 従ってこのVの正負に応じて2つの更新式を導出する
  19. 先ほどの式から導出されるDの更新式はこのようになる Vの正負によって形がかわる
  20. 同様にしてその他の基底Hの更新式を導出した結果 こちらもWの正負によって形がかわる
  21. さらにアクティベーションGとUの更新式は このようになる
  22. 分離実験の条件はこの通り 入力信号は実録のフルートとクラリネットの2楽器を等パワー混合した信号 教師信号には,それぞれの楽器のMIDI音を半音階で2オクターブ用いる スペクトログラムはこの条件で作成し 教師基底の変形許容範囲は30%とした 教師基底数を100,その他の基底数を30とし,それぞれのプロセスの更新回数はこの通り 各行列の初期値は乱数を与え,分離精度の評価値にはこの3つを用いる また,各罰則項の重み係数は実験的に調整した値を使用した
  23. この評価尺度について簡単に説明する 分離した推定信号が,目的音成分,非目的音成分,それ以外の成分の3つで表現できると仮定すると SDR,SIR,SARはそれぞれこのように表される SDRは分離した目的音の品質,SIRは分離度合,SARは一連の処理によって生じた歪みの少なさを表し, どの値も高いほうが良い分離となる
  24. 分離結果. Flの分離結果ではすべての評価値が向上している Clの分離結果ではSDRとSARが向上したが,SIRは低下した それでは,入力信号と,それぞれの手法のフルートの分離結果をお聞かせします 従来手法はMIDIの教師基底で再構成しているので,少しこもった様な音ですが, 提案手法では教師基底が実楽器音に合うように変形されているので,より実楽器に近い 自然な音色となり,フルートの息遣いなども良く再現されています.音色の違いに着目して聞いてください. 始めに入力信号です,次に従来手法です,最後に提案手法です 提案法の分離信号の中の目的音は,従来法に比べより実音に近い音になっている
  25. これはフルートの結果をスペクトログラムで比較したもの 左上が分離前の混合信号,右上がフルートのみの真の信号 左下が従来手法の分離結果で,右下が提案手法の分離結果 提案手法は目的の信号成分がより多く含まれており, 高周波成分もよく表現しているが,若干非目的音のクラリネットの成分が 混在していることが確認できる
  26. 分離実験の条件はこの通り 入力信号は実録のフルートとクラリネットの2楽器を等パワー混合した信号 教師信号には,それぞれの楽器のMIDI音を半音階で2オクターブ用いる スペクトログラムはこの条件で作成し 教師基底の変形許容範囲は30%とした 教師基底数を100,その他の基底数を30とし,それぞれのプロセスの更新回数はこの通り 各行列の初期値は乱数を与え,分離精度の評価値にはこの3つを用いる SDRは分離した目的音の品質,SIRは分離度合,SARは一連の処理によって生じた歪みの少なさを表し, どの値も高いほうが良い分離となる また,各罰則項の重み係数は実験的に調整した値を使用した
  27. 分離結果. Flの分離結果ではすべての評価値が向上している Clの分離結果ではSDRとSARが向上したが,SIRは低下した 提案法の分離信号の中の目的音は,従来法に比べより実音に近い音になっている
  28. しかし,この下の図のように,MIDIの教師音と実楽器音との音色の差があったとき, 分離精度を大きく低下させる要因となる.
  29. 特定の楽器を分離するためには,その楽器の音のスペクトル基底とアクティベーションのみを 取り出してスペクトログラムを再構成すればよい 例えば,この図のように2本だけを取り出して再構成すれば,このように2音だけの分離音が得られる
  30. しかし,これは問題があり,スペクトル基底から目的の楽器音の基底を探す必要がある また,予め用意するスペクトル基底の本数が不適切な場合,基底に複数のスペクトルが混在する等の問題がある