SlideShare a Scribd company logo

Evaluation of separation accuracy for various real instruments based on supervised NMF with basis deformation (in Japanese)

Daichi Kitamura
Daichi Kitamura
Daichi KitamuraAssistant Professor at National Institute of Technology, Kagawa College

Presented at 2013 Spring Meeting of Acoustical Society of Japan (domestic conference) Daichi Kitamura, Hiroshi Saruwatari, Kiyohiro Shikano, Kazunobu Kondo, Yu Takahashi, "Evaluation of separation accuracy for various real instruments based on supervised NMF with basis deformation," Proceedings of 2013 Spring Meeting of Acoustical Society of Japan, 3-1-11, pp.1057-1060, Tokyo, March 2013.

Evaluation of separation accuracy for various real instruments based on supervised NMF with basis deformation (in Japanese)

1 of 29
Download to read offline
種々の実楽器信号に対する
基底変形型教師あり NMF の分離精度評価
奈良先端科学技術大学院大学
☆北村大地, 猿渡洋, 鹿野清宏
ヤマハ株式会社
近藤多伸, 高橋祐
Evaluation of Separation Accuracy for Various Real Instruments
Based on Supervised NMF with Basis Deformation
研究背景
• 複数の楽器が多重に混合された音楽信号の
中から,特定の楽器音を分離・抽出する技術
は,一般に多重音解析と呼ばれる
• ユーザの好み応じて各楽器音を編集する新
しい音楽の楽しみ方や,音楽信号の自動採
譜等に応用できる重要な技術
2
• 多重音解析に用いられる技術の一つとして,
非負値行列因子分解がある [D. D. Lee et al., 1999]
• 効率的な反復アルゴリズムが提案され,画像
処理,音響信号処理等様々な分野に応用さ
れる
研究背景
3
Time [sec]
Frequency[Hz]
Nonnegative Matrix Factorization (NMF)
4
…
…
…
…
頻出スペクトル
各スペクトルの
タイミングと音量
Time [sec]
Frequency[Hz]
Nonnegative Matrix Factorization (NMF)
5
…
…
…
…
アクティベーション行列
スペクトル基底行列
• 分離する楽器の教師音を用いる手法
学習プロセス
罰則条件付き教師あり NMF [K. Yagi et al., 2010]
6
目的の楽器の教師音を
用いて学習した基底
分離プロセス 教師基底 を固定して を構成
Ad

Recommended

Divergence optimization based on trade-off between separation and extrapolati...
Divergence optimization based on trade-off between separation and extrapolati...Divergence optimization based on trade-off between separation and extrapolati...
Divergence optimization based on trade-off between separation and extrapolati...Daichi Kitamura
 
基底変形型教師ありNMFによる実楽器信号分離 (in Japanese)
基底変形型教師ありNMFによる実楽器信号分離 (in Japanese)基底変形型教師ありNMFによる実楽器信号分離 (in Japanese)
基底変形型教師ありNMFによる実楽器信号分離 (in Japanese)Daichi Kitamura
 
Efficient multichannel nonnegative matrix factorization with rank-1 spatial m...
Efficient multichannel nonnegative matrix factorization with rank-1 spatial m...Efficient multichannel nonnegative matrix factorization with rank-1 spatial m...
Efficient multichannel nonnegative matrix factorization with rank-1 spatial m...Daichi Kitamura
 
半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法
半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法
半教師あり非負値行列因子分解における音源分離性能向上のための効果的な基底学習法Daichi Kitamura
 
Study on optimal divergence for superresolution-based supervised nonnegative ...
Study on optimal divergence for superresolution-based supervised nonnegative ...Study on optimal divergence for superresolution-based supervised nonnegative ...
Study on optimal divergence for superresolution-based supervised nonnegative ...Daichi Kitamura
 
過決定条件BSSにおけるランク1空間制約の緩和 Relaxation of rank-1 spatial model in overdetermined...
過決定条件BSSにおけるランク1空間制約の緩和 Relaxation of rank-1 spatial model in overdetermined...過決定条件BSSにおけるランク1空間制約の緩和 Relaxation of rank-1 spatial model in overdetermined...
過決定条件BSSにおけるランク1空間制約の緩和 Relaxation of rank-1 spatial model in overdetermined...Daichi Kitamura
 
Optimal divergence diversity for superresolution-based nonnegative matrix fac...
Optimal divergence diversity for superresolution-based nonnegative matrix fac...Optimal divergence diversity for superresolution-based nonnegative matrix fac...
Optimal divergence diversity for superresolution-based nonnegative matrix fac...Daichi Kitamura
 
ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi...
ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi...ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi...
ランク1空間近似を用いたBSSにおける音源及び空間モデルの考察 Study on Source and Spatial Models for BSS wi...Daichi Kitamura
 

More Related Content

What's hot

局所時間周波数構造に基づく深層パーミュテーション解決法の実験的評価
局所時間周波数構造に基づく深層パーミュテーション解決法の実験的評価局所時間周波数構造に基づく深層パーミュテーション解決法の実験的評価
局所時間周波数構造に基づく深層パーミュテーション解決法の実験的評価Kitamura Laboratory
 
非負値行列因子分解を用いた被り音の抑圧
非負値行列因子分解を用いた被り音の抑圧非負値行列因子分解を用いた被り音の抑圧
非負値行列因子分解を用いた被り音の抑圧Kitamura Laboratory
 
非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...
非負値行列分解の確率的生成モデルと多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...非負値行列分解の確率的生成モデルと多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...
非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...Daichi Kitamura
 
Interspeech2020 paper reading workshop "Similarity-and-Independence-Aware-Bea...
Interspeech2020 paper reading workshop "Similarity-and-Independence-Aware-Bea...Interspeech2020 paper reading workshop "Similarity-and-Independence-Aware-Bea...
Interspeech2020 paper reading workshop "Similarity-and-Independence-Aware-Bea...ssuserf54db1
 
Music signal separation using supervised nonnegative matrix factorization wit...
Music signal separation using supervised nonnegative matrix factorization wit...Music signal separation using supervised nonnegative matrix factorization wit...
Music signal separation using supervised nonnegative matrix factorization wit...Daichi Kitamura
 
Kameoka2012 talk07 1
Kameoka2012 talk07 1Kameoka2012 talk07 1
Kameoka2012 talk07 1kame_hirokazu
 
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...Daichi Kitamura
 
スペクトログラム無矛盾性を用いた 独立低ランク行列分析の実験的評価
スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価
スペクトログラム無矛盾性を用いた 独立低ランク行列分析の実験的評価Daichi Kitamura
 
深層学習に基づく間引きインジケータ付き周波数帯域補間手法による音源分離処理の高速化
深層学習に基づく間引きインジケータ付き周波数帯域補間手法による音源分離処理の高速化深層学習に基づく間引きインジケータ付き周波数帯域補間手法による音源分離処理の高速化
深層学習に基づく間引きインジケータ付き周波数帯域補間手法による音源分離処理の高速化Kitamura Laboratory
 
非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法
非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法
非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法Daichi Kitamura
 
統計的独立性と低ランク行列分解理論に基づく ブラインド音源分離 –独立低ランク行列分析– Blind source separation based on...
統計的独立性と低ランク行列分解理論に基づくブラインド音源分離 –独立低ランク行列分析– Blind source separation based on...統計的独立性と低ランク行列分解理論に基づくブラインド音源分離 –独立低ランク行列分析– Blind source separation based on...
統計的独立性と低ランク行列分解理論に基づく ブラインド音源分離 –独立低ランク行列分析– Blind source separation based on...Daichi Kitamura
 
音源分離における音響モデリング(Acoustic modeling in audio source separation)
音源分離における音響モデリング(Acoustic modeling in audio source separation)音源分離における音響モデリング(Acoustic modeling in audio source separation)
音源分離における音響モデリング(Acoustic modeling in audio source separation)Daichi Kitamura
 
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...Daichi Kitamura
 
音楽信号処理における基本周波数推定を応用した心拍信号解析
音楽信号処理における基本周波数推定を応用した心拍信号解析音楽信号処理における基本周波数推定を応用した心拍信号解析
音楽信号処理における基本周波数推定を応用した心拍信号解析Kitamura Laboratory
 
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...Daichi Kitamura
 
独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia...
独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia...独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia...
独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia...Daichi Kitamura
 

What's hot (20)

局所時間周波数構造に基づく深層パーミュテーション解決法の実験的評価
局所時間周波数構造に基づく深層パーミュテーション解決法の実験的評価局所時間周波数構造に基づく深層パーミュテーション解決法の実験的評価
局所時間周波数構造に基づく深層パーミュテーション解決法の実験的評価
 
非負値行列因子分解を用いた被り音の抑圧
非負値行列因子分解を用いた被り音の抑圧非負値行列因子分解を用いた被り音の抑圧
非負値行列因子分解を用いた被り音の抑圧
 
非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...
非負値行列分解の確率的生成モデルと多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...非負値行列分解の確率的生成モデルと多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...
非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...
 
Discriminative SNMF EA201603
Discriminative SNMF EA201603Discriminative SNMF EA201603
Discriminative SNMF EA201603
 
Interspeech2020 paper reading workshop "Similarity-and-Independence-Aware-Bea...
Interspeech2020 paper reading workshop "Similarity-and-Independence-Aware-Bea...Interspeech2020 paper reading workshop "Similarity-and-Independence-Aware-Bea...
Interspeech2020 paper reading workshop "Similarity-and-Independence-Aware-Bea...
 
Music signal separation using supervised nonnegative matrix factorization wit...
Music signal separation using supervised nonnegative matrix factorization wit...Music signal separation using supervised nonnegative matrix factorization wit...
Music signal separation using supervised nonnegative matrix factorization wit...
 
ILRMA 20170227 danwakai
ILRMA 20170227 danwakaiILRMA 20170227 danwakai
ILRMA 20170227 danwakai
 
Kameoka2012 talk07 1
Kameoka2012 talk07 1Kameoka2012 talk07 1
Kameoka2012 talk07 1
 
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...
 
Kameoka2016 miru08
Kameoka2016 miru08Kameoka2016 miru08
Kameoka2016 miru08
 
Ea2015 7for ss
Ea2015 7for ssEa2015 7for ss
Ea2015 7for ss
 
スペクトログラム無矛盾性を用いた 独立低ランク行列分析の実験的評価
スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価
スペクトログラム無矛盾性を用いた 独立低ランク行列分析の実験的評価
 
深層学習に基づく間引きインジケータ付き周波数帯域補間手法による音源分離処理の高速化
深層学習に基づく間引きインジケータ付き周波数帯域補間手法による音源分離処理の高速化深層学習に基づく間引きインジケータ付き周波数帯域補間手法による音源分離処理の高速化
深層学習に基づく間引きインジケータ付き周波数帯域補間手法による音源分離処理の高速化
 
非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法
非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法
非負値行列因子分解に基づくブラインド及び教師あり音楽音源分離の効果的最適化法
 
統計的独立性と低ランク行列分解理論に基づく ブラインド音源分離 –独立低ランク行列分析– Blind source separation based on...
統計的独立性と低ランク行列分解理論に基づくブラインド音源分離 –独立低ランク行列分析– Blind source separation based on...統計的独立性と低ランク行列分解理論に基づくブラインド音源分離 –独立低ランク行列分析– Blind source separation based on...
統計的独立性と低ランク行列分解理論に基づく ブラインド音源分離 –独立低ランク行列分析– Blind source separation based on...
 
音源分離における音響モデリング(Acoustic modeling in audio source separation)
音源分離における音響モデリング(Acoustic modeling in audio source separation)音源分離における音響モデリング(Acoustic modeling in audio source separation)
音源分離における音響モデリング(Acoustic modeling in audio source separation)
 
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...
 
音楽信号処理における基本周波数推定を応用した心拍信号解析
音楽信号処理における基本周波数推定を応用した心拍信号解析音楽信号処理における基本周波数推定を応用した心拍信号解析
音楽信号処理における基本周波数推定を応用した心拍信号解析
 
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
 
独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia...
独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia...独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia...
独立性基準を用いた非負値行列因子分解の効果的な初期値決定法(Statistical-independence-based efficient initia...
 

Viewers also liked

Regularized superresolution-based binaural signal separation with nonnegative...
Regularized superresolution-based binaural signal separation with nonnegative...Regularized superresolution-based binaural signal separation with nonnegative...
Regularized superresolution-based binaural signal separation with nonnegative...Daichi Kitamura
 
擬似ハムバッキングピックアップの弦振動応答 (in Japanese)
擬似ハムバッキングピックアップの弦振動応答 (in Japanese)擬似ハムバッキングピックアップの弦振動応答 (in Japanese)
擬似ハムバッキングピックアップの弦振動応答 (in Japanese)Daichi Kitamura
 
Efficient initialization for nonnegative matrix factorization based on nonneg...
Efficient initialization for nonnegative matrix factorization based on nonneg...Efficient initialization for nonnegative matrix factorization based on nonneg...
Efficient initialization for nonnegative matrix factorization based on nonneg...Daichi Kitamura
 
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)Daichi Kitamura
 
Depth estimation of sound images using directional clustering and activation-...
Depth estimation of sound images using directional clustering and activation-...Depth estimation of sound images using directional clustering and activation-...
Depth estimation of sound images using directional clustering and activation-...Daichi Kitamura
 
Relaxation of rank-1 spatial constraint in overdetermined blind source separa...
Relaxation of rank-1 spatial constraint in overdetermined blind source separa...Relaxation of rank-1 spatial constraint in overdetermined blind source separa...
Relaxation of rank-1 spatial constraint in overdetermined blind source separa...Daichi Kitamura
 
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...Daichi Kitamura
 

Viewers also liked (7)

Regularized superresolution-based binaural signal separation with nonnegative...
Regularized superresolution-based binaural signal separation with nonnegative...Regularized superresolution-based binaural signal separation with nonnegative...
Regularized superresolution-based binaural signal separation with nonnegative...
 
擬似ハムバッキングピックアップの弦振動応答 (in Japanese)
擬似ハムバッキングピックアップの弦振動応答 (in Japanese)擬似ハムバッキングピックアップの弦振動応答 (in Japanese)
擬似ハムバッキングピックアップの弦振動応答 (in Japanese)
 
Efficient initialization for nonnegative matrix factorization based on nonneg...
Efficient initialization for nonnegative matrix factorization based on nonneg...Efficient initialization for nonnegative matrix factorization based on nonneg...
Efficient initialization for nonnegative matrix factorization based on nonneg...
 
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)
模擬ハムバッキング・ピックアップの弦振動応答 (in Japanese)
 
Depth estimation of sound images using directional clustering and activation-...
Depth estimation of sound images using directional clustering and activation-...Depth estimation of sound images using directional clustering and activation-...
Depth estimation of sound images using directional clustering and activation-...
 
Relaxation of rank-1 spatial constraint in overdetermined blind source separa...
Relaxation of rank-1 spatial constraint in overdetermined blind source separa...Relaxation of rank-1 spatial constraint in overdetermined blind source separa...
Relaxation of rank-1 spatial constraint in overdetermined blind source separa...
 
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
 

More from Daichi Kitamura

Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)
Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)
Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)Daichi Kitamura
 
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...Daichi Kitamura
 
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...Daichi Kitamura
 
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)Daichi Kitamura
 
Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...Daichi Kitamura
 
Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...Daichi Kitamura
 
Experimental analysis of optimal window length for independent low-rank matri...
Experimental analysis of optimal window length for independent low-rank matri...Experimental analysis of optimal window length for independent low-rank matri...
Experimental analysis of optimal window length for independent low-rank matri...Daichi Kitamura
 
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)Daichi Kitamura
 
Audio Source Separation Based on Low-Rank Structure and Statistical Independence
Audio Source Separation Based on Low-Rank Structure and Statistical IndependenceAudio Source Separation Based on Low-Rank Structure and Statistical Independence
Audio Source Separation Based on Low-Rank Structure and Statistical IndependenceDaichi Kitamura
 

More from Daichi Kitamura (9)

Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)
Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)
Windowsマシン上でVisual Studio Codeとpipenvを使ってPythonの仮想実行環境を構築する方法(Jupyter notebookも)
 
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...
独立低ランク行列分析に基づくブラインド音源分離(Blind source separation based on independent low-rank...
 
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...
独立深層学習行列分析に基づく多チャネル音源分離(Multichannel audio source separation based on indepen...
 
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)
近接分離最適化によるブラインド⾳源分離(Blind source separation via proximal splitting algorithm)
 
Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...
 
Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...Blind source separation based on independent low-rank matrix analysis and its...
Blind source separation based on independent low-rank matrix analysis and its...
 
Experimental analysis of optimal window length for independent low-rank matri...
Experimental analysis of optimal window length for independent low-rank matri...Experimental analysis of optimal window length for independent low-rank matri...
Experimental analysis of optimal window length for independent low-rank matri...
 
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
 
Audio Source Separation Based on Low-Rank Structure and Statistical Independence
Audio Source Separation Based on Low-Rank Structure and Statistical IndependenceAudio Source Separation Based on Low-Rank Structure and Statistical Independence
Audio Source Separation Based on Low-Rank Structure and Statistical Independence
 

Evaluation of separation accuracy for various real instruments based on supervised NMF with basis deformation (in Japanese)

Editor's Notes

  1. CDのように複数の楽器が混合された音楽信号から,特定の楽器のみを分離して抽出する技術は,一般に多重音解析と呼ばれる 例えば下の図のように,ピアノやサックスなどが混ざった音から,サックスのみを取り出すようなタスク これが実現できれば,ユーザが自分の好みに応じてそれぞれの楽器の音量などを調節するという能動的な音楽鑑賞が可能になる また,音楽信号の自動採譜にも応用できる重要な技術
  2. この多重音解析に用いられる技術の一つとして,NMF,非負値行列因子分解が挙げられる これは非常に単純な分解で,ある行列Yを別の2つの行列HとUの行列積で表現するという手法 このYとHとUの要素はいずれも0以上の非負値という制約がある このNMFの解法として,下の式のような効率的な反復アルゴリズムが提案されており, 様々な分野で応用されている
  3. 音響信号にNMFを用いる場合,振幅あるいはパワースペクトログラムを行列Yとみなし,HとUに分解する この場合,NMFの性質から,Hにはスペクトログラムの中で頻繁に出てくるスペクトルのパターンが現れ, Uにはそれぞれのスペクトルパターンがアクティブになるタイミングと音量が現れる. 今この図で示している例では,この部分の成分に対してこのパーツ,この部分の成分に対してこのパーツが Hに現れ,それらの発生するタイミングと音量がUに現れている
  4. この二つの行列を「スペクトル基底行列」と「アクティベーション行列」と呼ぶ
  5. このNMFを用いた教師ありの信号分離手法として,罰則条件付き教師ありNMFが提案された この手法は分離する楽器の教師音を用いる手法で,学習プロセスと分離プロセスから成る 学習プロセスでは,目的の楽器の教師音対してNMFを行い,教師スペクトル基底Fを作る そして,分離プロセスでは,学習した教師基底を用い,そのアクティベーションGとその他の成分が入るHUを用意する 教師基底Fは固定し,残りのG,H,Uを求める 教師基底のみで再構成されたFGのスペクトログラムが分離結果になる
  6. 教師基底のみで再構成されたFGのスペクトログラムが分離結果になる
  7. このとき,教師基底Fとその他の基底Hが互いに無相関となるような罰則条件を 与えてGHUを求める これはFとHに同じスペクトルパターンが現れた場合,FGから 得られる抽出音に欠損が生じる為 ここまでが教師ありNMFによる信号分離の従来手法の説明
  8. ここからが本研究で提案する手法について 本研究では,実楽器の混合信号から目的の楽器音を分離することを目標とする 従来手法では,混合信号中の目的楽器音と教師音の音色に差があると 分離精度が著しく劣化するという問題があった これはたとえば,この混合信号からピアノを取り出すときに, 教師音に用いたピアノの音色と信号中のピアノの音色に差があった時
  9. 分離精度が極端に低下するという問題
  10. しかし,同じ種類の楽器であっても音色は楽器の個体差や演奏者などに強く依存するため, 例えばMIDIシーケンサのように,我々が事前に入手可能な教師音を,分離対象音に適応させる新たな分解手法が必要となる
  11. そこで,事前学習によって得られた教師スペクトル基底Fの変形モデルを考える あるフレームにおける教師音と目的音のスペクトルがこの図のように表現されるとき,音色の違いから倍音構造がこのように異なる このスペクトルの差を,教師基底Fを変形することで目的音に合わせる 変形の方法として,この2種類が考えられる 1つはFに対する掛け算による変形モデル この場合,変形項であるDは非負値行列で表現できるので,更新式の導出が容易だが, このピークのように教師基底の要素値が0である成分を変形できないというデメリットがある 一方,教師音と目的音の差分をDで表現する加法的な変形モデルでは,Fの要素値が0である成分においても,新たな倍音成分を生成できるが, 変形項のDが正負の値を持つため,通常のNMFにはなかった非負制約のない行列が追加される
  12. 本研究ではこの加法的な差分を表すモデルを用いて,非負制約がない行列を含む場合の更新式の導出法を示す
  13. 次のような分解を提案する 従来法でY=FG+HUだったところを,(F+D)G+HUとする 教師基底Fの変形項Dは,共通のアクティベーションGをもつ 教師音スペクトルを下図のように加算と減算で変形して目的音に合わせる 分離結果は(F+D)Gとなる
  14. この時,基底Dは加算と減算に対応した変形項であり,正負の値を持つ行列になる ただし,このF+Dは非負の行列とするために,この制約条件のもとで負の値を制限する ここでηは,教師基底Fに対する減算の許容範囲を示すパラメータであり, η=0.3の時は教師スペクトルを30%まで減算変形が可能となる
  15. さらに,基底Dは,教師基底Fと同じアクティベーションを持つため, 分離目的音と同じタイミングで生じる別の楽器のスペクトルが現れる恐れがある 例えば,このような混合信号に対して,目的音を取り出したいとき,
  16. 同じタイミングで生じる別の楽器が基底Dに現れるということ これを防ぐために,このような4種類の罰則条件をあたえて分解する これらはすべて,教師基底Fと音色の差異基底Dとその他の楽器の基底H がそれぞれ別物であるという条件を示している
  17. 目的関数はこのようになる 本研究では,左辺と右辺の距離関数に 一般化カルバックライブラダイバージェンスを用いた 距離関数と各罰則条件に重みを付けた項を, 先ほどの非負制約の下で最小化することで更新式を導出できる
  18. この目的関数は通常のNMFの更新式導出と同様に,補助関数法を用いることで 更新式を導出できる 先ほどの目的関数Jの上限を与える補助関数J+を定義する 式中のQlogはKLダイバージェンス中の対数項の上限,Qpenaltyは罰則項の上限であり, Cjは定数
  19. この補助関数J+を最小化することで,間接的に目的関数Jを最小化する Dの更新式を導出するためにJ+をDで微分し0とおくとこのような式になる
  20. この補助関数J+を最小化することで,間接的に目的関数Jを最小化する Dの更新式を導出するためにJ+をDで微分し0とおくとこのような式になる
  21. 先ほどの式から導出されるDの更新式はこのようになる Vの正負によって形がかわる
  22. 同様にしてその他の基底Hの更新式を導出した結果 こちらもWの正負によって形がかわる
  23. さらにアクティベーションGとUの更新式は このようになる
  24. 分離実験の条件はこの通り 入力信号は実録のフルート,クラリネット,トロンボーン,ピアノの内,2つの楽器を選んで等パワー混合した信号 教師信号には,それぞれの楽器のMIDI音を半音階で2オクターブ用いる スペクトログラムはこの条件で作成し 教師基底の変形許容範囲は30%とした 教師基底数を100,その他の基底数を30とし,それぞれのプロセスの更新回数はこの通り 各行列の初期値は乱数を与え,分離精度の評価値にはこの3つを用いる また,各罰則項の重み係数は実験的に調整した値を使用した
  25. 分離結果. 目的音と非目的音の混合信号に対して,それぞれの手法の評価値をまとめて示している この結果を見ると,ほぼ全ての分離結果で,提案法の分離精度が向上していることが確認できる 特にピアノの分離ではかなりの向上が見られたが, 下のグラフは各手法のそれぞれの評価値を平均したもの この結果から,提案手法の有用性が確認できる
  26. これはピアノとトロンボーンの混合からピアノを抽出した時の結果をスペクトログラムで比較したもの 左上が分離前の混合信号,右上がピアノのみの真の信号 左下が従来手法の分離結果で,右下が提案手法の分離結果 従来手法は教師音と目的音の音色の違いから,教師基底を用いて目的音を表現することができず,ほとんど抽出できていない 提案手法は教師基底を変形し目的音を捉えているため,目的の信号成分がより多く含まれており,
  27. このように高周波成分もよく表現できていることが確認できる (それでは,混合信号と,それぞれの手法のピアノの分離結果をお聞かせします 従来手法では,MIDIの教師音と実音の音色の差に起因して,ほとんど抽出できていませんが, 提案手法では教師基底が実楽器音に合うように変形されており,よく分離できています 両手法の違いに着目して聞いてください. 始めに入力信号です,次に従来手法です,最後に提案手法です)
  28. 分離結果. Flの分離結果ではすべての評価値が向上している Clの分離結果ではSDRとSARが向上したが,SIRは低下した 提案法の分離信号の中の目的音は,従来法に比べより実音に近い音になっている
  29. しかし,この下の図のように,MIDIの教師音と実楽器音との音色の差があったとき, 分離精度を大きく低下させる要因となる.
  30. 特定の楽器を分離するためには,その楽器の音のスペクトル基底とアクティベーションのみを 取り出してスペクトログラムを再構成すればよい 例えば,この図のように2本だけを取り出して再構成すれば,このように2音だけの分離音が得られる
  31. しかし,これは問題があり,スペクトル基底から目的の楽器音の基底を探す必要がある また,予め用意するスペクトル基底の本数が不適切な場合,基底に複数のスペクトルが混在する等の問題がある
  32. これはピアノとトロンボーンの混合からピアノを抽出した時の結果をスペクトログラムで比較したもの 左上が分離前の混合信号,右上がピアノのみの真の信号 左下が従来手法の分離結果で,右下が提案手法の分離結果 提案手法は目的の信号成分がより多く含まれており, 高周波成分もよく表現しているが,若干非目的音のトロンボーンの成分が 混在していることが確認できる それでは,混合信号と,それぞれの手法のピアノの分離結果をお聞かせします 従来手法では,MIDIの教師音と実音の音色の差に起因して,ほとんど抽出できていませんが, 提案手法では教師基底が実楽器音に合うように変形されており,よく分離できています 両手法の違いに着目して聞いてください. 始めに入力信号です,次に従来手法です,最後に提案手法です
  33. この評価尺度について簡単に説明する 分離した推定信号が,目的音成分,非目的音成分,それ以外の成分の3つで表現できると仮定すると SDR,SIR,SARはそれぞれこのように表される SDRは分離した目的音の品質,SIRは分離度合,SARは一連の処理によって生じた歪みの少なさを表し, どの値も高いほうが良い分離となる
  34. ηを0に近づけた場合,教師スペクトルを減算方向に変形できなくなるので 分離音を構成する(F+D)Gの表現の自由度が低下し,分離精度は悪くなる 逆に,ηを1に近づけると,表現の自由度が高くなるが,F+Dが0となり HUですべてを表現しようとする等の予期しない現象が起こり始める為, そもそも目的音の分離が困難になるため,
  35. ηの値に対する分離精度はある点でピークを持つ 実験的に確認したところ,0.3付近で最も高分離精度が得られた