Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
バイアス付き MMSE-STSA 推定器の理論解析
およびミュージカルノイズフリー雑音抑圧への拡張

☆中井駿介,宮崎亮一,猿渡洋,中村哲(奈良先端大・情報)
近藤多伸(ヤマハ)
研究背景
近年,音声通信に関するアプリケーションが増加している
テレビ会議システム,携帯電話 etc.
周囲の雑音の影響により音声品質が劣化

1ch 非線形音声強調法

– Spectral subtraction (SS) [Boll, 1...
ミュージカルノイズフリー音声強調
ミュージカルノイズフリー状態
カートシス不動条件:信号処理によりミュージカルノイズが発生し
ていないことを示す
NRR 増加条件:信号処理により SNR が改善することを示す
Kurtosis ratio
ミュ...
研究目的
これまで SS および WF におけるミュージカルノイズフリー
状態が確認されている.
しかし,MMSE-STSA 推定器におけるミュージカルノイズ
フリー音声強調については検討がなされていない.
また,MMSE-STSA 推定器は ...
MMSE-STSA 推定器 [Ephraim, 1984]
音声の振幅スペクトルの誤差を最小とする音声強調法
MMSEMMSE-STSA 推定器による推定音声振幅スペクトル
π υ ( f ,τ )
 υ ( f ,τ )  
 υ (...
MMSE-STSA 推定器 [Ephraim, 1984]
Decision directed法による事前 SNR の推定を行う.
Decision directed 法による事前 SNR 推定

ˆ
ξ ( f ,τ ) = αγˆ ( f ...
MMSE-STSA 推定器 [Ephraim, 1984]
忘却係数と MMSE-STSA 推定器の性能
Harmful

α ≈1

Natural

忘却係数 α の値を変化させても
Good
Bad
ミュージカルノイズフリー状態にならない...
バイアス付き MMSE-STSA 推定器
本研究では,バイアス付き事前 SNR 推定を導入する.
バイアス付き事前 SNR 推定

ˆ
ξ ( f ,τ ) = αγˆ ( f ,τ − 1)G 2 ( f ,τ − 1) + (1 − α )...
客観評価値
ミュージカルノイズ発生量の評価尺度
カートシス比
kurtosis ratio =

kurt proc : 信号処理後のカートシス
kurt =

µ4
µ2

kurt proc
kurt org

kurt org : 信号処...
バイアス付き MMSE-STSA 推定器の解析
事前 SNR 推定において無限の再帰処理を含む.
信号処理後のモーメントを解析的に表すことは困難

近似 [Breithaupt, 2010] を用いたモーメント計算法を導入
する.
モーメント計...
1.雑音パワースペクトルのモデリング
雑音パワースペクトルがガンマ分布に従うと仮定する.
ガンマ分布

xη −1 exp(− x θ )
p(x ) =
θ η Γ(η )
η :形状母数

θ :尺度母数

形状母数は雑音の種類を表しており...
2.バイアス付き MMSE-STSA 推定器の近似
2つの近似を適用する.
非音声区間を仮定したゲイン関数の近似
事前 SNR を畳みこみ演算を用いて近似 (再帰処理を含まない)
バイアス付き MMSE-STSA 推定器の近似
π ˆ
2
Yb...
3.キュムラントの導入 [1/2]
近似式を用いてモーメント計算を行う.
モーメントには加法性がないため,近似式にある畳みこみ演算
(積和演算) を扱うことが困難

キュムラントを導入
キュムラントには加法性があるため,積和演算を含む処理
でも...
3.キュムラントの導入 [2/2]
バイアス付き MMSE-STSA 推定器のキュムラントを求め
てから,モーメントへの変換を行う.
バイアス付きMMSE-STSA 推定器のキュムラント
バイアス付き
m

κ m[|Y

bias |

Z ...
バイアス付き MMSE-STSA 推定器のモーメント計算

モーメント計算の手順
1. ξ bias ( f ,τ ) の PDF を求める.
2. ξ bias ( f ,τ ) のモーメント µ m[ξ ] を計算する.
bias

3. ...
1.

ξ bias ( f ,τ ) のPDFの導出
ξ bias ( f ,τ )

モーメント計算の流れ

1. PDF

Ybias ( f ,τ ) 
2

ξ bias ( f ,τ ) = max[ε , γˆ ( f ,τ ) ...
1.

ξ bias ( f ,τ ) のPDFの導出
ξ bias ( f ,τ )

モーメント計算の流れ

1. PDF

Ybias ( f ,τ ) 
2

ξ bias ( f ,τ ) = max[ε , γˆ ( f ,τ ) ...
1.

ξ bias ( f ,τ ) のPDFの導出
ξ bias ( f ,τ )

モーメント計算の流れ

1. PDF

Ybias ( f ,τ ) 
2

ξ bias ( f ,τ ) = max[ε , γˆ ( f ,τ ) ...
2.

ξ bias ( f ,τ ) のモーメント計算
ξ bias ( f ,τ )

モーメント計算の流れ

1. PDF

Ybias ( f ,τ ) 
2

2. モーメント

3.キュムラント
3.キュムラント

5. モーメント...
3. モーメント-キュムラント変換
ξ bias ( f ,τ )

モーメント計算の流れ

1. PDF

Ybias ( f ,τ ) 
2

2. モーメント

3.キュムラント
3.キュムラント

5. モーメント

4.キュムラント
...
4. バイアス付き MMSE-STSA 推定器のモーメント
ξ bias ( f ,τ )

モーメント計算の流れ

1. PDF

2. モーメント
5. モーメント

Ybias ( f ,τ ) 
2

3.キュムラント
3.キュムラント...
5. キュムラント-モーメント変換
ξ bias ( f ,τ )

モーメント計算の流れ

1. PDF

Ybias ( f ,τ ) 
2

2. モーメント

3.キュムラント
3.キュムラント

5. モーメント

4.キュムラント
...
評価実験
先に導出した式を用いてカートシス比および NRR の理論
値を求め,ミュージカルノイズフリー状態が存在するか検
証を行う.
また実音源を用いた信号処理実験を行い,実際にミュー
ジカルノイズフリー状態が存在しているか確認する.
実験条件...
理論解析結果
Harmful

Conventional MMSE-STSA estimator

Musical-noise-free condition

◌֝

Natural

カートシス不動条件および NRR 増加条件を
満たす点が...
実音源を用いた信号処理実験結果
Harmful

Conventional MMSE-STSA estimator

Musical-noise-free condition

Natural

ミュージカルノイズフリー状態を達成している
25
まとめ
MMSE-STSA 推定器におけるミュージカルノイズフリー雑
音抑圧を目的として,バイアス付き MMSE-STSA 推定器
を提案した.
理論解析および実音源を用いた評価実験の結果,バイア
ス付き MMSE-STSA 推定器においてミュ...
Upcoming SlideShare
Loading in …5
×

バイアス付きMMSE-STSA推定器の理論解析およびミュージカルノイズフリー雑音抑圧への拡張

2,236 views

Published on

古典的な雑音抑圧手法であるMMSE短時間振幅スペクトル推定法では,人工的な音の歪み(ミュージカルノイズ)が発生しユーザに不快感を与えるという問題がありました. 今回の学会発表では,MMSE短時間振幅スペクトル推定法に改良を加えることで, ミュージカルノイズを発生させない「ミュージカルノイズフリー雑音抑圧」を達成できることを数学的な解析により明らかにしました.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

バイアス付きMMSE-STSA推定器の理論解析およびミュージカルノイズフリー雑音抑圧への拡張

  1. 1. バイアス付き MMSE-STSA 推定器の理論解析 およびミュージカルノイズフリー雑音抑圧への拡張 ☆中井駿介,宮崎亮一,猿渡洋,中村哲(奈良先端大・情報) 近藤多伸(ヤマハ)
  2. 2. 研究背景 近年,音声通信に関するアプリケーションが増加している テレビ会議システム,携帯電話 etc. 周囲の雑音の影響により音声品質が劣化 1ch 非線形音声強調法 – Spectral subtraction (SS) [Boll, 1979] – Wiener filter (WF) [Wiener, 1949] – Minimum mean-square error short-time spectral amplitude estimator (MMSE-STSA 推定器) [Ephraim, 1984] 雑音抑圧性能が高いが,ミュージカルノイズが発生して利用者に 不快感を与える. ミュージカルノイズフリー音声強調 [Miyazaki, 2012] SS の内部パラメータを高次統計量に基づいて導出 ミュージカルノイズを全く発生させずに雑音抑圧が可能 2
  3. 3. ミュージカルノイズフリー音声強調 ミュージカルノイズフリー状態 カートシス不動条件:信号処理によりミュージカルノイズが発生し ていないことを示す NRR 増加条件:信号処理により SNR が改善することを示す Kurtosis ratio ミュージカルノイズフリー音声強調 従来の音声強調 ・値が大きいほどミュージカルノイ ズ発生量が多い ・値が 1.0 のときはミュージカルノ イズは発生しない Noise reduction rate (NRR) 雑音抑圧量の増加するが ミュージカルノイズが発生 ・SNR の改善量を表す評価尺度 ・値が正のとき SNR が改善され ていることを示す ミュージカルノイズフリー状態 3
  4. 4. 研究目的 これまで SS および WF におけるミュージカルノイズフリー 状態が確認されている. しかし,MMSE-STSA 推定器におけるミュージカルノイズ フリー音声強調については検討がなされていない. また,MMSE-STSA 推定器は SS と比較して音声品質が 高いことが知られている. より高品質なミュージカルノイズフリー音声強調を目的とし て,MMSE-STSA 推定器においてミュージカルノイズフ リー状態が存在することを明らかにする. 4
  5. 5. MMSE-STSA 推定器 [Ephraim, 1984] 音声の振幅スペクトルの誤差を最小とする音声強調法 MMSEMMSE-STSA 推定器による推定音声振幅スペクトル π υ ( f ,τ )  υ ( f ,τ )    υ ( f ,τ )   υ ( f ,τ )   Y ( f ,τ )  = exp −  (1 + υ ( f ,τ ))I 0   + υ ( f ,τ )I1   ⋅ X ( f ,τ )  ˆ ( f ,τ ) 2 γ 2    2   2  Y ( f ,τ ) :推定音声 X ( f ,τ ) = S ( f ,τ ) + N ( f ,τ ) :観測信号 S ( f ,τ ), N ( f ,τ ):真の音声成分と雑音成分 υ ( f ,τ ) = ξ ( f ,τ )γ ( f ,τ ) (1 + ξ ( f ,τ )) I 0 (x ), I1 (x ):0次と1次の変形ベッセル関数 [ ξ ( f , τ ) = E S ( f ,τ ) 2 ] E [ N ( f ,τ ) ] : 事前 SNR 2 γ ( f ,τ ) = X ( f ,τ ) 2 [ E N ( f ,τ ) 2 ] : 事後 SNR 真の音声成分は得ることができない 5
  6. 6. MMSE-STSA 推定器 [Ephraim, 1984] Decision directed法による事前 SNR の推定を行う. Decision directed 法による事前 SNR 推定 ˆ ξ ( f ,τ ) = αγˆ ( f ,τ − 1)G 2 ( f ,τ − 1) + (1 − α )ξ ml ( f ,τ ) 0 < α < 1 : 忘却係数 ξ ml ( f ,τ ) = max[0, γˆ ( f ,τ ) − 1] MMSE-STSA 推定器の性能は,忘却係数 α に関係して いる. 6
  7. 7. MMSE-STSA 推定器 [Ephraim, 1984] 忘却係数と MMSE-STSA 推定器の性能 Harmful α ≈1 Natural 忘却係数 α の値を変化させても Good Bad ミュージカルノイズフリー状態にならない 7
  8. 8. バイアス付き MMSE-STSA 推定器 本研究では,バイアス付き事前 SNR 推定を導入する. バイアス付き事前 SNR 推定 ˆ ξ ( f ,τ ) = αγˆ ( f ,τ − 1)G 2 ( f ,τ − 1) + (1 − α )ξ bias ( f ,τ ) ξ bias ( f ,τ ) = max[ε , γˆ ( f ,τ ) − 1] バイアス付き事前 SNR 推定を導入した MMSE-STSA 推 定器をバイアス付き MMSE-STSA 推定器とする. バイアス値 ε とミュージカルノイズ発生量,雑音抑圧性能 の関係を理論解析により明らかにする. 8
  9. 9. 客観評価値 ミュージカルノイズ発生量の評価尺度 カートシス比 kurtosis ratio = kurt proc : 信号処理後のカートシス kurt = µ4 µ2 kurt proc kurt org kurt org : 信号処理前のカートシス µ m :雑音パワースペクトルの m次モーメント 雑音抑圧性能の評価尺度 雑音抑圧量 µ1 NRR = SNR out − SNR in ≈ 10 log10 µ1′ µ1 , µ1′ :信号処理前後の雑音パワースペクトルの1次モーメント 理論解析には非音声区間における信号処理後の パワースペクトルの1次,2次および4次モーメントが必要 9
  10. 10. バイアス付き MMSE-STSA 推定器の解析 事前 SNR 推定において無限の再帰処理を含む. 信号処理後のモーメントを解析的に表すことは困難 近似 [Breithaupt, 2010] を用いたモーメント計算法を導入 する. モーメント計算の準備 1.雑音パワースペクトルのモデリング 2.バイアス付き MMSE-STSA 推定器への近似の適用 3.キュムラントの導入 10
  11. 11. 1.雑音パワースペクトルのモデリング 雑音パワースペクトルがガンマ分布に従うと仮定する. ガンマ分布 xη −1 exp(− x θ ) p(x ) = θ η Γ(η ) η :形状母数 θ :尺度母数 形状母数は雑音の種類を表しており,値が1.0のとき白色ガウス 雑音に相当する. 11
  12. 12. 2.バイアス付き MMSE-STSA 推定器の近似 2つの近似を適用する. 非音声区間を仮定したゲイン関数の近似 事前 SNR を畳みこみ演算を用いて近似 (再帰処理を含まない) バイアス付き MMSE-STSA 推定器の近似 π ˆ 2 Ybias ( f ,τ ) ≈ ξ ( f ,τ )ηθ 4 ˆ ξ ( f ,τ ) ≈ hξ (τ ) ∗ ξ bias ( f ,τ ) hξ (τ ) = (1 − α ) exp(− λξτ ) ξ bias ( f ,τ ) = max[γ ( f ,τ ) − 1, ε ] ρ 4 ⋅  α π  λξ = ln ρ : スムージングパラメータ – 本研究では実データとの整合をとるため ρ = 2.0 とした 12
  13. 13. 3.キュムラントの導入 [1/2] 近似式を用いてモーメント計算を行う. モーメントには加法性がないため,近似式にある畳みこみ演算 (積和演算) を扱うことが困難 キュムラントを導入 キュムラントには加法性があるため,積和演算を含む処理 でも容易に計算できる. モーメントとキュムラントは一意に変換可能 キュムラントの加法性 κ m[aX +bY ] = a mκ m[ X ] + b mκ m[Y ] κ m[ X ] : 確率信号 X の m次キュムラント X , Y : 独立な確率変数 a, b : 定数 13
  14. 14. 3.キュムラントの導入 [2/2] バイアス付き MMSE-STSA 推定器のキュムラントを求め てから,モーメントへの変換を行う. バイアス付きMMSE-STSA 推定器のキュムラント バイアス付き m κ m[|Y bias | Z (m ) = exp(− mλξ ) 1 − exp(− mλξ ) 2 ] π  =  ηθ (1 − α ) Z (m )κ m[ξ bias ] 4  κ m[|Y bias | κ m[ ξ 2 ]: bias ] バイアス付きMMSE-STSA 推定器のキュムラント ˆ : ξ bias ( f ,τ ) = max[ε , γ ( f ,τ ) − 1] のキュムラント ξ bias ( f ,τ ) のキュムラントを直接求めることはできない モーメントを求めてからキュムラントへ変換 モーメントは確率密度関数 (PDF) から導出可能 14
  15. 15. バイアス付き MMSE-STSA 推定器のモーメント計算 モーメント計算の手順 1. ξ bias ( f ,τ ) の PDF を求める. 2. ξ bias ( f ,τ ) のモーメント µ m[ξ ] を計算する. bias 3. µ m[ξ ] をキュムラントへ変換する. 4. バイアス付き MMSE-STSA 推定器の出力パワース ペクトルのキュムラント κ m[|Y | ] を求める. 5. κ m[|Y | ] をモーメントへ変換する. bias 2 bias 2 bias ξ bias ( f ,τ ) 1. PDF Ybias ( f ,τ )  2 2. モーメント 3.キュムラント 5. モーメント 4.キュムラント カートシス比,NRR 15
  16. 16. 1. ξ bias ( f ,τ ) のPDFの導出 ξ bias ( f ,τ ) モーメント計算の流れ 1. PDF Ybias ( f ,τ )  2 ξ bias ( f ,τ ) = max[ε , γˆ ( f ,τ ) − 1] の [1/3] 2. モーメント 3.キュムラント 3.キュムラント 5. モーメント 4.キュムラント 4.キュムラント PDF 変形 非音声区間を仮定しているため,事後 SNR γˆ ( f ,τ ) は正規 化された雑音パワースペクトルとなる. 雑音パワースペクトルはガンマ分布を仮定 xη −1 exp(− ηx ) p[γˆ ] ( x ) = (1 η )η Γ(η )
  17. 17. 1. ξ bias ( f ,τ ) のPDFの導出 ξ bias ( f ,τ ) モーメント計算の流れ 1. PDF Ybias ( f ,τ )  2 ξ bias ( f ,τ ) = max[ε , γˆ ( f ,τ ) − 1] の [2/3] 2. モーメント 3.キュムラント 3.キュムラント 5. モーメント 4.キュムラント 4.キュムラント PDF 変形 減算により p.d.f. は負の方向へ平行移動する. (x + 1)η −1 exp(− η (x + 1)) p[γˆ −1] ( x ) = (1 η )η Γ(η ) 17
  18. 18. 1. ξ bias ( f ,τ ) のPDFの導出 ξ bias ( f ,τ ) モーメント計算の流れ 1. PDF Ybias ( f ,τ )  2 ξ bias ( f ,τ ) = max[ε , γˆ ( f ,τ ) − 1] の [3/3] 2. モーメント 3.キュムラント 3.キュムラント 5. モーメント 4.キュムラント 4.キュムラント PDF 変形 max 演算ではバイアス値 ε より小さい成分が全て ε の位 置に積み上げられる. (x < ε ) 0    ε (x p[ξ bias ] (x ) =  ∫ p[γˆ −1] (x )dx    = ε ) −1  p (x )      > ε ) (x  [γˆ −1]
  19. 19. 2. ξ bias ( f ,τ ) のモーメント計算 ξ bias ( f ,τ ) モーメント計算の流れ 1. PDF Ybias ( f ,τ )  2 2. モーメント 3.キュムラント 3.キュムラント 5. モーメント 4.キュムラント 4.キュムラント ξ bias ( f ,τ ) = max[ε , γˆ ( f ,τ ) − 1] のモーメントを計算する. 求めた PDF の式をモーメントの定義式へ代入 µ m[ξ ∞ = ∫ x m p[ξ bias ] ( x )dx bias ] −∞ ∞     ∫ x p[γˆ −1] ( x )dx + ε = ε m m ∫ ε −1 p[γˆ −1] ( x )dx m 1 Γ(m + 1) (− η )l     m = ⋅ Γ2 (η + m − l ,η (ε + 1)) ∑ η Γ(η ) l =0 Γ(l + 1)Γ(m − l + 1) 1     + ε m Γ1 (η ,η (ε + 1)) Γ(η ) Γ1 (a, b ) : 第一種不完全ガンマ関数 Γ2 (a, b ) : 第二種不完全ガンマ関数 19
  20. 20. 3. モーメント-キュムラント変換 ξ bias ( f ,τ ) モーメント計算の流れ 1. PDF Ybias ( f ,τ )  2 2. モーメント 3.キュムラント 3.キュムラント 5. モーメント 4.キュムラント 4.キュムラント モーメント-キュムラント変換により ξ bias ( f ,τ ) のキュムラン ト κ m[ξ bias ] が得られる. κ1[ξ bias ] = µ1[ξ bias ] κ 2 2[ξ bias ] = µ 2[ξ bias ] − µ1[ξ bias ]   3 κ 3[ξ bias ] = µ3[ξ bias ] − 3µ 2[ξ bias ] µ1[ξ bias ] + 2 µ1[ξ bias ] 2 κ = µ 4[ξ bias ] − 4 µ3[ξ bias ] µ1[ξ bias ] − 3µ 2[ξ bias ] 4[ξ bias ]  + 12 µ 2[ξ bias ] µ12[ξ bias ] − 6 µ14[ξ bias ]   20
  21. 21. 4. バイアス付き MMSE-STSA 推定器のモーメント ξ bias ( f ,τ ) モーメント計算の流れ 1. PDF 2. モーメント 5. モーメント Ybias ( f ,τ )  2 3.キュムラント 3.キュムラント 4.キュムラント 4.キュムラント ) のキュムラントを用いて,バイアス付き MMSESTSA 推定器のキュムラントを求める. ξ bias ( f , τ バイアス付きMMSE-STSA 推定器のキュムラント (再掲) 再掲) バイアス付き m κ m[|Y bias | 2 ] π   =  (1 − α ) ηθ  Z (m )κ m [ξ bias ] 4   21
  22. 22. 5. キュムラント-モーメント変換 ξ bias ( f ,τ ) モーメント計算の流れ 1. PDF Ybias ( f ,τ )  2 2. モーメント 3.キュムラント 3.キュムラント 5. モーメント 4.キュムラント 4.キュムラント をモーメントへ変換すると,バイアス付き MMSESTSA 推定器による信号処理後のモーメントが得られる. κ m[|Y bias | 2 ]  µ1 = κ1[|Ybias |2 ]               µ 2 = κ 2[|Ybias |2 ] + κ12[|Ybias |2 ]           µ = κ 2 + 4κ 3[|Y |2 ]κ1[|Y |2 ] + 3κ 2[|Y |2 ] 4[|Ybias |2 ]  4 bias bias bias 2 4    6κ + 2[|Y |2 ]κ1[|Y |2 ] + 4κ1[|Y |2 ]      bias bias bias  ֩ 騀◌ カートシス比および NRR の理論値が計算できる. 22
  23. 23. 評価実験 先に導出した式を用いてカートシス比および NRR の理論 値を求め,ミュージカルノイズフリー状態が存在するか検 証を行う. また実音源を用いた信号処理実験を行い,実際にミュー ジカルノイズフリー状態が存在しているか確認する. 実験条件 DD 法の忘却係数 α = 0.98 雑音パワースペクトルの形状母数 η = 1.0 (白色ガウス雑音) 推定雑音 : 非音声区間の雑音パワースペクトルの平均 23
  24. 24. 理論解析結果 Harmful Conventional MMSE-STSA estimator Musical-noise-free condition ◌֝ Natural カートシス不動条件および NRR 増加条件を 満たす点が存在している 24
  25. 25. 実音源を用いた信号処理実験結果 Harmful Conventional MMSE-STSA estimator Musical-noise-free condition Natural ミュージカルノイズフリー状態を達成している 25
  26. 26. まとめ MMSE-STSA 推定器におけるミュージカルノイズフリー雑 音抑圧を目的として,バイアス付き MMSE-STSA 推定器 を提案した. 理論解析および実音源を用いた評価実験の結果,バイア ス付き MMSE-STSA 推定器においてミュージカルノイズ フリー状態が存在することが確認できた. ֜ 薰◌ 26

×