論文紹介D4C-morise.pptx
•Download as PPTX, PDF•
0 likes•89 views
高品質音声システムで用いられることを前提とした非周期性指標推定システムであるD4Cの論文紹介スライドである。 論文情報 “D4C,a band –aperiodicity estimator for high-quality speech synthesis” Author : Masanori Morise Speech Communication, vol. 84, pp. 57-65, Nov. 2016.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 論文紹介D4C-morise.pptx
Similar to 論文紹介D4C-morise.pptx (20)
More from Natsumi KOBAYASHI
More from Natsumi KOBAYASHI (19)
論文紹介D4C-morise.pptx
- 1. D4C,a band –aperiodicity estimator for high-quality speech synthesis(2016)
- 2. 紹介論文 “D4C,a band –aperiodicity estimator for high-quality speech synthesis” Author : Masanori Morise Speech Communication, vol. 84, pp. 57-65, Nov. 2016.
- 3. 章立て 第一章 導入 第二章 問題定義とアルゴリズムで用いるパラメーターの定義 第三章 アルゴリズムの詳細 第四章 評価 第五章 結論と課題
- 4. 第一章 導入
- 6. D4C これらの研究の目標はボコーダベースの 高品質分析合成アルゴリズムを作成すること D4C(Definitive Decomposition Derived Dirt Cheap) 高品質音声システムで用いられることを前提とした非周期性 指標推定システム
- 9. 2.1 周期信号の定義 音声信号𝑦 𝑡 ：インパルス応答とパルス列の畳み込み 𝑌 𝜔 は基本波成分と高調波成分で構成されている ∅ 𝜔 …振幅位相スペクトラム 𝑦 𝑡 = ℎ 𝑡 ∗ 𝑛=−∞ ∞ 𝛿 𝑡 − 𝑛𝑇0 𝑌 𝜔 = 2𝜋 𝑇0 𝐻 𝜔 𝑛=−∞ ∞ 𝛿 𝜔 − 𝑛𝜔0 𝐻 𝜔 = 𝐴 𝜔 𝑒𝑗∅ 𝜔
- 10. 2.1 周期信号の定義 振幅𝛼𝑛と位相𝛽𝑛で表すと 𝑌 𝜔 = 𝑛=−∞ ∞ 𝛼𝑛𝑒𝑗𝛽𝑛𝛿 𝜔 − 𝑛𝜔0 ・APの成分のひとつは雑音 ・音声信号と信号の非周期成分の間のパワー比として定義 ・ APは周波数帯域に依存するため、いくつかの周波数帯域に 対して求める必要がある
- 12. 2.3 基本的方程式の定義 群遅延𝜏𝑔 𝜔 位相∅(ω)の周波数導出に基づいて定義されたパラメーター 𝜏𝑔 𝜔 = −∅′(𝜔) ∅′(𝜔) ≡ 𝑑∅(𝜔) 𝑑𝜔
- 13. 2.3 基本的方程式の定義 𝜏𝑔 𝜔 = ℜ 𝑆′ 𝜔 ℑ 𝑆 𝑣 − ℜ(𝑆(𝜔))ℑ(𝑆′(𝜔)) |𝑆(𝜔)|2 𝑆′ 𝜔 = ℱ[−𝑗𝑡𝑠(𝑡)] 𝑆’ 𝜔 は − 𝑗𝑡𝑠(𝑡)のスペクトル D4Cではこの式を用いる 分子と分母の両方で、一時的に静的なパラメータが使用される
- 14. 第三章 アルゴリズムの詳細
- 16. 3.1 群遅延に基づく時間的に静的なパ ラメーターの計算 𝐸𝑐𝑠(𝜔) = ℜ 𝑆′ 𝜔 ℑ 𝑆 𝑣 − ℜ 𝑆 𝜔 ℑ 𝑆′ 𝜔 ◆周期信号𝑦(𝑡)から、𝜏𝑔 𝜔 の分子部𝐸𝑐𝑠(𝜔)を計算すると仮定 次の2つの要件を満たす窓関数を設計 •メインローブの帯域幅は𝜔0 •サイドローブの振幅は、無視できるほど小さい 信号波形𝑦(𝑡)は、𝜏を中心とする窓関数を使用して窓処理を行う 窓処理された波形は、𝑦(𝑡, 𝜏)として定義 窓処理された波形𝑌(𝜔, 𝜏)のスペクトルは、窓関数のスペクトルと𝑌(𝜔)の 畳み込みで表される 𝜏𝑔 𝜔 = ℜ 𝑆′ 𝜔 ℑ 𝑆 𝑣 − ℜ(𝑆(𝜔))ℑ(𝑆′(𝜔)) |𝑆(𝜔)|2
- 17. 3.1 群遅延に基づく時間的に静的なパ ラメーターの計算 ◆𝑌(𝜔, 𝜏)は𝑛𝜔0に高調波成分を持っている が、1つの高調波𝑘𝜔0は窓関数を畳み込むこ とによって(k − 1)𝜔0から(𝑘 + 1) 𝜔0までの 周波数範囲に広がる 通常、高調波成分間の干渉が発生 →今回は、用いる窓関数のおかげでこの計 算を簡略化できる (a)𝑌(𝜔) (b)𝑌(𝜔, 𝜏)
- 18. 3.1 群遅延に基づく時間的に静的なパ ラメーターの計算 ◆隣接する成分k𝜔0と(𝑘 + 1)𝜔0間の干渉の影響を計算(簡単のため𝑘 = 1) 𝑌 𝜔, 𝜏 = 𝛿 𝜔 + 𝛼𝑒𝑗𝛽𝛿 𝜔 − 𝜔0 ∗ 𝑊 𝜔 𝑒𝑗𝜔𝜏 = 𝑊 𝜔 𝑒−𝑗𝜔𝜏 + 𝛼𝑊(𝜔 − 𝜔0)𝑒−𝑗(𝜔𝜏−𝜔0𝜏−𝛽) ◆時変成分を取り除くために、パラメータCを式に挿入 𝑌0 𝜔, 𝜏 = ℱ −𝑗 𝜏＋𝐶 𝑦 𝑡, 𝜏 = 𝑌′ 𝜔, 𝜏 − 𝑗𝐶𝑌 𝜔, 𝜏 𝑌′ 𝜔, 𝜏 = −𝑗𝜏𝑒𝑗𝜔𝜏𝑊 𝜔 + 𝑒−𝑗𝜔𝜏𝑊′ 𝜔 −𝑗𝛼𝜏𝑒𝑗 𝜔𝜏−𝜔0𝜏−𝛽 𝑊 𝜔 − 𝜔0 +𝛼𝑒−𝑗 𝜔𝜏−𝜔0𝜏−𝛽 𝑊′ 𝜔 − 𝜔0 𝜏が時変成分 𝑆′ 𝜔 = ℱ[−𝑗𝑡𝑠(𝑡)]
- 19. 3.1 群遅延に基づく時間的に静的なパ ラメーターの計算 ◆𝑌(𝜔, 𝜏) → 𝑆 𝜔 、𝑌0(𝜔, 𝜏) → 𝑆′ 𝜔 として𝐸𝑐𝑠(𝜔, 𝜏)を計算 𝐸𝑐𝑠 𝜔 = ℜ 𝑆′ 𝜔 ℑ 𝑆 𝑣 − ℜ 𝑆 𝜔 ℑ 𝑆′ 𝜔 𝐸𝑐𝑠 𝜔, 𝜏 = 𝐶 + 𝜏 𝑊2 𝜔 + 𝛼2 𝐶 + 𝜏 𝑊2 𝜔 − 𝜔0 +2𝑊 𝜔 𝑊 𝜔 − 𝜔0 𝛼𝜏0𝜏 cos 𝜔0𝜏 − 𝛽 + 𝛼 𝑊′ 𝜔 𝑊 𝜔 − 𝜔0 − 𝑊 𝜔 𝑊′ 𝜔 − 𝜔0 × sin(𝜔0𝜏 − 𝛽) ◇パラメータCは、時間位置𝜏をキャンセルするための値に自動的に 設定されるため、方程式の第1項と第2項は、時間的に静的 ◇𝐸𝑐𝑠 𝜔, 𝜏 + 𝑇0 2 を計算すると第３項と第4項の符号が反転 𝐸𝑐𝑠 𝜔, 𝜏 + 𝐸𝑐𝑠 𝜔, 𝜏 + 𝑇0 2 を計算すると打ち消しあう →時間的に静的 𝑌0 𝜔, 𝜏 = −𝑗𝜏𝑒𝑗𝜔𝜏𝑊 𝜔 + 𝑐𝑜𝑠𝜔𝜏𝑊′ 𝜔 −𝑗𝑠𝑖𝑛𝜔𝜏𝑊′ 𝜔 −𝑗𝛼𝜏𝑒𝑗 𝜔𝜏−𝜔0𝜏−𝛽 𝑊 𝜔 − 𝜔0 +𝛼𝑐𝑜𝑠 𝜔𝜏 − 𝜔0𝜏 − 𝛽 𝑊′ 𝜔 − 𝜔0 −𝑗𝛼𝑠𝑖𝑛 𝜔𝜏 − 𝜔0𝜏 − 𝛽 𝑊′ 𝜔 − 𝜔0 − 𝑗𝐶𝑌 𝜔, 𝜏 𝑊 𝜔 𝑒−𝑗𝜔𝜏 −𝑗𝐶𝑌 𝜔, 𝜏 𝛼𝑊(𝜔 − 𝜔0)𝑒−𝑗(𝜔𝜏−𝜔0𝜏−𝛽) 𝑌 𝜔, 𝜏 = 𝑊 𝜔 𝑐𝑜𝑠𝜔𝜏 + −𝑗𝑠𝑖𝑛𝜔𝜏𝑊 𝜔 + 𝛼𝑊(𝜔 − 𝜔0)𝑐𝑜𝑠 𝜔𝜏 − 𝜔0𝜏 − 𝛽 −𝛼𝑊(𝜔 − 𝜔0) 𝑗𝑠𝑖𝑛 𝜔𝜏 − 𝜔0𝜏 − 𝛽
- 20. 3.1 群遅延に基づく時間的に静的なパ ラメーターの計算 ◆𝜏𝑔 𝜔 の分母部𝐸𝐷 𝐸𝐷 𝜔, 𝜏 = 𝐸𝑐𝑠 𝜔, 𝜏 − 𝑇0 4 + 𝐸𝑐𝑠 𝜔, 𝜏 + 𝑇0 4 = 2𝜏0𝑊2 𝜔 + 2𝜏0𝛼2𝑊2 𝜔 − 𝜔0 この式は、窓関数のメインローブが𝜔0未満でサイドローブの振幅が無視 できる場合に有効であり、 実際にはサイドローブが必要な性能を達成す るのに十分な窓関数が使用される 要件を満たす窓関数が多数あるが聴取実験の結果に基づいて、長さ4T0の ブラックマン窓を使用 𝜏𝑔 𝜔 = ℜ 𝑆′ 𝜔 ℑ 𝑆 𝑣 − ℜ(𝑆(𝜔))ℑ(𝑆′(𝜔)) |𝑆(𝜔)|2
- 21. 3.1 群遅延に基づく時間的に静的なパ ラメーターの計算 ◆𝜏で窓処理された波形のパワースペクトル 𝑃𝑠(𝜔, 𝜏) = 1 𝜔0 − 𝜔0 2 𝜔0 2 𝑃 𝜔 + 𝜆, 𝜏 𝑑𝜆 これを用いて群遅延を再定義 𝜏𝑔 𝜔, 𝜏 = 𝐸𝐷 𝜔, 𝜏 𝑃𝑠(𝜔, 𝜏) 𝑛𝜔0のとき分母と分子の値は等しい → すべての高調波成分の値が同じ →同じF0の任意の信号に対して同じ結果を出力する 𝜏𝑔 𝜔 = ℜ 𝑆′ 𝜔 ℑ 𝑆 𝑣 − ℜ(𝑆(𝜔))ℑ(𝑆′(𝜔)) |𝑆(𝜔)|2
- 22. 3.2 パラメータシェーピングの計算 (𝑎)𝜏𝑔 𝜔 は周期が𝜔0の周期信号 ⇒波形は逆フーリエ変換によって得られ、 𝑛𝑇0にピークがある ◇ブラックマン窓とハニング窓を使用して、 それぞれ𝐸𝐷(𝜔)と𝑃𝑠(𝜔)を計算 ◇以下の式で平滑化を行う 𝜏𝑔𝑠 𝜔 = 2 𝜔0 − 𝜔0 4 𝜔0 4 𝜏𝑔 𝜔 + 𝜆 𝑑𝜆
- 23. 3.2 パラメータシェーピングの計算 平滑化関数の波形は、2𝑛𝑇0でゼロになる 𝜏𝐷 𝜔 = 𝜏𝑔𝑠 𝜔 − 𝜏𝑔𝑏(𝜔) 𝜏𝑔𝑏 𝜔 = 1 𝜔0 − 𝜔0 2 𝜔0 2 𝜏𝑔𝑠 𝜔 + 𝜆 𝑑𝜆 𝜏𝐷 𝜔 は3番目のステップ非周期性指標推 定で使用されるパラメーター
- 24. 3.3 非周期性指標推定 ◆パラメータ𝜏𝐷 𝜔 は、入力信号に非周期的なノイズが含まれていない限り、 周波数が𝜔0の正弦波に一致する D4Cアルゴリズムは、特定の帯域幅を持つ中心周波数の帯域非周期性を推定可能 APは各周波数帯域の合計パワーと正弦波のパワーの比として計算 窓関数を用いてサイドローブを窓処理すると得られる ◇D4Cアルゴリズムでは、Nuttall窓をローサイドローブの窓関数として使用
- 25. 第四章 評価
- 26. 4.1.1 共通の条件 Legacy-STRAIGHTとTANDEM-STRAIGHTを比較対象とする 5つの中心周波数（3、6、9、12、15 kHz）を使用 主観的評価では、D4Cで線形補間を使用して、スペクトル表現のAPを取得 サンプリング周波数 信号長 フレームシフト FFTの長さ 窓関数の長さ 48kHz 1秒 1ミリ秒 4096 6kHz
- 27. 4.1.2 SNRと推定結果の関係 𝑦 𝑡 = 𝑛 𝑡 + 𝑘=0 𝑘 cos(𝑘𝜔0𝑡 + 𝜃𝑘) ・𝑛 𝑡 はホワイトノイズ ・𝜃𝑘は各成分の位相特性 𝜃𝑘はランダムな値に設定され、𝑘は𝑘𝜔0がナイキスト周波数（24 kHz）を超えない 最大値に設定される ◆SNRは0〜40 dBに設定 ◆125Hzと250HzのF0を使用
- 30. 4.1.4 実験３：F0推定誤差の影響 ◆F0推定誤差に対するロバスト性を評価 入力F0にエラー（-10〜10％）を混ぜて実験1と 同じように実行 相対誤差（y軸に表示）は、F0誤差が0％の場合 の推定非周期性とAPの差として定義 TANDEM-STRAIGHT エラーが最も高い Legacy-STRAIGHT 誤差は約±4dB D4C 誤差は3dB以内 ◇TANDEM-STRAIGHTは、他の2つのアルゴリズ ムよりもF0推定誤差に対するロバスト性が低い
- 31. 4.1.5 実験４：F0軌跡周波数変調（FM）の効果 ◆テスト信号のF0軌跡は、変調勾配を制御す るためのFMパラメータαを含む次の式を使用 して設計 𝑓0(𝑡) = 𝑓 + 𝛼𝑓cos( 𝛼𝑓𝑡 + 𝜃) FMパラメータ𝛼の値は0.0から25.0の範囲であ り、0.0から2𝜋の𝜃を使用してF0軌跡を計算 すべての𝜃について計算された値が平均化さ れている ・FMパラメーターが5未満の場合 D4Cが最も効果的 ・パラメーターが10を超える TANDEM-STRAIGHTが最も効果的
- 37. 第五章 結論と課題
Editor's Notes
- Legacy…受け継がれた
- Definitive Decomposition Derived Dirt Cheap 決定的な分解由来の汚れ安い
- 第１ステップではグループ遅延に基づいて時間的に静的パラメータ計算τ G（ω）。 第２ステップでは、τ G（ωは）第三段階の計算に用いるパラメータに変換。
- ・サイドローブの振幅は、無視できるほど小さい←用いる窓関数のおかげでこの計算を簡略化できる
- 𝛼振幅𝛽位相 𝑊 𝜔 窓関数のスペクトル
- Nは、窓関数の幅を表します。パラメータCは、信号の時間シフトに対応 →群遅延に基づいて時間的に静的なパラメータを取得することが不可欠
- 長いウィンドウ関数は、メインローブとサイドローブの両方の要件をより適切に近似できますが、 音声のパラメーターが時間的に変化するため、適切ではありません。
- 正弦波のパワーの計算：波形はローサイドローブの窓関数を使用して窓処理を行う
- APはすべての中心周波数で同じ値であったため、最終的な結果はすべての中心周波数とフレームの平均として定義
- 同様の傾向が観察されたため、その後の3回の実験でSNRを20dBに設定
- αが0の場合の結果が0dBになるように設定
- 実験1の結果は、SNRが5 dBを超えると、D4Cによって推定された非周期性にバイアスがあったことを示す バイアスは約6dBであったため、推定された非周期性から6dBを差し引くことで補正可能 SNRが5dB未満の場合、バイアスの傾向は異なるが、評価に使用されるアルゴリズムでは、低SNR音声からF0を正確に推定することはできない このSNRを持つフレームは無声部分として識別され、その非周期性は音声合成では使用されない F0推定誤差とAMの結果は、D4Cが最高のパフォーマンスを示したことを示す
- 結果（図11）は、すべてのアルゴリズムが入力音声ほど自然な音声を合成できるわけではないことを示す TANDEM-STRAIGHTは、男性と女性の両方のスピーチで他の人よりも大幅に劣っていました。 すべての条件下で、Legacy-STRAIGHTとD4Cに大きな違いはありませんでした。 すべてのアルゴリズムで、女性のスピーチの結果は男性のスピーチの結果よりも高かった。
- D4CとLegacy-STRAIGHTの違いはわずかだが、D4Cは後処理なしで非周期性を推定可能