seminar-paper_VMusingCCA.pptx
•Download as PPTX, PDF•
0 likes•20 views
CCAスペクトル変換を用いた音声モーフィングの論文紹介スライドです。 論文情報 “Cross Gender Voice Morphing using Canonical Correlation Analysis” 著者 Irum Baseer, Rabeea Basir (University of Engineering and Technology Taxila, Pakistan) 掲載誌 2017International Conference on Communication, Computing and Digital Systems(C-CODE)
Recommended
More Related Content
More from Natsumi KOBAYASHI
More from Natsumi KOBAYASHI (13)
seminar-paper_VMusingCCA.pptx
- 1. “Cross Gender Voice Morphing using Canonical Correlation Analysis”
- 2. 論文情報 タイトル “Cross Gender Voice Morphing using Canonical Correlation Analysis” 著者 Irum Baseer, Rabeea Basir (University of Engineering and Technology Taxila, Pakistan) 掲載誌 2017International Conference on Communication, Computing and Digital Systems(C-CODE)
- 3. 目次 1. Introduction 2. Spectral conversion 3. Prosody conversion 4. Evaluation experiments 5. Conclusion
- 7. 初期の研究 (1/2) 音声モーフィングの初期の研究で行われた２段階 1) 話者特徴に関する特徴の抽出 初期段階ではパラメトリックな手法が用いられた 例)・時間領域線形予測分析 ・周波数領域ではLPC, フォルマント周波数 など ・離散ウェーブレット変換によって信号を概形と詳細に分割
- 9. 音声モーフィングブロック図 音声モーフィングの基本構成 ◦Training stage ◦Transformation stage Training stage ・矩形窓関数で音声信号分析 ・LPCでSP特徴抽出 ・DTW Transformation stage ・得られた元話者のパラメータに変換 規則を適用 Training stage Transformation stage
- 10. 正準相関分析 ◆正準相関分析(CCA: Canonical Correlation Analysis) ・マルチモーダルデータに対する古典的解析手法 ◇この論文でしたいこと CCAを用いて異なる話者によるスペクトルの相関をモデル化 スペクトルディスクリプタ(情報の核となる要素)を解析 →スペクトルの詳細はそのままに良質なモーフィングが可能に
- 12. 補足：CCA (正準相関分析) 問題設定 基本的なCCA Input: 𝑋 = 𝑥𝑛 ∈ ℝ𝐷𝑥×𝑁, 𝑌 = (𝑦𝑛) ∈ ℝ𝐷𝑦×𝑁 𝑁: データ数、𝐷𝑥, 𝐷𝑦:データの次元数. 簡単のため 1 𝑁 𝑛 𝑥𝑛 = 1 𝑁 𝑛 𝑦𝑛 = 0 Task: 𝒃 = 𝑎𝑟𝑔𝑚𝑎𝑥 𝒂𝑇 𝑆𝑥𝑦𝒃 𝑠. 𝑡. 𝒂𝑇 𝑆𝑥𝑥𝒂 = 𝒃𝑇 𝑆𝑦𝑦𝒃 = 1 𝑆𝑥𝑥 = 1 𝑁 𝑋𝑋𝑇 , 𝑆𝑦𝑦 = 1 𝑁 𝑌𝑌𝑇 , 𝑆𝑥𝑦 = 1 𝑁 𝑋𝑌𝑇
- 13. 補足：CCA (正準相関分析) 解法 [解] 行列𝑆𝑎, 𝑆𝑏の最大の固有値に対応する固有ベクトルが求めるべ き線形変換𝒂, 𝒃となる 𝑆𝑎𝒂 = 𝜆𝑎𝒂 𝑆𝑏𝒃 = 𝜆𝑏𝒃 𝑆𝑎 = 𝑆𝑥𝑥 −1 𝑆𝑥𝑦𝑆𝑦𝑦 −1 𝑆𝑦𝑥, 𝑆𝑏 = 𝑆𝑦𝑦 −1 𝑆𝑦𝑥𝑆𝑥𝑥 −1 𝑆𝑥𝑦
- 14. モデル推定 線形変換𝑊 𝑥, 𝑊 𝑦を用いると、二話者の信号𝑥, 𝑦は 𝑏𝑥 = 𝑊 𝑥 𝑇 𝑥, 𝑏𝑦 = 𝑊 𝑦 𝑇 𝑦 𝑏𝑥と𝑏𝑦の相関係数は 𝑟 = 𝑐𝑜𝑣(𝑏𝑥, 𝑏𝑦) (𝑣𝑎𝑟(𝑏𝑥)) (𝑣𝑎𝑟(𝑏𝑦)) 共分散行列𝐶𝑥𝑦, 𝐶𝑥𝑥, 𝐶𝑦𝑦を用いると 𝑟 = 𝑊 𝑥 𝑇𝐶𝑥𝑦𝑊 𝑦 𝑊 𝑥 𝑇 𝐶𝑥𝑥𝑊 𝑥 𝑊 𝑦 𝑇 𝐶𝑦𝑦𝑊 𝑦 よって𝑟が最大となる𝑊 𝑥, 𝑊 𝑦を求める
- 15. マッピング関数学習 元話者と目標話者のスペクトルから算出したLSF 𝑥 = 𝑥1, 𝑥2, … 𝑥𝑛 , 𝑦 = 𝑦1, 𝑦2 … 𝑦𝑛 𝑥と𝑦からそれぞれの平均を引いて０にセンタリングする GMMを用いてガウス分布の重ね合わせで表す 𝑃 𝑧 = 𝑖=1 𝑀 𝑎𝑖𝑁(𝑧, 𝜇𝑖, 𝐶𝑖) 𝑧は二次元特徴ベクトル,𝑁はガウス密度成分 Σ𝑖=1 𝑀 𝑎𝑖 = 1 EMアルゴリズムを用いてガウスパラメータを求める
- 16. マッピング関数学習 次にCCAを用いて各成分のベクトル間の線形関係を推定 得られた直行線形結合は正準相関として表せる 𝑏𝑦,𝑗 = 𝑟 𝑗𝑏𝑥,𝑗 for j = 1,2,3 … 逆変換によって𝑠𝑜𝑢𝑟𝑐𝑒 𝑥は𝑡𝑎𝑟𝑔𝑒𝑡 𝑦に 𝑊 𝑦 𝑇 𝑦 − 𝜇𝑖𝑦 = 𝐷 𝑟𝑖 𝑊 𝑥 𝑇 𝑥 − 𝜇𝑖𝑥 𝐷 𝑟𝑖 は体角行列、𝑊 𝑥, 𝑊 𝑦は固有ベクトル 𝑦 = 𝜇𝑖𝑦 + 𝑊 𝑦𝐷 𝑟𝑖 𝑊 𝑥 𝑇 𝑥 − 𝜇𝑖𝑥
- 17. ポストフィルタ 変換後のスペクトル平滑化によりスペクトル詳細が抑制されてし まうため、平滑化の影響を軽減するためポストフィルタをかける 極ゼロ点フィルタ 𝐻 𝑧 = 𝐴 𝑧 𝛼 𝐴 𝑧 𝛽 𝐴 𝑧 はLPCのフィルタ係数、𝛼 = 0.95 𝛽 = 0.35
- 22. 実験結果 波形 Source : Male ,Target : Female “it was curious coincidence” という発話に対する変換 エネルギー分布と波形の概形は 変換できている
- 24. 主観評価 個人性 被験者は２０名 ◦ABXテスト AとBはSource と Target 音声、Xは変換音声 被験者はAとBどちらがXに近いか評価 Targetの性別に判断されたものを成功とみなしてパーセンテージを計算
- 26. Conclusion