saito2017asj_tts

1. ©Yuki Saito, 2017/03/16 敵対的DNN音声合成における 𝐹0・継続長の生成 ◎ 齋藤佑樹, 高道慎之介, 猿渡洋 (東大院・情報理工) 日本音響学会 2017年春季研究発表会講演番号 2-6-6

2. /16  問題点: 統計的パラメトリック音声合成の音質劣化 – 生成される音声特徴量系列の過剰な平滑化が一因  従来法: 敵対的DNN音声合成 [Saito et al., 2017.] – 声のなりすましを防ぐ anti-spoofing を詐称するように学習 – 自然 / 合成音声特徴量の分布の違いを補償 – スペクトル特徴量のみに関して有効性を確認  本発表: 敵対的DNN音声合成による 𝐹0・継続長の生成 – スペクトル特徴量と 𝐹0 の同時分布を補償 – 言語依存の等時性を考慮した継続長の生成法を提案  結果: 𝐹0の生成に関して提案法による音質改善を確認 1 本発表の概要

3. /16 Minimum Generation Error (MGE) 学習 2 Generation error 𝐿G 𝒚, ෝ𝒚 Linguistic feats. [Wu et al., 2016.] Natural speech params. 𝐿G 𝒚, ෝ𝒚 = 1 𝑇 ෝ𝒚 − 𝒚 ⊤ ෝ𝒚 − 𝒚 → Minimize 𝒚 ML-based parameter generation Generated speech params.ෝ𝒚 Acoustic models ⋯ ⋯ ⋯ Frame 𝑡 = 1 Static-dynamic mean vectors Frame 𝑡 = 𝑇 音素継続長も同様の枠組みで生成可能 [Zen et al., 2013.]

4. /16 Anti-Spoofing: 声のなりすましを防ぐ識別器 3 [Wu et al., 2016.] [Chen et al., 2015.] 𝐿D 𝒚, ෝ𝒚 = → Minimize− 1 𝑇 ෍ 𝑡=1 𝑇 log 𝐷 𝒚 𝑡 − 1 𝑇 ෍ 𝑡=1 𝑇 log 1 − 𝐷 ෝ𝒚 𝑡 ෝ𝒚 Cross entropy 𝐿D 𝒚, ෝ𝒚 1: natural 0: generated Generated speech params. 𝒚Natural speech params. Feature function 𝝓 ⋅ 本発表では 𝝓 𝒚 𝑡 = 𝒚 𝑡 Anti-spoofing 𝐷 ⋅ or 𝐿D,1 𝒚 𝐿D,0 ෝ𝒚 合成音声を合成音声と識別させる自然音声を自然音声と識別させる

5. /144 𝜔D: 重み, 𝐸 𝐿G , 𝐸 𝐿D : 𝐿G 𝒚, ෝ𝒚 , 𝐿D,1 ෝ𝒚 の期待値 𝐿 𝒚, ෝ𝒚 = 𝐿G 𝒚, ෝ𝒚 + 𝜔D 𝐸 𝐿G 𝐸 𝐿D 𝐿D,1 ෝ𝒚 → Minimize 敵対的DNN音声合成 [Saito et al., 2017.] 𝐿G 𝒚, ෝ𝒚 Linguistic feats. Natural 𝒚 ML-based parameter generation Generated ෝ𝒚 Acoustic models ⋯ ⋯ ⋯ 𝐿D,1 ෝ𝒚 1: natural Feature function 𝝓 ⋅ Anti-spoofing 合成音声を自然音声と識別させる

6. /145 敵対的学習 [Goodfellow et al., 2014.] による分布補償効果 21st mel-cepstral coefficient 23rdmel-cepstral coefficient Natural MGE Proposed 分布の違いを補償し, 過剰な平滑化を緩和！

7. /166 提案法: 敵対的DNN音声合成によるスペクトル・𝐹0・継続長の生成従来法: 敵対的DNN音声合成によるスペクトル特徴量の生成

8. /167 敵対的DNN音声合成によるスペクトル・𝐹0 の生成  従来法の予測パラメータ: – メルケプストラムのみ  本発表の予測パラメータ: – メルケプストラム, 連続対数 𝐹0, 非周期成分, U/V – メルケプストラムと連続対数 𝐹0 を anti-spoofing に入力 Generated speech params. Mel-cepstral coefficients Continuous log 𝐹0 U/V Band aperiodicity Natural speech params. 𝒚ෝ𝒚 𝐿G 𝒚, ෝ𝒚 Input to anti-spoofing

9. /16 言語依存の等時性を考慮した継続長生成 ෡𝒅p ... sil a r a y u sil ෡𝒅p Generated phoneme durations 𝒅pNatural phoneme durations 𝐿G 𝒅p, ෡𝒅p 𝐿D,1 ෡𝒅p 1: natural Anti-spoofing 8 音素継続長分布の補償 ⇏ モーラ継続長分布の補償

10. /16 言語依存の等時性を考慮した継続長生成 sil a ra yu ... sil ... + + Language-dependent pooling ෡𝒅p ... sil a r a y u sil Generated mora durations෡𝒅m ෡𝒅p Generated phoneme durations 𝒅pNatural phoneme durations 𝐿G 𝒅p, ෡𝒅p 𝐿D,1 ෡𝒅m 1: natural Anti-spoofing 9

11. /1610 考察  𝐹0 の生成: – スペクトルと 𝐹0 の同時分布を補償可能 • 異なる特徴量の相関を考慮した学習 [Tanaka et al., 2014.] • 特徴量の次元数を考慮した学習 [Kang et al., 2014.] も可能  継続長の生成: – 多重解像度に基づく敵対的学習 [Zhang et al., 2016.] に類似 • 高い時間解像度における生成誤差最小化 • 低い時間解像度における敵対的学習 – スペクトル・ 𝐹0・継続長の同時分布も補償可能 • Un-pooling により音素継続長をフレームレベルに展開可能

12. /1611 実験的評価

13. /16 実験条件データセット ATR 音素バランス503文 (16 kHz サンプリング) 学習 / 評価データ A－I セット 450文 / Jセット 53文音声パラメータ 25次元のメルケプストラム, 連続対数 𝐹0, 5帯域の非周期成分, U/V コンテキストラベル 442次元 (音素, モーラ位置, アクセント型など) 最適化アルゴリズム AdaGrad [Duchi et al., 2011.] (学習率 0.01) DNNアーキテクチャ Feed-Forward, ReLU nonlinearity (詳細は原稿参照) 12 𝐹0 生成, 継続長生成それぞれに関して提案法の有効性を検証

14. /1613 𝐹0 生成に関する主観評価結果  比較手法: – MGE: 従来のMGE学習 – ADV (sp): 敵対的DNN音声合成 (スペクトルのみ) – ADV (sp+F0): 同上 (スペクトル & 𝐹0) ADV (SP+F0) ADV (SP) エラーバーは95%信頼区間 MGE 0.0 0.2 0.4 改善  プリファレンススコア (評価者数8名) 更に改善 0.6 0.8 1.0

15. /1614 継続長生成に関する主観評価結果エラーバーは95%信頼区間  比較手法: – MGE: 従来のMGE学習 – ADV (phoneme): 敵対的DNN音声合成 (音素継続長) – ADV (mora): 同上 (モーラ継続長) ADV (phoneme) ADV (mora) MGE 0.0  プリファレンススコア (評価者数8名) 有意差なし 0.2 0.4 0.6 0.8 1.0

16. /16  MGE学習後の特徴量を用いて anti-spoofing を構築 – Anti-spoofing に有効な特徴量 → 自然音声との違いが大きい • スペクトル & 𝐹0 → 有効 • 音素/モーラ継続長 → 有効でない 15 Anti-spoofing における特徴量の有効性継続長を用いた anti-spoofing は困難 → 提案法の効果小スペクトル & 𝐹0 音素継続長モーラ継続長 0.0 Anti-spoofing の accuracy 0.2 0.4 0.6 0.8 1.0

17. /1616 まとめ  目的: 統計的パラメトリック音声合成の音質改善  提案手法: – (1) 敵対的DNN音声合成によるスペクトル・ 𝐹0 の生成 • 主観評価により音質改善を確認 – (2) モーラ等時性を考慮した継続長生成 + 敵対的DNN音声合成 • 主観評価において有意差は確認できず • 継続長を用いた anti-spoofing の難しさに起因  今後の予定: • 他言語・オーディオブックのタスクへの適用

saito2017asj_tts

saito2017asj_tts

Recommended

More Related Content

What's hot

What's hot(20)

Viewers also liked

Viewers also liked(19)

Similar to saito2017asj_tts

Similar to saito2017asj_tts(8)

More from Yuki Saito

More from Yuki Saito(15)

Recently uploaded

Recently uploaded(6)

saito2017asj_tts