日本音響学会 2021年秋季研究発表会 米山 怜於, Yi-Chiao Wu, 戸田 智基：敵対的学習による統合型ソースフィルタネットワーク，Sep. 2021 名古屋大学 情報学研究科 知能システム学専攻 戸田研究室

1. 敵対的学習による
統合型ソースフィルタネットワーク
☆ ⽶⼭ 怜於, 呉 宜樵, ⼾⽥ 智基
名古屋⼤学 ⼾⽥研究室
⽇本⾳響学会
2021年 秋季研究発表会
1

2. 𝐅𝟎制御性能に⻑けたニューラルボコーダに向けて
2
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/

3. 𝐅𝟎制御性能に⻑けたニューラルボコーダに向けて
3
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
過度に単純化した数理
モデルによる⾳質劣化
柔軟な操作性能と
⾼い解釈可能性

4. 𝐅𝟎制御性能に⻑けたニューラルボコーダに向けて
4
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
完全データ駆動の枠組みゆえ
訓練データの𝐅𝟎範囲外の𝐅𝟎に
うまく対応できない
⾮常に⾼い⾳質

5. 5
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
理想的な⾳源信号との乖離に
よる⾳質・𝐅𝟎制御性能劣化
学習データの𝐅𝟎範囲
を外れた𝐅𝟎に応じた
⾳源⽣成が不可能
𝐅𝟎制御性能に⻑けたニューラルボコーダに向けて
⾮線形フィルタに
よる⾳質改善
ネットワークで推定した
励振源による⾳質改善

6. 6
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
𝐅𝟎依存拡張畳み込み層
導⼊によりPWGの
𝐅𝟎制御性能改善
𝐅𝟎制御性能に⻑けたニューラルボコーダに向けて

7. 𝐅𝟎依存拡張畳み込み層 [Y.-C. Wu+, 2020]
7
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
𝐸! =
𝐹"
𝑓#,!× 𝑎
𝐹! ∶ Sampling rate
𝑎 ∶ Dense factor
𝑓",$ ∶ F" at time 𝑡
where
Period
Output
Input
Hidden
Output
Input
Hidden
𝒅 = 𝟏
𝒅 = 𝟐
𝒅! = 𝟐 × 𝑬𝒕
𝒅!
= 𝟏 × 𝑬𝒕

8. 8
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
⾳源フィルタ理論の
制約を課さないことによる
𝐅𝟎 制御性能の低下
𝐅𝟎制御性能に⻑けたニューラルボコーダに向けて

9. 9
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
⾳源信号と声道フィルタ間の
相互作⽤再現も期待できる
モデル全体を統⼀的に学習
することで⾳源信号を最適化
𝐅𝟎制御性能に⻑けたニューラルボコーダに向けて

10. 10
提案法：Unified Source-Filter GAN (uSFGAN)
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
1.
2.
3.
QPPWG からの改良
1
QPPWGの⽣成器を明⽰的に連結した２つのネットワークに分解
3
NSFに倣いノイズ信号に加えて⼀本の正弦波基底信号も⼊⼒
2
⾳源信号のスペクトル包絡正則化ロスの適⽤

11. 14
uSFGAN における損失関数
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
ℒ% 𝐺, 𝐷 = 𝔼𝒙~(!"#"
1 − 𝐷 𝒙
)
+ 𝔼𝒛~𝒩(",-) 𝐷 𝐺 𝒛
)
ℒ/ 𝐺, 𝐷 = ℒ0121 𝐺 + 𝜆345 ℒ345 𝐺 + 𝜆678ℒ678 𝐺, 𝐷
識別器
⽣成器
⾳源信号の対数パワースペクトル包絡に対する正則化
ℒ9:; 𝐺 = C
<=>
?
C
@=>
A
D
𝐸@
(<))
!
𝐸!
(#)
は⾳源信号の 𝒏 番⽬の時間フレームの
対数パワースペクトル包絡の 𝒌 番⽬の周波数成分

12. 16
スペクトル包絡正則化ロスの効果
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
スペクトル包絡正則化ロス 有
提案⼿法 uSFGAN における出⼒⾳源信号の波形とスペクトログラムの可視化
古典的ソースフィルタモデルに
よく⾒られるパルス列のような
⾳源信号波形
平坦なスペクトル包絡
スペクトル包絡正則化ロス 無

13. 17
実験的評価設定
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
p CMU-ARCTIC [J. Kominek+, 2003] コーパス（16 kHz）
Ø 男⼥ 2 名ずつ 4 名の英語話者 bdl, rms, clb, slt
p uSFGAN の⼊⼒特徴量
Ø V/UV バイナリ，F"，メルケプストラム，⾮周期性指標
p MOS テストによる⾳質評価
Ø F" 変換倍率（1.0, 2.0, 0.5）ごとに 160 発話, 10 名の被験者
p ABX テストによる F" 変換精度評価
Ø F" 変換倍率（2.0, 0.5）ごとに 100発話, 10 名の被験者
Ø WORLD [M. Morise+, 2016] 分析合成による⾳声を参照⾳声に使⽤

14. 18
モデル詳細
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
p WORLD [M. Morise+, 2016]
p PT-NSF
Ø 公開学習済み Hn-sinc-NSF [X. Wang+, 2019]
Ø https://github.com/nii-yamagishilab/project-NN-Pytorch-scripts/
Ø 80 次元メルスペクトログラム, 1 次元 F" 系列
p QPPWG
Ø Quasi-Periodic Parallel WaveGAN [Y. -C. Wu+, 2020]
Ø F" 依存拡張畳み込み10 層 + 拡張畳み込み 10 層
p uSFGAN（提案⼿法）
Ø ⾳源ネットワーク： F" 依存拡張畳み込み 30 層
Ø フィルタネットワーク：拡張畳み込み 30 層

15. 22
主観評価実験 結果
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
Fig1. MOS results of speech quality. Fig2. ABX results of F! modification accuracy.
- 2.0 × F" の場合を除き，従来⼿法より⾼い⾳質を⽰している
- F" 変換精度において従来⼿法を⼤幅に上回っている
実験的評価より提案法 uSFGAN は
PT-NSF
PT-NSF

16. 23
⽣成⾳声サンプル
Male Female
1.0×F$ 2.0×F$ 0.5×F$ 1.0×F$ 2.0×F$ 0.5×F$
Natural
WORLD
PT-NSF
QPPWG
uSFGAN
WORLD：後半の Artifact が⽬⽴つ
NSF：F" 変換を⾏なっているが元の F" が混⼊してしまっている
QPPWG：訓練データ範囲外の F" に対応できていない
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
These samples are available in
*
*
*
*
*
*
*
*
*
*
*
*

17. 24
まとめと今後の展望
https://chomeyama.github.io/UnifiedSourceFilterGAN_demo/
p まとめ
Ø ソースフィルタモデルを単⼀のニューラルネットワークで再現する
枠組みを提案
Ø ⽣成器を⾳源⽣成と声道フィルタに対応するネットワークに分解する
ため⾳源信号の対数パワースペクトル包絡に対する正則化を導⼊
Ø 周期構造の推定を容易にするため正弦波基底信号を⼊⼒
Ø ⾳質とF"操作性能においてNSFとQPPWGを上回ることを確認
p 今後の展望
Ø F"変換時を含めた⾳質の改善