ICLR2020オンライン読み会 https://exawizards.connpass.com/event/176947/#_=_ でのLT枠発表資料です。

1. DDSP: Differentiable Digital
Signal Processing
尾原 颯

2. 自己紹介
オハラ
工学部4年 就活生
NLP, 音声信号処理, リザバーコ
ンピューティングに興味あり
Twitter: @sun_hellsing
blog: https://leck-tech.com/
github: wildgeece96

3. ざっくり概要
 いわゆるデジタル信号処理で行われる処理にニューラルネッ
トワークを導入
 パラメータを動的に変化させてもより自然な音声を生成可能

4. デモ
歌声
バイオリン

5. デモ(アカペラ音源の変換)
https://g.co/magenta/ddsp-demo を利用
生音声(人)
バイオリン

6. 前提
 ディープニューラルネットワークを用いた音声合成は基本的にブラックボックス
？？
膨大な学習データ

7. 前提
 デジタル信号処理のようにコントロール可能な変数を内部的に持つようにしたい
F0
Harmonics
reverb
少量な学習データ

8. 音声の合成(Additive Synthesizer)
基本周波数(F0) 音量 ハーモニー
ノイズ リバーブ(部屋の反響とか)

9. 音声の合成(Additive Synthesizer)
基本周波数(F0) 音量 ハーモニー
ノイズ リバーブ(部屋の反響とか)
これらを明示的なパラメータとして扱うため
コントロールが可能
(Digital Signal Processingが含まれる所以)

10. モデル

11. モデル
基本周波数

12. モデル
基本周波数
音量

13. モデル
デコード

14. モデル
共鳴構造
ノイズの合成

15. モデル
リバーブ

16. モデル

17. モデル
𝐿𝑖 = 𝑆𝑖 − 𝑆𝑖
1
+ 𝛼 𝑙𝑜𝑔𝑆𝑖 − log 𝑆𝑖
1
𝐿 𝑟𝑒𝑐𝑜𝑛𝑠𝑡𝑟𝑢𝑐𝑡𝑖𝑜𝑛 =
𝑖
𝐿𝑖

18. データセット
 単一の演奏者によるバイオリン音声(13分)
→ supervised
 NSynth (Engel et al., 2017) の一部(約7万サンプル、4
楽器)
https://magenta.tensorflow.org/datasets/nsynth
→ supervised
unsupervised

19. まとめ
 音声を明示的なパラメータから生成するDigital Signal
Processingのアプローチにディープラーニングを導入した研
究
 パラメータを制御することで狙った音声を生成が可能で
ニューラルネットワークの持つ表現力も失われなかった
 １つのアプローチを示した論文となっており、歌の表現と
いった細かい部分などで改善の余地がありそう

20. もっと詳しく
 公式の解説サイトにサンプルが充実しているのでそちらを見
てみてください。
今回紹介しきれなかった音声も多数あります。
https://storage.googleapis.com/ddsp/index.html