Download as PDF, PPTX
![/13
リアルタイムボイスチェンジャー (話者変換)
5
https://www.youtube.com/watch?v=P9rGqoYnfCg
[Arakawa19]
音声合成・変換コンペ (2015, 2016) で品質世界一になった技術と
森勢先生のWORLDを利用．普通の laptop PC で50msレイテンシで動作．](https://image.slidesharecdn.com/slide-190716161015/85/slide-5-320.jpg)
![/137
クラウドソーシングを用いた
話者間類似度の大規模主観スコアリング
[Saito19]
人間の声の関係性を計算できないか？
このアンケートを4,000人に対して実施](https://image.slidesharecdn.com/slide-190716161015/85/slide-7-320.jpg)
![/138
類似度スコアに基づく話者グラフを用いた
話者間類似度の可視化
F051
F146B
F048
特定の話者に
類似した話者
多数の話者に
類似した話者F093
F127
[Saito19]
このデータは
数カ月以内に公開予定
(ただし研究用データベース向け)](https://image.slidesharecdn.com/slide-190716161015/85/slide-8-320.jpg)
![/13
音声の特徴量から「声の関係」を当てる
9
基本周波数
包絡
非周期
基本周波数
包絡
非周期
基本周波数
包絡
非周期
[Saito19]
手元の音声データを使って，音声から
「声の関係性」を当てるDNNを作れば…
新しい声が入っても「声の
関係性」を自動で見つけられる！
→ 声のユニーク性調査も可能？](https://image.slidesharecdn.com/slide-190716161015/85/slide-9-320.jpg)
![/13
ニューラル・ダブル・トラッキング
10
[Tamaru19]
NDT
Random pitch modulation
based on deep generative models
深層生成モデルを用いて「人間の音声はこう間違う」を学習
(理論上は1秒レイテンシーくらいで動く)](https://image.slidesharecdn.com/slide-190716161015/85/slide-10-320.jpg)
![/13
原理
11
基本周波数
包絡
非周期
基本周波数
包絡
非周期
[Tamaru19]
人間の繰り返し歌唱データから，DNNは「声の間違い方」を事前学習
加工時には「自然な声の間違い方」をランダムで付与
正しい間違い方を付与](https://image.slidesharecdn.com/slide-190716161015/85/slide-11-320.jpg)
More Related Content
![[DL輪読会]Flow-based Deep Generative Models](https://cdn.slidesharecdn.com/ss_thumbnails/20190307-190328024744-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images](https://cdn.slidesharecdn.com/ss_thumbnails/pixel2mesh-181012004419-thumbnail.jpg?width=640&height=640&fit=bounds){kind=tracking}
![[DL輪読会]Diffusion-based Voice Conversion with Fast Maximum Likelihood Samplin...](https://cdn.slidesharecdn.com/ss_thumbnails/20220318akuzawa-220322065615-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Towards End-to-End Prosody Transfer for Expressive Speech Synthesis wi...](https://cdn.slidesharecdn.com/ss_thumbnails/towards-end-to-end-prosody-transfer-for-expressive-speech-synthesis-with-tacotronicml-2018-210625020158-thumbnail.jpg?width=640&height=640&fit=bounds)
統計的ボイチェン研究事情
- 1. 07/16/2019©Shinnosuke Takamichi, The Universityof Tokyo 統計的ボイチェン研究事情 高道 慎之介 @forthshinji (東京大学) #VRSionUp!6「先端ボイチェン研究」招待講演 本発表の一部 (p.4, 5) は総務省の委託「知覚モデルに基づくストレスフリーな リアルタイム広帯域音声変換の研究」を受けて実施したものです．
- 2.
- 3.
- 4.
- 5. /13 リアルタイムボイスチェンジャー (話者変換) 5 https://www.youtube.com/watch?v=P9rGqoYnfCg [Arakawa19] 音声合成・変換コンペ (2015,2016) で品質世界一になった技術と 森勢先生のWORLDを利用．普通の laptop PC で50msレイテンシで動作．
- 6.
- 7.
- 8.
- 9.
- 10. /13 ニューラル・ダブル・トラッキング 10 [Tamaru19] NDT Random pitch modulation basedon deep generative models 深層生成モデルを用いて「人間の音声はこう間違う」を学習 (理論上は1秒レイテンシーくらいで動く)
- 11.
- 12. /13 総務省SCOPE：知覚モデルに基づくストレス フリーなリアルタイム広帯域音声変換 12 通常の遠隔コミュニケーション リアルタイム音声変換を介した遠隔コミュニケーション 言語情報 (音韻など) パラ言語情報 (感情など) 非言語情報(話者性など) 自己聴取音による情報確認 言語 パラ言語 非言語 言語 パラ言語 非言語 音 声 変 換 意図しない情報変換が行われる恐れ エラーを含む音声のフィードバックでユーザに負荷 https://sites.google.com/site/shinnosuketakamichi/research-topics/scope2019
- 13. /13 今後のボイチェンに期待すること 現在の統計的ボイチェン研究 – 高品質化・高速化がメイン これからのボイチェンに期待すること (我々が目指すこと) – ヒトとコトをどこまで分離できる？ • 今は，人間の肉体と生成できる音声コンテンツが紐づいている • 聞き手の音声知覚モデリングが必要 – 話し手の人格をどこまで制御できる？ • リアルタイムボイチェンは，自分で聴く自分の声を制御できる • 話し手の音声知覚モデリングが必要 – 音声コンテンツ制作をどう変えられる？ • 「この研究は声優の仕事を奪うのでは」と言われるが個人的には 「奪うことはあり得ないが，声優の在り方が変わる」と考える． 13