Submit Search
Upload
JVS:フリーの日本語多数話者音声コーパス
•
2 likes
•
4,084 views
Shinnosuke Takamichi
Follow
JVS:フリーの日本語多数話者音声コーパス
Read less
Read more
Technology
Report
Share
Report
Share
1 of 19
Download now
Download to read offline
Recommended
音声合成のコーパスをつくろう
音声合成のコーパスをつくろう
Shinnosuke Takamichi
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
WaveNetが音声合成研究に与える影響
WaveNetが音声合成研究に与える影響
NU_I_TODALAB
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
Recommended
音声合成のコーパスをつくろう
音声合成のコーパスをつくろう
Shinnosuke Takamichi
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
WaveNetが音声合成研究に与える影響
WaveNetが音声合成研究に与える影響
NU_I_TODALAB
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
2019年度チュートリアルBPE
2019年度チュートリアルBPE
広樹 本間
【DL輪読会】GPT-4Technical Report
【DL輪読会】GPT-4Technical Report
Deep Learning JP
やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析
やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析
Shinnosuke Takamichi
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
Deep Learning JP
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
距離学習を導入した二値分類モデルによる異常音検知
距離学習を導入した二値分類モデルによる異常音検知
NU_I_TODALAB
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
最適化超入門
最適化超入門
Takami Sato
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
Shinnosuke Takamichi
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
Koichiro Mori
モデル高速化百選
モデル高速化百選
Yusuke Uchida
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
Shinnosuke Takamichi
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
音声コーパス設計と次世代音声研究に向けた提言
音声コーパス設計と次世代音声研究に向けた提言
Shinnosuke Takamichi
テキスト音声合成技術と多様性への挑戦 (名古屋大学 知能システム特論)
テキスト音声合成技術と多様性への挑戦 (名古屋大学 知能システム特論)
Shinnosuke Takamichi
More Related Content
What's hot
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
2019年度チュートリアルBPE
2019年度チュートリアルBPE
広樹 本間
【DL輪読会】GPT-4Technical Report
【DL輪読会】GPT-4Technical Report
Deep Learning JP
やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析
やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析
Shinnosuke Takamichi
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
Deep Learning JP
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
距離学習を導入した二値分類モデルによる異常音検知
距離学習を導入した二値分類モデルによる異常音検知
NU_I_TODALAB
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
最適化超入門
最適化超入門
Takami Sato
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
Shinnosuke Takamichi
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
Koichiro Mori
モデル高速化百選
モデル高速化百選
Yusuke Uchida
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
Shinnosuke Takamichi
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
What's hot
(20)
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
2019年度チュートリアルBPE
2019年度チュートリアルBPE
【DL輪読会】GPT-4Technical Report
【DL輪読会】GPT-4Technical Report
やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析
やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
研究効率化Tips Ver.2
研究効率化Tips Ver.2
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
グラフィカルモデル入門
グラフィカルモデル入門
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
距離学習を導入した二値分類モデルによる異常音検知
距離学習を導入した二値分類モデルによる異常音検知
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
最適化超入門
最適化超入門
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
モデル高速化百選
モデル高速化百選
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Similar to JVS:フリーの日本語多数話者音声コーパス
音声コーパス設計と次世代音声研究に向けた提言
音声コーパス設計と次世代音声研究に向けた提言
Shinnosuke Takamichi
テキスト音声合成技術と多様性への挑戦 (名古屋大学 知能システム特論)
テキスト音声合成技術と多様性への挑戦 (名古屋大学 知能システム特論)
Shinnosuke Takamichi
論文紹介 SANTLR: Speech Annotation Toolkit for Low Resource Languages
論文紹介 SANTLR: Speech Annotation Toolkit for Low Resource Languages
Shinnosuke Takamichi
日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”
日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”
Shinnosuke Takamichi
統計的音声合成変換と近年の発展
統計的音声合成変換と近年の発展
Shinnosuke Takamichi
外国人留学生日本語の音声合成における話者性を保持した韻律補正
外国人留学生日本語の音声合成における話者性を保持した韻律補正
Shinnosuke Takamichi
【FIT2016チュートリアル】ここから始める情報処理 ~音声編~ by 東工大・篠崎先生
【FIT2016チュートリアル】ここから始める情報処理 ~音声編~ by 東工大・篠崎先生
Toshihiko Yamasaki
20180602 kawamura presentation_final
20180602 kawamura presentation_final
Yoshitake Misaki
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版
GREE VR Studio Lab
SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用
SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用
Shinnosuke Takamichi
Similar to JVS:フリーの日本語多数話者音声コーパス
(10)
音声コーパス設計と次世代音声研究に向けた提言
音声コーパス設計と次世代音声研究に向けた提言
テキスト音声合成技術と多様性への挑戦 (名古屋大学 知能システム特論)
テキスト音声合成技術と多様性への挑戦 (名古屋大学 知能システム特論)
論文紹介 SANTLR: Speech Annotation Toolkit for Low Resource Languages
論文紹介 SANTLR: Speech Annotation Toolkit for Low Resource Languages
日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”
日本音響学会2017秋 ”クラウドソーシングを利用した対訳方言音声コーパスの構築”
統計的音声合成変換と近年の発展
統計的音声合成変換と近年の発展
外国人留学生日本語の音声合成における話者性を保持した韻律補正
外国人留学生日本語の音声合成における話者性を保持した韻律補正
【FIT2016チュートリアル】ここから始める情報処理 ~音声編~ by 東工大・篠崎先生
【FIT2016チュートリアル】ここから始める情報処理 ~音声編~ by 東工大・篠崎先生
20180602 kawamura presentation_final
20180602 kawamura presentation_final
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版
#VRSionUp!6 特集「先端ボイチェン研究」Slideshare公開版
SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用
SLP201805: 日本語韻律構造を考慮した prosody-aware subword embedding とDNN多方言音声合成への適用
More from Shinnosuke Takamichi
短時間発話を用いた話者照合のための音声加工の効果に関する検討
短時間発話を用いた話者照合のための音声加工の効果に関する検討
Shinnosuke Takamichi
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法
Shinnosuke Takamichi
ここまで来た&これから来る音声合成 (明治大学 先端メディアコロキウム)
ここまで来た&これから来る音声合成 (明治大学 先端メディアコロキウム)
Shinnosuke Takamichi
国際会議 interspeech 2020 報告
国際会議 interspeech 2020 報告
Shinnosuke Takamichi
Interspeech 2020 読み会 "Incremental Text to Speech for Neural Sequence-to-Sequ...
Interspeech 2020 読み会 "Incremental Text to Speech for Neural Sequence-to-Sequ...
Shinnosuke Takamichi
サブバンドフィルタリングに基づくリアルタイム広帯域DNN声質変換の実装と評価
サブバンドフィルタリングに基づくリアルタイム広帯域DNN声質変換の実装と評価
Shinnosuke Takamichi
P J S: 音素バランスを考慮した日本語歌声コーパス
P J S: 音素バランスを考慮した日本語歌声コーパス
Shinnosuke Takamichi
音響モデル尤度に基づくsubword分割の韻律推定精度における評価
音響モデル尤度に基づくsubword分割の韻律推定精度における評価
Shinnosuke Takamichi
音声合成研究を加速させるためのコーパスデザイン
音声合成研究を加速させるためのコーパスデザイン
Shinnosuke Takamichi
論文紹介 Unsupervised training of neural mask-based beamforming
論文紹介 Unsupervised training of neural mask-based beamforming
Shinnosuke Takamichi
論文紹介 Building the Singapore English National Speech Corpus
論文紹介 Building the Singapore English National Speech Corpus
Shinnosuke Takamichi
話者V2S攻撃: 話者認証から構築される 声質変換とその音声なりすまし可能性の評価
話者V2S攻撃: 話者認証から構築される 声質変換とその音声なりすまし可能性の評価
Shinnosuke Takamichi
差分スペクトル法に基づく DNN 声質変換の計算量削減に向けたフィルタ推定
差分スペクトル法に基づく DNN 声質変換の計算量削減に向けたフィルタ推定
Shinnosuke Takamichi
音声合成・変換の国際コンペティションへの 参加を振り返って
音声合成・変換の国際コンペティションへの 参加を振り返って
Shinnosuke Takamichi
ユーザ歌唱のための generative moment matching network に基づく neural double-tracking
ユーザ歌唱のための generative moment matching network に基づく neural double-tracking
Shinnosuke Takamichi
End-to-end 韻律推定に向けた DNN 音響モデルに基づく subword 分割
End-to-end 韻律推定に向けた DNN 音響モデルに基づく subword 分割
Shinnosuke Takamichi
統計的ボイチェン研究事情
統計的ボイチェン研究事情
Shinnosuke Takamichi
多様なカートシスを持つ雑音に対応した低ミュージカルノイズ DNN 音声強調
多様なカートシスを持つ雑音に対応した低ミュージカルノイズ DNN 音声強調
Shinnosuke Takamichi
End-to-end 韻律推定に向けた subword lattice 構造を考慮した DNN 音響モデル学習
End-to-end 韻律推定に向けた subword lattice 構造を考慮した DNN 音響モデル学習
Shinnosuke Takamichi
Generative moment matching net に基づく歌声のランダム変調ポストフィルタと double-tracking への応用
Generative moment matching net に基づく歌声のランダム変調ポストフィルタと double-tracking への応用
Shinnosuke Takamichi
More from Shinnosuke Takamichi
(20)
短時間発話を用いた話者照合のための音声加工の効果に関する検討
短時間発話を用いた話者照合のための音声加工の効果に関する検討
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法
ここまで来た&これから来る音声合成 (明治大学 先端メディアコロキウム)
ここまで来た&これから来る音声合成 (明治大学 先端メディアコロキウム)
国際会議 interspeech 2020 報告
国際会議 interspeech 2020 報告
Interspeech 2020 読み会 "Incremental Text to Speech for Neural Sequence-to-Sequ...
Interspeech 2020 読み会 "Incremental Text to Speech for Neural Sequence-to-Sequ...
サブバンドフィルタリングに基づくリアルタイム広帯域DNN声質変換の実装と評価
サブバンドフィルタリングに基づくリアルタイム広帯域DNN声質変換の実装と評価
P J S: 音素バランスを考慮した日本語歌声コーパス
P J S: 音素バランスを考慮した日本語歌声コーパス
音響モデル尤度に基づくsubword分割の韻律推定精度における評価
音響モデル尤度に基づくsubword分割の韻律推定精度における評価
音声合成研究を加速させるためのコーパスデザイン
音声合成研究を加速させるためのコーパスデザイン
論文紹介 Unsupervised training of neural mask-based beamforming
論文紹介 Unsupervised training of neural mask-based beamforming
論文紹介 Building the Singapore English National Speech Corpus
論文紹介 Building the Singapore English National Speech Corpus
話者V2S攻撃: 話者認証から構築される 声質変換とその音声なりすまし可能性の評価
話者V2S攻撃: 話者認証から構築される 声質変換とその音声なりすまし可能性の評価
差分スペクトル法に基づく DNN 声質変換の計算量削減に向けたフィルタ推定
差分スペクトル法に基づく DNN 声質変換の計算量削減に向けたフィルタ推定
音声合成・変換の国際コンペティションへの 参加を振り返って
音声合成・変換の国際コンペティションへの 参加を振り返って
ユーザ歌唱のための generative moment matching network に基づく neural double-tracking
ユーザ歌唱のための generative moment matching network に基づく neural double-tracking
End-to-end 韻律推定に向けた DNN 音響モデルに基づく subword 分割
End-to-end 韻律推定に向けた DNN 音響モデルに基づく subword 分割
統計的ボイチェン研究事情
統計的ボイチェン研究事情
多様なカートシスを持つ雑音に対応した低ミュージカルノイズ DNN 音声強調
多様なカートシスを持つ雑音に対応した低ミュージカルノイズ DNN 音声強調
End-to-end 韻律推定に向けた subword lattice 構造を考慮した DNN 音響モデル学習
End-to-end 韻律推定に向けた subword lattice 構造を考慮した DNN 音響モデル学習
Generative moment matching net に基づく歌声のランダム変調ポストフィルタと double-tracking への応用
Generative moment matching net に基づく歌声のランダム変調ポストフィルタと double-tracking への応用
Recently uploaded
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Recently uploaded
(10)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
JVS:フリーの日本語多数話者音声コーパス
1.
10/11/2019©Shinnosuke Takamichi, The University
of Tokyo JVS:フリーの日本語多数話者音声コーパス 高道 慎之介・三井 健太郎・齋藤 佑樹 郡山 知樹・丹治 尚子・猿渡 洋 (東京大学) SLP研究会10月
2.
/19 概要 背景:機械学習としての音声合成 – 国・身分を超えて日本語音声合成を構築可能に –
誰でもアクセスできる大規模高品質音声コーパスが必要 • しかし,そのような合成用日本語コーパスがなかった 公開済みコーパス:JSUT [Sonobe&Takamichi17] – End-to-end日本語テキスト音声合成用 – 単一話者による10時間読み上げ音声 本発表のコーパス:JVS – 音声変換・話者モデリング用 – 100名の話者による30時間・3スタイル音声 2 本発表ではコーパス設計とスペックを紹介
3.
/19 今すぐダウンロードできます 3 JVSコーパス
4.
JSUT (Japanese speech corpus
of Saruwatari lab, the University of Tokyo) [Sonobe&Takamichi17] 4
5.
/19 JSUTコーパス End-to-Endテキスト音声合成の隆盛 – Tacotron
[Wang17] の登場(2017/09) – 日本語でも研究されるように [Ueno19] JSUTコーパス [Sonobe&Takamichi17] – End-to-End音声合成に向けたコーパス設計 – 東京大学内無響室における長期 (2017/02~2017/10) 収録 特徴 – 従来のような中間表現(例:音素)のカバレッジではなく, 日本語の常用漢字の読みを全てカバーするように設計 – 単一話者による大量(10.5時間)・高品質(48kHz)の発話 • 参考:英語 WaveNet [Oord16] の学習データは17時間・16kHz 5
6.
/19 JSUTコーパスに含まれるサブコーパス 6 [Sonobe&Takamichi17] countersuffix26 数詞の読みを変える助数詞を含む文 loanword128 外来語由来の動詞・名詞を含む文 basic5000 常用漢字の音読み・訓読みをカバー utparaphrase512 同じ意味の文に言い換え(平易化) onomatopee300 オノマトペを含む文 repeat500 同じ文を繰り返し発話 voiceactress100 感情音声コーパスとのパラレル発話 travel1000/precedent138 旅行会話・判例文ドメイン 各サブコーパスの数字は発話数
7.
/19 2017年10月からの利用経歴 60か国・6,000回以上アクセス.End-to-End音声合成でも 利用されるように[Ueno19] – EPSnet
にJSUT専用レシピあり 7 国 全体に対する割合[%] 日本 76.0 アメリカ 4.97 韓国 3.33 中国 2.76 ベトナム 2.14 台湾 1.74 インド 0.92 イギリス 0.88
8.
JVS (Japanese versatile speech) 8
9.
/19 JVSコーパスの目的 音声変換・話者モデリングへの注目 – 音声VR
(virtual reality)など – 合成音声品質の向上に伴い,インタラクション技術としても期待 JVSコーパス – 音声変換・話者モデリングに向けたコーパス設計 – プロ音響監督の監督下のもとスタジオ収録 9
10.
/19 JVSコーパスの特徴 高品質:24 kHzサンプリング・スタジオ収録・非圧縮
(wav) 多話者:100名のプロ話者 (声優・俳優など) 多スタイル:読み上げ音声・ささやき声・裏声 大規模:合計で30時間 (読み上げ音声だけだと26時間) タグ:テキスト・性別・F0レンジ・話者間類似度 研究用途では無償:学術機関のみならず民間企業でも利用可能 10
11.
/19 JVSコーパスのディレクトリ構成 jvs001/ – parallel100/ –
nonpara30/ – whisper10/ – falsetto10/ jvs002/ … jvs100/ speaker_similarity_{male,female}.csv duration.txt gender_f0range.txt 11 jvs001~jvs100の100話者 話者毎に4つのサブコーパス (数字は発話数) タグ
12.
/19 4つのサブコーパス 12 parallel100 • 全話者共通の音素バランス100文の読み上げ • 通常の音声変換などに利用可能 nonpara30 •
話者別の30文の読み上げ • ノンパラレル音声変換など,parallel100より現実的な設定 whisper10 • 全話者共通5文・話者別5文のささやき声 • 10発話が読み上げ音声とパラレル falsetto10 • 全話者共通5文・話者別5文の裏声 • 10発話が読み上げ音声とパラレル,5発話がささやき声とパラレル jvs001 jvs010
13.
/19 タグ F0レンジ (gender_f0range.txt) –
F0抽出時のF0探索レンジの設定は,音声分析結果に強く影響 – 読み上げ音声を元に,各話者のF0レンジ (最小値・最大値) を付与 話者間類似度 (speaker_similarity_*.csv) – 話者間の知覚的類似度は話者選択に有用 [Lanchantin14] – 齋藤らの研究 [Saito19] を参考に,各性別の全話者組み合わせに 対して,知覚的類似度を付与する主観評価を実施 (後述) 継続長 (duration.txt) – 各話者・各サブコーパスのデータサイズを保存 (後述) – 音素レベルの継続長は別途保存 13
14.
音声収集の結果 14
15.
/19 分析条件 (使用したツールは論文参照) 15 話者 プロ話者100名 (男49名・女51名) サンプリング周波数
24 kHz 音声ファイル形式 RIFF WAV 音素ラベル生成 自動 音素アライメント 自動 F0レンジ 手動 話者間類似度の評価者 1,000名
16.
/19 話者毎の継続長 16 ・読み上げ音声:26.4時間 (parallel100 +
nonpara30) ・それ以外:4.0時間 (whisper10 + falsetto10) ・同一文 (parallel100) でも継続長は最大1.8倍違う (jvs020&084) 最短 [分] 平均 [分] 最長 [分] 合計 (100話者) [時間] parallel100 10.11 (jvs020) 13.11 18.24 (jvs084) 22 nonpara30 2.12 (jvs099) 2.62 3.86 (jvs036) 4.4 whisper10 0.95 (jvs045) 1.24 1.69 (jvs018) 2.0 falsetto10 0.90 (jvs045) 1.18 1.61 (jvs035) 2.0
17.
/19 女性51名の主観的話者間類似度 17 -3: 全く似ていない ~
3: 非常に似ている 3 -3 002 004 007 008 010 014 015 016 017 018 jvs 最も似ている話者対: jvs019 & jvs096 最も誰とも似ていない話者: jvs010
18.
/19 まとめとライセンス JVSコーパス – 100人のプロ話者による30時間の音声コーパス
ライセンス – テキスト:JSUTコーパスを参照 – タグ:CC BY-SA 4.0 – 音声:以下の場合に限り使用可能 • アカデミック機関での研究 • 非商用目的の研究 (営利団体での研究も含む) • 個人での利用 (ブログなどを含む) – 商用については別途契約 (有償) 18
19.
/19 予告 (変更の場合あり) 1.
学術機関に限り48kHz版を提供予定 2. 100人分の歌声も公開予定 19 jvs001
Download now