音声分析合成[2].pptx
•Download as PPTX, PDF•
0 likes•96 views
音声分析合成（ 森勢将雅 著）のまとめスライドです。 書誌情報 日本音響学会 編 音響テクノロジーシリーズ22 音声分析合成 森勢 将雅 著
![日本音響学会 編 音響テクノロジーシリーズ22
音声分析合成
[2]](https://image.slidesharecdn.com/random-220616064107-388a693a/85/2-pptx-1-320.jpg)
Recommended
More Related Content
What's hot
What's hot (20)
More from Natsumi KOBAYASHI
More from Natsumi KOBAYASHI (19)
Recently uploaded
Recently uploaded (7)
音声分析合成[2].pptx
- 2. 本の紹介 日本音響学会 編 音響テクノロジーシリーズ22 音声分析合成 森勢 将雅 著
- 3. 発表計画 1.基礎知識 スライド発表はしない 2.音声のパラメータ表現 ① 第一回で説明 3.基本周波数の推定 ② ←今回 4.スペクトル包絡の推定 ③ 第三回 5.非周期性指標の推定 ④ 〃 6.高精度に計算するコツ ⑤ 第四回 7.音声の加工技術 ⑥ 〃 8.音声品質の主観評価方法 ⑦ 〃
- 4. 3章 基本周波数の推定
- 5. 3章の内容 3-1 古典的な方法 3-2 精度を高めるための工夫 3-3 実用レベルにある最先端の方法 3-4 基本周波数推定の性能評価
- 7. はじめに(2/3) ④音声スペクトルは調波構造 調波構造 「基本周波数の整数倍のみ値を有する」 例）基本周波数100Hz 第一次高調波 → 200Hz 第二次高調波 → 300Hz 整数倍 一部の推定方法では基本周波数を誤推定する可能性
- 9. 3-1 古典的な方法
- 10. 古典的な手法 本章で説明する３つの古典的手法 ①ゼロ交差法 ②自己相関法 ③ケプストラム法 最後に 共通する問題点について述べる
- 11. ゼロ交差法(1/3) 概要 音声波形は高域～低域までパワーを有する そのため…波形をそのままゼロ交差点を求めても基本周波数は得られない 𝑌 𝜔 = 𝐻(𝜔) 𝑛=−∞ ∞ 𝛿(𝜔 − 𝑛𝜔0) 音声の振幅が０を交差するゼロ交差点の時刻を算出 →ゼロ交差点時刻から基本周波数を求める 音声の スペクトル スペクトル 包絡 基本(角)周波数の整数倍の 周波数パワーを有する
- 13. ゼロ交差点法(3/3) 注意点 ・基本波フィルタリングでは、𝜔0は通すが2𝜔0は遮断する遮 断周波数の設計が重要 問題点 ・遮断周波数の設計を誤ると正しく推定できない ・低域の雑音に弱い
- 14. 自己相関法(1/3) 概要 𝑟 𝜏 = −∞ ∞ 𝑥 𝑡 𝑥 𝑡 + 𝜏 𝑑𝑡 自己相関関数の特徴(おさらい) ・𝑟 𝜏 は入力波形を𝜏シフトさせて相関を求める関数 ・𝜏が０のとき最も相関が高く、０以外では０の時の値より小さくなる →これらの特徴から、自己相関関数が極大となる時基本周期といえる！ 音声波形の自己相関関数のピークが基本周期となる ことを利用し、基本周波数を求める
- 16. 自己相関法(3/3) 自己相関関数の計算は、自己相関関数のフーリエ変換がパワースペクト ルと一致するというウィンナー・ヒンチンの定理に基づき簡略化すると 𝑟 𝜏 = −∞ ∞ 𝑥 𝑡 𝑥 𝑡 + 𝜏 𝑑𝑡 𝑟 𝜏 = ℱ−1 𝑋 𝜔 2 問題点 ・自己相関のピークが基本周期上以外にも複数存在するため、別のピーク を誤検出する可能性がある ・特に、2𝑇0を検出することは、半ピッチエラーという代表的な誤り
- 17. ケプストラム法(1/2) 概要 ケプストラム𝑐 𝜏 算出式 𝑐 𝜏 = ℱ−1[log |𝑌(𝜔)|] ケプストラムを算出し、ピークを観測する 音声のスペクトル 𝑌(𝜔)
- 21. 3-2 精度を高めるための工夫
- 23. 相関法の改良 :YIN(1/5) 相互相関関数の導入 𝑟 𝑛, 𝜏 = 𝑘=𝑛+1 𝑛+𝑊 𝑦 𝑘 𝑦 𝑘 + 𝜏 ・𝑛 + 1から𝑛 + 𝑊まで観測している ・相互相関関数には自己相関関数にみられる減衰がない これを使って最適な形を目指す！ 𝑊:窓長のパラメータ 𝜏 :相関関数の時間軸 𝑛:基本周波数を分析する時刻
- 25. 相関法の改良 :YIN(3/5) 新しいパラメータ𝑑 𝑛, 𝜏 を導入 𝑑 𝑛, 𝜏 = 𝑘=𝑛+1 𝑛+𝑊 (𝑦 𝑘 − 𝑦(𝑘 + 𝜏))2 𝑑 𝑛, 𝑇0 は、入力波形が完全な周期性を有するとき０になる。 総和の中を展開すると、 𝑑 𝑛, 𝜏 = 𝑘=𝑛+1 𝑛+𝑊 𝑦2 𝑘 − 2𝑦 𝑘 𝑦 𝑘 + 𝜏 + 𝑦2(𝑘 + 𝜏)
- 26. 相関法の改良 :YIN(4/5) 𝑑 𝑛, 𝜏 = 𝑘=𝑛+1 𝑛+𝑊 𝑦2 𝑘 − 2𝑦 𝑘 𝑦 𝑘 + 𝜏 + 𝑦2(𝑘 + 𝜏) それぞれ相互相関関数として計算できるため 𝑑 𝑛, 𝜏 = 𝑟 𝑛, 0 − 2𝑟 𝑛, 𝜏 + 𝑟 𝑛 + 𝜏, 0 さらに、原点付近の振幅が０付近のときの誤検出を避ける形が 𝑑′ 𝑛, 𝜏 = 1 𝑖𝑓 𝜏 = 0 𝑑(𝑛, 𝜏) 1 𝜏 𝑘=1 𝜏 𝑑(𝑛, 𝑘) 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 𝑑 𝑛, 𝜏 の０～𝜏の平均値 を求めている
- 31. ゼロ交差法の改良(3/3) ゼロ交差間隔に基づく基本周波らしさの計算 ある低域通過フィルタが適切に基本波のみを抽出出来たらフィルタを通した後 に信号は基本波の周波数を有する正弦波となる ４つのゼロ交差間隔の平均値の逆数𝑓𝑎𝑣𝑒をもとめ、標準偏差を𝑓𝑠𝑡𝑑とすると 𝑝 = 𝑓𝑠𝑡𝑑 𝑓𝑎𝑣𝑒 𝑝が基本周波数らしさを求める式であり、これを使って判定を行う これが本当に基本波 であるか調べたい
- 33. 実用レベルにある最先端の方法 精度を求め、工夫が追加されるたび、アルゴリズムは煩雑化 理由は、実音声の基本周波数は時間変化することや、声帯振 動が毎回微細に変化するなど、多くの問題に対する処理を追 加するからである 複数の方法を組み合わせ、それらの候補群から基本周波数軌 跡を求める方法も提案されている
- 34. Harvest 高品質な音声分析合成を目指して提案された手法 Harvest 基本周波数の候補を多数集めて統合する手法 各フレームについて独立して基本周波数を推定するのではなく、高品 質な音声を合成するために適した基本周波数軌跡を求める
- 36. 基本周波数方向の推定 ①帯域通過フィルタによる基本波フィルタリング ・Harvestでは低域通過フィルタではなく、帯域通過フィルタを用いる ②基本周波数候補の選定 ・得られた多チャネルの信号に対し、DIO同様４つのゼロ交差点からゼロ交差間隔 の平均値を求め、これをもちいて候補を選定する ③時間的なぼかし ・局所的な雑音に弱いため、前後の推定結果を参照することでこれを解決する ④瞬時周波数を用いた候補の修正 ⑤瞬時周波数を用いた候補の信頼度の計算
- 37. 基本周波数軌跡の推定 基本周波数の軌跡を求めることを考える 例えば… あるフレームだけ前後のフレームに比べて１オクターブ高 い基本数波数が推定された →半ピッチエラーを疑う このように、信頼できる候補群の軌跡から値の修正を行う ①信頼できない基本周波数の除去 ②短すぎる有声区間の除去 ③各有声区間の拡張 ④短すぎる無声区間の保証 声帯振動２回分より 短いとみなされる
- 38. 3-4 基本周波数推定の性能評価
- 39. 基本周波数推定法の性能評価 性能を適切に評価するのは難しい 評価法と評価指標について説明 Electroglottography(EGG)を用いた真値の定義 EGGは帯振動に関する情報x(t)であり、マイクロフォンとは異なる機械 で計測する EGGは喉頭の左右に非侵襲の電極を装着し高周波の電流を流し、電極 に挟まれた喉頭のインピーダンスの変化として測定される信号
- 40. 基本周波数推定法の性能評価 評価指標 ①GPEとFPE 特定のフレームにおいてリファレンス𝑓0推定値𝑓0‘ 1)𝑓0(𝑛)が無声区間であり𝑓0′(𝑛)無声区間である 2)𝑓0(𝑛)が無声区間であり𝑓0′(𝑛)有声区間である 3)𝑓0(𝑛)が有声区間であり𝑓0′(𝑛)無声区間である 4)𝑓0(𝑛)が有声区間であり𝑓0′(𝑛)有声区間である ②Gross error GPEとFPEと同じようにパターン分けし、周波数のずれを表す指標 パターン分けをして 時間的なずれについての指標
- 41. 基本周波数評価における課題 どう評価するべきかという問題は簡単でない 例えば… ・有声無声の判定完璧、有声部の基本周波数に誤差あり ・有声無声の判定に誤差あり、有声部の基本周波数完璧 基本周波数推定法が目的を達成するのに妥当かどうか、研 究者自身が判断する必要がある 品質が悪く感じる