Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

JuliaTokyo #3 Speech Signal Processing in Julia

2,467 views

Published on

notebooks: https://github.com/r9y9/JuliaTokyo3

Published in: Technology
  • Be the first to comment

JuliaTokyo #3 Speech Signal Processing in Julia

  1. 1. Juliaで音声信号処理を しばらくやってみた 山本りゅういち (@r9y9) 2015/04/25 JuliaTokyo #3 ノートブックとか: https://github.com/r9y9/JuliaTokyo3
  2. 2. 自己紹介 • 山本りゅういち (@r9y9) – 音声/音楽の信号処理、機械学習が好き – コンピュータビジョン(初心者) – Julia歴 8ヶ月くらい • ブログ – LESS IS MORE http://r9y9.github.io/
  3. 3. 今日の話 1. 音声信号処理に便利なパッケージの紹介 2. 僕が書いたパッケージの紹介
  4. 4. dancasimiro/WAV.jl https://github.com/dancasimiro/WAV.jl
  5. 5. WAVファイルの読み込み using WAV x, fs = wavread("test16k.wav")
  6. 6. JuliaDSP/DSP.jl https://github.com/JuliaDSP/DSP.jl
  7. 7. スペクトログラム
  8. 8. バンドパスフィルタを掛ける
  9. 9. r9y9/WORLD.jl https://github.com/r9y9/WORLD.jl
  10. 10. 基本周波数 (Fundamental Frequency; F0)
  11. 11. スペクトル包絡 (Spectrum Envelope)
  12. 12. 非周期性指標 (Aperiodicity ratio)
  13. 13. 音声波形の再合成 ※誤差は、分析条件、分析方法に依存します
  14. 14. WORLDの良いところ • 高品質 – 業界デファクトのSTRAIGHTと同等 • BSDライセンス • 高速
  15. 15. 応用
  16. 16. Robust PCA による歌声分離 混合音のスペクトログラム 低ランク行列 スパースな行列 (歌声) Huang, Po-Sen, et al. "Singing-voice separation from monaural recordings using robust principal component analysis." ICASSP 2012. https://github.com/r9y9/RobustPCA.jl
  17. 17. 統計的声質変換 http://r9y9.github.io/blog/2014/11/12/statistical-voice-conversion-code/
  18. 18. 画像+スペクトログラム
  19. 19. 所感 • 既存のCライブラリを活用したい場合にラッパーを書く – ccall かんたん 慣れれば簡単に感じます(当たり前 • Juliaは本当に速かった – 例えば反復計算を含むアルゴリズムで、C実装のたかだか1.3倍程度 – https://github.com/r9y9/MelGeneralizedCepstrums.jl/blob/35feece 580fb121803ed6ace7f80e6b694c9aa69/perf/mgcep.jl • 音声信号処理全然できるよ! • パッケージは必要なら自分で書く!!
  20. 20. 僕が音声系で使う/作ったパッケージ一覧 • dancasimiro/WAV WAVファイルの読み込み • JuliaDSP/DSP 窓関数、スペクトログラム、STFT、デジタルフィル タ • r9y9/WORLD 音声分析・合成フレームワーク • r9y9/MelGeneralizedCepstrums メル一般化ケプストラム分析 r9y9/SynthesisFilters メル一般化ケプストラムからの波形合成 • r9y9/SPTK 音声信号処理ツールキット • r9y9/RobustPCA ロバスト主成分分析(歌声分離へ応用) • r9y9/REAPER 基本周波数推定 • r9y9/VoiceConversion 統計的声質変換 ※発表中に紹介しなかったものも含む。僕が書いた公式パッケージは現在 WORLDのみです。 上から順に、汎用的(だと思います)

×