Successfully reported this slideshow.
Your SlideShare is downloading. ×
Advertisement

More Related Content

Advertisement

Related Books

Free with a 30 day trial from Scribd

See all

pyssp

  1. 1. pyssp python speech signal processing library for education pythonによる教育向け音声信号処理ライブラリ There  must  be  a  fairy  inside!   フェアリーデバイセズ株式会社 Shunsuke Aihara
  2. 2. Self Introduction •  Shunsuke Aihara –  フェアリーデバイセズ株式会社CTO •  音声/音楽情報処理, 画像処理, データ分析の研究開発, 技術移転 •  電子デバイスやハードウェアの開発/試作
  3. 3. About pyssp (1) •  音声・音楽情報処理用のライブラリ –  音声復元(ノイズ除去),音声区間推定 –  音声品質評価 –  scikits.learnと組み合わせての分類処理 –  ピッチ/和声分析 –  音声分析合成(ヴォイスチェンジャー・話者変換) •  Repository –  https://bitbucket.org/aihara/pyssp/ •  pypi –  http://pypi.python.org/pypi/pyssp •  System Requirements –  Numpy, Scipy, scikits.learn
  4. 4. Concept of pyssp •  アルゴリズム理解の為の簡潔さ –  自分が勉強するときに欲しかったようなリファレン ス実装を目指す •  scipyを用いた論文の式通りの簡潔な実装 –  Matlabじゃない! •  ライブラリとしての使い勝手の良さ –  ちょっとしたアプリケーションに組み込めるような インターフェイス –  サンプルとしてのコマンドラインツール
  5. 5. Motivation for the development 1.  手軽に音声信号処理が出来るような環境づくり –  自然言語処理や画像処理は盛り上がってるのに音声 信号処理の情報は少ない –  周波数領域の信号処理はプログラムで簡単に書ける ことが多いよ!! 2.  自分のアルゴリズムの評価用実装として利用 –  業務ではC++で音声処理を実装しているがテストやバ グ取りが大変 –  プロトタイピングとしての側面
  6. 6. Demonstration •  https://bitbucket.org/aihara/pyssp/src/ 33cd686af3bf/pyssp/tools/ にサンプルプログラ ム •  音声復元(ノイズ除去) •  カラオケトラックを用いた歌声抽出
  7. 7. Speech Enhancement (Noise reduction) •  ノイズが乗ったwaveファイルからノイズを消す python noise_reduction.py –m 3 –w 512 noisy.wav > clear.wav 複数のアルゴリズムを実装 サンプル音声 高速走行ノイズが 乗った音声 雑音信号の 雑⾳音区間推定 発話区間の 発話区間: (ω) X 平均:Nˆ (ω ) 平均スペクトル|N(ω)| ↓ 短時間窓内のスペクトル|X(ω)| 推定雑⾳音を差し引く ˆ ˆ 真の信号 |S(ω)|ω) = X(ω) − N(ω) S( = |X(w)|-α|N(ω)| ノイズ除去後の音声 雑⾳音の推定 スペクト ル平均|S(ω)| = |X(w)|*gain(|N(ω)|) 復復元された⾳音声信号 単純に引いたり掛けたり
  8. 8. Singing voice extraction using accompaniment signal •  音楽トラックとカラオケトラックから歌声だけ を取り出す python kss.pysong.wav karaoke.wav |python vad.py - > voice.wav 音楽トラック 1.  歌い出しの位置を揃えて(アライメント 2.  20msごとにカラオケトラックの情報を単純に引く 3.  間奏部分を推定して音量を0にする - カラオケトラック サンプル音声 音楽トラック カラオケトラック 歌声 = - = 歌声のみの信号
  9. 9. Feature works •  ドキュメントの作成 •  音声分析合成の実装を追加 •  python-pocketsphinxと組み合わせての音声認識 サーバの作り方の解説 –  個人利用向けの日本語音響モデルの公開

×