Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

pyssp

5,416 views

Published on

Lightning Talk@pyconjp 08/27/2011
http://nlpyutori.g.hatena.ne.jp/yaruki_nil/comment?date=20110830

Published in: Technology
  • Be the first to comment

pyssp

  1. 1. pyssppython speech signal processinglibrary for educationpythonによる教育向け音声信号処理ライブラリ There  must  be  a  fairy  inside!   フェアリーデバイセズ株式会社 Shunsuke Aihara
  2. 2. Self Introduction•  Shunsuke Aihara –  フェアリーデバイセズ株式会社CTO •  音声/音楽情報処理, 画像処理, データ分析の研究開発, 技術移転 •  電子デバイスやハードウェアの開発/試作
  3. 3. About pyssp (1)•  音声・音楽情報処理用のライブラリ –  音声復元(ノイズ除去),音声区間推定 –  音声品質評価 –  scikits.learnと組み合わせての分類処理 –  ピッチ/和声分析 –  音声分析合成(ヴォイスチェンジャー・話者変換)•  Repository –  https://bitbucket.org/aihara/pyssp/•  pypi –  http://pypi.python.org/pypi/pyssp•  System Requirements –  Numpy, Scipy, scikits.learn
  4. 4. Concept of pyssp•  アルゴリズム理解の為の簡潔さ –  自分が勉強するときに欲しかったようなリファレン ス実装を目指す •  scipyを用いた論文の式通りの簡潔な実装 –  Matlabじゃない!•  ライブラリとしての使い勝手の良さ –  ちょっとしたアプリケーションに組み込めるような インターフェイス –  サンプルとしてのコマンドラインツール
  5. 5. Motivation for the development1.  手軽に音声信号処理が出来るような環境づくり –  自然言語処理や画像処理は盛り上がってるのに音声 信号処理の情報は少ない –  周波数領域の信号処理はプログラムで簡単に書ける ことが多いよ!!2.  自分のアルゴリズムの評価用実装として利用 –  業務ではC++で音声処理を実装しているがテストやバ グ取りが大変 –  プロトタイピングとしての側面
  6. 6. Demonstration•  https://bitbucket.org/aihara/pyssp/src/ 33cd686af3bf/pyssp/tools/ にサンプルプログラ ム•  音声復元(ノイズ除去)•  カラオケトラックを用いた歌声抽出
  7. 7. Speech Enhancement (Noise reduction) •  ノイズが乗ったwaveファイルからノイズを消す python noise_reduction.py –m 3 –w 512 noisy.wav > clear.wav 複数のアルゴリズムを実装 サンプル音声 高速走行ノイズが 乗った音声 雑音信号の雑⾳音区間推定 発話区間の 発話区間: (ω) X平均:Nˆ (ω ) 平均スペクトル|N(ω)| ↓ 短時間窓内のスペクトル|X(ω)| 推定雑⾳音を差し引く ˆ ˆ 真の信号 |S(ω)|ω) = X(ω) − N(ω) S( = |X(w)|-α|N(ω)| ノイズ除去後の音声 雑⾳音の推定 スペクト ル平均|S(ω)| = |X(w)|*gain(|N(ω)|) 復復元された⾳音声信号 単純に引いたり掛けたり
  8. 8. Singing voice extraction using accompaniment signal •  音楽トラックとカラオケトラックから歌声だけ を取り出す python kss.pysong.wav karaoke.wav |python vad.py - > voice.wav 音楽トラック 1.  歌い出しの位置を揃えて(アライメント 2.  20msごとにカラオケトラックの情報を単純に引く 3.  間奏部分を推定して音量を0にする - カラオケトラック サンプル音声 音楽トラック カラオケトラック 歌声 = - = 歌声のみの信号
  9. 9. Feature works•  ドキュメントの作成•  音声分析合成の実装を追加•  python-pocketsphinxと組み合わせての音声認識 サーバの作り方の解説 –  個人利用向けの日本語音響モデルの公開

×