pyssp

4,179 views

Published on

Lightning Talk@pyconjp 08/27/2011
http://nlpyutori.g.hatena.ne.jp/yaruki_nil/comment?date=20110830

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
4,179
On SlideShare
0
From Embeds
0
Number of Embeds
2,236
Actions
Shares
0
Downloads
0
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

pyssp

  1. 1. pyssppython speech signal processinglibrary for educationpythonによる教育向け音声信号処理ライブラリ There  must  be  a  fairy  inside!   フェアリーデバイセズ株式会社 Shunsuke Aihara
  2. 2. Self Introduction•  Shunsuke Aihara –  フェアリーデバイセズ株式会社CTO •  音声/音楽情報処理, 画像処理, データ分析の研究開発, 技術移転 •  電子デバイスやハードウェアの開発/試作
  3. 3. About pyssp (1)•  音声・音楽情報処理用のライブラリ –  音声復元(ノイズ除去),音声区間推定 –  音声品質評価 –  scikits.learnと組み合わせての分類処理 –  ピッチ/和声分析 –  音声分析合成(ヴォイスチェンジャー・話者変換)•  Repository –  https://bitbucket.org/aihara/pyssp/•  pypi –  http://pypi.python.org/pypi/pyssp•  System Requirements –  Numpy, Scipy, scikits.learn
  4. 4. Concept of pyssp•  アルゴリズム理解の為の簡潔さ –  自分が勉強するときに欲しかったようなリファレン ス実装を目指す •  scipyを用いた論文の式通りの簡潔な実装 –  Matlabじゃない!•  ライブラリとしての使い勝手の良さ –  ちょっとしたアプリケーションに組み込めるような インターフェイス –  サンプルとしてのコマンドラインツール
  5. 5. Motivation for the development1.  手軽に音声信号処理が出来るような環境づくり –  自然言語処理や画像処理は盛り上がってるのに音声 信号処理の情報は少ない –  周波数領域の信号処理はプログラムで簡単に書ける ことが多いよ!!2.  自分のアルゴリズムの評価用実装として利用 –  業務ではC++で音声処理を実装しているがテストやバ グ取りが大変 –  プロトタイピングとしての側面
  6. 6. Demonstration•  https://bitbucket.org/aihara/pyssp/src/ 33cd686af3bf/pyssp/tools/ にサンプルプログラ ム•  音声復元(ノイズ除去)•  カラオケトラックを用いた歌声抽出
  7. 7. Speech Enhancement (Noise reduction) •  ノイズが乗ったwaveファイルからノイズを消す python noise_reduction.py –m 3 –w 512 noisy.wav > clear.wav 複数のアルゴリズムを実装 サンプル音声 高速走行ノイズが 乗った音声 雑音信号の雑⾳音区間推定 発話区間の 発話区間: (ω) X平均:Nˆ (ω ) 平均スペクトル|N(ω)| ↓ 短時間窓内のスペクトル|X(ω)| 推定雑⾳音を差し引く ˆ ˆ 真の信号 |S(ω)|ω) = X(ω) − N(ω) S( = |X(w)|-α|N(ω)| ノイズ除去後の音声 雑⾳音の推定 スペクト ル平均|S(ω)| = |X(w)|*gain(|N(ω)|) 復復元された⾳音声信号 単純に引いたり掛けたり
  8. 8. Singing voice extraction using accompaniment signal •  音楽トラックとカラオケトラックから歌声だけ を取り出す python kss.pysong.wav karaoke.wav |python vad.py - > voice.wav 音楽トラック 1.  歌い出しの位置を揃えて(アライメント 2.  20msごとにカラオケトラックの情報を単純に引く 3.  間奏部分を推定して音量を0にする - カラオケトラック サンプル音声 音楽トラック カラオケトラック 歌声 = - = 歌声のみの信号
  9. 9. Feature works•  ドキュメントの作成•  音声分析合成の実装を追加•  python-pocketsphinxと組み合わせての音声認識 サーバの作り方の解説 –  個人利用向けの日本語音響モデルの公開

×