• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
pyssp
 

pyssp

on

  • 3,386 views

Lightning Talk@pyconjp 08/27/2011

Lightning Talk@pyconjp 08/27/2011
http://nlpyutori.g.hatena.ne.jp/yaruki_nil/comment?date=20110830

Statistics

Views

Total Views
3,386
Views on SlideShare
1,664
Embed Views
1,722

Actions

Likes
2
Downloads
0
Comments
0

8 Embeds 1,722

http://nlpyutori.g.hatena.ne.jp 1214
http://argmax.jp 494
http://rdnymulen 5
http://www33364u.sakura.ne.jp 3
http://www.argmax.jp 3
http://translate.googleusercontent.com 1
http://www.slashdocs.com 1
http://www.docshut.com 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    pyssp pyssp Presentation Transcript

    • pyssppython speech signal processinglibrary for educationpythonによる教育向け音声信号処理ライブラリ There  must  be  a  fairy  inside!   フェアリーデバイセズ株式会社 Shunsuke Aihara
    • Self Introduction•  Shunsuke Aihara –  フェアリーデバイセズ株式会社CTO •  音声/音楽情報処理, 画像処理, データ分析の研究開発, 技術移転 •  電子デバイスやハードウェアの開発/試作
    • About pyssp (1)•  音声・音楽情報処理用のライブラリ –  音声復元(ノイズ除去),音声区間推定 –  音声品質評価 –  scikits.learnと組み合わせての分類処理 –  ピッチ/和声分析 –  音声分析合成(ヴォイスチェンジャー・話者変換)•  Repository –  https://bitbucket.org/aihara/pyssp/•  pypi –  http://pypi.python.org/pypi/pyssp•  System Requirements –  Numpy, Scipy, scikits.learn
    • Concept of pyssp•  アルゴリズム理解の為の簡潔さ –  自分が勉強するときに欲しかったようなリファレン ス実装を目指す •  scipyを用いた論文の式通りの簡潔な実装 –  Matlabじゃない!•  ライブラリとしての使い勝手の良さ –  ちょっとしたアプリケーションに組み込めるような インターフェイス –  サンプルとしてのコマンドラインツール
    • Motivation for the development1.  手軽に音声信号処理が出来るような環境づくり –  自然言語処理や画像処理は盛り上がってるのに音声 信号処理の情報は少ない –  周波数領域の信号処理はプログラムで簡単に書ける ことが多いよ!!2.  自分のアルゴリズムの評価用実装として利用 –  業務ではC++で音声処理を実装しているがテストやバ グ取りが大変 –  プロトタイピングとしての側面
    • Demonstration•  https://bitbucket.org/aihara/pyssp/src/ 33cd686af3bf/pyssp/tools/ にサンプルプログラ ム•  音声復元(ノイズ除去)•  カラオケトラックを用いた歌声抽出
    • Speech Enhancement (Noise reduction) •  ノイズが乗ったwaveファイルからノイズを消す python noise_reduction.py –m 3 –w 512 noisy.wav > clear.wav 複数のアルゴリズムを実装 サンプル音声 高速走行ノイズが 乗った音声 雑音信号の雑⾳音区間推定 発話区間の 発話区間: (ω) X平均:Nˆ (ω ) 平均スペクトル|N(ω)| ↓ 短時間窓内のスペクトル|X(ω)| 推定雑⾳音を差し引く ˆ ˆ 真の信号 |S(ω)|ω) = X(ω) − N(ω) S( = |X(w)|-α|N(ω)| ノイズ除去後の音声 雑⾳音の推定 スペクト ル平均|S(ω)| = |X(w)|*gain(|N(ω)|) 復復元された⾳音声信号 単純に引いたり掛けたり
    • Singing voice extraction using accompaniment signal •  音楽トラックとカラオケトラックから歌声だけ を取り出す python kss.pysong.wav karaoke.wav |python vad.py - > voice.wav 音楽トラック 1.  歌い出しの位置を揃えて(アライメント 2.  20msごとにカラオケトラックの情報を単純に引く 3.  間奏部分を推定して音量を0にする - カラオケトラック サンプル音声 音楽トラック カラオケトラック 歌声 = - = 歌声のみの信号
    • Feature works•  ドキュメントの作成•  音声分析合成の実装を追加•  python-pocketsphinxと組み合わせての音声認識 サーバの作り方の解説 –  個人利用向けの日本語音響モデルの公開