VoiceWorld Z Vol.2 で発表した Web Audio API と IBM Watson Speech to Text の話の資料

1. Web Audio API
と IBM Watson Speech to Text API の話
@ VoiceWorld Z vol.2
#voiceworldz

2. 自己紹介
本アイ・ビー・エム クラウドエバンジェリスト
witter: @dotnsf
og: http://dotnsf.blog.jp/
mail: dotnsf@jp.ibm.com
趣味： マンホール
木村 桂（きむら けい）
プログラマー
マンホールマップ : http://manholemap.juge.me/
#voiceworldz

3. Web Audio API
• W3C 勧告候補 (2018/Sep/18)
• Web アプリケーションにおけるオーディオの処理および合成に
関する高レベルの JavaScript API
https://www.w3.org/TR/webaudio/
#voiceworldz

4. Web Audio API を超簡単に説明する
と・・
• 音声操作をオーディオコンテキスト操作として実現した API
• 入力元と出力先をつなげたり、途中でエフェクトをかけたり、
データを取り出したりする
① オーディオコンテキスト生成
② オーディオソースを指定 ④ 出力先を指定
③ エフェクタを指定
⑤ ソースとエフェクタを接続 ⑥ エフェクタと出力先を接続
#voiceworldz

5. 例えば・・・ （その１）
• オーディオファイルをスピーカーから再生
① オーディオコンテキスト生成
② オーディオソースを指定 ④ 出力先を指定
③ エフェクタを指定
⑤ ソースとエフェクタを接続 ⑥ エフェクタと出力先を接続
#voiceworldz

6. オーディオファイル操作時の大まかな流
れ
// オーディオコンテキストの生成
var audio_context = new AudioContext();
//. Files API でオーディオファイルの読み込み
var file = "sample.mp3";
var reader = new FileReader();
reader.onload = function(){
var arrayBuffer = reader.result;
audio_context.decodeAudioData( arrayBuffer, function( audioBuffer ){
var source = audio_context.createBufferSource();
source.buffer = audioBuffer;
source.connect( audio_context.destination ); //. 標準オーディオ出力に接続
source.start( 0 ); //. 最初から再生
});
};
reader.readAsArrayBuffer( file );
http://dotnsf.blog.jp/archives/1072420283.html
#voiceworldz

7. 例えば・・・ （その２）
• マイクから入力した音声データを取り出す
① オーディオコンテキスト生成
② オーディオソースをマイクに指定 ④ 出力先ファイルを指定
③ エフェクタを指定
⑤ ソースとエフェクタを接続 ⑥ エフェクタと出力先を接続
#voiceworldz

8. マイク操作時の大まかな流れ
// オーディオコンテキストの生成
var audio_context = new AudioContext();
// 標準メディアデバイス（マイク・スピーカー）の取得
Navigator.mediaDevices.getUserMedia( { audio: true } ).then( function( stream ){
// メディアストリームの作成
var media_stream = audio_context.createMediaStream( stream );
var processor = audio_context.createScriptProcessor( 1024, 1, 1 );
media_stream.connect( processor );
processor.onaudioprocess = function( e ){
// 音声データ
var inputdata = e.inputBuffer.getChannelData( 0 );
:
};
processor.connect( audio_context.destination );
});
http://dotnsf.blog.jp/archives/1072473945.html
#voiceworldz

9. 例えば・・・ （その２の応用）
• 取り出した音声データをテキスト化する
① オーディオコンテキスト生成
② オーディオソースをマイクに指定 ④ 出力先ファイルを指定
③ エフェクタを指定
⑤ ソースとエフェクタを接続 ⑥ エフェクタと出力先を接続
⑦Speech to Text 機能で
音声→テキストにして取り出す
IBM Watson
#voiceworldz

10. IBM Watson Speech to Text API
https://www.ibm.com/watson/jp-ja/developercloud/speech-to-text.html
音声データをテキストに変換（言語指定可能）
ライトプラン有り（１ヶ月あたり 100 分まで無料）
主な用途
・コールセンターのオペレーター音声の解析
・会議における発言のテキスト化
・音声操作時の中間処理
・電話の自動応答システム
・メディアファイルからの書き起こし など
#voiceworldz

11. 【告知】 IBM Cloud Community Summit
2018 【 12/8 】
https://bmxug.connpass.com/event/105149/ https://bmxug.connpass.com/event/110051/
IBM Cloud ユーザーコミュニティ主催の年イチイベン
IBM Cloudant の細かすぎて伝わりにくい機能（その
２）
ブロックチェーン体験ハンズオン（先着順）