Chainer meetup20151014

79,863 views

Published on

2015年10月14日に行ったChainer Meetupの資料です。

Published in: Engineering
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
79,863
On SlideShare
0
From Embeds
0
Number of Embeds
64,689
Actions
Shares
0
Downloads
15
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Chainer meetup20151014

  1. 1. LT@Chainer  Meetup 株式会社プリファードインフラストラクチャー   ⻄西⿃鳥⽻羽  ⼆二郎郎
  2. 2. ⾃自⼰己紹介 l  ⻄西⿃鳥⽻羽  ⼆二郎郎(にしとば  じろう) l  ID: jnishi l  所属: Preferred Infrastructure 製品事業部 -  エンジニア l  プリセールス l  製品導⼊入⽀支援 l  サポート l  研究開発 PFI Confidential 2
  3. 3. ⾳音声認識識:  Deep  Speech Once we have computed a prediction for P(ct|x), we compute the CTC loss [13] L(ˆy, y) to measure the error in prediction. During training, we can evaluate the gradient rˆyL(ˆy, y) with respect to the network outputs given the ground-truth character sequence y. From this point, computing the gradient with respect to all of the model parameters may be done via back-propagation through the rest of the network. We use Nesterov’s Accelerated gradient method for training [41].3 Figure 1: Structure of our RNN model and notation. 3 MLP with clipped ReLU Bidirectional RNN with clipped ReLU Softmax CTC 損失関数 Log filterbank
  4. 4. Chainerの使⽤用⽤用途:  ⾳音声認識識 l  ⽇日本語の⾳音声認識識の精度度を試すためにDeep Learning 系のアルゴリズムを幾つか実装して実験 l  Clipped ReLU: PR作成、取り込み済み #245 l  Connectionist Temporal Classification: PR作成 #280 l  (Nesterovの加速勾配: PR作成予定) 4PFI Confidential
  5. 5. Chainerの良良い所 l  RNNのサポートが強い -  Bidirectionalなもの(+GPU)をサポートしていたのはChainerの他 はBlocksだけ -  コンポーネントがシンプルでわかりやすい(Blocksは⾼高度度に抽 象化していてわかりにくかった) PFI Confidential 5
  6. 6. Chainerの改善点 l  前提: ⾳音声認識識の場合系列列要素が⼤大きいため⾼高速化及 び⼤大量量のメモリが必要 -  10ms毎に特徴ベクトルを⽣生成する → 数千〜~数万程度度の⻑⾧長さ l  欲しい機能 -  multi-nodeのサポート -  Hessian-Free -  シグナルにより中断されないシリアライゼーション cf. Blocks -  書き込みが終了了してからプログラム終了了 -  学習のepochが終了了してからプログラム終了了 PFI Confidential 6
  7. 7. Copyright  ©  2006-‐‑‒2015 Preferred  Infrastructure  All  Right  Reserved.

×