本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
他者の歌い方を真似するカラオケアプリケーションの論文紹介スライドです。
論文情報
“Voice Morphing System for Impersonating in Karaoke Applications”
著者 Pedro Cano, Jordi Bonada
掲載誌 ICMC2000
発表年 2000
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
他者の歌い方を真似するカラオケアプリケーションの論文紹介スライドです。
論文情報
“Voice Morphing System for Impersonating in Karaoke Applications”
著者 Pedro Cano, Jordi Bonada
掲載誌 ICMC2000
発表年 2000
8. 音響モデル
■ GMM + HMM, DNN + HMM, RNN + CTC ...
■ HMMやCTCの役割は時間方向の継続長の処理
8
GMM...Gaussian Mixture Model HMM...Hidden Markov Model
DNN... Deep Neural Network CTC...Connectionist Temporal Classification
p p r e f f e r r r d
preferred
26. RNNLMをFirst-passで利用する例1
Conversion of recurrent neural network language models to weighted finite state transducers for automatic
speech[Lecorvé+ 12]
26
■ 連続空間で表されている単語をstateに変換するために無理やり量子化を行う
■ k-meansで似ている単語ベクトルを1つにまとめる
量子化
状態の枝刈り
28. Variational approximation of long-span language models for LVCSR [Deoras+ 11]
Approximate inference: A sampling based modeling technique to capture complex dependencies in a
language model [Deoras+ 13]
28
RNNLMをFirst-passで利用する例2
■ First-passで使用できる計算コストの低い確率分布QとRNNLMのようなLong-
spanLMの確率分布を変分近似する
■ KL距離最小化
30. Cache based recurrent neural network language model inference for first pass speech recognition[Huang+ 14]
30
RNNLMをFirst-passで利用する例3
■ 同じ計算を行っている箇所に注目して，計算結果をキャッシュとして蓄えてお
くことでRNNLMを呼ぶ回数を最小限にとどめている
N-gramLMと同程度の速度を保ったままN-gramLMよりも良い精度を出している
35. Noise Contrastive Estimation for Speech Recognition
Recurrent neural network language model training with noise contrastive estimation for speech
recognition [Chen+ 15]
35
損失関数
正規化項が過去の単語に依存
38. Noise Contrastive Estimation for Speech Recognition
38
Cross-Entropy(通常のソフトマックス)と同等のWERを保ちながら，
train，evalの双方で大幅な高速化を実現
RNNLMの学習データは20M word Fisher data
