本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
機械学習の社会実装では、予測精度が高くても、機械学習がブラックボックであるために使うことができないということがよく起きます。
このスライドでは機械学習が不得意な予測結果の根拠を示すために考案されたLIMEの論文を解説します。
Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. "" Why should i trust you?" Explaining the predictions of any classifier." Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.
Preferred Networks was founded in 2008 and has focused on deep learning research, developing the Chainer and CuPy frameworks. It has applied its technologies to areas including computer vision, natural language processing, and robotics. The company aims to build AI that is helpful, harmless, and honest through techniques like constitutional AI that help ensure systems behave ethically and avoid potential issues like bias, privacy concerns, and loss of control.
機械学習の社会実装では、予測精度が高くても、機械学習がブラックボックであるために使うことができないということがよく起きます。
このスライドでは機械学習が不得意な予測結果の根拠を示すために考案されたLIMEの論文を解説します。
Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. "" Why should i trust you?" Explaining the predictions of any classifier." Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.
Preferred Networks was founded in 2008 and has focused on deep learning research, developing the Chainer and CuPy frameworks. It has applied its technologies to areas including computer vision, natural language processing, and robotics. The company aims to build AI that is helpful, harmless, and honest through techniques like constitutional AI that help ensure systems behave ethically and avoid potential issues like bias, privacy concerns, and loss of control.
ACL 2020 の参加報告。BPE 系の tokenizer についての話
・Rico Sennrich, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." In ACL, 2016.
・Taku Kudo. "Subword regularization: Improving neural network translation models with multiple subword candidates." In ACL, 2018.
・Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. "BPE-Dropout: Simple and Effective Subword Regularization." In ACL, 2020.
・Xuanli He, Gholamreza Haffari, and Mohammad Norouzi. "Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation." In ACL, 2020.
9. ざっくりTransformer
“Attention Is All You Need”
(Ashish Vaswani @Google Brain et al. )
機械翻訳用の自然言語モデル
従来のRNNベースの手法から大幅に性能改善
Ø自然言語処理のbreak throughを作った革命的なモデル
9
11. 機械翻訳の祖︓RNN
Recurrent Neural Network
… 入力長分、共通の線形変換()を繰り返し適用するモデル
可変長の入力に対応可能、系列データ全般に強い
11
Linear Linear Linear Linear Linear
x0 x1 x2 x3 x4
y0 y1 y2 y3 y4
s0 s1 s2 s3 s4
12. Encoder
RNNで機械翻訳 - Encoder部分
12
I have a pen .
Linear Linear Linear Linear Linear
x0 x1 x2 x3 x4
s0 s1 s2 s3
文
全
体
の
意
味
Word Embedding(実はこいつもDNN)
13. Decoder
RNNで機械翻訳 - Decoder部分
13
私は ペンを 持って いる 。
Linear Linear Linear Linear Linear
y0 y1 y2 y3 y4
t0 t1 t2 t3
文
全
体
の
意
味
Word Embedding(実はこいつもDNN)