2020/07/02に開催されたDLLab主催のイベント、「自然言語処理ナイト」の第2セッション「生成系NLPの研究動向」で使用したスライド資料です。

1. 深層学習を用いた文
生成モデルの歴史と
研究動向と僕の研究
日本マイクロソフト株式会社
Cloud Solution Architect
伊藤駿汰

2. Agenda 1. 文生成とは
2. 文生成モデルの歴史
3. 最近の研究動向
4. おまけ：僕の研究

3. 例外や特殊な場合を省い
たり、詳細を省略してい
る場合にスライド中に†
（短剣符）を付記しま
す。

4. 言葉の構成単位
 文字
 言語を表記するために使われる記号の最小単位
 Ex) a, あ, 1, 自
 単語（𝑤 𝑛 ）
 文字を組みあわせて作られる、意味を表し構文上の働きを持つ最小単位
 Ex) Natural, 自然
 文（𝑤1 … 𝑤 𝑛 、 𝐰 ）
 単語を組み合わせて作られる、一区切りのまとまりある考え等を示すもの
 単語列（𝑤1 … 𝑤𝑖 ）
 単語を並べたもの
 文も単語列の一種

5. 文生成とは

6. 文生成
 単語の数、単語の種類、単語の順番を決定すること†
一定の制限を入れないと解けない
次単語予測を骨格とした文生成

7. 次単語予測
 ある単語列が与えられたとき、次に来る単語を予測すること
 Ex) スマートフォンの予測入力
私 は 緊張 し て いる

8. 次単語予測
 ある単語列が与えられたとき、次にどの単語になるか確率を計算
し、最も確率が大きい単語を選ぶ†
単語列𝑤1 … 𝑤𝑖−1が与えられたとき、次単語𝑤𝑖が生じる条件付き確率
𝑃 𝑤𝑖 𝑤1 … 𝑤𝑖−1 を計算したい

9. 文生成
 最初の単語Aを予測し、Aから次の単語Bを予測し、ABという単語列
から次の単語Cを予測し……という流れを文が終わるまで繰り返す
 単語の予測を最初から最後までやると「文生成」
私 は 緊張 し て いる

10. 文生成モデルの歴史

11. 文生成の歴史は言語モデルの歴史

12. 言語モデル
 ある文𝐰が生じる確率を与える確率分布𝑃 𝐰 のこと
𝑃 𝐰 が分かると……
 複数の文の間で「それっぽさ（尤度）」を比較できるようになる
 分布からいくらでも文を生成できそう
生成した文の良し悪しを定量的に比較できる

13. 言語モデル
 文を構成する単語の数は可変
 1種類の言語には数万程度の単語が存在
組み合わせが膨大、𝑃 𝐰 の計算は無理
逐次的なアプローチで近似する†
 𝑃 𝐰 ~ 𝑖=1
𝑛
𝑃 𝑤𝑖 𝑤1 … 𝑤𝑖−1
「次に来る単語はそれより前の単語が何かで決まる」と仮定

14. N-gram言語モデル
 N-gram：N個の連続する単語
 ある単語より前の単語全部見るのは辛い（多すぎる）ので、見る数
を決めて計算を軽くする
私 は 緊張 し て いる
2-gram
3-gram

15. N-gram言語モデル
 𝑃 𝐰 ~ 𝑖=1
𝑛
𝑃 𝑤𝑖 𝑤1 … 𝑤𝑖−1 ~ 𝑖=1
𝑛
𝑃 𝑤𝑖 𝑤𝑖+1−𝑁 … 𝑤𝑖−1
 前の𝑁 − 1個の単語の並びに対し、次に来そうな単語の確率
𝑃 𝑤𝑖 𝑤𝑖+1−𝑁 … 𝑤𝑖−1 が分かれば𝑃 𝐰 が計算できる
たくさんのデータから統計的に𝑃 𝑤𝑖 𝑤𝑖+1−𝑁 … 𝑤𝑖−1 は得られる
 𝑃 𝑤𝑖 𝑤𝑖+1−𝑁 … 𝑤𝑖−1 があれば次単語予測ができて文生成できる
言語モデル 次に来る単語はそれより前の単語が何かで決まるという仮定

16. 統計的手法を用いる文生成
ここまでの流れ
 「ある単語列の次にはどの単語が来やすいか」を考える逐次的アプ
ローチ
 文全部を考慮するのは計算量的に困難なので、部分（N-gram）に
区切る
 現実的な計算量としては5-gram程度が限界
 Pitman-Yor過程を用いた可変長N-gramモデル等で緩和の試み
生じてきた問題点
 精度が頭打ち

17. 深層学習を用いた言語モデルと文生成

18. 深層ニューラルネットワークの学習
 深層ニューラルネットワークモデルの学習には入力と正解が必要
 モデルの推定した出力＝予測が正解に近くなるように学習を進めて
いく
近似的に入力から出力への変換を行うモデルを得られる
ニューラルネット
ワーク入力
予測 正解
誤差
更新

19. RNN言語モデル（Mikolov et al, 2010）
 Recurrent Neural Network（Rumelhart et al, 1986）は時系列を考慮
して予測を作るニューラルネットワークモデル
 時系列と単語の順番を対応させれば言語モデルっぽい
RNN
ヤドン に なり たい
𝑷 𝒘 っぽいもの

20. RNN言語モデル
 𝑷 𝒘 が得られないので、入力：文、正解： 𝑷 𝒘 という学習は不可
 代わりにある単語を入れたとき、次に来る単語の確率を予測させる
入力：単語、正解：次の単語となり学習できる
<S>
ヤドン に なり たい
𝑃 𝑤2 𝑤1 𝑃 𝑤3 𝑤1 𝑤2 𝑃 𝑤4 𝑤1 … 𝑤3 𝑃 𝑤5 𝑤1 … 𝑤4

21. RNNの問題点
 プレーンなRNNは、遠い過去のデータの情報が急速に消えていくも
しくは爆発的に増大していく問題を抱えていた
 LSTM（Hochreiter et al, 1997）やGRU（Cho et al, 2014）といった
手法によって十分学習可能な水準に到達
以後、「RNN」はプレーンRNNと改善手法を含む総称として使う

22. Seq2Seq （Sutskever et al, 2014）
 文の意味を取り出すエンコーダーRNN、取り出した意味から文を生
成するデコーダーRNNを繋げて、文から文への変換を行うモデル
 翻訳タスクで当時のSoTA

23. Seq2Seq + Attention（Luong et al, 2015）
 過去の情報を重みづけして再度利用するAttention機構をSeq2Seqに
追加して精度を改善したモデル

24. 深層学習時代の文生成の発展～RNN時代～
ここまでの流れ
1. RNN言語モデルの勃興、逐次的なアプローチを深層学習で表現
 ある単語より前の単語列全体を考慮できるようになった†
2. RNN言語モデルをデコーダーとして、何らかの目的（翻訳、対話、要約等）を持った文生
成（文変換）を行うモデルの登場
3. Attentionによる長期依存問題の緩和
生じてきた問題点
 RNNは過去の情報を処理してからでないと次の時間の情報を処理できない構造であるため、
計算に時間がかかり大規模化が難しい
 Attentionを使ってなお、長期依存を上手く取れない問題は残る

25. Transformer （Vaswani et al, 2017）
 Seq2Seqと同じ文変換を行うモデル
 再帰構造を持たないニューラルネットワークとAttentionのみで構成
され、高速
 翻訳タスクにおいて、RNN系手法よりはるかに少ない学習でSoTA

26. BERT （Devlin et al, 2018）
 巨大なTransformer Encoder
 2種類の言語モデル的事前学習
 マスクされた単語の予測
 文の連続判定
 膨大なデータで事前学習を行った後、少数のデータで目的タスクに
転移学習
 NLPの幅広いベンチマークでSoTA
工夫された事前学習によってTransformerの双方向学習が可能に
言語モデル的事前学習の有効性を示す

27. BERTの事前学習タスク①
 マスクされた単語の予測

28. BERTの事前学習タスク②
 文の連続判定

29. GPT-2 （Radford et al, 2019）
 巨大なTransformer Decoderで、膨大なデータを使って言語モデル的
な学習を行ったモデル
 翻訳や対話といった文変換モデルではなく、N-gramやRNN言語モ
デルと同じ逐次的に単語を予測していく文生成モデル
(I want to be a cat.) Sitting on Dieter's lap is a thing of
beauty.
(NLP is) not strictly true and may sometimes exaggerate.
It is necessarily an ongoing process.

30. 深層学習時代の文生成の発展～Transformer時代～
1. 文変換（翻訳）モデル、Transformerの登場
① N-gramからRNN系のモデルまで根深く残っていた長期依存を上手く取れない問題は解決
② 軽量・高速で並列化に向く構造を持ち、大規模化への道が開ける
2. 言語モデル的な事前学習を行った巨大Transformer、BERTがあらゆ
るベンチマークのSoTAを書き換え、言語モデル的な事前学習とそ
の有効性を示す
3. GPT-2により、巨大事前学習モデルは極めて精度良く文を生成で
きることが示される

31. 最近の研究動向

32. UniLM （Dong et al, 2019）
 Transformer（Prefix LM）を使った事前学習モデル
 複数種類の言語モデル学習を行う
 読解系タスクでBERTと同程度、生成系タスクでSoTA
https://arxiv.org/abs/1905.03197

33. T5（Raffel et al, 2019）
 Transformerと同じEncoder – Decoder構造を持つ巨大事前学習モデ
ル
 全てのタスクを文変換として事前学習を行う
 文生成系タスクを中心に幅広いタスクで極めて強力な性能を示す
https://arxiv.org/abs/1910.10683

34. GPT-3 （Brown et al, 2020）
 1750億パラメーターの超巨大
モデル
 BERT（Large）：3.4億
 T5（11B）：110億
 構造はGPT-2を踏襲
 モデルのパラメーター数を増や
すことで、少ないデータの転移
学習でも性能を出せるようにな
る
https://arxiv.org/abs/2005.14165

35. トレンドの推移
2018年
 NLPの主流モデルの座LSTMからTransformerへ
 Transformer改善（軽量化、構造改良等）の動き
 BERTがNLPの幅広いタスクでSoTAの衝撃
2019年
 BERTの流れを汲む巨大事前学習モデルが次々と提案
 生成系タスクでも巨大事前学習モデル（GPT-2、T5等）が台頭
2020年
 GPT-3登場、モデルサイズを大きくすると少数データの転移学習で
も精度を維持できる可能性が示される
NLP

36. 今後のトレンド予測
現状
 Self-Attention等のTransformerを構成する各要素の有効性について
知見が集積
 Transformerは精度改善もしくは軽量化の方向性で亜種の提案が継続
的に行われている
 GPT-3が示した「モデルを大きくすれば、たかだか数十程度のデー
タを用いた転移学習でも精度が出る」という方向性は、実用上極め
て重要
Transformer亜種の提案は今後も継続か
巨大モデル提案の動きがより拡大しそう

37. おまけ：僕の研究

38. Memory Attention（Ito, 2020）
Seq2Seq
発話に対して応答を生成する上で、
根拠となる文をAttentionで選ぶ

39. 研究から得られた知見
 Attentionとは実質類似度の計算、情報の抽出に利用できる
 類似度を小さい計算負荷で大小関係を持った状態で得られる
 使い方によっては解釈性に繋がる
 Transformerは新しい情報の流れを追加することが難しいが、LSTM
ベースのSeq2Seqは比較的簡単
 シンプルなため、実装や構造検討に時間がかからない、「とりあえず」の実装として試す価
値あり
 文生成の自動評価は難しい、特に対話系の生成モデルは自動評価が
極めて困難
 BLEUやMETEOR等の自動評価指標は数多あるが、不適切

40. 今回省略した話
 Word2Vec
 LSTMの双方向学習
 巨大RNN言語モデル、ELMo
 CNNを使用した並列化可能な文変換モデル、ConvS2S
 転移学習を用いた文生成
 Transformerに再帰構造を組み込む話
 GANを利用した文生成器作成
 BERTの改善と軽量化、ALBERT
 可変長Transformer、Transformer-XL
 他にも多数

41. © Copyright Microsoft Corporation. All rights reserved.