機械学習の社会実装勉強会 第21回の発表内容です。 https://machine-learning-workshop.connpass.com/event/275945/

1. Transformerを用いた
言語処理技術の発展
2023/03/25 機械学習の社会実装勉強会 第21回

2. - 対話型AIの最近の発展
- LLM（Large Language Model）の概要
- Transformer以前のモデルの問題点
- Transformerの基本
今回の内容

3. 最近の対話型AIの発展 (GPT-4関連)
Sparks of Artificial General Intelligence: Early experiments with GPT-4
https://arxiv.org/abs/2303.12712
GPT-4 Technical Report
https://arxiv.org/abs/2303.08774

4. 最近の対話型AIの発展 (2023/3時点)
- Open AI
- Chat GPT: 対話型AI, 現時点の最新はGPT-4を使用
- Microsoft
- Open AI と協業しGPTシリーズをベースとしたモデルを製品に組み込む
- Microsoft 365 Copilot
- GitHub Copilot X
- 新しいBing
- Google
- BARD: 対話型AI, 米国, 英国にてプレビュー

5. - 大規模なデータセットを用いて学習された深層学習モデル
- Transfomer の登場により急速に発展
- GPTシリーズ (OpenAI)
- BERT, PaLM, T5(Google)
- NLP(自然言語処理)の多様なタスクに適用
- 生成、理解、翻訳、要約
- 人間とコンピュータ間のコミュニケーションが大きく改善
LLM (Large Language Model) の概要
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
GPT: Improving Language Understanding by Generative Pre-Training

6. - ニューラルネットワークの一種
- 自然言語処理において最も重要な技術の一つ
- 元論文、”Attention Is All You Need” によって提唱
- Self-attention の導入 (RNN＋Attentionが従来の主流)
- RNN, CNNなど従来のモデルよりも高速で精度が高い
- 多くのLLMのベースとして使用
Transformer概要
"Attention is All You Need" (Vaswani et al., 2017)
https://arxiv.org/abs/1706.03762

7. - 逐次処理（1単語ずつ処理）
- 勾配消失、勾配爆発により長距離依存の解析が難しい※
従来のモデル (RNN)の問題点
RNNを用いたEncoder-Decoder architecture
https://arxiv.org/abs/2102.03218
- Encoder: 入力テキスト(x1,x2,x3, ...)を受け取り固定長のベクトルに変換
- Decoder: エンコーダーからベクトルを受け取り出力テキスト (y1,y2,y3, …)を生成
※勾配消失に対する改善モデルとして
LSTM（Long Short-Term Memory) や GRUがある

8. Transformerの基本
- Self-attention
- シーケンスデータ内の単語の関連性を理解
- 並列処理が可能
https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
https://arxiv.org/abs/1706.03762
1. The animal didn't cross the street because it was too tired
2. The animal didn't cross the street because it was too wide
Decoder
Encoder

9. まとめ
- Transformerは、自然言語処理において重要な技術の一つ
- 従来のモデルの問題点(長距離の依存関係処理、逐次処理)を解決
- Transformerを用いた言語処理の進化は、LLMの急速な発展を引き起こした
- MicrosoftやGoogleが各社ビジネスツールへLLMを組み込むなど、
汎用AIの第一歩を踏み出した
- 今後もTransformerをベースにしたLLMおよび汎用AIの発展が期待される

10. 参考資料
- Attention is All You Need (Vaswani et al., 2017)
- https://arxiv.org/abs/1706.03762
- 日本語による解説
- https://deeplearning.hatenablog.com/entry/transformer
- The Illustrated Transformer
- http://jalammar.github.io/illustrated-transformer/
- Transformer model for language understanding (tensorflow を用いたチュートリアル)
- https://www.tensorflow.org/tutorials/text/transformer
- Hugging Face Transformers ライブラリ
- https://huggingface.co/transformers/
- Transformer Neural Networks - EXPLAINED! (Attention is all you need)
- https://www.youtube.com/watch?v=TQQlZhbC5ps
- 【図解】Attentionとは？わかりやすく、そして深く解説｜自然言語処理
(NLP)
- https://nlpillustration.tech/?p=185
- 【図解】誰でもわかるTransformer入門！凄さ・仕組みをわかりやすく解説
- https://nlpillustration.tech/?p=2171