It's the slide for a gathering to study reading English.

1. 【early】技術英文読解トレーニング 第12回【summer】

2. 自己紹介
名前：Penguin
仕事：株式会社Cre-Co所属(エンジニアさん絶賛募集中！)
データまわりを中心にしたエンジニア
（歴15年？プログラマとしてなら38年）
英語：得意じゃないけど仕事に支障がない程度には読めて聞けて書ける。
TOEICは900。
海外の空港で白タクに騙される程度の英語力

3. エンジニアとしての英語能力は何をおいてもリーディング力
→抵抗なく英語の資料にあたることができると、問題解決能力は80％くらいアップする。
リスニングやライティングも、リーディング能力が上がれば合わせて上がっていく
リーディング力を高めるには、
単語(2) : 文法(2)：経験(6)

4. 英語の学習は、とにかく時間がかかります
2000時間
この勉強会を、きっかけやモチベーション維持にしてもらえたら幸いです

5. この勉強会のスタイル
技術系の文章に実践的にあたっていきます。
読めなくてもわからなくても、とにかく英文を見ます。読みます。
最低限の文法の知識は解説しますが、最低限です。
慣れてきた頃に、ご自身で感じる文法的課題を各自解決していくという方法がよいかと思います。

6. 今回ここしばらくのお題

7. ChatGPT
https://openai.com/blog/chatgpt/

8. ChatGPTとは
OpenAI社が開発した、チャットボット。
従来のチャットボットもAIを利用していたが、ChatGPTは自然な受け答え、問題解決能力などに
対して卓越した性能を持っていたことで一気に注目が集まった。
チャットボットというのは、いわゆるNLP（Natural Language Processing:自然言語処理）領域
で研究されてきた技術を実用化したものの一つであり、質問を解析したり、適切な回答を生成す
るには既に存在する大量のテキストを学習し、モデルとよばれるものを最適化することで性能を
発揮する。
ChatGPTはその受け答えのベースになっているモデルがびっくりするくらい優秀であるという
こと。

9. https://www.bbc.com/news/technology-65110030
かなりの議論に

10. 今回のテキスト
https://medium.com/@techynilesh/behind-the-bot-how-chatgpt-
works-and-the-models-powering-its-natural-language-processing-
623e7a284f9b
テキスト抽出版
https://www.dropbox.com/sh/eu01ersqwvighov/AADLpglsq3nargemEJGWtNiAa?dl=0

11. 前文
Behind the Bot: How ChatGPT Works and the Models Powering its Natural Language Processing
そのBotの裏側：ChatGPTがうごく仕組みと、自然言語処理に影響をあたえるモデルについて
As you interact with ChatGPT, you may be wondering how this bot is able to understand your
questions and respond with relevant answers.
あなたがChatGPTとコミュニケーションをとると、どうやってこのボットがあなたの質問を理
解し、関連した答えを返すか不思議に思うでしょう。
Well, the secret lies in the models behind the bot.
そう。秘密はbotの背後ににあるモデルにある。
ChatGPT is powered by OpenAI’s state-of-the-art language models, which allow it to process
natural language and generate human-like responses.
ChatGPTはOpenAI社の最先端の言語モデルによって機能する。この言語モデルのおかげで
ChatGPTは自然言語を処理し、人間のような反応を生成することができる。
In this article, we’ll take a closer look at (how ChatGPT works) and (the models that make it
possible).
この記事では、我々はどのようにChatGPTが動くかと、それを可能にするモデルの詳細をみま
す。
wondering: 不思議に思う
state-of-the-art 最先端の
cutting edge
close 近い

12. What is ChatGPT?
ChatGPT is a chatbot that uses natural language processing (NLP) to communicate with users.
ChatGPTはユーザーとコミュニケーションをするためにNLPを使ったチャットボットです。
It is built on top of OpenAI’s GPT (Generative Pretrained Transformer) architecture, which is a
type of deep learning model that is trained on massive amounts of text data.
ChatGPTはOpenAI社のGPTアーキテクチャに基づいて作られている。GPTアーキテクチャとい
うのは、大量のテキストデータによって訓練されたディープラーニングモデルの一種である。
The goal of the GPT architecture is to be able to generate coherent and human-like responses to
a wide variety of prompts.
そのGPTアーキテクチャの目的は、広範な入力に対して一貫した、そして人間のような反応を
生み出すことを可能にすることである。
build: 〜を建てる
architecture: アーキテクチャ
train: 〜を訓練する
massive: 大量の
coherent: 一貫した
prompt: (名詞として）刺激、（コマンドの）入力

13. The GPT architecture is based on a transformer model, which is a type of neural network that is
particularly well-suited for processing sequences of data.
そのGPTアーキテクチャはtransformerモデルに基づいている。transformerモデルは一連のデー
タを処理することに特に適したニューラルネットワークの一種である。
In the case of language processing, the sequences are the individual words in a sentence.
言語処理においては、その一連のデータはある文章における個々の単語である。
The transformer model is able to process these sequences in parallel, which makes it (much
faster) and (more efficient) than other types of models.
transformerモデルはこれらのシーケンスを同時に処理することが可能で、そのことで他のモデ
ルよりも処理をより速く、効果的に行うことができる。
particulaly: 特に
well-suited: よく適した
sequences of ~: 一連の〜
sentence: 文章
in parallel: 平行に、同時に
make A B : AをBにする
Q. Would you explain about the Transformer model in Japanese?
→Transformerモデルはニューラルネットワークの一種。
大量の文章を速く効果的に処理できるらしい。

14. How does ChatGPT work?
ChatGPT works by (taking in a user’s input) and (using its language model to generate a response).
ChatGPTは、ユーザーの入力を取り込み、反応を生成するために言語モデルを利用することによって
動く。
The model is pre-trained on a vast amount of text data, which allows it to (recognize patterns in
language) and (generate responses that are relevant to the user’s input).
そのモデルは大量のテキストデータで事前学習されている。それが、言語のパターンを認識し、ユー
ザーの入力に関連した反応を生成することを可能にする。
take in ~ : ~を取り込む
vast: 幅広い
pre-trained: 事前に訓練された
allow A to B: AにBすることを許す

15. The input is first tokenized, which means that it is broken down into individual words or subwords.
入力はまず、トークン化される。それは、入力が個々の単語やサブワードに分割されることを意味する。
The model then processes these tokens and generates a probability distribution over the
possible next words in the sequence.
言語モデルは、そして、これらのトークンを処理し、シーケンスにおけるありうる次の単語についての確率
分布を生成する。
This probability distribution is used to select the most likely next word, and the process is
repeated until the model generates a complete response.
この確率分布はもっともありそうな次の単語を選択するのに用いられ、その処理は言語モデル
が完全な反応を生成するまで繰り返される。
tokeninze: ~をトークン化する
subword: サブワード
probability distribution: 確率分布
Q. Would you tell me how ChatGPT generate appropriate responses?
どのようにChatGPTは適切な反応を生成しているんですか？
あの花は
速い 0.1
くさい 0.3
きれい 0.5
おいしい 0.1
です。
ですが、
だった。

16. One of the key features of ChatGPT is that it is able to generate responses that are contextually
relevant to the user’s input.
ChatGPTのメインの特徴の一つは、ユーザーの入力に対して、文脈に関連した反応を生成できる点にある。
This is because the model takes into account the previous tokens in the sequence when
generating each new token.
これは、そのモデルがそれぞれの新しいトークンを生成する際にシーケンスの中の前のトークンを考慮する
ことによる。
This allows it to (understand the overall meaning of the user’s input) and (generate responses
that are appropriate in that context).
これが、ユーザーの入力の全体の意味を理解し、その文脈で適切な反応を生成することを可能にしている。
feature: 特徴
take into account: ~を考慮する
previous: 前の
overall: 全体の
Q. Would you tell me how ChatGPT generate appropriate responses?
どのようにChatGPTは適切な反応を生成しているんですか？

17. What are the models behind ChatGPT?
chatGPTの背後にあるモデルは何？
As mentioned earlier, ChatGPT is built on (top of OpenAI’s GPT architecture).
先に述べた通り、ChatGPTはOpenAIのGPTアーキテクチャの先端に作られる。
There are currently three versions of the GPT model:
ここで、最新のGPTモデルの3つのバージョンを紹介する。
GPT-1: This was the first version of the GPT model, which was released in 2018.
これは、GPTモデルの最初のバージョンである。GPT1は2018年にリリースされた。
It was trained on a dataset of 40GB of text data and has 117 million parameters.
GPT1は40GBのテキストデータのデータセットで訓練される、1億1700万ものパラメータを
持っている。
mention: 言及する
currently: 最新の
train: ~を訓練する

18. •GPT-2: This is a more advanced version of the GPT model, which was released in 2019.
これは、GPTモデルのさらに進化したバージョンである。これは2019年にリリースされ
た。
It was trained on a dataset of 1.5TB of text data and has 1.5 billion parameters.
GPT2は1.5テラのデータセットで訓練され、15億のパラメータを持っている。
GPT-2 is considered to be one of the most powerful language models currently available.
(that It is one of the most powerful language models currently available.)
GPT-2は現在利用できる、最もパワフルな言語モデルの一つ 考えられている。
advanced: 進化した
consider: 〜を考慮する

19. •GPT-3: This is the latest and most powerful version of the GPT model, which was released in
2020.
これは、GPTモデルの最新で最もパワフルなバージョンである。2020年にリリースされ
た。
It was trained on a dataset of 570GB of text data and has a staggering 175 billion parameters.
570GBのテキストデータで訓練され、驚くべきことに1750億ものパラメータを持っている。
GPT-3 is able to generate responses that are almost indistinguishable from those written by
humans.
GPT-3は人間によって書かれた反応とほとんど見分けがつかない反応を生成することができる。
ChatGPT is built on top of the GPT-3 architecture, which allows it to generate incredibly
sophisticated responses to user inputs.
ChatGPTはGPT-3アーキテクチャの先端に基づいている。GPT-3はユーザの入力に対して
信じられないくらい洗練された反応を生成することを許す。
staggering : びっくりするほどの
generate: 〜を生成する
indistinguishable: 見分けがつかない
allow A to B: AがBするのを許可する
incredibly: 信じられないくらい
sophisticated: 洗練された

20. Conclusion（結論）
In conclusion, ChatGPT is a powerful chatbot that is able to generate human-like responses to a wide variety
of user inputs.
結論として、ChatGPTはパワフルなチャットボットである。それは幅広いユーザの入力に対して人間のよう
な反応を生成することができる。
It is powered by OpenAI’s GPT architecture, which is a type of deep learning model that is trained on massive
amounts of text data.
ChatGPTはOpenAI社のGPTアーキテクチャに動いている。GPTアーキテクチャは大量のテキストデータで
訓練されたディープラーニングモデルの一種である。
The model is able to (understand the context of the user’s input) and (generate responses that are
appropriate in that context).
そのモデルは、ユーザの入力の文脈を理解し、その文脈で適切な反応を生成することができる。
This is achieved through the use of a transformer model that is able to process sequences of data in parallel.
これは、並列に一連のデータを処理することができるtransformerモデルの利用を通して達成される。
power: ~にパワーを与える
massive: 大きな
appropriate: 適切な
in parallel: 並列に
achieve: 〜を達成する
through: ~を通して