Download as PDF, PPTX
![大規模言語モデル(Large Language Model)
• 膨 大 な 量 の コ ー パ ス （ 学 習 用 テ キ ス ト
デ ー タ ） を 用 い て 単 語 間 の 関 係 性 を 推
論 す る
• 単 語 の 関 係 性 を 推 論 す る モ デ ル の 処 理
能 力 を 飛 躍 的 に 高 め る 仕 組 み で 、 大 規
模 な 学 習 を 可 能 と し た
• G P T - 3 は 、 1 , 7 6 0 億 個 ・ 5 7 0 G B の デ ー
タ セ ッ ト ( 書 籍 ・ 記 事 ・ W e b サ イ ト ) を
用 い て 学 習 し て い る
© Webpla LLC. 8
隠 さ れ た 単 語 の 予 測
すもも も もも も [***] の うち
名詞
↓
バラ科
サクラ属
名詞
↓
バラ科
スモモ属
バラ科
↓
もも
バラ科
出所：ChatGPT 研究所(2023). “ChatGPTの仕組み超解説”. ChatGPT Lab.](https://image.slidesharecdn.com/ma-chatgpt2023-03-28-230329122502-ced3c1e7/85/MA-7-ChatGPT-2023-03-28-8-320.jpg)
![LINE JSONフォーマット
© Webpla LLC. 21
{
'events': [{
ʻtimestampʼ: [UNIXタイムスタンプ],
ʻreplyTokenʼ: ʻ******************************',
'message': {
'type': 'text',
ʻidʼ: ʻ[投稿ID]',
ʻtextʼ: ʻ[発話内容]'
},
'type': 'message',
'source': {
ʻuserIdʼ: ʻ[ユーザーID]',
'type': ʻ[user / room / group]'
}
}]
}](https://image.slidesharecdn.com/ma-chatgpt2023-03-28-230329122502-ced3c1e7/85/MA-7-ChatGPT-2023-03-28-21-320.jpg)
![OpenAI API 送信JSONフォーマット
© Webpla LLC. 22
({
'model': 'gpt-4ʼ,
ʻmax̲tokensʼ : [トークン上限値],
ʻtemperatureʼ : [ランダム性値, 0-2],
'messages': [
{"role": "system", "content": gptChara },
{"role": "user", "content": userMessage }
]
})](https://image.slidesharecdn.com/ma-chatgpt2023-03-28-230329122502-ced3c1e7/85/MA-7-ChatGPT-2023-03-28-22-320.jpg)
![OpenAI API 返信JSONフォーマット
© Webpla LLC. 23
{
message: {
role: 'assistantʼ,
content: ʻ[応答文]ʼ
},
finish̲reason: 'stopʼ,
index: 0
}](https://image.slidesharecdn.com/ma-chatgpt2023-03-28-230329122502-ced3c1e7/85/MA-7-ChatGPT-2023-03-28-23-320.jpg)
Uploaded byWebpla LLC.
MAごころを、君に - #7 ChatGPT勉強会（2023-03-28）
2023年3月28日開催。自然言語処理への夢やChatGPTへの愚痴をこぼしながら、独自ボットの制作方法について実演とともに解説した際の資料です。
![[DL輪読会]It's not just size that maters small language models are also few sho...](https://cdn.slidesharecdn.com/ss_thumbnails/itsnotjustsizethatmaterssmalllanguagemodelsarealsofew-shotlearners-210910034516-thumbnail.jpg?width=640&height=640&fit=bounds)
MAごころを、君に - #7 ChatGPT勉強会（2023-03-28）
- 1. M A ごこ ろ を 、 君 に # 7 鳴 ら な い チ ャ ッ ト © Webpla LLC. 1
- 2. 自己紹介 • 1 99 5 年 、 W i n d o w s 9 5 の 発 売 と と も に W e b 開 発 開 始 。 • 2 0 0 4 年 よ り 人 材 業 界 を 中 心 に 、 デ ジ タ ル マ ー ケ テ ィ ン グ に 従 事 。 • 2 0 1 7 年 、 チ ャ ッ ト ボ ッ ト 開 発 開 始 。 • 2 0 1 9 年 1 月 、 ウ ェ ブ プ ラ 合 同 会 社 設 立 。 • デ ジ タ ル マ ー ケ テ ィ ン グ コ ン サ ル テ ィ ン グ や 各 種 研 修 講 師 な ど 。 • 今 後 は 学 習 コ ミ ュ ニ テ ィ 型 書 店 を 目 指 し て 活 動 し ま す 。 寺岡 幸二 @webplajp ウ ェ ブ プ ラ 合 同 会 社 代 表 © Webpla LLC. 2
- 3. 本日のテーマ ChatGPT as Natural LanguageProcessing © Webpla LLC. 3 将 来 の 夢 は ク ラ ウ ド に な る こ と （ 具 体 的 に は チ ャ ッ ト ボ ッ ト ） の 寺 岡 が 、 今 話 題 の 人 工 知 能 チ ャ ッ ト ボ ッ ト 「 C h a t G P T 」 へ の 愚 痴 や 憧 れ を 語 り ま す 。 つ い で に 自 然 言 語 処 理 の 仕 組 み や 歴 史 と と も に 、 G o o g l e A p p s S c r i p t を 活 用 し た サ ー バ ー レ ス 開 発 に つ い て も 触 れ て い き ま す 。
- 4. マズローの欲求五段階説 • 人 は、 活 動 の 大 部 分 を 物 質 的 欲 求 に 支 配 さ れ て い る • 「 心 理 的 安 全 性 」 の 重 要 性 を 解 明 し た G o o g l e で さ え 、 レ イ オ フ に よ っ て そ の 基 盤 は 簡 単 に 覆 さ れ る こ と を 示 し た • 魂 と 肉 体 の 解 放 に よ る 全 人 類 の 進 化 と 意 識 の 統 合 = ク ラ ウ ド 化 こ そ 、 真 の 心 理 的 安 全 性 で あ る © Webpla LLC. 4
- 5. 第 一 部 Cha t G P T と 自 然 言 語 処 理 © Webpla LLC. 5
- 6. ChatGPTとは • O pe n A I が 開 発 、 2 0 2 2 年 1 1 月 に 公 開 さ れ た 、 大 規 模 言 語 モ デ ル の 自 然 言 語 処 理 サ ー ビ ス • G P T ( G e n e r a t i v e P r e - t r a i n e d T r a n s f o r m e r ) と は 、 「 生 成 可 能 な 事 前 学 習 済 み 変 換 器 」 と い う 意 味 • G P T - 3 フ ァ ミ リ ー の 言 語 モ デ ル を 基 に 構 築 さ れ て お り 、 教 師 あ り 学 習 と 強 化 学 習 の 両 方 の 手 法 で 転 移 学 習 さ れ て い る © Webpla LLC. 6
- 7. 自然言語処理(Natural Language Processing) •人 間 が 日 常 的 に 使 っ て い る 自 然 言 語 を コ ン ピ ュ ー タ に 処 理 さ せ る 一 連 の 技 術 • N L P と 称 さ れ る 、 人 工 知 能 と 言 語 学 の 一 分 野 • 形 態 素 解 析 と 構 文 解 析 ・ 文 脈 解 析 ・ 意 味 解 析 な ど を つ う じ て 発 話 を 理 解 す る • 日 本 語 は 単 語 の 分 か ち 書 き を し な い た め 、 単 語 の 区 切 り を 明 確 に す る 手 順 が 必 要 © Webpla LLC. 7 形 態 素 解 析 すもももももももものうち ↓ すもも も もも も もも の うち 助詞 名詞 ↓ バラ科 サクラ属 助詞 名詞 ↓ バラ科 スモモ属 名詞 ↓ バラ目 バラ科 助詞 名詞
- 8. 大規模言語モデル(Large Language Model) •膨 大 な 量 の コ ー パ ス （ 学 習 用 テ キ ス ト デ ー タ ） を 用 い て 単 語 間 の 関 係 性 を 推 論 す る • 単 語 の 関 係 性 を 推 論 す る モ デ ル の 処 理 能 力 を 飛 躍 的 に 高 め る 仕 組 み で 、 大 規 模 な 学 習 を 可 能 と し た • G P T - 3 は 、 1 , 7 6 0 億 個 ・ 5 7 0 G B の デ ー タ セ ッ ト ( 書 籍 ・ 記 事 ・ W e b サ イ ト ) を 用 い て 学 習 し て い る © Webpla LLC. 8 隠 さ れ た 単 語 の 予 測 すもも も もも も [***] の うち 名詞 ↓ バラ科 サクラ属 名詞 ↓ バラ科 スモモ属 バラ科 ↓ もも バラ科 出所：ChatGPT 研究所(2023). “ChatGPTの仕組み超解説”. ChatGPT Lab.
- 9. 機械学習の3つの種類 1 . 教師 な し 学 習 ( 構 造 の 学 習 ) 入 力 デ ー タ か ら 、 デ ー タ の 背 景 に あ る 隠 れ た パ タ ー ン や 構 造 を 見 つ け 出 す 2 . 教 師 あ り 学 習 ( 関 係 の 学 習 ) 入 力 デ ー タ と 出 力 デ ー タ が 揃 っ て お り 、 入 力 デ ー タ か ら 出 力 デ ー タ を 推 計 す る 3 . 強 化 学 習 ( 価 値 最 大 化 の 試 行 錯 誤 ) 入 出 力 デ ー タ を 与 え ず 、 シ ス テ ム 自 身 が 試 行 錯 誤 し な が ら 精 度 を 高 め て い く © Webpla LLC. 9 出所：The MathWorks, Inc(2023). “強化学習 これだけは知っておきたい 3 つのこと”. The MathWorks.
- 10. 転移学習 • あ る領 域 の 学 習 済 み モ デ ル を 、 類 似 し た 別 の 領 域 の 学 習 に 適 用 さ せ る 手 法 • 学 習 済 み の 一 般 的 な モ デ ル を 再 利 用 す る こ と で 、 限 ら れ た デ ー タ 数 で あ っ て も 高 精 度 な モ デ ル を 作 成 で き る • 学 習 時 間 を 短 縮 し 、 コ ン ピ ュ ー テ ィ ン グ リ ソ ー ス も 削 減 で き る • 人 間 の 「 学 習 の 転 移 」 に 類 似 す る 行 為 © Webpla LLC. 10 犬の画像 データ 犬種判別 モデル 学習 猫の画像 データ 学習 猫種判別 モデル 出所：Ledge AI 編集部(2023). “転移学習とは”. Ledge AI. 転移(利用)
- 11. 発展期 忍耐期 黎明期 自然言語処理の歴史 © Webpla LLC.11 1946 コンピュータ誕生 露→英 機械翻訳 開始 1966 2011 ALPAC報告書 「機械翻訳 は困難」 IBM Watson クイズ王に 勝利 Google Word2Vec 発表 2013 2017 1952 2022 OpenAI ChatGPT 発表 Google Transformer 発表 出所：宇田川 忠朋(2019). “自然言語処理の歴史的背景を紹介！ さらなる実用化に向けて”. アクセルユニバース株式会社.を引用して改変
- 12. 第 二 部 Cha t G P T の 基 本 的 な 使 い 方 © Webpla LLC. 12
- 13. ChatGPT(GPT-3/4)の利用方法 © Webpla LLC.13 種別 料金 バージョン 補足 ChatGPT 無料 GPT-3.5 一定時間内でのリクエスト制限 あり ChatGPT Plus $20 / 月 GPT-4 OpenAI API (Text Completion) 有料 ※性能による GPT-3.0 GPT-3.5 GPT-4 APIによる送受信は学習に利用さ れない ChatGPT Plugin 未確認 未確認 ※独自データを参照可能(っぽい) NEW
- 14. 主なできること © Webpla LLC.14 できること 内容 1. 質問への返答 質問に対して学習結果から返答する。 ※推論のため信頼性に欠ける 2. 意見出し 構想に対して学習結果から質問を投げかける。いわゆる壁打ち。 3. ブレインストーミング アイデアを求めると、条件に合わせて検討結果を返答する。 4. ライティング 要件に併せて、学習結果から文章を生成する。 ※推論のため信頼性に欠ける 5. 要約・リスト化 与えた文章を要約したtリ、リスト化したりする。 6. スケジューリング 与えた条件に応じたタスクリストとタイムスケジュールを作成する。 7. コーディング 与えた条件を満たすプログラムコードを生成する。 8. 人格形成 与えた人格に応じて、返答内容を調整する。
- 15. コミュニケーションを学ぶなら © Webpla LLC.15 コミュニケーションの もどかしさがなくなる本 (中村 青瑚, 2021/9/8) 苦手な人を、苦手なまま、楽に付き合えるようになる！ 人の思考タイプを６色に分類し、各タイプの特徴を解説。 相手のタイプに合わせたコミュニケーションの方法等を紹介 しています。
- 16. 第 3 部 OPe n A I A P I を 用 い た チ ャ ッ ト ボ ッ ト 開 発 © Webpla LLC. 16
- 17. OpennAI APIの利用方法 1 .O p e n A I A P I に ア ク セ ス h t t p s : / / p l a t f o r m . o p e n a i . c o m / s i g n u p 2 . ア カ ウ ン ト を 新 規 作 成 、 ま た は ロ グ イ ン 3 . 右 上 の ア カ ウ ン ト ア イ コ ン か ら 、 「 V I E W A P I K e y 」 を 選 択 4 . 「 + C r e a t e n e w s e c r e t k e y 」 で A P I キ ー を 発 行 ※ プ ラ ン 契 約 し な い と 利 用 不 可 © Webpla LLC. 17
- 18. Google Apps © WebplaLLC. 18 • G o o g l e が 提 供 す る ア プ リ ケ ー シ ョ ン 開 発 プ ラ ッ ト フ ォ ー ム • 主 に G o o g l e の サ ー ビ ス を 自 動 化 す る 、 J a v a S c r i p t を ベ ー ス と し た 言 語 • W e b ア プ リ と し て U R L を 持 た せ る こ と も 可 能 な た め 、 サ ー バ ー レ ス 環 境 と し て の 利 用 も 可 能
- 19. LINE Messaging API ©Webpla LLC. 19 • L I N E 公 式 ア カ ウ ン ト 上 の L I N E ユ ー ザ ー と コ ミ ュ ニ ケ ー シ ョ ン す る た め の A P I • ユ ー ザ ー の 発 話 に 対 し て 返 答 す る R e p l y M e s s a g e だ け で な く 、 公 式 ア カ ウ ン ト か ら 状 況 に 応 じ た P u s h M e s s a g e も 送 信 可 能 • テ キ ス ト ・ ス タ ン プ ※・ 動 画 ・ 静 止 画 ・ リ ス ト 形 式 な ど 、 送 信 フ ォ ー マ ッ ト も 多 彩 ※ 一 部 の ス タ ン プ に 限 る
- 20. システム構成 © Webpla LLC.20 結婚してください 発話内容の受取り GPT用JSON作成 入力 処理 応答文生成 応答文の受取り LINE用JSON作成 できません Plugin Webhook API A P I A P I 応答JSON作成
- 21. LINE JSONフォーマット © WebplaLLC. 21 { 'events': [{ ʻtimestampʼ: [UNIXタイムスタンプ], ʻreplyTokenʼ: ʻ******************************', 'message': { 'type': 'text', ʻidʼ: ʻ[投稿ID]', ʻtextʼ: ʻ[発話内容]' }, 'type': 'message', 'source': { ʻuserIdʼ: ʻ[ユーザーID]', 'type': ʻ[user / room / group]' } }] }
- 22. OpenAI API 送信JSONフォーマット ©Webpla LLC. 22 ({ 'model': 'gpt-4ʼ, ʻmax̲tokensʼ : [トークン上限値], ʻtemperatureʼ : [ランダム性値, 0-2], 'messages': [ {"role": "system", "content": gptChara }, {"role": "user", "content": userMessage } ] })
- 23. OpenAI API 返信JSONフォーマット ©Webpla LLC. 23 { message: { role: 'assistantʼ, content: ʻ[応答文]ʼ }, finish̲reason: 'stopʼ, index: 0 }
- 24. ティラミクさん © Webpla LLC.24 非公開
- 25. まとめ © Webpla LLC.25 ミクさんは正義。
- 26. Thank you. © WebplaLLC. 26