Google Bertを転移学習させた自作モデルでドキュメント検索した結果をIn-context LearningしたChat GPTで回答させるAPIの実装

1. Moriyuki Arakawa
Google Bertを転移学習させた自作モデルでドキュメント検索した結果を
In-context LearningしたChat GPTで回答させてみた
独自データを回答できるチャットボットを作ってみた

2. Hello!!
普段はruby node python goなどを使ってwebアプリ開発を
しているなんでも屋です。機械学習はたまぁに仕事があるくら
いですがちょっと勉強したのでLTします。
Name : Moriyuki Arakawa
@moriyuki_ar
新川 盛幸 https://www.facebook.com/profile.php?id=100006282603045
@arakawamoriyuki

3. 何を作ったの？
?

5. 自然言語で会話できるAIチャットサービス
Fine-tuningで独自データを学習もできるけど高い
Chat GPT？
?

6. 独自のデータでモデルのパラメータを更新する
なかなか個人でやりにくい金額なので今回はやらない
Fine-tuning？
?

7. モデルを変えることなく入出力例で学習させる
投げるメッセージにヒントをいれて文章生成
In-context Learning？
?

8. 引用元 https://elyza-inc.hatenablog.com/entry/2021/03/25/160727#In-context-Learning

9. Googleの検索エンジンに使われてる自然言語モデル
学習済みモデルが公開されている
Google Bert？
?

10. 引用元 https://aismiley.co.jp/ai_news/bert/

11. 学習済みモデルを拡張して別のタスクに特化させる
今回は3層の全結合層などなどを追加
Transfer Learning？
?

12. 引用元 https://zero2one.jp/ai-word/transfer-learning/

13. Datasets？
?

14. Results？
?

20. Thanks!!
細かい詳細はこのリポジトリへ
https://github.com/arakawamoriyuki/gpt-in-context-l
earning-on-google-bert-api