Download to read offline
Uploaded by西岡 賢一郎
Amazon SageMaker Foundation Modelsで事前学習済みモデルを利用する
機械学習の社会実装勉強会第21回 (https://machine-learning-workshop.connpass.com/event/275945/) の発表の資料です。
![[CTO Night & Day 2019] ML services: MLOps #ctonight](https://cdn.slidesharecdn.com/ss_thumbnails/ctond2019morningsessionml-191027185903-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Track3-1] ビジネスで役立つAIリテラシーから機械学習エンジニアリングまで実践形式で学ぶ課題解決型AI人材育成とは？〜国内最大AIコンペサイトの...](https://cdn.slidesharecdn.com/ss_thumbnails/20200801deeplearningdigitalconferencecompressedsignate-200807090158-thumbnail.jpg?width=640&height=640&fit=bounds)
Amazon SageMaker Foundation Modelsで事前学習済みモデルを利用する
- 1. Amazon SageMaker FoundationModelsで 事前学習済みモデルを利用する 大規模言語モデルを社会実装する 2023/03/25 第21回勉強会
- 2. 自己紹介 ● 名前: 西岡賢一郎 ○ Twitter: @ken_nishi ○ note: 西岡賢一郎@研究者から経営者へ (https://note.com/kenichiro) ○ YouTube: 【経営xデータサイエンスx開発】西岡 賢一郎のチャンネル (https://www.youtube.com/channel/UCpiskjqLv1AJg64jFCQIyBg) ● 経歴 ○ 東京大学で位置予測アルゴリズムを研究し博士 (学術) を取得 ○ 東京大学の博士課程在学中にデータサイエンスをもとにしたサービスを提供する株式会社ト ライディアを設立 ○ トライディアを別のIT会社に売却し、CTOとして3年半務め、2021年10月末にCTOを退職 ○ CDPのスタートアップと株式会社データインフォームドの2つに所属 ○ 自社および他社のプロダクト開発チーム・データサイエンスチームの立ち上げ経験
- 3. 本日のお話 ● 大規模言語モデルの社会実装 ● 事前学習モデル ●Amazon SageMaker Foundation Models ● デモ
- 4.
- 5. 言語モデルとそれを用いたサービスの普及 ● 言語モデルの研究が急速に進み、次々と大規模言語モデルが開発されている ○ GPT-3(Generative Pre-trained Transformer 3): OpenAIが開発した自然言語処理モデル ○ T5 (Text-to-Text Transfer Transformer): Googleが開発した自然言語処理モデル ○ BERT (Bidirectional Encoder Representations from Transformers): Googleが開発した自 然言語処理モデル ○ RoBERTa (Robustly Optimized BERT Pretraining Approach): Facebookが開発した自然言 語処理モデル ○ DALL-E: OpenAIによって開発された大規模言語モデル ● これらを用いたサービス開発も盛んになってきている ○ e.g. チャットボット、記事・レポート作成、翻訳など ● 大規模言語モデルを用いたサービス開発では大規模言語モデルを構築すると きの課題を乗り越えなければならない
- 6. 大規模言語モデルを構築する難しさ ● 計算資源 ○ 多くのパラメータを持つため、トレーニングや推論の際に高いコンピューティングパワーが必要 ●データ ○ トレーニングするために大量の多くのデータが必要 ○ 多くの場合、大量のデータを収集することは困難であり、また、データの品質やバランスを維持す ることも難しい。 ● トレーニング時間 ○ 大規模言語モデルをトレーニングするには、数週間から数ヶ月かかる ○ データの変化に対応するための定期的な再トレーニングのコストも高い ● パラメータ数の調整 ○ 多くのパラメータを持つため、適切なパラメータ数の決定が難しい ■ パラメータ数が多すぎると、トレーニング時間が長くなり、オーバーフィッティングのリスク が高くなる ■ パラメータ数が少なすぎると、モデルの表現力が制限される
- 7.
- 8.
- 9. 事前学習モデル ● 事前学習モデルは、深層学習など、パラメータ数が非常に多く、学習に膨大 な計算資源が必要とされるモデルでよく使われる ● 大量のデータを用いて事前に学習されたモデルであるため、少ないデータで も高い性能を発揮できる ●画像認識や自然言語処理など大量の学習データが必要なモデルでよく使われ る ● 事前学習モデルをファインチューニングすることで、特定のタスクに対して 高い性能を発揮することができる
- 10. 事前学習モデルを提供するサービス ● PyTorch Hub ●https://pytorch.org/hub/ ● 使い方
- 11.
- 12.
- 13. Amazon SageMaker Amazon SageMakerでは、FoundationModels (事前学習モデル) とそのモデル が動く環境が用意されている 事前学習モデル 計算環境
- 14. 提供されているFoundation Models ● AI21Jurassic: AI21 Labsが開発した言語モデル ● Cohere Generate Model: Cohere Technologiesが開発した言語モデル ● Lyra-Fr 10B: フランス語のキュレーションデータで学習させた言語モデル ● Bloom: 産業規模の計算資源を用いて膨大な量のテキストデータに対してプ ロンプトからテキストを継続するように訓練されている ● FLAN-T5: 適切なプロンプトがあれば、テキストの要約、常識的な推論、自 然言語推論、質問と回答、文/感傷の分類、翻訳、代名詞解決などのゼロシ ョットNLPタスクを実行可能 ● Stable Diffusion: テキストからイメージを作成するモデル
- 15. Foundation Modelsを使ってみる ● AmazonSageMaker > Jump Start > Foundation Models でモデル一覧が参 照可能 ● TokyoリージョンなどJump Startがそもそも提供されていないリージョンも ある
- 16. Model Overview モデルを選択すると以下が表示される ● モデルの説明 ●モデルのお試し機能 ● モデルを使うためのサンプルnotebook
- 17.
- 18. デモ ● Flan T5XLを使ったテキスト作成 ● https://github.com/knishioka/machine-learning- workshop/blob/main/sagemaker/foundation_models/flat-t5.ipynb
Editor's Notes
- #3 こちらが私のプロフィールとなります。 機械学習には、大学時代の研究から携わっており、自分で立ち上げたスタートアップでも機械学習を使ったサービスを提供していました。 プロダクト開発チームやデータサイエンスチームの立ち上げなどもやっています。
- #7 パフォーマンス：大規模言語モデルは、多くのパラメータを持つため、トレーニングや推論の際に高いコンピューティングパワーを必要とします。そのため、パフォーマンスの向上に対応するためには、高性能なハードウェアと効率的なアルゴリズムが必要です。 データ：大規模言語モデルをトレーニングするためには、多くのデータが必要です。しかし、多くの場合、大量のデータを収集することは困難であり、また、データの品質やバランスを維持することも難しい場合があります。 トレーニング時間：大規模言語モデルをトレーニングするには、通常、数週間から数ヶ月かかります。トレーニング時間が長くなると、データの変化に対応するために定期的に再トレーニングする必要があり、トレーニングコストが高くなることがあります。 パラメータ数の調整：大規模言語モデルは、多くのパラメータを持っています。パラメータ数が多すぎると、トレーニング時間が長くなり、オーバーフィッティングのリスクが高くなります。一方、パラメータ数が少なすぎると、モデルの表現力が制限されることがあります。適切なパラメータ数を決定することは、難しい問題です。