Downloaded 15 times
Uploaded byAkira Shibata
WeaveによるRAGシステムのLLM変更時の精度検証手順 by 布留川 英一（@npaka）
本イベントでは、Weights & Biasesの新機能「Weave」をご紹介いたします。まず、Weaveの基本的な使い方を解説し、その記録方法について詳しく説明します。Weaveでは、自動記録、関数による記録、モデルによる記録など、さまざまなアプローチを採用しており、それぞれの利点と適用方法についても触れていきます。 さらに、RAG（Retrieval-Augmented Generation）システムにおけるLLM（大規模言語モデル）の変更に伴う精度検証手順についても解説いたします。まず、RAGシステムのLLMをどのように変更するかを説明し、その後、評価指標を用いてシステムのパフォーマンスをどのように評価するかを詳しく見ていきます。最後に、実際の精度検証手順について、ステップバイステップでご紹介いたします。
WeaveによるRAGシステムのLLM変更時の精度検証手順 by 布留川 英一（@npaka）
- 1.
- 2. 2 自己紹介 ・布留川 英一 (ふるかわひでかず) ・ハンドル : npaka ・株式会社ゼルペム ・プログラム歴 40年 (1984) ・インターネット歴 30年 (1994) ・技術書歴 23年 (2001) 年間2冊ペースで50冊ほど
- 3.
- 4.
- 5. 5 アジェンダ 1. Weaveの紹介 1-1. Weaveの紹介 1-2.Weaveの使い方 1-3. Weaveの記録方法 (自動・関数・モデル) 2. RAGシステムのLLM変更時の精度検証手順 2-1. RAGシステムのLLM変更 2-2. RAGシステムの評価指標 2-3. RAGシステムの精度検証
- 6.
- 7.
- 8. 8 LLMアプリの記録・実験・評価のためのツール Weave https://weave-docs.wandb.ai/ ・記録 : LLMとのあらゆるやり取りを記録 ・実験: 様々なパラメータを試して結果を確認 ・評価 : モデルが改善されたかどうかを測定
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15. 15 Weaveの記録方法 1.自動的に記録 ・LLMオブジェクトの入出力を自動記録 2.関数の記録 - @weave.op() ・特定の関数の入出力を記録 ・関数レベルでのバージョン管理 3.モデルの記録- weave.Model ・モデルの属性と関数の記録 ・モデルレベルでのバージョン管理
- 16. 16 weave.init() のみで自動的に記録 1. 自動的に記録 https://weave-docs.wandb.ai/guides/integrations/ ・OpenAI ・Anthropic ・Cerebras ・Cohere ・MistralAI ・GoogleGemini ・Together AI ・Groq ・Open Router ・LiteLLM ・LangChain ・LlamaIndex ・DSPy
- 17. 17 2. 関数の記録 (1) 関数に@weave.op() を付加 関数の入出力を記録
- 18.
- 19. 19 3. モデルの記録 (1) クラスでweave.Model を継承 関数を記録 属性を記録
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27. 27 RAGシステムの精度検証 1. RAGの入出力を記録 2. 評価データセットの準備 3.評価関数の準備 4. 実験・評価 5. 評価の比較
- 28.
- 29.
- 30.
- 31.
- 32.
- 33. 33 複数の Evaluations を選択してCompare。 5.評価の比較 (1) Evaluations Compare
- 34.
- 35.