今回のW&Bミートアップでは、国内でいち早く独自のLLMモデルをリリースしたrinnaとCyberAgentから、それぞれのモデルの開発リーダーから、これまでのLLM開発の経緯や技術的なアプローチ、直面した課題やそれに対する解決方法、今後の取り組みやモデルを使ったビジネス展開のご予定などについて、お話いただける範囲でお話いただきたいと思ってます。

1. 1
Mar 2023
W&B Tokyo
Meetup #3
Confidential

2. 大切にしてること
● AI開発の実践者が集まる
● 最新のAI開発手法や事例から学ぶことができる
● 参加者が自由に発言し、理解を深めることができる
● 交流の中から新たなつながりや発想が生まれる
● Wandbをみなさんに使ってもらいたい！

3. W&Bからのお知らせ

4. 4
リンク

5. Optuna-on-Launch
実行した実験は自動的に
Jobとしてキャプチャされる
(= Objective Function)
事前に準備されたOptuna
のスケジューラジョブ

6. Multi-objective Optimizationプレビュー
lossと推論速度を同
時に最適化！
良好な精度と速度
を両立する条件
https://note.com/wandb_jp

7. https://note.com/wandb_jp/n/n2464e3d85c1a
LLM性能評価

8. LLMの日本語タスク評価を新機能”Launch”で実行!
LLMの日本語タスク評価する実行プロセスを
コンパイルしたJOBをW&Bで構築しました
JOBを計算を実行したいサーバー (AGENT)に
投げることができるようになります
モデルの評価結果は W&Bで確認できます
Hugging Face上のモデルを選らべます！
W&B Report “W&B Launchを使ってHuggingFace上のLLMを日本語タスク JGLEUで評価”

9. ジョブの構築 キューの作成 エージェントの起動
計算実行環境
学習や推論を
コンパイルしたジョブを構
築し、W&Bに登録
作成したジョブを実行
したい環境に投げる
キューを作成
学習や推論を実行し
たい環境でエージェ
ントを起動し、投げら
れたキューを実行
W&B
W&B / 実行環境
MLOps Engineerが
Launchの環境を構築
一度だけLaunchの環境を構築
Launchの環境構築
ML Scientistは
構築されたLaunchの
環境を使うだけ！
ジョブのconfig設定
W&B
W&B上で学習・推論した
いMLの細かい設定を作成
W&B
結果をW&B上で確認！
結果Runの確認
Launchの実行 ジョブをLaunchで実行
計算実行環境
W&B上でジョブ実行をボタ
ンを押し、計算実行環境に
てジョブを実行

10. 本日のメインイベント

11. 11