本ワークショップにおいてはローンチの基本的な概念に始まり、その設定方法、Optunaを使った最適化ジョブの実行までをご覧いただくことができます。ワークショップで使った資料・ノートブックなどは共有されますので、wandb.ai上ですぐにお試しいただくことができます。

1. 1
July 5th, 2023
Weights & Biases
W&B Launch-Optuna ウェビナー：
Optunaを使った高度な最適化を簡単に
並列処理に展開できる方法をご紹介

2. 2
Speakers Today
シバタ アキラ
カントリーマネージャー
Weights & Biases
機械学習エンジニア
Weights & Biases
山本 祐也
エンジニアPreferred
Networks
王 允卓

3. Agenda
● W&Bのご紹介（15分）
● Optunaのご紹介 （15分）
● Launch-Optuna連携機能の紹介（20分）
● Q&A（10分）

4. 4
リンク

5. Confidential. ©2021 DataRobot, Inc. – All rights reserved
https://note.com/wandb_jp/n/n2464e3d85c1a
https://wandb.connpass.com/event/288739/
直近のLLM関連ニュース

6. Launch機能のセッティングと
ジョブの実行

7. W&B Launch
W&B Launchは、現代のMLワークフローを支える大規模で特化したハードウェアと、機械学習エンジニアをつなぎ
ます。トレーニングのスケールアップ、モデル評価スイートの立ち上げ、また推論のためのモデルロード時にかける
手間をW&B Launchが省いてくれます。
ML Scientist
インフラの抽象化
MLOps
Engineer
ローカル学習 強力なハードウェア上で学
習と最適化をスケール
…..
インフラが抽象化され、W&B UI
上でモデル学習を効率化
インフラを一度設定した後は、ML
エンジニアに渡した後もガバナン
スと管理が簡単に
W&B Launch

8. W&B Launch
実行した実験は自動的に
Jobとしてキャプチャされる

9. 複雑なインフラを抽象化す
る
● MLエンジニアをシームレスにGPUsに繋げる
● 学習とハイパーパラメータ最適化を自動化によっ
て加速し、スケールする
● 高価な投資を最適化し、MLOpsへの橋渡しをす
る
Abstracting away the complexity of using
the infrastructure for our researchers is very
beneficial to our overall team. W&B greatly
simplifies our work, letting us focus on
reliability and reproducibility of results.
—Orlando Avila-Garcia, AI Principal Researcher
9

10. Sweeps with Launchによる
ハイパーパラメータの最適化

11. W&B Launch
実行した実験は自動的に
Jobとしてキャプチャされる

12. Optuna-on-Launch
実行した実験は自動的に
Jobとしてキャプチャされる
(= Objective Function)
事前に準備された Optuna
のスケジューラジョブ

13. 最適化に関するセッティングの比較
Search Space Objective Function
Optuna-on-Launch
の場合
Target
通常の場合 左で定義した関数の戻り値
import optuna
def objective(trial):
lr = trial.suggest_loguniform('lr', 1e-5, 1e-1)
dropout = trial.suggest_uniform('dropout', 0.0, 1.0)
optimizer_name = trial.suggest_categorical('optimizer', ['Adam', 'RMSprop', 'SGD'])
# モデルの構築・学習・評価のコード...
return valid_loss
既に自動的にキャプチャされたジョブ 既にトラックしているメトリック
あとはyamlで探索空間と
最適化手法を指定するだ
けで任意の環境で最適化
が走る！

14. Multi-objective Optimizationプレビュー
lossと推論速度を同
時に最適化！
良好な精度と速度を
両立する条件
https://note.com/wandb_jp

15. contact-jp@wandb.com