![最適化に関するセッティングの比較
Search Space Objective Function
Optuna-on-Launch
の場合
Target
通常の場合 左で定義した関数の戻り値
import optuna
def objective(trial):
lr = trial.suggest_loguniform('lr', 1e-5, 1e-1)
dropout = trial.suggest_uniform('dropout', 0.0, 1.0)
optimizer_name = trial.suggest_categorical('optimizer', ['Adam', 'RMSprop', 'SGD'])
# モデルの構築・学習・評価のコード...
return valid_loss
既に自動的にキャプチャされたジョブ 既にトラックしているメトリック
あとはyamlで探索空間と
最適化手法を指定するだ
けで任意の環境で最適化
が走る！](https://image.slidesharecdn.com/20230705-optunaintegrationtoshare-230706002028-4c79c94f/75/20230705-optuna-integration-to-sharepdf-13-2048.jpg?cb=1688625470)
20230705 - Optuna Integration (to share).pdf
•0 likes•103 views
Report
Share
Download to read offline
本ワークショップにおいてはローンチの基本的な概念に始まり、その設定方法、Optunaを使った最適化ジョブの実行までをご覧いただくことができます。ワークショップで使った資料・ノートブックなどは共有されますので、wandb.ai上ですぐにお試しいただくことができます。
Recommended
More Related Content
Similar to 20230705 - Optuna Integration (to share).pdf
Similar to 20230705 - Optuna Integration (to share).pdf(20)
More from Akira Shibata
More from Akira Shibata(20)
Recently uploaded
Recently uploaded(10)
20230705 - Optuna Integration (to share).pdf
- 1. 1 July 5th, 2023 Weights & Biases W&B Launch-Optuna ウェビナー： Optunaを使った高度な最適化を簡単に 並列処理に展開できる方法をご紹介
- 2. 2 Speakers Today シバタ アキラ カントリーマネージャー Weights & Biases 機械学習エンジニア Weights & Biases 山本 祐也 エンジニアPreferred Networks 王 允卓
- 3. Agenda ● W&Bのご紹介（15分） ● Optunaのご紹介 （15分） ● Launch-Optuna連携機能の紹介（20分） ● Q&A（10分）
- 4. 4 リンク
- 5. Confidential. ©2021 DataRobot, Inc. – All rights reserved https://note.com/wandb_jp/n/n2464e3d85c1a https://wandb.connpass.com/event/288739/ 直近のLLM関連ニュース
- 7. W&B Launch W&B Launchは、現代のMLワークフローを支える大規模で特化したハードウェアと、機械学習エンジニアをつなぎ ます。トレーニングのスケールアップ、モデル評価スイートの立ち上げ、また推論のためのモデルロード時にかける 手間をW&B Launchが省いてくれます。 ML Scientist インフラの抽象化 MLOps Engineer ローカル学習 強力なハードウェア上で学 習と最適化をスケール ….. インフラが抽象化され、W&B UI 上でモデル学習を効率化 インフラを一度設定した後は、ML エンジニアに渡した後もガバナン スと管理が簡単に W&B Launch
- 9. 複雑なインフラを抽象化す る ● MLエンジニアをシームレスにGPUsに繋げる ● 学習とハイパーパラメータ最適化を自動化によっ て加速し、スケールする ● 高価な投資を最適化し、MLOpsへの橋渡しをす る Abstracting away the complexity of using the infrastructure for our researchers is very beneficial to our overall team. W&B greatly simplifies our work, letting us focus on reliability and reproducibility of results. —Orlando Avila-Garcia, AI Principal Researcher 9
- 12. Optuna-on-Launch 実行した実験は自動的に Jobとしてキャプチャされる (= Objective Function) 事前に準備された Optuna のスケジューラジョブ
- 13. 最適化に関するセッティングの比較 Search Space Objective Function Optuna-on-Launch の場合 Target 通常の場合 左で定義した関数の戻り値 import optuna def objective(trial): lr = trial.suggest_loguniform('lr', 1e-5, 1e-1) dropout = trial.suggest_uniform('dropout', 0.0, 1.0) optimizer_name = trial.suggest_categorical('optimizer', ['Adam', 'RMSprop', 'SGD']) # モデルの構築・学習・評価のコード... return valid_loss 既に自動的にキャプチャされたジョブ 既にトラックしているメトリック あとはyamlで探索空間と 最適化手法を指定するだ けで任意の環境で最適化 が走る！