MLOps with mlflow for beginner

1. MLOpsを始めよう！
[LT版] MLflowで学ぶMLOpsことはじめ
園田憲一
日本オラクル株式会社
ソリューションアーキテクト本部

2. 機械学習のワークフロー
Copyright © 2022, Oracle and/or its affiliates
2
①データの
収集
②データの
前処理
③学習・評価 ④デプロイ
• 整形されていない生
データ
• 企業内の様々なシス
テムで利用される
データストアに散在
するデータ
• データレイク、
RDB、オブジェクト
ストア、NoSQL、
Hadoopなど
• 生データから必要な
データ(特徴量)を抽出
し、機械学習に利用
できるように整形
• 整形されたデータを
統計処理にかけて予
測モデルを構築
• 予測モデルの精度を
評価し、目標の精度
を達成するまで繰り
返し学習する
• 構築した予測モデル
を本番環境にデプロ
イし、アプリケー
ションから利用でき
るようにする

3. 各ワークフローの試行錯誤
Copyright © 2022, Oracle and/or its affiliates
3
①データの
収集
②データの
前処理
③学習・評価 ④デプロイ
前処理にあまりに
も工数がかかりす
ぎたので、データ
取り込みを見直し
作ったモデルの精
度が低かったので
ハイパーパラメー
タを見直し
作ったモデルの精
度が低かったので
特徴量を見直し
(データセットを作
り直し)
作ったモデルの精
度が低かったので
学習手法を見直し
モデルの予測精度
が落ちてきたので、
新しいデータセッ
トで学習し直し
試行錯誤の上、モデルの予測精度向上 時間と共に変わるデータのトレンド

4. 思考錯誤の学習過程で生成されたデータを整理したい
Copyright © 2022, Oracle and/or its affiliates
4
メトリック
ハイパー
パラメータ
モデル
アーティファ
クト
データセット、
設定ファイル、
etc.
test.py
(version 1.0)
学習
どのデータセッ
トで実験したと
きの精度？ この実験のハイ
パーパラメータ
は何だったか？
学習時に利用し
たファイル郡
は？
(データセット、
ソースコード)
以前実行した実
験と比較したい
が。。。
学習
学習

5. 思考錯誤の学習過程で生成されたデータを整理したい
Copyright © 2022, Oracle and/or its affiliates
5
メトリック
ハイパー
パラメータ
モデル
アーティファ
クト
データセット、
設定ファイル、
etc.
test.py
(version 1.0)
学習
トラッキング
コード
データベースに記録
学習
学習
データベース
一度の実験で生成されたデータや利
用したファイルをワンセットに整理
整理して視覚化

6. ライブラリのバージョンや依存関係の問題を解消し、確実に学習、デプロイ
ができるようにしたい
Copyright © 2022, Oracle and/or its affiliates
6
Python
Library
ソースコード、デー
タファイル、etc.
ライブラリの依
存関係でエ
ラー。。。 ライブラリの
バージョン違い
でエラー。。。
必用なライブラ
リがインストー
ルされておらず
エラー。。。
実行
error
Python
Library
ソースコード、デー
タファイル、etc.

7. ライブラリのバージョンや依存関係の問題を解消し、確実に学習、デプロイ
ができるようにしたい
Copyright © 2022, Oracle and/or its affiliates
7
誰がどんな環境で実
行してもエラーなく
学習、デプロイ
ライブラリのバー
ジョンや依存関係を
キャプチャしてパッ
ケージ化
学習
✓ ソースコードの再利用
✓ 学習環境の可搬性
✓ 確実なデプロイ
✓ 異なる担当者の作業確実性
✓ ワークフローの標準化
Python
Library
ソースコード、デー
タファイル、etc.
conda
container
virtualenv
or
or
container
Successfully
Completed!!

8. モデルのライフサイクルを管理して
Copyright © 2022, Oracle and/or its affiliates
8
このモデルの
バージョン
は？
このモデルは
どのデータ
セットで実験
したのか？
このモデルは
どのソース
コードで実験
したのか？
このモデルは
いつリリース
したものか？
Staging Production Archived
ver1
ver2
ver3
ver1 ver1
ver2
test.py
(version 1.0)
Model 4
Model 1
Model 2
Model 3
deploy
deploy
update
update
update
学習
ライフサイクルが管理された状態
リリースス
テージとバー
ジョンを定義
し整理
各モデルの学
習詳細情報に
簡単にアクセ
ス

9. (例)mlflowのモデル管理イメージ
Copyright © 2022, Oracle and/or its affiliates
9
アーティファクト
として記録されて
いるモデル
モデルを登録
登録されたモデル
ステージ管理
バージョン管理

10. MLflow 構成例
Copyright © 2022, Oracle and/or its affiliates
10
学習環境
Object Storage
アーティファクト
ファイルの保存
Mlflow
Tracking Server
PostgreSQL
MySQL
SQLite
メトリック、パラメータ
その他メタデータの保存
MLコードにtracking serverを指定
set_tracking_uri('http://tracking_server_ip:/')
tracking serviceを起動
$ mlflow server --backend-store-uri mysql://user:pass@host:port/database_name
--default-artifact-root S3:/buket_name
--host tracking_server_ip
tracking service
http://tracking_server_ip
tracking
Web UIアクセス
S3もしくはS3互換APIで認証
AWS_ACCESS_KEY_ID = xxxxxxx
AWS_SECRET_ACCESS_KEY = xxxxxx
多数のユーザーのML開発環境を支えるMLOpsの統合共通基盤

11. Oracle Cloud InfrastructureでのMLOpsの構成例(mlflow版)
Copyright © 2022, Oracle and/or its affiliates
11
Object Storage
Data Science
MySQL Database
Service
Container Engine
For Kubernetes
Virtual Machine
Mlflow
Tracking Server
ML
学習環境
Tracking
各種ファイル、予
測モデルの保存
学習パラメータ
精度メトリックの保存
Deploy環境
• 学習を実行する度に、自動的
に各種情報(予測モデル、アー
ディファクト、メトリック、
パラメータ)をオブジェクト・
ストレージとDBに保存
• 整理された状態でWebUIから
閲覧
• 予測モデルのライフサイクルを一
元化されたモデルストアで管理
• モデルの整理、バージョニング、
リリース・フェーズの管理
• 学習時のライブラリの依存関係
をキャプチャしcondaもしくはコ
ンテナにパッケージ化
• モデル開発時とは異なる環境、
異なる人が再度学習する際の学
習環境の可搬性と学習の再現性
• 学習済みモデルのライブラリの
依存関係をキャプチャしcondaも
しくはコンテナにパッケージ化
• 学習済みモデルとデプロイ環境
の可搬性とデプロイの再現性
oracle-quickstartシリーズ(Terraformスクリプト)
https://github.com/oracle-quickstart/oci-mlflow