Submit Search
Upload
AWS + MLflow + SageMakerの環境を動かしてみたお話
•
0 likes
•
777 views
I
ItohHiroki
Follow
2022/02/16 MLOps勉強会のLT発表資料です。 https://mlops.connpass.com/event/236071/
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 13
Download now
Download to read offline
Recommended
MLOps入門
MLOps入門
Hiro Mura
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
Amazon SageMaker で始める機械学習
Amazon SageMaker で始める機械学習
Amazon Web Services Japan
(修正)機械学習デザインパターン(ML Design Patterns)の解説
(修正)機械学習デザインパターン(ML Design Patterns)の解説
Hironori Washizaki
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
Yahoo!デベロッパーネットワーク
Recommended
MLOps入門
MLOps入門
Hiro Mura
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
Amazon SageMaker で始める機械学習
Amazon SageMaker で始める機械学習
Amazon Web Services Japan
(修正)機械学習デザインパターン(ML Design Patterns)の解説
(修正)機械学習デザインパターン(ML Design Patterns)の解説
Hironori Washizaki
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
Yahoo!デベロッパーネットワーク
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
DeNAにおける先端AI技術活用のチャレンジ
DeNAにおける先端AI技術活用のチャレンジ
Yusuke Uchida
Amazon SageMakerでカスタムコンテナを使った学習
Amazon SageMakerでカスタムコンテナを使った学習
西岡 賢一郎
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
Data-centricなML開発
Data-centricなML開発
Takeshi Suzuki
Machine learning CI/CD with OSS
Machine learning CI/CD with OSS
yusuke shibui
DockerコンテナでGitを使う
DockerコンテナでGitを使う
Kazuhiro Suga
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Shota Imai
MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理
Takeshi Yamamuro
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
Ayako_Hasegawa
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
グラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみた
CData Software Japan
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
MLOpsの概要と初学者が気をつけたほうが良いこと
MLOpsの概要と初学者が気をつけたほうが良いこと
Sho Tanaka
Ml system in_python
Ml system in_python
yusuke shibui
画像認識モデルを作るための鉄板レシピ
画像認識モデルを作るための鉄板レシピ
Takahiro Kubo
Getting started with MLOps
Getting started with MLOps
yusuke shibui
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向
Kensho Hara
(2017.6.9) Neo4jの可視化ライブラリまとめ
(2017.6.9) Neo4jの可視化ライブラリまとめ
Mitsutoshi Kiuchi
【de:code 2020】 アマダの Azure への取り組みと DevOPS・MLOPS 環境の構築と運用
【de:code 2020】 アマダの Azure への取り組みと DevOPS・MLOPS 環境の構築と運用
日本マイクロソフト株式会社
東北大学AIE - 機械学習中級編とAzure紹介
東北大学AIE - 機械学習中級編とAzure紹介
Daiyu Hatakeyama
More Related Content
What's hot
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
DeNAにおける先端AI技術活用のチャレンジ
DeNAにおける先端AI技術活用のチャレンジ
Yusuke Uchida
Amazon SageMakerでカスタムコンテナを使った学習
Amazon SageMakerでカスタムコンテナを使った学習
西岡 賢一郎
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
Data-centricなML開発
Data-centricなML開発
Takeshi Suzuki
Machine learning CI/CD with OSS
Machine learning CI/CD with OSS
yusuke shibui
DockerコンテナでGitを使う
DockerコンテナでGitを使う
Kazuhiro Suga
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Shota Imai
MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理
Takeshi Yamamuro
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
Ayako_Hasegawa
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
グラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみた
CData Software Japan
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
MLOpsの概要と初学者が気をつけたほうが良いこと
MLOpsの概要と初学者が気をつけたほうが良いこと
Sho Tanaka
Ml system in_python
Ml system in_python
yusuke shibui
画像認識モデルを作るための鉄板レシピ
画像認識モデルを作るための鉄板レシピ
Takahiro Kubo
Getting started with MLOps
Getting started with MLOps
yusuke shibui
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向
Kensho Hara
(2017.6.9) Neo4jの可視化ライブラリまとめ
(2017.6.9) Neo4jの可視化ライブラリまとめ
Mitsutoshi Kiuchi
What's hot
(20)
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
DeNAにおける先端AI技術活用のチャレンジ
DeNAにおける先端AI技術活用のチャレンジ
Amazon SageMakerでカスタムコンテナを使った学習
Amazon SageMakerでカスタムコンテナを使った学習
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
Data-centricなML開発
Data-centricなML開発
Machine learning CI/CD with OSS
Machine learning CI/CD with OSS
DockerコンテナでGitを使う
DockerコンテナでGitを使う
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
グラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみた
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
MLOpsの概要と初学者が気をつけたほうが良いこと
MLOpsの概要と初学者が気をつけたほうが良いこと
Ml system in_python
Ml system in_python
画像認識モデルを作るための鉄板レシピ
画像認識モデルを作るための鉄板レシピ
Getting started with MLOps
Getting started with MLOps
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向
(2017.6.9) Neo4jの可視化ライブラリまとめ
(2017.6.9) Neo4jの可視化ライブラリまとめ
Similar to AWS + MLflow + SageMakerの環境を動かしてみたお話
【de:code 2020】 アマダの Azure への取り組みと DevOPS・MLOPS 環境の構築と運用
【de:code 2020】 アマダの Azure への取り組みと DevOPS・MLOPS 環境の構築と運用
日本マイクロソフト株式会社
東北大学AIE - 機械学習中級編とAzure紹介
東北大学AIE - 機械学習中級編とAzure紹介
Daiyu Hatakeyama
Azure machine learning service 最新の機械学習プラットフォーム
Azure machine learning service 最新の機械学習プラットフォーム
Keita Onabuta
初心者歓迎 機械学習Chalk Talk (de:codeリバイバル) in Osaka -
初心者歓迎 機械学習Chalk Talk (de:codeリバイバル) in Osaka -
Daiyu Hatakeyama
Azure Machine Learning アップデートセミナー 20191127
Azure Machine Learning アップデートセミナー 20191127
Keita Onabuta
機械学習を用いたAWS CloudTrailログの積極的活用
機械学習を用いたAWS CloudTrailログの積極的活用
kz-takahashi
AutoML & InterpretML (2019/11/27 Deep Learning Lab 講演資料)
AutoML & InterpretML (2019/11/27 Deep Learning Lab 講演資料)
Keita Onabuta
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
Takuya Minagawa
Azure MLによるWeb Serviceの作り方
Azure MLによるWeb Serviceの作り方
nishioka1
Swtt2018 sfdgr2 Developer Group ルーキー会が教える!次の一歩のための開発ノウハウ
Swtt2018 sfdgr2 Developer Group ルーキー会が教える!次の一歩のための開発ノウハウ
SFDG ROOKIES
AIビジネスクリエーションワークショップ@東京
AIビジネスクリエーションワークショップ@東京
Deep Learning Lab(ディープラーニング・ラボ)
MySQLで学ぶ機械学習ことはじめ.pdf
MySQLで学ぶ機械学習ことはじめ.pdf
Machiko Ikoma
アルゴリズムから学ぶAzure mlモジュールの使いこなし方 hd-insight編-
アルゴリズムから学ぶAzure mlモジュールの使いこなし方 hd-insight編-
貴志 上坂
JavaScriptテンプレートエンジンで活かすData API
JavaScriptテンプレートエンジンで活かすData API
Hajime Fujimoto
JAWSUG初心者向けトラック 【Deploy&Ops】
JAWSUG初心者向けトラック 【Deploy&Ops】
Yukihiko SAWANOBORI
Azure Machine Learning getting started
Azure Machine Learning getting started
Masayuki Ota
[第37回 Machine Learning 15minutes!] Microsoft AI - Build 2019 Updates ~ Azure ...
[第37回 Machine Learning 15minutes!] Microsoft AI - Build 2019 Updates ~ Azure ...
Naoki (Neo) SATO
TensorFlowをもう少し詳しく入門
TensorFlowをもう少し詳しく入門
tak9029
DevSummit_2022_summer_MLOps.pdf
DevSummit_2022_summer_MLOps.pdf
yusuke shibui
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
Naoyuki Yamada
Similar to AWS + MLflow + SageMakerの環境を動かしてみたお話
(20)
【de:code 2020】 アマダの Azure への取り組みと DevOPS・MLOPS 環境の構築と運用
【de:code 2020】 アマダの Azure への取り組みと DevOPS・MLOPS 環境の構築と運用
東北大学AIE - 機械学習中級編とAzure紹介
東北大学AIE - 機械学習中級編とAzure紹介
Azure machine learning service 最新の機械学習プラットフォーム
Azure machine learning service 最新の機械学習プラットフォーム
初心者歓迎 機械学習Chalk Talk (de:codeリバイバル) in Osaka -
初心者歓迎 機械学習Chalk Talk (de:codeリバイバル) in Osaka -
Azure Machine Learning アップデートセミナー 20191127
Azure Machine Learning アップデートセミナー 20191127
機械学習を用いたAWS CloudTrailログの積極的活用
機械学習を用いたAWS CloudTrailログの積極的活用
AutoML & InterpretML (2019/11/27 Deep Learning Lab 講演資料)
AutoML & InterpretML (2019/11/27 Deep Learning Lab 講演資料)
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
Azure MLによるWeb Serviceの作り方
Azure MLによるWeb Serviceの作り方
Swtt2018 sfdgr2 Developer Group ルーキー会が教える!次の一歩のための開発ノウハウ
Swtt2018 sfdgr2 Developer Group ルーキー会が教える!次の一歩のための開発ノウハウ
AIビジネスクリエーションワークショップ@東京
AIビジネスクリエーションワークショップ@東京
MySQLで学ぶ機械学習ことはじめ.pdf
MySQLで学ぶ機械学習ことはじめ.pdf
アルゴリズムから学ぶAzure mlモジュールの使いこなし方 hd-insight編-
アルゴリズムから学ぶAzure mlモジュールの使いこなし方 hd-insight編-
JavaScriptテンプレートエンジンで活かすData API
JavaScriptテンプレートエンジンで活かすData API
JAWSUG初心者向けトラック 【Deploy&Ops】
JAWSUG初心者向けトラック 【Deploy&Ops】
Azure Machine Learning getting started
Azure Machine Learning getting started
[第37回 Machine Learning 15minutes!] Microsoft AI - Build 2019 Updates ~ Azure ...
[第37回 Machine Learning 15minutes!] Microsoft AI - Build 2019 Updates ~ Azure ...
TensorFlowをもう少し詳しく入門
TensorFlowをもう少し詳しく入門
DevSummit_2022_summer_MLOps.pdf
DevSummit_2022_summer_MLOps.pdf
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
AWS + MLflow + SageMakerの環境を動かしてみたお話
1.
AWS+MLflow+SageMakerの 環境を動かしてみたお話
2.
自己紹介 ○ 伊藤 弘毅
(いとう ひろき) @highitoh ○ ソフトウェアエンジニア (データサイエンティストではない) ○ MLOpsを始めたきっかけ データサイエンティストじゃないけど、 システム開発の立場でAI技術に関わってみたい! (いまは個人的にいろいろ試している) 2
3.
AWS+MLflow+SageMaker の環境を動かしてみる 3
4.
MLflowとは ○ オープンソースの実験管理ツール ○ MLOps勉強会でも何度か紹介されている ○
MLflow Tracking □ 学習時のパラメータ、メトリクス、モデルを保存できる □ 表やグラフで実験結果を比較できる 4
5.
MLflow Trackingのうれしいところ パラメータやメトリクスを 後から確認できる 5 モデルを後から取得できる 学習結果を比較できる
6.
AWS+MLflow+SageMakerの構成 AWSのサンプルを利用 (https://github.com/aws-samples/amazon-sagemaker-mlflow-fargate) 6 S3にモデルなどを 保存 FargateでMLflowが動作 SageMakerと連携可能 RDSにパラメータな どを保存
7.
Advent Calendar 2021
@ Qiita 7 https://qiita.com/highitoh/items/c063a11981d23978f820
8.
AWSサンプルの環境で遊んでみる 8
9.
システム構成 ○ 信号機の色を認識してロボッ トカーの動きを変える ○ 手元のPCで学習、結果を AWS上のMLflowに登録 ○
PiCar-X □ カメラや各種センサのついたロ ボットカー □ ラズパイで動作する https://www.sunfounder.com/products /picar-x 9
10.
ロボットカーを動かしてみた ←うまくいったときの動き (※モデルは洗練させていない) 10
11.
AWS+MLflowを使ってみた感想 ○ スクリプトにメソッドを埋め込む必要がある、がそこまで手間ではない ○ AWSのエンドポイントへの接続もわりと簡単(今回はset_tracking_uriの設定のみ) ○
いつでもメトリクスを確認できてモデルを復元できる安心感 ○ 固定費として1日$2~$3の課金(RDSなどで掛かっている。工夫すれば減らせるかも) 11
12.
まとめ ○ MLflowをAWS上で動かす環境を作ってみました ○ 詳しくはこちら(https://qiita.com/highitoh/items/c063a11981d23978f820) ○
個人であっても試せる! ○ 今後試してみたいこと ○ IoT Greengrassを使ったモデルのデプロイ ○ パイプライン(ex. AWS Step Functions)をつくる ○ ↑でわかったことを記事にする 12
13.
THANKS!
Download now