What's new with Amazon SageMaker
•
1 like•882 views
20191228 JAWS-UG Okayama AWS re:Invent 2019で発表されたSageMakerアップデートのrecap
Recommended
More Related Content
What's hot
What's hot (20)
Similar to What's new with Amazon SageMaker
Similar to What's new with Amazon SageMaker (20)
More from sady_nitro
Recently uploaded
Recently uploaded (9)
What's new with Amazon SageMaker
- 1. What’s new with Amazon SageMaker 2019.12.28 貞松 政史 (@sady_nitro) JAWS-UG Okayama 2019 Winter ～ re:Invent 2019 re:Cap ～
- 2. 自己紹介 • 貞松 政史 （サダマツ マサシ） • Twitter id : @sady_nitro • クラスメソッド株式会社 DA事業本部 • オカヤマ コンピュータサイエンス ラボ 主催 • AWS • SageMaker • Lambda • Forecast • コンピュータサイエンス • 組合せ最適化、 強化学習など • Microsoft系テクノロジー like info
- 4. 本セッションのゴール
- 5. ✓ AWS re:Invent 2019で発表された SageMaker関連のアップデート内容 ✓ SageMakerの今後の方向性 ✓ SageMaker Studioに対する期待感
- 7. Amazon SageMakerとは • 機械学習モデルを高速に作成、トレーニング、デプロイできる フルマネージドサービス • 必要なコンピューティングリソースを持つNotebookインスタンス • 各種ビルドインアルゴリズム • 一般的なDLフレームワークを利用可能なコンテナ • 学習済みモデルをエンドポイントにデプロイ
- 8. ビルトインアルゴリズム •分類、回帰 • Linear Learner • Factorization Machines • K-Nearest Neighbors • XGBoost Algorithm •クラスタリング • K-Means Algorithm •特徴量抽出 • Principal Component Analysis (PCA)
- 9. ビルトインアルゴリズム • Image Classification Algorithm 画像分類 • Object Detection Algorithm 物体検出 • Sequence2Sequence 機械翻訳・テキスト要約・音声認識 • BlazingText Word2Vec 単語ベクトル • Latent Dirichlet Allocation (LDA) トピックモデリング • Neural Topic Model (NTM) トピックモデリング • Random Cut Forest異常検知 • DeepAR Forecasting 時系列データに対する予測
- 10. MLフレームワーク on コンテナ •TensorFlow •Apache MXNet •PyTorch •Chainer •Keras •Gluon •Scikit-learn
- 11. これまでのAmazon SageMakerの弱点 • データの前処理・後処理は別途処理(自力実装、別サービス利用) • 学習途中や学習済みモデルの情報が部分的(ブラックボックス) • 有効なアルゴリズムの選別は実装者の知識、経験に依る (ハイパーパラメータの自動チューニング(探索)ジョブは存在する) • Notebookインスタンスの起動・停止の管理と柔軟なスケーリング • 開発から運用・保守までのプロセスの集中管理 (別サービス間を往復する必要がある)
- 12. Amazon SageMaker update in re:Invent2019
- 13. re:Inventで発表されたSageMakerのアップデート 1. Deep Graph Libraryサポート 2. SageMaker Debugger 3. SageMaker Processing 4. SageMaker Experiments 5. SageMaker Model Monitor 6. SageMaker AutoPilot 7. SageMaker Notebooks ※プレビュー 8. SageMaker Studio ※プレビュー GNN開発のサポート 開発・運用・保守 AutoML 開発環境・インフラ
- 14. 1. Deep Graph Libraryサポート
- 16. Deep Graph Library(DGL)とは • Graph Neural Network(GNN)の高速な開発・学習・評価を 補助してくれるPythonのオープンソースライブラリ
- 17. SageMaker上でのDGLサポート • PyTorchおよびMXNet用のディープラーニングコンテナイメージ にDGLを追加 • これらのコンテナを利用することでDGLを簡単に扱うことができる
- 18. 何が嬉しいのか • PyTorchとMXNetをフレームワークとしてGNN開発を行う際 に前準備なしにDGLを利用できる • SageMaker上のマネージド環境の恩恵をそのまま受けられる • 柔軟なAWSインフラをバックエンドとしたNotebookインスタンス • 管理されたトレーニングジョブやエンドポイント • 本セッションで紹介するその他の機能もそのまま活用できる
- 22. SageMaker Debuggerでできること • プリセットの評価ルールだけでなくカスタムルールの作成が可能 • 自動でデータを分析し、不具合があればアラートをあげる • 設定したルールに違反が発生した場合に学習ジョブを停止できる • 学習途中のメトリクスを可視化する • 既存コードの修正が不要で、複数のルールを指定しても 分散処理してくれる • SageMaker Studioと統合されているので開発とデバッグを 1つの環境でできる など…
- 24. SageMaker Processingとは • フルマネージドなインフラストラクチャ • 前処理、後処理、およびモデル評価のワークロードを簡単に実行
- 25. SageMaker Processingでできること • データセットを学習データ、検査データ、評価データに分割 • データセットを使用するMLアルゴリズムで期待される入力形式に変換 • ワンホットエンコーディングカテゴリ機能 • 数値的特徴の再スケーリングまたは正規化 • 住所のGPS座標での置き換え • 自然言語処理でのテキストクリーニング
- 28. SageMaker Experimentsとは • 機械学習モデルへの繰り返し処理を調整および追跡 • MLのトレーニングで発生するデータセット、アルゴリズムのバージョ ン、モデルのパラメータなどの調整・管理の反復 • 入力パラメータ、構成、結果などを自動的に収集 →実験結果として保存
- 29. 保存された実験結果
- 30. 5. SageMaker Model Monitor
- 32. SageMaker Model Monitorとは • 開発者がコンセプトドリフトを検出し、修復できるようになります。 • デプロイ済みのモデルでコンセプトドリフトを検出し、問題の原因を 特定するのに役立つ詳細なアラートを出します
- 33. コンセプトドリフトとは • デプロイされたモデルの精度に影響を及ぼす可能性のある大きな要因 のひとつ • 予測の生成に使用されたデータが、モデルのトレーニングに使用された データと異なるケース • 経済条件の変化は、金利の変化を起こす要因となる可能性がある →例えば、住宅の購入予測に影響が及ぶ • これをコンセプトドリフトと呼び、これが生じると予測を作るためにモデ ルで使用されるデータのパターンが適応できなくなる
- 36. SageMaker AutoPilotとは • 機械学習のプロセスを完全に制御ししながら、最適な分類 および回帰の機械学習モデルを自動的に作成 • 自動データクリーニングと前処理を備えた表形式の入力データ • 線形回帰、バイナリ分類、マルチクラス分類の自動アルゴリズム選択 • 自動ハイパーパラメーター最適化 • 分散トレーニング • インスタンスとクラスターの自動サイズ選択 • トレーニングの追跡、可視化
- 39. SageMaker Notebooksでできること ※ SageMaker Notebooksは現在プレビュー機能です • Notebookインスタンスの作成が不要に • Jupyter Notebookを数秒で利用開始 • リソースのスケーリングが容易 • 他のユーザーにNotebookの共有が可能
- 41. SageMaker Studioとは ※ SageMaker Studioは現在プレビュー機能です(us-east-2) • SageMakerによる機械学習の一連の開発プロセスを１ヶ所に集 約したウェブベースの統合開発環境
- 42. SageMaker Studioでできること • モデルの構築、トレーニング、デプロイに必要な各ステップに対し、 完全なアクセス、管理、可視性をもたらします。 • データのアップロード、新規ノートブックの作成、モデルのトレーニング と調整、ステップ間での移動などを迅速にこなし、さまざまな試みを 調整したり、結果を比較したり、本番環境にモデルをデプロイすると いった処理をすべて 1 箇所から実行でき、生産性を飛躍的に向上 • ノートブック、試作管理、自動のモデル作成、デバッグ、プロファイリン グ、モデルの変動検出など、すべての ML 開発手順は SageMaker Studio のビジュアルインターフェイスで実行可能
- 43. Go to DEMO
- 44. まとめ
- 46. まとめ • re:Invent 2019で発表された多数のSageMakerアップデート • SageMakerを利用した機械学習の実験、モデル開発について 開発から運用・保守までを広くサポートする機能群 • 全ての機能群がSageMaker Studioに統合され、バックエンドの インフラだけでなく、開発環境もフルマネージドな環境を提供 SageMakerに全乗っかりでHappy ML Life！