Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Amazon SageMakerを使った機械学習モデル管理運用システム構築事例

608 views

Published on

Amazon SageMakerを使った機械学習モデル管理運用システム構築事例

Published in: Software
  • Be the first to comment

Amazon SageMakerを使った機械学習モデル管理運用システム構築事例

  1. 1. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. Copyright © 2018 SIGNATE, Inc. All Rights Reserved. Amazon SageMakerを使った機械学習モデル 管理運用システム構築
  2. 2. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. 自己紹介 株式会社SIGNATE Data Engineering Team CTO 名前:千(チョン) ニックネーム:テル ソフトウェアエンジニア ビックデータアーキテクト 機械学習エンジニア 1 データサイ エンティスト エンジニア 株式会社 SIGNATE
  3. 3. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. 2 AI開発コンサルティング コンペティションによるAI開発 データサイエンティスト採用支援 データ活用人材の育成支援 イノベーションハブ SIGNATEのサービス 10,000人を超えるデータサイエンティストが登録するSIGNATE。 オープンイノベーションによる開発コンペができるのは、SIGNATEだけの強みです。 AIの受託開発から採用、育成までトータルにAIソリューションを提供
  4. 4. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. 3 【企業・政府】 賞金・名誉 AIアルゴリズム 各種権利 【SIGNATE会員】 AIを活用した 生産性の向上 新サービス開発 SERVICES - Competition 10,000人以上の データサイエンティスト が登録 AIアルゴリズムの精度を競う オープンイノベーション型開発コンペ
  5. 5. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. How it works? 4 説明 データ AI開発 結果 データ 予測 データ AI予測 ゲーミフィケーション効果 上位目指してリトライ 結果 データ答え合わせ
  6. 6. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. Score 5 リアルタイムに精度をスコア化 コンペティションによる開発は精度比較を可視化でき、最高精度のアルゴリズムを調 達することが出来ます。
  7. 7. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. Member attribute 6 既に10,000名を超えるデータサイエンティストが登録 ▼優秀な登録会員 SIGNATEには様々な分野の優秀なトップサイエンティストが登録しています。
  8. 8. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. Process 7 コンペ設計から納品まで約4ヶ月 AI開発におけるビジネス課題の設定から保有データの加工・整備、事前分析、コンペ ティションの設計・開催、成果物の検証・確認までをトータルでサポートし、最高精 度のAI開発を実現します。
  9. 9. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. コンペティションによるAI開発課題 精度の高いモデル調達はできるが、運用化までハードルが高い  ソースコードをもらってもデプロイ方法がわからない  新しいデータで再学習を行いたいけど、どうすればいいかわからない  モデルのバージョン管理はできるか  既存ウェブアプリケーションとの連携方法やA/Bテスト  可用性・拡張性のあるシステム設計が難しい 8 Aldebaran 機械学習モデル管理運用システム
  10. 10. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. Aldebaran 〜機械学習モデル管理運用システム 9 24時間・365日AIを高品質で運用、さらなる精度向上を支援します! お客様はAI管理を意識せず、意思決定・アプリに集中いただけます! 【あらゆるAI】 ・需要予測 ・離脱・解約予測 ・予兆検知 ・画像認識・判定 Python製モデル 【多様な入出力】 ・ダッシュボード可視化 ・APIでのシステム連携 ・CSV等ファイル入力 ・リアルタイムやバッチデータに対する予測 【運用・保守・管理】 ・ユーザ・外部データ管理 ・AIバージョン管理 ・API利用統計情報 ・高パフォーマンス API連携 運用実績データから再 学習し、使い続けるほ ど賢くなるAIを実現! 弊社のデータサイエン ティストサポート Aldebaran
  11. 11. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. Machine Learning Training & Hosting Aldebaran System Architecture 10 SageMakerFARGATELoad Balancer Amazon S3 Web Application Algorithm Management and Dashboards SDK API EastiCacheRDS Amazon ECR CloudFront client Route 53
  12. 12. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. Amazon SageMakerとは 機械学習モデルを簡単に構築、トレーニング、デプロイできる フルマネージド型サービス (※ AWS re:Invent 2017 で発表されて、東京リージョンは2018年7月からサービス開始) 11
  13. 13. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. AWSが提供するMLサービススタック https://www.slideshare.net/AmazonWebServicesJapan/aws-ml-update#5 12
  14. 14. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. 特徴 • 誰が使う?データサイエンティスト、ソフトウェアエンジニア • 利用方法 – AWS管理コンソール、AWS CLI、SDK(pip install sagemaker) • モデル構築 – ホスト型のJupyterノートブックインスタンス • モデルトレーニング – 組み込みアルゴリズムやフレームワークの利用 • https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/algos.html • Apache MXNet, Tensorflow等 – Dockerコンテナによる独自の学習環境を作ることも可能 – 数十のインスタンスにスケールすることが可能 • モデルホスティング – 推論HTTPS エンドポイントを提供 – トラフィックに対処するために自動スケールできる – 同時に複数モデルで A/B テストが可能 13
  15. 15. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. 感想 • Juptyer NotebookやSDKから機械学習の一連の作業がシームレスにできる • 学習と予測に使う最適なコンピューティング環境を選べる • 各モデルの特性に合った実行環境提(メモリ使うモデル、CPUを使うモデル) • 必要なライブラリだけインストールするため、Dockerイメージを軽量化できる • Amazon Lambdaと繋げれば、Serverless APIを実現できる • ビジネスの最初のフェーズにすぐに対応可能 • 学習・推論共にDockerベースとなってるので、開発時はLocalで本番はCloud上 でと使い分けることができる • Deploy環境はNginx+Gunicorn+Flaskで、Python実装モデルと相性が良い • Deploy環境はDockerfileとして公開されてるため、AWS以外でも移植できる • スケールしやすい • インスタンス立ち上げ、停止に少し時間がかかる • S3とデータやりとりするため追加費用がかかる • モデルが増えたら管理するイメージも増える 14
  16. 16. Copyright © 2018 SIGNATE , Inc. All Rights Reserved. ご静聴ありがとうございます 15

×