Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 大規模データ処理基盤における MLOpsについて.pdf
Similar to 大規模データ処理基盤における MLOpsについて.pdf (20)
大規模データ処理基盤における MLOpsについて.pdf
- 1. Copyright 2023 NTT DOCOMO, INC. All rights reserved. ⼤規模データ処理基盤における MLOpsについて 株式会社NTTドコモ サービスイノベーション部 ビッグデータ担当 ⼩笠原 共志
- 3. 2 ⾃⼰紹介 ⼩笠原 共志 株式会社NTTドコモ サービスイノベーション部 ビッグデータ担当 お が さ わ ら き ょ う じ 業務︓NWデータ処理基盤の開発 ・ 運⽤ 趣味︓アニメ ・ ゲーム実況 ・ スノボー
- 4. 3 ドコモの事業領域 通信事業 スマートライフ事業 ⼤量・多様なデータが⽣成される 通信エリア構築・運⽤ コンテンツ・コマース ⾦融・決済 ショップ販売 5G通信 ライフスタイル 法⼈ソリューション
- 5. 4 データ分析/活⽤基盤(IDAP) ドコモの膨⼤なデータを効率的/横断的に分析/活⽤できる基盤 u データサイズ︓数PB p 数⼗TB/day u 分析者 ︓数百名 p データサイエンティストから分析を専⾨としない⼈まで u 開発環境 ︓オンプレ＋クラウド p 専⽤線を利⽤して閉域網で構成
- 6. 5 本⽇のお話する対象システム 通信事業 スマートライフ事業 ⼤量・多様なデータが⽣成される 通信エリア構築・運⽤ コンテンツ・コマース ⾦融・決済 ショップ販売 5G通信 ライフスタイル 法⼈ソリューション
- 7. 6 NWデータ処理基盤(MINADEN) 基地局 受信部 処理部 IDAP NW分析 ・NW品質改善 ・障害対応 ・etc… . . 対象ユーザ数 約8,500万⼈ 送信基地局数 約60,000局 ⼊⼒データ量 20Gbps ユーザ(スマホ) 出⼒レコード数＆リアルタイム性 5,500億レコード/day 3分半で出⼒ (データ発⽣から) 全国の基地局の通信ログをリアルタイムに加⼯するシステム 160TB/day (ピーク時)
- 8. 7 MINADENの特徴 u ⼤量のデータを24時間、リアルタイム(数分オーダー)で処理している p EC2(vCPU:16, メモリ:32GB 相当の計算リソース) x 300台くらいで動いている u 地理分散 p 地域ごとにデータを分割して処理している(AWSのRegionとは異なる) u マイクロサービスアーキテクチャ p 役割ごとにクラスタを分割 u クラウド ・ コンテナ p AWSのECSを使ってデプロイされている
- 9. 8 MINADEN全体のざっくりアーキテクチャ 受信部 ・ ・ u 地理的に分散されたデータを各処理部でデータ加⼯している u 各処理部はKinesis(分散キュー)を介して連携されている 処理部A ・ ・ 処理部B ・ ・ 地域１ 受信部 ・ ・ 受信部A ・ ・ 受信部B ・ ・ 地域 N ・ ・ ・ Kinesis Kinesis Kinesis Kinesis
- 10. 9 機械学習処理部 受信部 ・ ・ u 処理部の1つに機械学習モデルを組み込んでいるコンポーネントがある u 全国分合わせて約300以上のモデルが動いている p 1回/週の頻度でモデルを定期的にアップデートしている 処理部A ・ ・ 機械学習処理部 ・ ・ 地域１ 受信部 ・ ・ 受信部A ・ ・ 受信部B ・ ・ 地域 N ・ ・ ・ Kinesis Kinesis Kinesis Kinesis
- 11. 10 本⽇のお話 受信部 ・ ・ u 処理部の1つに機械学習モデルを組み込んでいるコンポーネントがある p 1回/週の頻度でモデルを定期的にアップデートしている u 全国分合わせて約300以上のモデルが動いている 処理部A ・ ・ ・ ・ 地域１ 受信部 ・ ・ 受信部A ・ ・ 受信部B ・ ・ 地域 N ・ ・ ・ Kinesis Kinesis Kinesis Kinesis 機械学習処理部のMLOpsについて お話します 機械学習処理部
- 12. 11 MINADENのMLOpsサイクル アルゴリズム 開発 実装 ⻑期安定試験 デプロイ 初期 開発 精度 検証 (ⅰ) (ⅱ) フィードバック
- 15. 14 今回お話する部分 アルゴリズム 開発 実装 ⻑期安定試験 デプロイ 初期 開発 精度 検証 (ⅰ) (ⅱ) フィードバック ① ② ③
- 16. 15 ①︓アルゴリズム開発 u ⅰ︓初期開発 p SageMaker Studioを使っている l 機械学習⽤の統合開発環境(IDE) l モデルの構築、トレーニング、デプロイ、モニタリングなどのツールが⽤意されている l 分析・特徴量チューニング・モデル作成などはNotebookを利⽤ l 実験管理にはSageMaker Experimentsを利⽤ ・ アーティファクト ・ モデル ・前処理に必要なデータ push IDAP 実験環境 分析 SageMaker Studio の UI
- 17. 16 ①︓アルゴリズム開発 u ⅱ︓精度検証 p 300以上のモデルに対しての精度検証は⼤変 p ⼀般的な機械学習フロー(データ取得、前処理、モデルの作成、精度検証)をパイプラインとして ⾃動化することで、精度検証を容易にしている p GitHub Actionsを利⽤し、Pushすると⾃動でパイプラインがはしるようになっている モデル作成 イメージのビルド データ取得 前処理 モデルの作成 精度検証 起動 ・ アーティファクト ・ モデル ・前処理に必要なデータ モデルの作成 ミラーリング push IDAP 実験環境 分析
- 18. 17 ①︓アルゴリズム開発 u ⅱ︓精度検証 p 機械学習フローは、Step Functionsで制御し、実際の実⾏にはSageMaker Processing jobsを利⽤している l Step Functionsは、AWSサービスを組み合わせてプロセスの⾃動化やパイプライン構築を可能にする ワークフローサービス l ASL(Amazon States Language)と呼ばれるJSON形式の⾔語でワークフローを定義する p 他AWSサービスとの連携のしやすさ(親和性)、サーバレスを軸にサービスを選択した モデル作成 イメージのビルド データ取得 前処理 モデルの作成 精度検証 起動 ・ アーティファクト ・ モデル ・前処理に必要なデータ モデルの作成 ミラーリング push IDAP 実験環境 分析 構築した Step Functions のフロー
- 19. 18 ②︓QA環境での⻑期安定試験 u MINADENのQA環境 p PROD環境と同じAWSアカウント内にあり、全く同じデータ、同じ流量でテストできる環境 p 扱っているデータが膨⼤なので、そのデータを再現した環境として必要な計算リソースの⾒積もり も⾏っている 処理部A PROD 機械学習処理部 PROD 機械学習処理部 QA
- 20. 19 ②︓QA環境での⻑期安定試験 u 実験環境からQA環境への連携 p 前処理に必要なデータ、モデルを含むコンテナイメージにビルドし、連携する p GitHub Actionsのworkflow_dispatchをトリガーにビルドされるようになっている l workflow_dispatchはワークフローを⼿動で実⾏できるイベントで、イベントに必要な⼊⼒をワークフ ロー実⾏時にGUI上で設定できる l 利⽤するブランチや前処理に必要なデータ、モデルなどを実⾏時に柔軟に指定できるようにするために使っ ている ・ モデル ・前処理に必要なデータ ミラーリング 実験環境 アプリイメージのビルド 実⾏ workflow_dispatch QA環境 コンテナイメージのPush
- 21. 20 ②︓QA環境での⻑期安定試験 u 実験環境からQA環境への連携 p ビルドはCodeBuildで⾏っている l CodeBuildは、フルマネージド型の継続的インテグレーション(CI)サービス p workflow_dispatchのトリガー時に⼊⼒された値をもとにビルドを⾏う p ビルド後にコンテナが起動するかどうかのチェックもCodeBuild内で実施している ・ モデル ・前処理に必要なデータ ミラーリング 実験環境 アプリイメージのビルド 実⾏ workflow_dispatch QA環境 コンテナイメージのPush pre_build build post_build buildspec.yml(ビルドの仕様を定義したファイル)
- 22. 21 ②︓QA環境での⻑期安定試験 u デプロイ(作成されたイメージを使ってECSサービスを起動) p ⼿動で⾏っている(⾃動化したい) u 監視 p 各メトリクスやログ、各種リンクをCloudWatchのダッシュボードに集約し、そこから確認している l 項⽬︓メトリクス(KinesisへのPut量, CPU/Memory使⽤率 等)、エラーログ、ECSイベントなど ダッシュボードから⼀部抜粋したもの
- 23. 22 ③︓PROD環境へのデプロイ u ⼤まかな流れ p モデルの作成、コンテナイメージのビルド、デプロイを⾏っており、パイプラインで⾃動化されている p CodePipelineを使って、これまでの機械学習フロー(Step Functions)やコンテナイメージのビ ルド(CodeBuild)を流⽤して作っている PROD環境 コンテナイメージのPush データ取得 前処理 モデルの作成 精度検証 起動 ・ アーティファクト ・ モデル ・前処理に必要なデータ ミラーリング push IDAP 実験環境 モデル作成 イメージのビルド アプリイメージのビルド スタックの更新 モデルの作成 ⼆重起動防⽌ チェック 定期実⾏ client api-server … スタックによるECSサービスのアップデート
- 24. 23 ③︓PROD環境へのデプロイ u デプロイについて p デプロイはPROD環境のCloudFormationを更新することで、ECSサービスをアップデートする p CloudFormationの更新はStep Functionsを経由して⾏うことで、特定の時刻にデプロイさ れるように制御している l 連携している他システムに影響が少ない時間帯にデプロイするようにしている p デプロイに失敗する場合は、ECSのサーキットブレーカーによる⾃動ロールバックが⾏われる コンテナイメージのPush データ取得 前処理 モデルの作成 精度検証 起動 ・ アーティファクト ・ モデル ・前処理に必要なデータ ミラーリング push IDAP 実験環境 モデル作成 イメージのビルド アプリイメージのビルド スタックの更新 モデルの作成 ⼆重起動防⽌ チェック 定期実⾏ client api-server … スタックによるECSサービスのアップデート PROD環境
- 25. 24 ③︓PROD環境へのデプロイ u 定期的なアップデート p EventBridgeにより定期的にパイプラインをはしらせることでアップデートしている p パイプラインのはじめに⼆重起動防⽌チェックを組み込むことで、意図しない⼿動デプロイと⾃動デ プロイの競合を避けるようにしている l Step Functionsにより⾃⾝のパイプラインの実⾏数をカウントして制御している コンテナイメージのPush データ取得 前処理 モデルの作成 精度検証 起動 ・ アーティファクト ・ モデル ・前処理に必要なデータ ミラーリング push IDAP 実験環境 モデル作成 イメージのビルド アプリイメージのビルド スタックの更新 モデルの作成 ⼆重起動防⽌ チェック 定期実⾏ client api-server … スタックによるECSサービスのアップデート PROD環境