Infra Study #4のLTで使った資料です AI SaaSの機械学習インフラ基盤とMLOpsの取り組み https://forkwell.connpass.com/event/179755/

1. AI SaaSの機械学習インフラ基盤と
MLOpsの取り組み

2. 自己紹介
• 佐藤 賢太 (＠kenta_sato3)
• 36歳
• 2児の父
• 福岡出身
• 元野球選手（アメリカ・オーストラリア・スウェーデン）
• コールセンター・企業向けUC (ユニファイドコミュニケーション）
パッケージ製品べンダーのSEとして５年ほど経験
• ストックマークにSREとして入社

3. インフラ概要
• サーバレス基盤で記事データ収集
• Google Cloud TPUで汎用言語モデルを作成
• オンプレGPUでモデル
のファインチューニング
• AWSのGPUでMLバッチ処理

4. 画面イメージ①
市場動向
• テーマ分析では、市場動向や主要企業の動向、それに関するオピニオンで概要を把握可能です。
法規制 主要動向 オピニオン

5. 画面イメージ②
• ボリューム分析では、企業軸、業界軸、地域軸、行動軸を組み合わせた検索が可能です。

6. 画面イメージ③
• クロス分析では、企業軸、業界軸、地域軸の2軸で調査が可能です。

7. サーバレスアーキテクチャで記事収集

8. ビジネスに強い事前学習済み汎用言語モデル

9. Google Cloud TPU: 事前学習済み汎用言語モデル構築
• ディープラーニングを高速化
• 精度向上
出典: https://cloud.google.com/tpu?hl=ja

10. オンプレGPU: モデルのファインチューニング
• 汎用言語モデルをタスクに特化してチューニング
• 長時間要するタスク

11. AWS上の本番システムへの組み込み
• 国内外約3万メディアから日々収集した記事を自然言語処理で様々な軸で分類

12. MLタスク毎にインスタンスを用意して並列処理

13. MLタスク毎にインスタンスを用意して並列処理
• インフラ構築、デプロイ、運用全て1人のMLエンジニアがやっていた

14. 運用が大変すぎた
• 手動デプロイに大半の時間を取られる

15. アーキテクチャの見直し
• AWS Batchでジョブ実行
• Step Functionsでワークフロー制御

16. Step Functions
• 成功時

17. Step Functions
• 失敗時

18. CI/CD
• GitHub & CodeBuild
• ServerlssフレームワークでLambdaを
デプロイ
• Terraformでインフラ管理
• DockerfileやPipfile変更時に
Dockerイメージをビルドし、ECRにPUSH
• モデルはS3からEFSに同期

19. まとめ
• スケール要件やリソース要件に応じて適したインフラを選定してシステムを構築
• DevとMLチームで協力してCI/CDなどの自動化などを通して運用負荷軽減

20. https://tech.stockmark.co.jp/

21. Thank You!