2021/4/8 在人工智慧協會舉辦的AI Talk活動中，我講了《在混合多雲裡實踐MLOps》這個題目。此為當日的簡報檔。

1. 在混合多雲裡實踐MLOps
Jonathan Chen 陳昭斌 jonathan@geminiopencloud.com

2. What is MLOps?
MLOps
An ML engineering culture and practice that
aims at unifying ML system development (Dev)
and ML system operation (Ops).
一種旨在結合 ML 系統開發與 ML 系統運營的
ML 工程文化與實踐。
Source: https://youtu.be/6gdrwFMaEZ0

3. 從 DevOps 到 MLOps
Creation
Quality/
Infrastructure
Software
engineers
DevOps
ML
engineers
MLOps
AI systems Code Data
＝ ＋
Traditional
systems
Source: https://youtu.be/06-AZXmwHjo

4. 人們以為AI專案要做的事
• Define data
• Collect data
收集數據
Collect Data
• Training
• Error analysis
• Iterative
improvement
訓練模型
Train Model
• Deploy
• Monitor
• Maintain system
部署生產環境
Deploy in
production

5. 現實：資料科學家的時間大半花在基礎架構上
資料
科學
2/3
1/3
設定伺服器、網路、儲存與雲端平台
機器學習資源管理調度
協同工作與資源共享
資源排程與分派
Kubernetes和容器的管理
開源工具、plug-ins 和儀表板
版本控制
使用狀態與健康情況的監控
模型的部署、軟體與界面的整合
持續的機器學習與自動化
資料收集 資料驗證 Feature extraction
數據分析 模型⋯⋯
機器學習
現實世界中只有一小部分系統由ML程式組成，而周圍所需要的基礎設施，是龐大而複雜的
非
資
料
科
學

6. 快速部署基建、團隊共享協作
GPU
GPU
GPU
GPU
GPU
GPU
!?
GPU
GPU
GPU
GPU
GPU
GPU
AI CONSOLE
資源集群
• 用戶自助，隨需即用，不用相互協調
• 提供MLOps/DevOps團隊協作環境，簡化工作流程
• GPU/CPU資源共享利用最佳化，提升資源利用率
• 眾多軟體與硬體的維運標準化，降低維運成本
• 擴展能力強
• 用戶之間要互相協調資源
• 不易協作，各自為政，生產力低落
• 資源利用不均，利用率低
• 軟體與伺服器的維運困難，維運人力高
• 未來擴展不易

7. Demo: 容器與混合多雲的MLOps
工程師
Train
Tests
程式碼/模型
版控工具
CI工具
Jenkins
Docker Registry
DockerHub
Package (docker build)
Deploy (docker push)
Jupyter Notebook
Staging
Production
Dev

8. ML Solution Lifecycle
Experimentation
/Development
Continuous
Training
Model CI/CD
Continuous
Monitoring
Training Serving
實驗與開發 持續訓練 模型的持續整合
持續交付與部署
模型監控
關鍵字：持續 Continuous
Source: https://youtu.be/6gdrwFMaEZ0

9. Conclusion
MLOps 融合機器學習、DevOps、軟體工程的
生命週期與基礎架構，為您的AI專案和軟體開發
團隊提供了理想的方案。讓您的資料科學家專心
在資料科學，讓您的軟體開發人員只需致力於將
程式碼推送至中央的程式碼版本控制庫。
模型與程式碼將被自動地整合、測試、部署、再
次測試、進而發布。發布策略亦有各項品質保證
的手法，發布之後更有持續地數據收集與觀察凖
確性，為你的團隊提供極高的信心來提供客戶滿
意度。
地端 (On-prem) 雲端各有所長，如果猶豫不決，
或許你該考慮混合多雲 (hybrid multiclouds)!!
Development Staging Production
Quota Quota Quota
Marketplace Repository
Platform A Platform B
Production
Platform
ON PREM
CLOUD

10. THANK YOU！
Jonathan Chen 陳昭斌 jonathan@geminiopencloud.com