Download to read offline
Uploaded byJonathan Chen
Practicing MLOps in hybrid multiclouds
MLOps 是一種結合機器學習系統開發與運營的工程文化，旨在簡化流程並促進團隊協作。文件中探討了現實中資料科學家和工程師在維護基礎設施上的挑戰，以及如何透過容器化和混合雲架構優化資源管理和提高運營效率。最終，MLOps 提供了一個理想的解決方案，讓團隊能專注於資料科學和軟體開發，並實現持續的模型整合與監控。
Practicing MLOps in hybrid multiclouds
- 1. 在混合多雲裡實踐MLOps Jonathan Chen 陳昭斌jonathan@geminiopencloud.com
- 2. What is MLOps? MLOps AnML engineering culture and practice that aims at unifying ML system development (Dev) and ML system operation (Ops). 一種旨在結合 ML 系統開發與 ML 系統運營的 ML 工程文化與實踐。 Source: https://youtu.be/6gdrwFMaEZ0
- 3. 從 DevOps 到MLOps Creation Quality/ Infrastructure Software engineers DevOps ML engineers MLOps AI systems Code Data ＝ ＋ Traditional systems Source: https://youtu.be/06-AZXmwHjo
- 4. 人們以為AI專案要做的事 • Define data •Collect data 收集數據 Collect Data • Training • Error analysis • Iterative improvement 訓練模型 Train Model • Deploy • Monitor • Maintain system 部署生產環境 Deploy in production
- 5. 現實：資料科學家的時間大半花在基礎架構上 資料 科學 2/3 1/3 設定伺服器、網路、儲存與雲端平台 機器學習資源管理調度 協同工作與資源共享 資源排程與分派 Kubernetes和容器的管理 開源工具、plug-ins 和儀表板 版本控制 使用狀態與健康情況的監控 模型的部署、軟體與界面的整合 持續的機器學習與自動化 資料收集 資料驗證Feature extraction 數據分析 模型⋯⋯ 機器學習 現實世界中只有一小部分系統由ML程式組成，而周圍所需要的基礎設施，是龐大而複雜的 非 資 料 科 學
- 6. 快速部署基建、團隊共享協作 GPU GPU GPU GPU GPU GPU !? GPU GPU GPU GPU GPU GPU AI CONSOLE 資源集群 • 用戶自助，隨需即用，不用相互協調 •提供MLOps/DevOps團隊協作環境，簡化工作流程 • GPU/CPU資源共享利用最佳化，提升資源利用率 • 眾多軟體與硬體的維運標準化，降低維運成本 • 擴展能力強 • 用戶之間要互相協調資源 • 不易協作，各自為政，生產力低落 • 資源利用不均，利用率低 • 軟體與伺服器的維運困難，維運人力高 • 未來擴展不易
- 7. Demo: 容器與混合多雲的MLOps 工程師 Train Tests 程式碼/模型 版控工具 CI工具 Jenkins Docker Registry DockerHub Package(docker build) Deploy (docker push) Jupyter Notebook Staging Production Dev
- 8. ML Solution Lifecycle Experimentation /Development Continuous Training ModelCI/CD Continuous Monitoring Training Serving 實驗與開發 持續訓練 模型的持續整合 持續交付與部署 模型監控 關鍵字：持續 Continuous Source: https://youtu.be/6gdrwFMaEZ0
- 9. Conclusion MLOps 融合機器學習、DevOps、軟體工程的 生命週期與基礎架構，為您的AI專案和軟體開發 團隊提供了理想的方案。讓您的資料科學家專心 在資料科學，讓您的軟體開發人員只需致力於將 程式碼推送至中央的程式碼版本控制庫。 模型與程式碼將被自動地整合、測試、部署、再 次測試、進而發布。發布策略亦有各項品質保證 的手法，發布之後更有持續地數據收集與觀察凖 確性，為你的團隊提供極高的信心來提供客戶滿 意度。 地端 (On-prem)雲端各有所長，如果猶豫不決， 或許你該考慮混合多雲 (hybrid multiclouds)!! Development Staging Production Quota Quota Quota Marketplace Repository Platform A Platform B Production Platform ON PREM CLOUD
- 10. THANK YOU！ Jonathan Chen陳昭斌 jonathan@geminiopencloud.com