Devocean Tech Day 2022 Everything on Kubernetes, Kubernetes Anywhere

1. AI Backend
구축 방향
컨테이너솔루션개발팀 안승규

2. 1
MLOps 의미
• ML 모델을 개발 / Training 하고, 이를 운영 환경으로 배포하는
프로세스를 자동화하여, 지속적으로 모델을 유지관리하고
모니터링할 수 있게 한 Machine Learning Engineering
• Data Scientist 와 ML Engineer 간 유기적 협력 지원

3. 2
Why? MLOps
Ø 빠른 실험과 모델 개발
Ø 운영 환경에 신속/안정적 모델 배포 및 업데이트
Ø 정확한 검증

4. 3
Machine Learning Pipeline
데이터 수집
training 데이터
준비
ML 알고리즘
최적화
Training 준비
환경 셋업
Train & Tune
model
deploy model
Manage
production

5. 4
단계별 ML pipeline
https://www.kubeflow.org/docs/images/kubeflow-overview-workflow-diagram-1.svg

6. 5
우리가 집중하는 영역
데이터 수집
training 데이터
준비
ML 알고리즘
최적화
training 준비
환경 셋업
train & tune
model
deploy model
Manage
production

7. 6
Why Model Serving ?
• Cost
인스턴스 갯수는 적절한가? 리소스는 효율적으로 할당되어 있나?
• Monitoring
서비스는 잘 동작하는가? 최적의 성능을 내는 설정은? Request Tracing 은?
• Rollout
배포는 안정적으로 배포되었나? 롤백은 어떻게? 트래픽 변경없이 변경사항 테스트 가능?
• Protocol Standard
Prediction 을 어떻게 만들까? gRPC? HTTP?
• Framework
Tensorflow 를 어떻게 Serving 할까? XGBoost? Scikit Learn? Pytorch? Custom Code?
• Features
Prediction 을 어떻게 설명하지? outlier, skew 탐지는?, custom pre/post processing 은 어떻게?

8. 7
KServe Architecture
https://www.kubeflow.org/docs/external-add-ons/kserve/pics/kserve.png

9. 8
Model Serving (KServe)
https://blog.kubeflow.org/images/2021-03-08-kfserving-0.5/image5.png

10. 9
MRM (Model Risk Management)
잘못된 모델이나 잘못 사용된 모델을 근거로 한 의사 결정으로 인한 잠재적인 나쁜 결과에서 발생
하는 리스크를 감독 관리
모델 오류나 잘못된 모델 사용 가능성을 알아내어 방지
MRM 을 위한 공통의 플랫폼이 필요 -> Open MRM
• Frameworks
Tensorflow, Keras, PyTorch, Logistic Regression, Support Vector Machine, Sklearn, XGBoost, Catboost, Mx
Net
• Activation functions
Binary Step Function, Linear Function, Sigmoid, Tanh, ReLU, Leaky ReLU, Parameterised ReLU, Exponentia
l Linear Unit
• Notebooks and Integrated Development Environments (IDEs)
JupyterLab, R-Studio. VSCode, NetBeans, Eclipse, Pycharm, RStudio
• ML Platforms & managed services
Kubeflow, MLFlow, H2O, Seldon, KServe, Sagemaker, Databricks, AzureML, Vertex
다양한 Platform, language, Tool 들 (예시)

11. 감사합니다