Data Scientists를 위한 배포의 특징을 알아보고, 컨테이너/서버리스 서비스인 AWS Apprunner를 활용하여 MLFLow Tracking Server를 배포해본다.

1. MLFlow Tracking Server 배포하기 with App Runner
AUSG 4기 김성익
1
빅-챗
2021

2. 2
- Data Scientist를 위한 Infrastructure
- 서버리스와 컨테이너
- App Runner
- Architecture Review
- 구현하기
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner

3. 3
빅-챗
2021
Data Scientist를 위한 Infrastructure
MLFlow Tracking Server 배포하기 with App Runner

4. 4
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
MLOps = ML Infra + ML Pipeline Operation + ML Application

5. 5
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
- ML : 수학, 통계학, 데이터, 모델링
- Dev : 설계, 구현, 테스트, 패키징
- Ops : 환경설정, 배포, 로깅, 모니터링

6. 6
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner

7. 7
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner

8. 8
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
Data Scientists Don’t Care About Kubernetes
(번역 - https://coffeewhale.com/kubernetes/mlops/2021/01/28/mlops-determinedai/)
- Data Scientist들은 SW Base가 아니기 때문에 Infrastructure Layer를 부담스러워함
(구글 Data Scientist들은 유니콘)
- 이에 따라 KubeFlow보다 MLFlow가 훨씬 선호됨

9. 9
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
Data Scientist Software Engineer
Infra(Cloud) Engineer

10. 10
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
- 마이크로서비스 지향적
- 이식성/versioning이 중요

11. 11
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
어떻게 해야 ML의 요구사항을 맞추면서 빠르고 간편하게 배포할까?

12. 12
빅-챗
2021
서버리스와 컨테이너
MLFlow Tracking Server 배포하기 with App Runner

13. 13
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
서버리스
장점
- Scaling / Network 신경쓰지 않아도 된다.
- Traffic이 적다면 요금이 덜나온다.
단점
- Provider Lock-in 효과 / 언어 혹은 환경 제한
- Cold Start Problem
- 최대 실행시간 제한이 있는 경우가 있다

14. 14
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
컨테이너 서비스
장점
- 서비스별로 독립적 이미지 관리
- 이식성이 좋음
- Scale out 안정적
단점
- 서비스가 떠있는 시간 단위로 과금
- 네트워크/인프라 세팅 필요
- 기본적인 컨테이너 빌드 지식 필요

15. 15
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
서버리스형 컨테이너 서비스
- 서버리스의 간편성(Scale out, 세팅 부담)
- 컨테이너의 이식성

16. 16
빅-챗
2021
AWS App Runner
MLFlow Tracking Server 배포하기 with App Runner

17. 17
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner

18. 18
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner

19. 19
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner

20. 20
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
Lambda보다 lock in이 적고, cold start가 없다.
Fargate보다 세팅이 간편하고, 가격이 싸다(request 기반)
소스코드로부터 이미지 빌드도 가능하다(워크플로 설정 없이는 Python, Node.js만)

21. 21
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
단점
- 아직 VPC가 나오지 않음(예정)
- 서울 region 출시 X, 도쿄 region이 가장 가까움

22. 22
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
실습
MLFlow Tracking Server를 AWS App Runner로 띄워보기
- https://medium.com/mlops-community/deploying-mlflow-in-aws-app-
runner-cc6caf7fb8e3
- https://github.com/DougTrajano/mlflow-server/
- https://docs.aws.amazon.com/apprunner/latest/dg/manage-create.html

23. 23
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner
잠깐만!
왜 굳이 MLFlow Tracking Server를 App Runner로 배포하나요?

24. 24
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner

25. 끝!
25
빅-챗
2021 MLFlow Tracking Server 배포하기 with App Runner