딥러닝 서비스에 쓰이는 GPU 인스턴스 비용 효율을 위한 스팟(Spot) 활용기 (손은주, 매스프레소) :: AWS DevDay 2018 매스프레소는 딥러닝 기반 OCR 검색 엔진을 자체 개발하여, 수학 문제 이미지 속 텍스트와 수식을 인식하여 풀이를 제공해주는 ‘콴다’앱를 운영 중입니다. 스타트업이 딥러닝 기반 서비스를 만들기 위해 AWS가 제공하는 GPU 인스턴스를 활용하는 방법과 에이전트 기반 지표 수집, 그리고 비용 절감을 위해 스팟 인스턴스를 활용하여 안정된 서비스 운영 방법 등을 공유합니다.

1. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
GPU 인스턴스 비용 효율을 위한 스팟 활용기
스타트업이 딥러닝 서비스를 어떻게 운영하는가
손은주 / Mathpresso

2. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Mathpresso

3. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Contents
문제검색 서비스 아키텍쳐
Docker 기반 worker 운영 및 모니터링
- Nvidia-Docker AMI
- Count proper number of worker in Instance
- Lambda - Health Checker
GPU spot 안전하고 효율적으로 쓰기
- Spot Instance
- 최적화 배경
- spot to on-demand
- Lambda - Availability checker
- 효과

4. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
발표자 소개
- 손은주
- 한양대학교 학생
- Mathpresso에서 개발자로 근무했습니다
- 배우지 않으면 좀이 쑤시는 개발자입니다
- 이것 저것 해보기를 좋아합니다
- 2017 Let’s swift, 2018 Pycon 스피커
@EJSohn

5. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
앱 소개

6. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
앱 소개

7. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
문제검색 서비스 구성
Chatting server
Optical character
recognition (OCR)
Architecture
Question search server

8. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
OCR 구성
Dynamic Rpc-style Image
Processing (DRIP) Server
Google Vision
Server Queue
Keras worker
Preprocess worker
Mathpresso OCR

9. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
OCR 구성
Dynamic Rpc-style Image
Processing (DRIP) Server
Google Vision
Server Queue
Keras worker
Preprocess worker
Mathpresso OCR
Amazon EC2
Rabbitmq on EC2
Amazon Lambda

10. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
OCR 구성
Dynamic Rpc-style Image
Processing (DRIP) Server
Google Vision
Server Queue
Keras worker
Preprocess worker
Mathpresso OCR
Amazon EC2
Rabbitmq on EC2
Amazon Lambda
+
Monitoring

11. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Docker 기반 worker 운영 및 모니터링

12. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Nvidia-Docker AMI

13. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Nvidia-Docker AMI

14. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Nvidia-Docker AMI
Containerizing GPU applications provides
several benefits, among them:
- Ease of deployment
- Isolation of individual devices
- Run across heterogeneous driver/toolkit
environments
- Requires only the NVIDIA driver to be
installed on the host
- Facilitate collaboration: reproducible
builds, reproducible performance,
reproducible results.

15. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Nvidia-Docker AMI
‣ 필요한 딥러닝 패키지들(cuda, tensorrt, opencv...)과 서비스
준비된 프로덕션 코드로 Docker 이미지 생성
‣ Private Dockerhub ( AWS ECR )에 태그를 달아 업로드
‣ Nvidia-docker가 설치된 p3 인스턴스로 해당 Docker 이미지
를 받아 실행시키는 AWS AMI 생성
‣ Auto Scaling - 트래픽에 따라 인스턴스 수 제어

16. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Nvidia-Docker AMI
‣ 필요한 딥러닝 패키지들(cuda, tensorrt, opencv...)과 서비스
준비된 프로덕션 코드로 Docker 이미지 생성
‣ Private Dockerhub ( AWS ECR )에 태그를 달아 업로드
‣ Nvidia-docker가 설치된 p3 인스턴스로 해당 Docker 이미지
를 받아 실행시키는 AWS AMI 생성
‣ Auto Scaling - 트래픽에 따라 인스턴스 수 제어
CloudWatch? 어떤 기준으로?

17. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Count proper number of worker in Instance
‣ GPU Utilization / Search log
- 인스턴스 기준 스케일링?
- 인스턴스는 동작하는 상태이지만 내부의 worker는 동작하지 않을 수도 있다. (worker 코
드를 수정한 개발자의 실수, 라이브러리 오류, 시스템 오류 등 가능성 존재)
- 사내 서버도 완전히 믿을 수는 없음
- 최초의 시행착오
- 사내/ AWS 서버에서 동작하는 worker 개별의 상태를 알 수 있는 지표 필요

18. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Monitoring GPU Utilization with Amazon Cloudwatch
https://aws.amazon.com/ko/blogs/machine-learning/monitoring-gpu-utilization-with-amazon-cloudwatch/

19. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Count proper number of worker in Instance
‣ GPU Utilization / Search log
- 사내/ AWS 서버에서 동작하는 worker 개별의 상태를 알 수 있는 지표 필요
- GPU Util * EC2 기본 지원 X, 데이터 수집 및 전송하는 agent에 대한 개발이 추가적으로
필요
- Search log * 이미 수집하고 있던 데이터, 추가적인 작업 없이 활용 가능
- Search log로 사내/ AWS 서버의 worker cluster load rates를 계산하는 알고리즘을 개발
( = GPU load rates)
- AWS Lamba에 해당 알고리즘 탑재, 주기적으로 Monitoring & Scaling 수행

20. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Monitoring - Health Checker

21. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
GPU spot 안전하고 효율적으로 쓰기

22. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Spot Instance
시간당 온디맨드 대비 스팟 가격 2018.10.10 2pm
‣ 온디맨드 가격보다 저렴
한 비용으로 사용할 수 있
는 미사용 EC2 인스턴스
‣ 최대 90% 할인된 금액으
로 이용
‣ 시간당 가격에 대한 입찰
방식으로 EC2 가용 용량
이 부족하거나 스팟 가격
이 최고 가격을 초과하면
중단
GPU
Instance
온디맨드 요금 스팟 요금
p2.xlarge $1.465 $0.4395
p2.8xlarge $11.72 $11.72
p2.16xlarge $23.44 $23.44
p3.2xlarge $4.981 $1.4943
p3.8xlarge $19.924 $5.9772
p3.16xlarge $39.848 $39.848

23. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Spot Instance - 작동 방식

24. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Spot Instance - 스팟 요청 상태
‣ 은근히 자주 발생하는 상태 코드
‣ capacity-not-available
‣ system-error
‣ Instance-terminated-no-capacity

25. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Spot Instance - 스팟 요청 상태
‣ 은근히 자주 발생하는 상태 코드
‣ capacity-not-available
‣ system-error
‣ Instance-terminated-no-capacity
‣ 스팟 요청부터 실패할 수 있다
‣ 스팟 인스턴스를 시작하더라도 언제든 중단
될 수 있다
‣ 스팟 가격은 온디맨드 가격과 같게 설정해놔
도, 그대로 서비스에 사용하기에는 위험성이
큼

26. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS SDK - describe-spot-instance-requests
‣ aws cli command
‣ 각 언어별 aws sdk
에도 포함되어 있
는 기능
‣ 스팟 요청이 어떻
게 처리되고 있는
지 모든 과정 조회
가능

27. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS SDK - describe-spot-instance-requests
…

28. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Availability checker
Spot 요청에 실패하거
나 인스턴스의 중단 알
람을 받을 경우,
(spot autoscaling
group desired
count - active
count)
만큼의 on-demand
인스턴스를 시작
스팟이 성공적으로 시
작되었을 경우,
(성공한 스팟 요청)
만큼의 on-demand
인스턴스를 종료

29. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Availability checker
Amazon Lambda
Spot Autoscaling Group
On-demand Autoscaling Group

30. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Availability checker
중단 2분 전 상태 코드

31. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Availability checker

32. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
효과
‣ GPU 비용 1/10
‣ 사내/ AWS GPU 서버 내의 서비스 방식 통일
‣ 기존의 인스턴스 기반 스케일링을 worker 기반 스케일링으로 전환
‣ 분단위로 필요한 만큼의 스팟을 생성/종료
‣ 스팟 사용에 문제가 있을 경우 온디맨드 인스턴스를 사용 후 전환

33. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
들어주셔서 감사합니다 :)
Q&A