AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022

GAMES ON AWS 2022
© 2022, Amazon Web Services, Inc. or its affiliates.
이창명 CTO
위메이드 플레이
AWS 머신러닝 솔루션을 활용한
고객 응대 자동화 구축 사례 공유
G A M E S O N A W S 2 0 2 2 - T R A C K 0 4

GAMES ON AWS 2022
회사 소개
위메이드플레이 (Wemade Play)
2

GAMES ON AWS 2022
Wemade Play 회사 소개
3
「WE! MADE! PLAY!」
누구나 쉽게 ”플레이” 할 수 있는 게임으로
사람들에게 즐거움 그 이상의 가치를 제공합니다!
IP콜라보
퍼즐명가 블록체인
글로벌 최고의 캐쥬얼 게임 개발사

GAMES ON AWS 2022
AWS 머신러닝 솔루션을 활용한
고객 응대 자동화 구축 사례
4

GAMES ON AWS 2022
고객 응대 자동화에 대한 고민
5
12명의 CS 담당자들이 처리해야 하는 업무
✓ 하루 평균 1,300 건의 고객 문의 접수
✓ 20개 이상의 다양한 게임 지원
✓ 한국, 미국, 일본, 유럽, 대만 등 다양한 언어로 지원 필요
✓ 20여개의 3rd party 모듈 지원
– 이 중 카XX, 페이XX, 라X, 애플, 구글 등 플랫폼 외에
광고, 네트워크 모듈 등
이 중 한 가지만 문제가 생겨도 게임 서비스에 영향을 줌

GAMES ON AWS 2022
실제 고객 문의 내용
6

GAMES ON AWS 2022
7

GAMES ON AWS 2022
8

GAMES ON AWS 2022
9

GAMES ON AWS 2022
고객 응대 자동화에 대한 고민
10
특정 장애로 인해 CS 문의가 급증할 경우
✓ 반복적인 문의 대응에 시간이 많이 할애되어 높은 중요도의 문의를 처리하는
시간도 같이 늘어나게 됨
✓ 터프한 게임 시장에서 User Experience를 지키키 어려운 상황이 발생
✓실제로 일본 유저들로부터 이런 부분에서 신뢰를 많이 잃게 되었다는 피드백
✓ 게임 업데이트 이후, 유저들의 반응을 모니터링 하고 폴리싱을 준비하는데, 이와
관련없는 CS 문의 증가로 인해 준비시간이 늦어지고 지체되는 상황이 발생

GAMES ON AWS 2022
고객 응대 자동화의 출발 (Pilot)
11
목표 : 유저 문의를 자동으로 분류하고 답변 제공
기대 효과 :
✓ CS 팀 업무 부담 감소
✓ 업무 외 시간 문의에도 빠른 답변 제공

GAMES ON AWS 2022
고객 응대 자동화의 출발
12
• 급증하는 CS 문의를 실시간으로 분석하여 이미 답변을 나간 이슈들에 대해
미리 유저들에게 빠르게 대응
• 이런 프로세스를 구축하기 위해서 머신러닝 솔루션을 활용하여 급증하는
이슈들을 판단하여 분류
• 머신러닝의 판단이 잘못 될 경우 고객에게 더 큰 불편을 줄 수도 있을 것
같다는 우려
• 최대 상위 3가지만 우선 검토 해보고 진행

GAMES ON AWS 2022
머신러닝 도입의 어려움
13
ML 전문 인력의 부족
No-code ML 도구
전문 인력 없이도 가능한 ML 기반 예측
ML 을 위한 대용량 데이터 처리
및 라벨링의 어려움
Purpose-built 데이터 준비 도구
ML 용 데이터에 대한 라벨링 및 처리
너무 다양한 도구들
단일 인터페이스로 통합된 ML 도구
IDE 를 사용한 모델의 빌드, 트레이닝, 배포
수동으로 수행해야 하는 ML
Operation 작업
Built-in MLOps 기능
ML 수명주기를 간소화하기 위한 MLOps 구현

GAMES ON AWS 2022
Amazon SageMaker 에서는 ML 을 위한 모든 기능을 제공
14
Amazon SageMaker Studio
IDE for ML
Amazon SageMaker Autopilot
Automatically build and train models
Amazon SageMaker Model Monitor
Automatically detect concept drift
Amazon SageMaker notebooks
One-click notebooks with elastic compute
Amazon SageMaker Experiments
Capture, organize, and compare every step
Amazon SageMaker Neo
Train once, deploy anywhere
AWS Marketplace
Pre-built algorithms, models, and data
Amazon SageMaker Debugger
Debug and profile training runs
Automatic model tuning
One-click hyperparameter optimization
Amazon Augmented AI
Add human review of model predictions
Amazon SageMaker GroundTruth
Build and manage training dataset
Processing job
Supports Python or Spark
One-click training
Supports supervised, unsupervised & RL
One-click deployment
Supports real-time, batch & multi-model
Amazon Elastic Inference
Auto scaling for 75% less
준비 빌드 학습 및 최적화 배포 및 관리

GAMES ON AWS 2022
왜 Amazon SageMaker 를 선택했을까?
최 대 1 0 배 더 높 은 생 산 성 을 가 져 올 수 있 는 P U R P O S E - B U I L T 도 구
15
Amazon SageMaker
Studio notebooks
ML 데이터에 접근
Amazon S3, Apache
Spark, Amazon
Redshift 등에 저장된
많은 데이터 소스에
쉽게 연결
데이터 준비
데이터를 변환하여
이를 검색하고,
메타데이터 및
스키마를 손쉽게 탐색
ML 모델 빌드
TensorFlow, PyTorch
와 같은 150개 이상의
인기 있는 오픈 소스
모델 및 프레임
워크를 통한 최적화
ML 모델 학습 및
최적화
실시간으로 성능 문제
수정
결과 배포 및
모니터링
모델 품질 향상을
위한 종단 간 ML
워크플로를 생성,
자동화 및 관리

GAMES ON AWS 2022
Amazon SageMaker 를 선택한 이유
16
Data 전송비용
서비스의 다양성
사용 편의성
기술지원역량
확장성

GAMES ON AWS 2022
고객 응대 자동화의 출발 (데이터분석)
17
- 2019 ~ 2021 년 문의 데이터
- 총 데이터 개수 : 112,695개
- 글을 통해 질문 내용을 파악하는 것이 생각보다 어려움
- 고객 질문이 한 개가 아닌 다수의 질문으로 구성된 경우가 많음
- 맞춤법, 오타, 신조어, 띄어쓰기 등 표준 문법 외의 글이 상당히 많음
- 분류 클래스 개수
- 최초 분류는 총 20개 클래스로 분류
- 테스트 및 데이터 확인 후 클래스 재조정 작업하여 15개 클래스로 진행
- 클래스별 자동 답변 가능 여부 및 답변 내용 CS 팀에서 제작 완료

GAMES ON AWS 2022
전체 아키텍처

GAMES ON AWS 2022
Part 1. Amazon SageMaker
Part 1-1 모델
- KoBERT Classifier
- Test Dataset Accuracy: 0.85 ~ 0.86
- 유저가 문의를 하는 경우 잘못 분류하여 답변
이 나간다면 유저 경험이 매우 나쁠 것이라 판
단
- Top 3 클래스 제공
- 모델의 Top 3 Accuracy : 0.97 ~ 0.98
19

GAMES ON AWS 2022
Part 1-2 모델학습
- PyTorch
- 학습 및 테스트 데이터 S3 에 업로드
- SageMaker Python SDK 사용하여 Training
job 실행
- ml.g4dn 인스턴스 사용하여 학습
20

GAMES ON AWS 2022
Part 1-3 SageMaker Interface를 통한 모델배포 - SageMaker Python SDK 의 PyTorchModel deploy 통
하여 Model, Endpoint configuration, Endpoint 생성
- Apache JMeter 로 부하 테스트 진행
- 부하 테스트 결과에 기반하여 분당 호출 수
(Invocations per minute), CPU Utilization 에 따른
Auto Scaling 설정
- AWS 피드백 :
- Auto Scaling Policy 가 적용된 Endpoint 업데이
트 시에는 에러 발생
- 따라서 모델 배포시에는 Auto Scaling Policy 제거
하고 배포해야해 부하가 적은 시간대에 진행해야함
21

GAMES ON AWS 2022
Part 2. 애플리케이션
22

GAMES ON AWS 2022
Part 2. 애플리케이션
- 현재 문의 페이지와 동일하게 제작
- 문의 제출시 자동 답변 가능한 경우에는 답변
제공
- 자동 답변 불가능한 경우 및 유저가 원하는 경
우 젠데스크 티켓 생성 할 수 있도록 함
23
Part 2-1 Application Spec

GAMES ON AWS 2022
Part 2. 애플리케이션 (Application)
24
Part 2-2 Application Demo

GAMES ON AWS 2022
Part 2. 애플리케이션 (Application)
- Python FastAPI 로 API 작업, Dockerize 하여 EKS 통하여 배포
- 프론트엔드는 S3 Static Web Hosting
- 유저 문의 접수 시 SageMaker 로 요청 및 Top 3 클래스 추출
- 1) 자동 응답이 불가한 경우
- Zendesk API 사용하여 티켓 생성
- 2) 자동 응답이 가능한 경우 응답 제공
- 문의가 해결된 경우 로깅하여 추후 학습 데이터로 사용할 수 있도록 함
- 문의가 해결되지 않은 경우 Zendesk 티켓 생성하고 로깅. 필요한 경우 라벨링하여 학습 데이터로 사용
- Auto Scaling, CloudWatch Container Insight 설정 완료
25
Part 2-3 Application Detail

GAMES ON AWS 2022
Lessons & Learned
26

GAMES ON AWS 2022
#1 G4dn vs Elastic Inference(EI)
27
✓ G4dn 인스턴스 수량 부족으로 Auto Scaling 및 모델 배포 시 문제가 발생 될 수 있는 문제
➢ AWS 와 협의하여 Elastic Inference 가 대안이 될 수 있음을 확인
➢ EI Pytorch 1.3.1 버전 컨테이너 사용
• EI 용으로 AWS 에서 빌드한 버전인데 해당 패키지에는 Protobuf 3.5.1 버전이 패키징되어 있으나 사용하는
패키지 중 sentencepiece 에는 protobuf 3.5.1 버전을 사용하는 버전이 존재
➢ EI Pytorch 1.5.1 버전 컨테이너 사용
• 1.5.1 버전을 사용하려면 학습된 모델을 torch.jit.script 로 변형해줘야 함
• transformers 패키지 모델을 사용하는데 해당 모델은 torch.jit.trace 만 지원
• torch.jit.script 도 지원하도록 패키지 코드를 수정했지만.. 더 아랫단에서 안 되는 문제 발생
➢ EI Pytorch 1.3.1, 1.5.1 버전 모두 사용하지 못 하여 G4DN 인스턴스 부족한 경우를 대비해 CPU
인스턴스도 부하 테스트 진행
➢ CPU 인스턴스도 성능이 괜찮아 필요하다면 해당 인스턴스 사용 예정

GAMES ON AWS 2022
#2 모델 배포 파이프라인
28
- 따로 툴은 추가하지 않고 스크립트 작업만 완료
- AWS SageMaker Model 생성 => Endpoint Config 생성 => Endpoint
업데이트 혹은 생성 순으로 되도록 작업
- SageMaker Python SDK 는 엔드포인트 deploy 시 업데이트 옵션이 없어서
Boto3 로 작업

GAMES ON AWS 2022
#3 관리 포인트
29
- 관리 포인트를 줄이기 위해 GitOps 적용
- 모델, 서버, 프론트엔드 등등 용 코드 베이스 리포와 Kubernetes 설정 파일용
리포 2개로 나누어서 관리
- Github Actions 사용. 코드 베이스 리포에서만 돌아감

GAMES ON AWS 2022
도입 효과
1. 고객 문의 처리 건수의 향상
I. 하루 평균 250건, 이슈 발생 시 400건 이상 AWS SageMaker 에서 처리
2. User Experience 향상
I. 고객 응대 처리 이후 고객 만족도 18% 향상
3. 고객 문의 처리 시간 단축
I. 고객 문의 해결에 걸리는 시간 29% 감소
4. 고객 응대 센터 직원들의 업무 난이도 향상
I. 단순 문의는 머신러닝으로 처리하면서 중요한 문의들을 해결하는데 역량을 집중할
수 있는 계기 마련

GAMES ON AWS 2022
Next Step
31
- 고객 응대 자동화 서비스의 업그레이드 진행중
- Lesson & Learned를 바탕으로 개선점을 보완하여 V2 서비스 준비
- 같은 캐주얼 장르의 게임이라도 유저 연령과 행동패턴에 따라 고객 문의 내용이 상이함
- 고객 응대 자동화 서비스의 확장
- 신작에는 바로 적용 원칙
- 기존 글로벌 타이틀과 국내 타이틀에도 2023년 1H 에 확장 도입 예정

GAMES ON AWS 2022
Thank you!
이창명
chang@wemadeplay.com
위메이드 플레이

AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022

More Related Content

What's hot

Similar to AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022

More from Amazon Web Services Korea

AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022