AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022

1. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. 이창명 CTO 위메이드 플레이 AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 G A M E S O N A W S 2 0 2 2 - T R A C K 0 4

5. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 고객 응대 자동화에 대한 고민 5 12명의 CS 담당자들이 처리해야 하는 업무 ✓ 하루 평균 1,300 건의 고객 문의 접수 ✓ 20개 이상의 다양한 게임 지원 ✓ 한국, 미국, 일본, 유럽, 대만 등 다양한 언어로 지원 필요 ✓ 20여개의 3rd party 모듈 지원 – 이 중 카XX, 페이XX, 라X, 애플, 구글 등 플랫폼 외에 광고, 네트워크 모듈 등 이 중 한 가지만 문제가 생겨도 게임 서비스에 영향을 줌

10. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 고객 응대 자동화에 대한 고민 10 특정 장애로 인해 CS 문의가 급증할 경우 ✓ 반복적인 문의 대응에 시간이 많이 할애되어 높은 중요도의 문의를 처리하는 시간도 같이 늘어나게 됨 ✓ 터프한 게임 시장에서 User Experience를 지키키 어려운 상황이 발생 ✓실제로 일본 유저들로부터 이런 부분에서 신뢰를 많이 잃게 되었다는 피드백 ✓ 게임 업데이트 이후, 유저들의 반응을 모니터링 하고 폴리싱을 준비하는데, 이와 관련없는 CS 문의 증가로 인해 준비시간이 늦어지고 지체되는 상황이 발생

12. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 고객 응대 자동화의 출발 12 • 급증하는 CS 문의를 실시간으로 분석하여 이미 답변을 나간 이슈들에 대해 미리 유저들에게 빠르게 대응 • 이런 프로세스를 구축하기 위해서 머신러닝 솔루션을 활용하여 급증하는 이슈들을 판단하여 분류 • 머신러닝의 판단이 잘못 될 경우 고객에게 더 큰 불편을 줄 수도 있을 것 같다는 우려 • 최대 상위 3가지만 우선 검토 해보고 진행

13. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 머신러닝 도입의 어려움 13 ML 전문 인력의 부족 No-code ML 도구 전문 인력 없이도 가능한 ML 기반 예측 ML 을 위한 대용량 데이터 처리 및 라벨링의 어려움 Purpose-built 데이터 준비 도구 ML 용 데이터에 대한 라벨링 및 처리 너무 다양한 도구들 단일 인터페이스로 통합된 ML 도구 IDE 를 사용한 모델의 빌드, 트레이닝, 배포 수동으로 수행해야 하는 ML Operation 작업 Built-in MLOps 기능 ML 수명주기를 간소화하기 위한 MLOps 구현

14. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Amazon SageMaker 에서는 ML 을 위한 모든 기능을 제공 14 Amazon SageMaker Studio IDE for ML Amazon SageMaker Autopilot Automatically build and train models Amazon SageMaker Model Monitor Automatically detect concept drift Amazon SageMaker notebooks One-click notebooks with elastic compute Amazon SageMaker Experiments Capture, organize, and compare every step Amazon SageMaker Neo Train once, deploy anywhere AWS Marketplace Pre-built algorithms, models, and data Amazon SageMaker Debugger Debug and profile training runs Automatic model tuning One-click hyperparameter optimization Amazon Augmented AI Add human review of model predictions Amazon SageMaker GroundTruth Build and manage training dataset Processing job Supports Python or Spark One-click training Supports supervised, unsupervised & RL One-click deployment Supports real-time, batch & multi-model Amazon Elastic Inference Auto scaling for 75% less 준비 빌드 학습 및 최적화 배포 및 관리

15. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 왜 Amazon SageMaker 를 선택했을까? 최 대 1 0 배 더 높 은 생 산 성 을 가 져 올 수 있 는 P U R P O S E - B U I L T 도 구 15 Amazon SageMaker Studio notebooks ML 데이터에 접근 Amazon S3, Apache Spark, Amazon Redshift 등에 저장된 많은 데이터 소스에 쉽게 연결 데이터 준비 데이터를 변환하여 이를 검색하고, 메타데이터 및 스키마를 손쉽게 탐색 ML 모델 빌드 TensorFlow, PyTorch 와 같은 150개 이상의 인기 있는 오픈 소스 모델 및 프레임 워크를 통한 최적화 ML 모델 학습 및 최적화 실시간으로 성능 문제 수정 결과 배포 및 모니터링 모델 품질 향상을 위한 종단 간 ML 워크플로를 생성, 자동화 및 관리

17. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 고객 응대 자동화의 출발 (데이터분석) 17 - 2019 ~ 2021 년 문의 데이터 - 총 데이터 개수 : 112,695개 - 글을 통해 질문 내용을 파악하는 것이 생각보다 어려움 - 고객 질문이 한 개가 아닌 다수의 질문으로 구성된 경우가 많음 - 맞춤법, 오타, 신조어, 띄어쓰기 등 표준 문법 외의 글이 상당히 많음 - 분류 클래스 개수 - 최초 분류는 총 20개 클래스로 분류 - 테스트 및 데이터 확인 후 클래스 재조정 작업하여 15개 클래스로 진행 - 클래스별 자동 답변 가능 여부 및 답변 내용 CS 팀에서 제작 완료

19. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 1. Amazon SageMaker Part 1-1 모델 - KoBERT Classifier - Test Dataset Accuracy: 0.85 ~ 0.86 - 유저가 문의를 하는 경우 잘못 분류하여 답변 이 나간다면 유저 경험이 매우 나쁠 것이라 판 단 - Top 3 클래스 제공 - 모델의 Top 3 Accuracy : 0.97 ~ 0.98 19

20. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 1. Amazon SageMaker Part 1-2 모델학습 - PyTorch - 학습 및 테스트 데이터 S3 에 업로드 - SageMaker Python SDK 사용하여 Training job 실행 - ml.g4dn 인스턴스 사용하여 학습 20

21. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 1. Amazon SageMaker Part 1-3 SageMaker Interface를 통한 모델배포 - SageMaker Python SDK 의 PyTorchModel deploy 통 하여 Model, Endpoint configuration, Endpoint 생성 - Apache JMeter 로 부하 테스트 진행 - 부하 테스트 결과에 기반하여 분당 호출 수 (Invocations per minute), CPU Utilization 에 따른 Auto Scaling 설정 - AWS 피드백 : - Auto Scaling Policy 가 적용된 Endpoint 업데이 트 시에는 에러 발생 - 따라서 모델 배포시에는 Auto Scaling Policy 제거 하고 배포해야해 부하가 적은 시간대에 진행해야함 21

23. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 2. 애플리케이션 - 현재 문의 페이지와 동일하게 제작 - 문의 제출시 자동 답변 가능한 경우에는 답변 제공 - 자동 답변 불가능한 경우 및 유저가 원하는 경 우 젠데스크 티켓 생성 할 수 있도록 함 23 Part 2-1 Application Spec

25. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Part 2. 애플리케이션 (Application) - Python FastAPI 로 API 작업, Dockerize 하여 EKS 통하여 배포 - 프론트엔드는 S3 Static Web Hosting - 유저 문의 접수 시 SageMaker 로 요청 및 Top 3 클래스 추출 - 1) 자동 응답이 불가한 경우 - Zendesk API 사용하여 티켓 생성 - 2) 자동 응답이 가능한 경우 응답 제공 - 문의가 해결된 경우 로깅하여 추후 학습 데이터로 사용할 수 있도록 함 - 문의가 해결되지 않은 경우 Zendesk 티켓 생성하고 로깅. 필요한 경우 라벨링하여 학습 데이터로 사용 - Auto Scaling, CloudWatch Container Insight 설정 완료 25 Part 2-3 Application Detail

27. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. #1 G4dn vs Elastic Inference(EI) 27 ✓ G4dn 인스턴스 수량 부족으로 Auto Scaling 및 모델 배포 시 문제가 발생 될 수 있는 문제 ➢ AWS 와 협의하여 Elastic Inference 가 대안이 될 수 있음을 확인 ➢ EI Pytorch 1.3.1 버전 컨테이너 사용 • EI 용으로 AWS 에서 빌드한 버전인데 해당 패키지에는 Protobuf 3.5.1 버전이 패키징되어 있으나 사용하는 패키지 중 sentencepiece 에는 protobuf 3.5.1 버전을 사용하는 버전이 존재 ➢ EI Pytorch 1.5.1 버전 컨테이너 사용 • 1.5.1 버전을 사용하려면 학습된 모델을 torch.jit.script 로 변형해줘야 함 • transformers 패키지 모델을 사용하는데 해당 모델은 torch.jit.trace 만 지원 • torch.jit.script 도 지원하도록 패키지 코드를 수정했지만.. 더 아랫단에서 안 되는 문제 발생 ➢ EI Pytorch 1.3.1, 1.5.1 버전 모두 사용하지 못 하여 G4DN 인스턴스 부족한 경우를 대비해 CPU 인스턴스도 부하 테스트 진행 ➢ CPU 인스턴스도 성능이 괜찮아 필요하다면 해당 인스턴스 사용 예정

28. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. #2 모델 배포 파이프라인 28 - 따로 툴은 추가하지 않고 스크립트 작업만 완료 - AWS SageMaker Model 생성 => Endpoint Config 생성 => Endpoint 업데이트 혹은 생성 순으로 되도록 작업 - SageMaker Python SDK 는 엔드포인트 deploy 시 업데이트 옵션이 없어서 Boto3 로 작업

29. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. #3 관리 포인트 29 - 관리 포인트를 줄이기 위해 GitOps 적용 - 모델, 서버, 프론트엔드 등등 용 코드 베이스 리포와 Kubernetes 설정 파일용 리포 2개로 나누어서 관리 - Github Actions 사용. 코드 베이스 리포에서만 돌아감

30. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. 도입 효과 1. 고객 문의 처리 건수의 향상 I. 하루 평균 250건, 이슈 발생 시 400건 이상 AWS SageMaker 에서 처리 2. User Experience 향상 I. 고객 응대 처리 이후 고객 만족도 18% 향상 3. 고객 문의 처리 시간 단축 I. 고객 문의 해결에 걸리는 시간 29% 감소 4. 고객 응대 센터 직원들의 업무 난이도 향상 I. 단순 문의는 머신러닝으로 처리하면서 중요한 문의들을 해결하는데 역량을 집중할 수 있는 계기 마련

31. GAMES ON AWS 2022 © 2022, Amazon Web Services, Inc. or its affiliates. Next Step 31 - 고객 응대 자동화 서비스의 업그레이드 진행중 - Lesson & Learned를 바탕으로 개선점을 보완하여 V2 서비스 준비 - 같은 캐주얼 장르의 게임이라도 유저 연령과 행동패턴에 따라 고객 문의 내용이 상이함 - 고객 응대 자동화 서비스의 확장 - 신작에는 바로 적용 원칙 - 기존 글로벌 타이틀과 국내 타이틀에도 2023년 1H 에 확장 도입 예정

AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022

You are reading a preview.

Check these out next

AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022

More Related Content

More from Amazon Web Services Korea (20)

Recently uploaded (20)