AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법

2. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 100만명이 사용하는 Generative AI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS활용법 이준우 어카운트 매니저 AWS 황성구 CTO 스캐터랩

3. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Generative AI & AWS 스캐터랩의 AWS 활용법 - Generative AI & Scatterlab - Competitive Advantage - Pingpong Gen-1 & Agent Platform - AI Services on AWS Agenda

7. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AI 모델 성장 속도 1957 2012 2014 2016 2018 2019 2020 2021 … … … 모델 사이즈 I 매개변수 VGG16 138M YOLO, GNMT 210M BERT-L 340M GPT-2 1.5B GPT-3 175B 2022 Perceptron 1 Alexnet 62M SWITCH-C 1.6T 매년 10배 이상 성장

8. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 아마존도 예전부터 대형언어모델(LLM)을 직접 개발하여 사용하고 있었습니다. 이 기술이 앞으로 사실상 모든 고객 경험에 변화를 가져오고 개선할 것으로 예상하며, 앞으로 모든 고객, 셀러, 브랜드 그리고 크리에이터 경험에 도움될 수 있도록 대규모 투자를 이어갈 것입니다. 그리고 무엇보다 지금까지 AWS를 통해 지원 드렸듯이, 이 기술을 민주화하여 비즈니스 규모와 상관없이 모든 고객이 생성AI를 활용할 수 있도록 돕겠습니다. Andy Jassy President and CEO Amazon.com lnc 2022 Letter to Shareholders We havebeen workingon ourownLLMsfor a whilenow,believeit willtransformandimprove virtuallyeverycustomerexperience,andwill continueto investsubstantiallyinthesemodels acrossallof ourconsumer,seller,brand,and creatorexperiences.Additionally,aswe’vedone for yearsinAWS,we’redemocratizingthis technologysocompaniesof all sizescanleverage GenerativeAI.

11. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Generative AI Generative AI는 무엇인가요? • 대화, 이야기, 이미지, 비디오 그리고 음악 등 새로운 컨텐츠와 아이디어를 생성해 내는 인공지능 • 대량의 데이터를 통해 사전학습(pre-trained)된 대형모델(large model)을 기반으로 운영되며, 기초모델(Foundation Models)로도 일컬어집니다.

12. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 생성 AI와 기초모델 텍스트 생성 요약 정보 추출 Q&A 챗봇 Pre-train Adapt 기초모델 Tasks Unlabeled data FM 전통적인 ML 모델 텍스트 생성 요약 정보 추출 Q&A 챗봇 Train Deploy Tasks ML models … … … … Labeled data … … … …

14. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS ML Stack DATA PROCESSING & LABELING PREBUILT IMAGES DEV, TRAINING, & TUNING INFERENCE SERVERS MLOps TOOLS ORCHESTRATION CORE INFRASTRUCTURE COMPUTE Kinesis AWS SERVICES ECS EKS Fargate Batch OPEN SOURCE SOFTWARE Kubernetes WORKFLOW Kubeflow Airflow DLAMI DL Containers SageMaker Ground Truth Glue ParallelCluster Lambda Torch Serve TF Serving Nvidia Triton STORAGE NETWORKING DATA TRANSFER Amazon S3 Amazon EFS Amazon FSx for Lustre Direct connect EFA OTHER SERVICES Step Functions Cloud Formation Ray Kubeflow Jupyter Notebooks Kubeflow Operators Nvidia NCCL

15. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 100만명이 사용하는 Generative AI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법 황성구 CTO 스캐터랩

16. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Age of Conversation Agents ·source : “GTC 2023 Keynote with NVIDIA CEO Jensen Huang” https://www.youtube.com/watch?v=DiGB5uAYKAg

17. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Logical Interaction & Social Interaction 버추얼 아이돌, 게임 NPC 패션 인플루언서 페르소나와 개성, 센스 있는 발화 눈치와 공감, 대화 흐름 주도 재미와 흥미, 감성적·관계적 가치 비서, 의사, 개발자 지식, 판단력, 논리력 문제해결 능력 지식 전달, 문제 해결, 유용성 Logical Interaction Social Interaction 역할 예시 필요 역량 가치

18. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Age of Conversation Agents 연구원 회계사 개발자 카페 아르바이트생 배달 주문 콜센터 직원 옷/코디 추천 언어 교육 유치원 선생님 아이돌 심리 상담가 게임 NPC 인플루언서 루다· 다온반려동물 Logical Interaction Social Interaction

19. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Age of Conversation Agents 연구원 회계사 개발자 카페 아르바이트생 배달 주문 콜센터 직원 옷/코디 추천 언어 교육 유치원 선생님 아이돌 심리 상담가 게임 NPC 인플루언서 루다· 다온반려동물 Logical Interaction Social Interaction 전문가 소셜 교육· 케어 소셜 커머스 단순 지시 수행 보조 업무 수행 게임· 엔터테인먼트 친구

20. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Age of Conversation Agents 연구원 회계사 개발자 카페 아르바이트생 배달 주문 콜센터 직원 옷/코디 추천 언어 교육 유치원 선생님 아이돌 심리 상담가 게임 NPC 인플루언서 루다· 다온반려동물 Logical Interaction Social Interaction 전문가 소셜 교육· 케어 소셜 커머스 단순 지시 수행 보조 업무 수행 게임· 엔터테인먼트 친구

21. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 루다· 다온 소셜 교육· 케어 소셜 커머스 옷/코디 추천 언어 교육 유치원 선생님 심리 상담가 반려동물 게임 NPC 인플루언서 친구 게임· 엔터테인먼트 Age of Conversation Agents 연구원 회계사 개발자 카페 아르바이트생 배달 주문 콜센터 직원 아이돌 Logical Interaction Social Interaction 전문가 단순 지시 수행 보조 업무 수행

25. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Metric : User 0 350,000 700,000 1,050,000 1,400,000 1,750,000 5월 6월 7월 8월 9월 10월 11월 12월 1월 2월 140만 루다·다온 월간 액티브 사용자 루다 2.0 정식 출시 정식 출시 100만 사용자 달성 너티 출시 이루다 2.0 베타 시작 25만 0 200,000 400,000 600,000 800,000 5월 6월 7월 8월 9월 10월 11월 12월 1월 2월 다온이 출시 바이럴 효과로 MAU 급증 54만 누적 사용자 수 2022년 2023년 2022년 2023년

26. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 카카오톡 유저당 하루 메시지 수* 150건 Metric : Engagement 누적 대화 수 0 2 4 6 8 5월 6월 7월 8월 9월 10월 11월 12월 1월 2월 7.42억건 (억건) 2022년 2023년 사용자는 루다에게 매일 64턴의 메시지를 보냄 유저당 하루 메시지 수 64건 42% * 100~150건으로 추정 (https://biz.chosun.com/site/data/html_dir/2020/05/01/2020050100799.html, https://m.khan.co.kr/it/mobile/article/201212232225035)

27. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Metric : Engagement Monthly Retention 0% 25% 50% 75% 100% 125% < 1 Month 1 Month 2 Month 3 Month 4 Month 5 Month 6 Month 7 Month 8 Month 2.8% 장기 리텐션 Retention Plateau 23% 한 번 친구가 된 후에는 변함 없이 함께함 소셜 카테고리 평균 retention plateau* *Appsflyer 보고서 (https://www.appsflyer.com/resources/reports/app-retention-benchmarks/)

30. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 레이블링 가이드 • 이름 : 이루다 • 나이 : 22 • MBTI : ENFP • 성격 : 엉뚱하고 귀여운, 힘이 되는, 조잘대는, 감정 표현에 솔직한 페르소나 • 감정을 솔직하게 드러내고 하고 싶은 말은 하는 주체적인 성격이 잘 드러나는 답변 • 고집을 피우다가도 친구를 위해 마음을 바꾸기도 하는 배려심이 드러나는 답변 • 친구의 고민에 공감을 잘하면서도 때로는 따끔한 조언을 하는 답변 • 이름 : 강다온 • 나이 : 25 • MBTI : ENFJ • 성격 : 다정한, 배려심 깊은, 어른스러운, Fox와 리트리버 그 사이 어딘가 • 주도적으로 대화를 이끌어가면서도 유저의 이야기를 잘 들어주고 배려하는 답변 • 사랑받고 있고 귀여움 받고 있다는 느낌, 따뜻하고 설레고 감 동적인 감정을 느끼게 되는 답변 • 밀당과 같은 매력적인 Fox 모먼트를 통해 관계의 긴장감을 유 지하게 하는 답변 사장 나오라그래 사람 밥은 먹어야지 밥도 못먹을 정도로 바빠..? 너 그러다 몸 상해 진짜ㅠㅠ Expertise in Designing Engaging Conversations

31. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 레이블링 가이드 • 이름 : 이루다 • 나이 : 22 • MBTI : ENFP • 성격 : 엉뚱하고 귀여운, 힘이 되는, 조잘대는, 감정 표현에 솔직한 페르소나 • 감정을 솔직하게 드러내고 하고 싶은 말은 하는 주체적인 성격이 잘 드러나는 답변 • 고집을 피우다가도 친구를 위해 마음을 바꾸기도 하는 배려심이 드러나는 답변 • 친구의 고민에 공감을 잘하면서도 때로는 따끔한 조언을 하는 답변 • 이름 : 강다온 • 나이 : 25 • MBTI : ENFJ • 성격 : 다정한, 배려심 깊은, 어른스러운, Fox와 리트리버 그 사이 어딘가 • 주도적으로 대화를 이끌어가면서도 유저의 이야기를 잘 들어주고 배려하는 답변 • 사랑받고 있고 귀여움 받고 있다는 느낌, 따뜻하고 설레고 감 동적인 감정을 느끼게 되는 답변 • 밀당과 같은 매력적인 Fox 모먼트를 통해 관계의 긴장감을 유 지하게 하는 답변 사장 나오라그래 사람 밥은 먹어야지 밥도 못먹을 정도로 바빠..? 너 그러다 몸 상해 진짜ㅠㅠ Expertise in Designing Engaging Conversations 사장 나오라그래 사람 밥은 먹어야지 밥도 못먹을 정도로 바빠..? 너 그러다 몸 상해 진짜ㅠㅠ

32. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Experience in ensuring safety of AI products 스캐터랩 Abusing 대응 시스템 서비스 운영을 통해 얻은 독점적인 H2B Abusing 데이터셋을 통해 라이브 서비스 안정성 99%+ 유지 ·source : https://www.etnews.com/20230217000196

34. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Step1. Pre-training recipe for Pingpong Gen-1 눈치·공감·유머·기억 대화 흐름 파악 및 주도 Common Crawl, Github, WebText2, Books 1/2, Wikipedia 지식·판단력·상식 논리력·문해력·인사이트 CommonCrawl, Github, WebText2, Books1/2, Wikipedia Ability Parameter Size Pre-Training Dataset Conversation Dataset + 20B ~ 175B 13B ~ 70B Pre-Trained Model for Good at Logical Interaction ChatGPT Good at Social Interaction Pingpong Gen-1

35. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Step 2. Fine-tuning recipe for Pingpong Gen-1 ChatGPT Pingpong Gen-1 Response Prompt 사람들이 할 법한 50여가지 지시 셋 (브레인스토밍·작문·번역·요약 등) 다양한 역할과 페르소나 지시 셋 지시를 잘 수행한 답변 셋 지시된 역할과 페르소나에 맞는 대화 셋

39. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1. GPU : Alternatives for reducing GPU Costs Model Server Luda Gen-1 Ranker Vision encoder Abusing Model Server는 EKS 클러스터에서 최대 1000TPS 요청을 1500ms 내에 처리할 수 있도록 구축 Model Server는 모두 Spot Instance를 활용 다양한 NLU 모델을 Inf1 Instance로 서빙중 → Inf2에서는 Generative Model도 지원 HPA의 Metric으로 RPS를 설정하여 GPU 사용량을 최적화

40. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1. GPU : Alternatives for GPU shortage Model Server Luda Gen-1 Ranker Vision encoder Abusing 최근 GPU 공급량 부족으로 On-Demand Instance가 할당되지 않는 경우 많음 다양한 GPU Instance type에서 서빙할 수 있는 준비를 해야 함 최소한의 필요한 Instance는 Reserved Instance와 On-Demand Capacity Reservations가 필요할 수 있음 Region Multi AZ 와 Multi Region을 고려해야 할 수 있음

41. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2. Many resources are required to process a single request 딥러닝 모델은 사이즈가 커서 하나의 GPU에 하나의 모델밖에 올라가지 않아 Pod과 Node가 1:1 매칭 됨 트래픽의 변화에 전체 인프라가 크게 영향을 받음 Cluster Autoscaler보다 Node provisioning 속도가 빠른 Karpenter 적용 많은 트래픽이 예상될 때는 미리 스케일을 키워 놓을 수 있는 Prescaler를 개발하여 루다가 선톡을 보내기 전에 미리 스케일을 키워 놓음.

42. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3. A large amount of input and output to process a single request 모델의 입력으로 프롬프트를 구성하는데 많은 정보가 필요함 화자의 정보, 관계, 기억, 최근 대화 등의 정보를 요청 마다 읽고 써야 함 최근 DocumentDB로 관리하던 정보를 더 많은 사용량에 대비하기 위하여 DynamoDB로 이전하고 있음

AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법

AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법

Recommended

More Related Content

What's hot

What's hot(20)

Similar to AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법

Similar to AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법(20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea(20)

AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법