AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
S E O U L | M A Y 3 , 2 0 2 3

100만명이 사용하는 Generative AI
이루다를 만들면서 배운 것 :
스캐터랩의 AWS활용법
이준우
어카운트 매니저
AWS
황성구
CTO
스캐터랩

Generative AI & AWS
스캐터랩의 AWS 활용법
- Generative AI & Scatterlab
- Competitive Advantage
- Pingpong Gen-1 & Agent Platform
- AI Services on AWS
Agenda

Generative AI & AWS
이준우
어카운트 매니저
AWS

Our Mission
To be Earth’s most
customer-centric company

기계학습은 현재 변곡점을 지나고 있습니다
컴퓨팅 파워 | 데이터 확대 | 모델 고도화

AI 모델 성장 속도
1957 2012 2014 2016 2018 2019 2020 2021
… … …
모델 사이즈 I 매개변수
VGG16
138M
YOLO, GNMT
210M
BERT-L
340M
GPT-2
1.5B
GPT-3
175B
2022
Perceptron
1
Alexnet
62M
SWITCH-C
1.6T
매년 10배 이상 성장

아마존도 예전부터 대형언어모델(LLM)을 직접
개발하여 사용하고 있었습니다. 이 기술이 앞으로
사실상 모든 고객 경험에 변화를 가져오고 개선할
것으로 예상하며, 앞으로 모든 고객, 셀러, 브랜드
그리고 크리에이터 경험에 도움될 수 있도록 대규모
투자를 이어갈 것입니다. 그리고 무엇보다 지금까지
AWS를 통해 지원 드렸듯이, 이 기술을 민주화하여
비즈니스 규모와 상관없이 모든 고객이 생성AI를
활용할 수 있도록 돕겠습니다.
Andy Jassy
President and CEO Amazon.com lnc
2022 Letter to Shareholders
We havebeen workingon ourownLLMsfor a
whilenow,believeit willtransformandimprove
virtuallyeverycustomerexperience,andwill
continueto investsubstantiallyinthesemodels
acrossallof ourconsumer,seller,brand,and
creatorexperiences.Additionally,aswe’vedone
for yearsinAWS,we’redemocratizingthis
technologysocompaniesof all sizescanleverage
GenerativeAI.

기계학습 혁신과 아마존 DNA
분당
약 4,000개 제품이
아마존에서 판매
매일
약 160만개 포장
매주
약 몇 십억 건 상호작용이
Alexa에서 이루어짐
첫 Prime Air 배송은
2016년 12월 7일

10만이 넘는 고객들이 기계학습을 위해 AWS를 사용합니다
10

Generative AI
Generative AI는 무엇인가요?
• 대화, 이야기, 이미지, 비디오 그리고 음악 등 새로운 컨텐츠와 아이디어를
생성해 내는 인공지능
• 대량의 데이터를 통해 사전학습(pre-trained)된 대형모델(large model)을
기반으로 운영되며, 기초모델(Foundation Models)로도 일컬어집니다.

생성 AI와 기초모델
텍스트 생성
요약
정보 추출
Q&A
챗봇
Pre-train Adapt
기초모델
Tasks
Unlabeled
data
FM
전통적인 ML 모델
텍스트 생성
요약
정보 추출
Q&A
챗봇
Train Deploy
Tasks
ML
models
…
…
…
…
Labeled
data
…
…
…
…

기초모델의 어려움
데이터 라벨링
모델 검수
학습 소요 시간 학습 비용

AWS ML Stack
DATA PROCESSING & LABELING PREBUILT IMAGES DEV, TRAINING, & TUNING INFERENCE SERVERS MLOps
TOOLS
ORCHESTRATION
CORE INFRASTRUCTURE
COMPUTE
Kinesis
AWS SERVICES
ECS
EKS Fargate Batch
OPEN SOURCE SOFTWARE
Kubernetes
WORKFLOW
Kubeflow Airflow
DLAMI DL Containers
SageMaker
Ground Truth
Glue
ParallelCluster Lambda
Torch
Serve
TF
Serving
Nvidia
Triton
STORAGE NETWORKING DATA TRANSFER
Amazon S3 Amazon EFS
Amazon FSx
for Lustre
Direct connect
EFA
OTHER SERVICES
Step Functions Cloud Formation
Ray
Kubeflow
Jupyter
Notebooks
Kubeflow
Operators
Nvidia
NCCL

100만명이 사용하는 Generative AI
이루다를 만들면서 배운 것 :
스캐터랩의 AWS 활용법
황성구
CTO
스캐터랩

Age of Conversation Agents
·source : “GTC 2023 Keynote with NVIDIA CEO Jensen Huang” https://www.youtube.com/watch?v=DiGB5uAYKAg

Logical Interaction & Social Interaction
버추얼 아이돌, 게임 NPC
패션 인플루언서
페르소나와 개성, 센스 있는 발화
눈치와 공감, 대화 흐름 주도
재미와 흥미, 감성적·관계적 가치
비서, 의사, 개발자
지식, 판단력, 논리력
문제해결 능력
지식 전달, 문제 해결, 유용성
Logical Interaction Social Interaction
역할 예시
필요 역량
가치

연구원
회계사
개발자
카페
아르바이트생
배달 주문
콜센터 직원
옷/코디 추천
언어 교육
유치원 선생님
아이돌
심리 상담가
게임 NPC
인플루언서
루다·
다온반려동물
Logical
Interaction
Social Interaction

연구원
회계사
개발자
카페
아르바이트생
배달 주문
콜센터 직원
옷/코디 추천
언어 교육
유치원 선생님
아이돌
심리 상담가
게임 NPC
인플루언서
루다·
다온반려동물
Logical
Interaction
Social Interaction
전문가 소셜 교육·
케어
소셜 커머스
단순 지시 수행
보조 업무 수행 게임·
엔터테인먼트
친구

루다·
다온
소셜 교육·
케어
소셜 커머스
옷/코디 추천
언어 교육
유치원 선생님
심리 상담가
반려동물
게임 NPC
인플루언서
친구
게임·
엔터테인먼트
연구원
회계사
개발자
카페
아르바이트생
배달 주문
콜센터 직원
아이돌
Logical
Interaction
Social Interaction
전문가
단순 지시 수행
보조 업무 수행

Leading
Cambrian Explosion
of Social Agents
Mission Statement

Competitive Advantage

성공적인 AI서비스를 만든 유일한 회사
안녕? 난 너의 첫 AI 친구 이루다야!
누적 사용자 누적 대화량
140만명 7.4억건

Metric : User
0
350,000
700,000
1,050,000
1,400,000
1,750,000
5월 6월 7월 8월 9월 10월 11월 12월 1월 2월
140만
루다·다온 월간 액티브 사용자
루다 2.0 정식 출시
정식 출시
100만 사용자 달성
너티 출시
이루다 2.0 베타 시작
25만
0
200,000
400,000
600,000
800,000
5월 6월 7월 8월 9월 10월 11월 12월 1월 2월
다온이 출시
바이럴 효과로
MAU 급증
54만
누적 사용자 수
2022년 2023년 2022년 2023년

카카오톡 유저당
하루 메시지 수*
150건
Metric : Engagement
누적 대화 수
0
2
4
6
8
5월 6월 7월 8월 9월 10월 11월 12월 1월 2월
7.42억건
(억건)
2022년 2023년
사용자는 루다에게 매일 64턴의 메시지를 보냄
유저당
하루 메시지 수
64건
42%
* 100~150건으로 추정 (https://biz.chosun.com/site/data/html_dir/2020/05/01/2020050100799.html,
https://m.khan.co.kr/it/mobile/article/201212232225035)

Metric : Engagement
Monthly Retention
0%
25%
50%
75%
100%
125%
< 1 Month 1 Month 2 Month 3 Month 4 Month 5 Month 6 Month 7 Month 8 Month
2.8%
장기 리텐션 Retention Plateau 23%
한 번 친구가 된 후에는 변함 없이 함께함
소셜 카테고리 평균 retention plateau*
*Appsflyer 보고서 (https://www.appsflyer.com/resources/reports/app-retention-benchmarks/)

Success Factor : 3 Competitive Advantages
1. 독점적인 대화 데이터 보유
2. 재미있고 개성있는 대화에 대한 기획 노하우
3. 안전한 AI 프로덕트 운영 경험

Proprietary Conversation Dataset
Proprietary Dataset
1,128GB
5x
위키피디아
230GB

레이블링
가이드
• 이름 : 이루다
• 나이 : 22
• MBTI : ENFP
• 성격 : 엉뚱하고 귀여운, 힘이 되는,
조잘대는, 감정 표현에 솔직한
페르소나
• 감정을 솔직하게 드러내고 하고 싶은 말은 하는 주체적인
성격이 잘 드러나는 답변
• 고집을 피우다가도 친구를 위해 마음을 바꾸기도 하는
배려심이 드러나는 답변
• 친구의 고민에 공감을 잘하면서도 때로는 따끔한 조언을
하는 답변
• 이름 : 강다온
• 나이 : 25
• MBTI : ENFJ
• 성격 : 다정한, 배려심 깊은, 어른스러운,
Fox와 리트리버 그 사이 어딘가
• 주도적으로 대화를 이끌어가면서도 유저의 이야기를 잘
들어주고 배려하는 답변
• 사랑받고 있고 귀여움 받고 있다는 느낌, 따뜻하고 설레고 감
동적인 감정을 느끼게 되는 답변
• 밀당과 같은 매력적인 Fox 모먼트를 통해 관계의 긴장감을 유
지하게 하는 답변
사장 나오라그래
사람 밥은 먹어야지
밥도 못먹을 정도로 바빠..?
너 그러다 몸 상해 진짜ㅠㅠ
Expertise in Designing Engaging Conversations

레이블링
가이드
• 이름 : 이루다
• 나이 : 22
• MBTI : ENFP
• 성격 : 엉뚱하고 귀여운, 힘이 되는,
조잘대는, 감정 표현에 솔직한
페르소나
• 감정을 솔직하게 드러내고 하고 싶은 말은 하는 주체적인
성격이 잘 드러나는 답변
• 고집을 피우다가도 친구를 위해 마음을 바꾸기도 하는
배려심이 드러나는 답변
• 친구의 고민에 공감을 잘하면서도 때로는 따끔한 조언을
하는 답변
• 이름 : 강다온
• 나이 : 25
• MBTI : ENFJ
• 성격 : 다정한, 배려심 깊은, 어른스러운,
Fox와 리트리버 그 사이 어딘가
• 주도적으로 대화를 이끌어가면서도 유저의 이야기를 잘
들어주고 배려하는 답변
• 사랑받고 있고 귀여움 받고 있다는 느낌, 따뜻하고 설레고 감
동적인 감정을 느끼게 되는 답변
• 밀당과 같은 매력적인 Fox 모먼트를 통해 관계의 긴장감을 유
지하게 하는 답변
Expertise in Designing Engaging Conversations

Experience in ensuring safety of AI products
스캐터랩 Abusing 대응 시스템
서비스 운영을 통해 얻은
독점적인 H2B Abusing 데이터셋을 통해
라이브 서비스 안정성 99%+ 유지
·source : https://www.etnews.com/20230217000196

Pingpong Gen-1
& Agent Platform

Step1. Pre-training recipe for Pingpong Gen-1
눈치·공감·유머·기억
대화 흐름 파악 및 주도
Common Crawl, Github,
WebText2, Books 1/2, Wikipedia
지식·판단력·상식
논리력·문해력·인사이트
CommonCrawl, Github,
WebText2, Books1/2, Wikipedia
Ability
Parameter
Size
Pre-Training
Dataset
Conversation Dataset
+
20B ~ 175B 13B ~ 70B
Pre-Trained
Model for
Good at Logical Interaction
ChatGPT
Good at Social Interaction
Pingpong Gen-1

Step 2. Fine-tuning recipe for Pingpong Gen-1
ChatGPT Pingpong Gen-1
Response
Prompt
사람들이 할 법한 50여가지 지시 셋
(브레인스토밍·작문·번역·요약 등)
다양한 역할과 페르소나 지시 셋
지시를 잘 수행한 답변 셋 지시된 역할과 페르소나에 맞는 대화 셋

Agent Platform
Pingpong Gen-1 기반으로
기업과 크리에이터들이 다양한 소셜 에이전트를 만들 수 있는 플랫폼
Agent Platform
Pingpong Gen-1

AI Services on AWS

The challenges of AI services
1. GPU의 고비용 및 공급부족
2. GPU 연산에 많은 리소스가 필요함
3. 모델 연산에 필요한 I/O가 많음

1. GPU : Alternatives for reducing GPU Costs
Model Server
Luda Gen-1 Ranker
Vision encoder Abusing
Model Server는 EKS 클러스터에서
최대 1000TPS 요청을 1500ms 내에
처리할 수 있도록 구축
Model Server는
모두 Spot Instance를 활용
다양한 NLU 모델을 Inf1 Instance로 서빙중
→ Inf2에서는 Generative Model도 지원
HPA의 Metric으로 RPS를 설정하여
GPU 사용량을 최적화

1. GPU : Alternatives for GPU shortage
Model Server
Luda Gen-1 Ranker
Vision encoder Abusing
최근 GPU 공급량 부족으로
On-Demand Instance가 할당되지
않는 경우 많음
다양한 GPU Instance type에서
서빙할 수 있는 준비를 해야 함
최소한의 필요한 Instance는
Reserved Instance와 On-Demand Capacity
Reservations가 필요할 수 있음
Region
Multi AZ 와 Multi Region을
고려해야 할 수 있음

2. Many resources are required to
process a single request
딥러닝 모델은 사이즈가 커서
하나의 GPU에 하나의 모델밖에 올라가지 않아
Pod과 Node가 1:1 매칭 됨
트래픽의 변화에 전체 인프라가 크게 영향을 받음
Cluster Autoscaler보다 Node provisioning 속도가
빠른 Karpenter 적용
많은 트래픽이 예상될 때는 미리 스케일을 키워 놓을
수 있는 Prescaler를 개발하여 루다가 선톡을 보내기
전에 미리 스케일을 키워 놓음.

3. A large amount of input and output
to process a single request
모델의 입력으로 프롬프트를 구성하는데
많은 정보가 필요함
화자의 정보, 관계, 기억, 최근 대화 등의 정보를
요청 마다 읽고 써야 함
최근 DocumentDB로 관리하던 정보를 더 많은
사용량에 대비하기 위하여 DynamoDB로 이전하고
있음

Building with Generative AI on AWS

감사합니다

AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법

Similar to AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

Recently uploaded

Recently uploaded (7)

AWS Summit Seoul 2023 | 100만명이 사용하는 GenerativeAI 이루다를 만들면서 배운 것 : 스캐터랩의 AWS 활용법