설탭_이재규AWS Korea Edutech Community Forum 2023 .pdf

AWS KOREA EDUTECH COMMUNITY FORUM 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS ECS,EKS와 EMR을 통한 분산환경에서의
MSA, BI 구축 사례
이재규
[ 컨 테 이 너 / 애 널 리 틱 스 ]
백엔드 파트장
설탭(오누이)

Index
❖ About Seoltab
❖ Why MSA?
❖ Seoltab Architecture
❖ Scalability
❖ User Experience
❖ Traffic
❖ Database
❖ Future Plan

About Seoltab
3

About Seoltab
4
총 5 6 0 만 건 의 학 습 데 이 터 축 적

Why MSA?
M S A 로 전 환 하 게 된 이 유
5

Seoltab Architecture
6
❖ 동시성(성능)
❖ 게이트웨이, 캐시,
❖Query 전용DB
❖CDP(Customer Data Platform)
❖ 도메인(기능)
❖ 도메인 서버 구축
❖ 카프카 에코 시스템
❖ MSA 오케스트레이션
❖ 데이터(데이터)
❖ Trino, ETL
❖ Spark, Datalake
❖ AI/Model

Scalability
고 가 용 성 , 확 장 성
7
❖ 특정 서비스의 장애가 전체 서비스로 전파되어 정각마
다 진행되는 수업에 차질이 생긴 경우
❖ 부분적인 서비스의 장애가 전체 서버에 전파됨
❖ 전체코드가 하나의 서버로 되어있어 배포가 오래걸림
❖ 전체 서버를 Scale out 해야함

Scalability
고 가 용 성 , 확 장 성
8
❖ 특정 서비스의 장애가 전체 서비스로 전파되어 정각마
다 진행되는 수업에 차질이 생긴 경우
❖ DDD를 통해 도출된 Bounded Context(BC)는
ECS cluster로 그룹핑
❖ BC안의 서비스들은 private subnet안에
fargate로 배포
❖ BC끼리 통신해야되는 경우 Cloud map을 통해서
gRPC 통신

User Experience
유 저 경 험 을 위 한 서 버 구 조
9
❖ 서비스들이 강결합되어있어 정상작동하지 않은 경우
❖ 수업 서비스가 문제가 생겨 결제가 되지 않는 경우
❖ MSK를 구축하여 Event Driven Architecture 구성
❖ Consumer proxy를 이용
❖ Partition : Consumer = 1:1 이상의 병렬처리
❖ Consumer event가 실패한 경우
Dynamo를 DLQ(Dead Letter Queue)로 사용
❖ DLQ의 이벤트는 최대한 빠르게 대응( MTTR )

Traffic
게 이 트 웨 이 , 캐 싱
❖ 정각마다 동시에 많은 요청이 들어와 DB에 부하가 생
겨 응답시간에 지연이 생기는 경우
❖ 수많은 엔드포인트의 관리 필요
❖ 백엔드 API를 기다리게 되는 바틀넥 발생
❖ Graphql mesh를 통해 response caching
❖ Client, Domain, Gateway가 병렬적으로 협업
❖ 도메인이 배포될 시에 Gateway 스키마도 같이 배포

Database
도 메 인 마 다 의 데 이 터 특 성
11
❖ 관계형 데이터베이스에 어울리지 않는 데이터 존재
❖ 복잡한 조인이 필요한 BI 요구
❖ 데이터베이스 분리, noSQL 사용
❖ 운영 데이터베이스에 BI 쿼리가 가지 않도록 glue
crawler를 통한 metadata 구축
❖ S3 metadata를 EMRFS로 사용한 EMR on eks를
이용하여 대용량 빅데이터 작업
❖ 분산된 데이터베이스에 쿼리할 수 있는
trino on eks 사용

Future Plan
14
❖ CDP 구축을 위한 MSK connect 활용
❖ ECS service connect를 활용
❖ Cluster를 넘어선 Fargate끼리
통신 가능한 구조 설계
❖ gRPC끼리 연결된 연결수, 통신상태
모니터링
❖ EMR의 Spark와 Sagemaker를 이용한
AI 훈련 환경 구축
❖ BI 관리포인트를 제거한 Athena, QuickSight 사용

Thank you!
이재규
goobaek@onuii.com
15

설탭_이재규AWS Korea Edutech Community Forum 2023 .pdf

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 설탭_이재규AWS Korea Edutech Community Forum 2023 .pdf

Similar to 설탭_이재규AWS Korea Edutech Community Forum 2023 .pdf (20)

설탭_이재규AWS Korea Edutech Community Forum 2023 .pdf