롯데ON에 적용된 MSA 모니터링 최적화 과정과 경험

1. 롯데ON MSA 모니터링 최적화 사례
롯데ON
정성민 / SRE

2. 목차
2
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
I. 소개
1. 롯데ON 소개
2. 모니터링 과제
II. WhaTap
1. 선택 이유
2. 현황
3. 활용 기능
III.MSA Monitoring Case
1. Case1
2. Case2
IV.향후
1. WhaTap과 함께

3. 3
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
롯데ON 소개
롯데ON?
• 롯데가 운영하는 온/오프라인 쇼핑 플랫폼
• 1996년 국내 최초 온라인 종합쇼핑몰 오픈
• 롯데닷컴(2000년)을 거쳐 2020년 롯데ON 오픈
• IT기술 기반 차별화된 고객 중심 서비스로 지속 성장 중
• 고객에게 Story를 전달할 수 있는 사이트로 발전 기대
27 (17%)
20 (12%)
10 (6%)
7.6 (5%)
7
5
4.6
3.9
네이버
이베이
11번가
롯데ON
위메프
티몬
카카오
SSG닷컴
2020년 이커머스 거래액 및 점유율 (단위: 조 원)

4. Since 1996
1996 2000
롯데닷컴 법인설립
2015
롯데인터넷백화점 오픈
2003
롯데닷컴 서비스 오픈
나이키 전시 구축(AWS)
2016
유니클로 구축
2017
롯데인터넷면세점
AWS & MSA 구축
2018
엘롯데 오픈 (MSA)
2020
롯데ON 오픈 All Cloud
MSA
롯데ON 클라우드 여정

5. 5
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
롯데ON 아키텍처

6. 6
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
모니터링 과제
롯데ON 모니터링 과제
• MSA별 이슈를 신속하게 담당자에게 전파?
• K8S EKS를 효과적으로 모니터링하는 방법?

7. 7
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
직관적, 실시간

8. 8
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
WhaTap 선택
#직관적
한 눈에 들어오는 UI
#신속 감지
MSA별 이슈를 빠르게 확인

9. 9
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
모니터링 현황

10. 10
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
주요 활용 기능
#통계 / 보고서
• 각 MSA별 Exception 주간 통계
• 추이 분석 및 대량 발생 건 확인
• 담당자와 함께 F/U 진행
• URL 호출 건수 통계도 분석 시 용이
#비즈니스 지표
• 주요 비즈니스 임계 설정
→ 주문 건수, 결제/실패건수, 로그인 건수
• 주요 데이터 쿼리 등록 모니터링
#유연한 알람
• 각 MSA별 Slack 채널 전송
• 복합 매트릭 조건 가능
• 실시간 모니터링 알람리스트

11. 11
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
• 리뷰 작성 포인트 적립 행사
• 모든 상품 리뷰에 3,000 포인트 지급하도록 이벤트 설정 오류
• 행사 내용 뽐뿌/맘카페방 등 온라인 커뮤니티에 노출
• 특정 페이지로 순식간에 대량 트래픽 유입, 서비스 지연 발생
Issue Case #1

12. 12
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
EKS POD 모니터링 개선
• 와탭 내 EKS 자원 현황(CPU, 메모리)을 바로 확인할 수 있는 EKS Flex 대시보드 활용
• 주요 POD에 한해서는 실시간 각 POD 컨테이너 별 CPU, 메모리 임계/알람 설정
• 트래픽 과부하 URL, 추후 이슈시 제어 조치

13. 13
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
Issue Case #2
• 롯데ON 4월 온세상 이벤트 (연간 최대규모 이벤트)
• 최대 할인가 적용 위한 3종 쿠폰 발행
• 해당 쿠폰이 대량 발행되어 할인가 적용 시, 데이터 조회가 많아 MSA 어플리케이션 부하 발생

14. 14
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
어플리케이션 Heap 모니터링 개선
• 어플리케이션(POD) 성능 모니터링 대시보드 구성
• 장애시점 SQL 페치건수와 현재 건수를 비교 그래프로 이벤트 기간 대응
• 주요 지표 임계 설정 통한 알람 발생

15. 15
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
향후
• 한 트랜잭션에도 여러 개의 서비스를 거치게 됨
• 복잡한 아키텍처 구조로 잠재된 위험 요소 산재
• 서비스는 계속 쪼개져, 관리해야 할 서비스 증가
➢ 단순 APM 대시보드는 원인 분석 어려움
Observability로 도약

16. 16
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
향후
롯데ON SRE
• ‘확인 필요한 알람만 발생시킨다’ - 롯데ON SRE 원칙
• Observability도 WhaTap과 함께

17. 17
Copyright © 2022 WhaTap – Developed by WhaTap Labs Inc.
Q&A
Q&A

18. 이 문서의 저작권은 (주)와탭랩스에 있습니다.
이 문서는 (주)와탭랩스의 서면동의 없이 어떤 형태로도 재생산, 배포, 변경할 수 없습니다.
감사합니다.