데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
© 2022, Amazon Web Services, Inc. or its affiliates.
데이터 분석 현대화
- 온프레미스 Exadata의 성공적인 AWS 전환 사례
김 동 현
Data Architect
NDS
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
© 2022, Amazon Web Services, Inc. or its affiliates.
Agenda
2
1. NDS 소개
2. 메가마트 데이터 분석 현대화
3. 데이터 마이그레이션 사례
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
© 2022, Amazon Web Services, Inc. or its affiliates.
1. NDS 소개
3
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
소개
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
2016 2018
2020
2017
2021
Advanced Consulting
Partner 선정
APAC & Korea Rising Star 수상
MSP 인증
SAP & Oracle
Competency 획득
Migration Competency 획득
APN Differentiation Partner 수상
AWS 비즈니스 시작
2015
APN Marketing Partner 수상
클라우드 비즈니스
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
© 2022, Amazon Web Services, Inc. or its affiliates.
2. 메가마트 데이터 분석 현대화
6
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates. 7
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates. 8
데이터 웨어하우스 트랜드
Server
DB
Storage
Server
DB
Storage
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates. 9
클라우드의 데이터 분석 프로세스
Athena
Redshift
Glue
QuickSight
S3
Direct Connect
DMS Data Exchange
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
All-in-AWS Cloud 환경 구성 제안
10
AWS Cloud
Amazon Redshift Reporting & BI
OLTP/ERP RDBMS
수집 / 저장 처리 / 분석 / 시각화
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
고객의 고민과 우려
11
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
사전 성능
검증
점진적
고도화
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
성능 개선 검증
13
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates. 14
점진적 고도화
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
아키텍처 – DW 데이터 분석
대용량 데이터
z1d.2xlarge
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
도입 효과
16
▪ 저장 용량 무제한 사용
▪ 데이터량에 따른 저장/성능 확장성
▪ 빅데이터 분석 도입 가능한 환경 구성
▪ 노후 서버 신규 버전 교체
온프레미스 클라우드
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
© 2022, Amazon Web Services, Inc. or its affiliates.
3. 데이터 마이그레이션 사례
17
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
조선・해양 엔지니어링사 DB
18
DATABASE DATABASE
데이터플랫폼 모더나이제이션
© 2022, Amazon Web Services, Inc. or its affiliates.
DB 링크를 이용한 DB 마이그레이션
2. Export Dump
1. Database Link 생성
Database Link
3. DB Link를 통한 Dump파일 전송
4. Import Dump
Source Target
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
AWS DMS를 이용한 DB 마이그레이션
2. DMS 전체 로드 태스크 생성
Source Target
1. DMS Source/Target endpoint 생성
DMS Source Endpoint DMS Target Endpoint
3. DMS 태스크 실행
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
Amazon S3를 이용한 DB 마이그레이션
2. Export Dump / Upload 3. Download / Import Dump
Source Target
네트워크 단절
1. S3 Bucket 생성
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
글로벌 브랜드 DB 마이그레이션
22
DATABASE DATABASE
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
매출관리 멤버십관리 재고관리 포인트관리
데이터베이스 마이그레이션에 허용된 시간 최대 “2시간”
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
Export/Import DB 마이그레이션 환경 및 소요 시간
Upload
to AWS
7시간 12시간 14시간 = 33시간
+
+
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
DMS기반 CDC 적용 전 주요 준비사항
원본 데이터베이스 다이어트
초기데이터 적재
PK가 없는 데이블 검토
DB, Table Supplemental Logging 설정
Trigger / Constraints / Sequence 검토
목적지 데이터베이스 스케쥴드 잡 정지
xLOB 사이즈 확인
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
CDC 방식 DB 연속 복제
2. DMS 전체 로드 & CDC 태스크 생성
Source Target
1. DMS Source/Target endpoint 생성
DMS Source Endpoint DMS Target Endpoint
3. DMS 전체로드 실행
4. DMS CDC 복제 시작
5. DMS CDC 복제 중지 및 마무리 작업
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
이기종 DB 마이그레이션
27
DATABASE
PostgreSQL
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
DMS기반 이기종 DB 마이그레이션 절차
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
Migration Report Schema Conversion Tool
29
SCT 이기종 DB 마이그레이션 진단 보고서
29
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
DMS기반 이기종 DB 마이그레이션
4. DMS 전체 로드 태스크 생성
Source Target
3. DMS Source/Target endpoint 생성
DMS Source Endpoint DMS Target Endpoint
5. DMS 태스크 실행
AWS SCT
1. SCT 설치
2. SCT 를 통한 스키마 변환
© 2022, Amazon Web Services, Inc. or its affiliates.
여러분의 소중한
피드백을 기다립니다.
행사 종료 후 설문조사에
참여해 주십시오.
© 2022, Amazon Web Services, Inc. or its affiliates. 31
데이터 분석 현대화
© 2022, Amazon Web Services, Inc. or its affiliates.
Thank you!
© 2022, Amazon Web Services, Inc. or its affiliates. 32

농심 그룹 메가마트 : 온프레미스 Exadata의 AWS 클라우드 환경 전환 사례 공유-김동현, NDS Cloud Innovation Center 데이터 아키텍트::AWS 마이그레이션 A to Z 웨비나

  • 1.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. 데이터 분석 현대화 - 온프레미스 Exadata의 성공적인 AWS 전환 사례 김 동 현 Data Architect NDS
  • 2.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. Agenda 2 1. NDS 소개 2. 메가마트 데이터 분석 현대화 3. 데이터 마이그레이션 사례
  • 3.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. 1. NDS 소개 3
  • 4.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 소개
  • 5.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 2016 2018 2020 2017 2021 Advanced Consulting Partner 선정 APAC & Korea Rising Star 수상 MSP 인증 SAP & Oracle Competency 획득 Migration Competency 획득 APN Differentiation Partner 수상 AWS 비즈니스 시작 2015 APN Marketing Partner 수상 클라우드 비즈니스
  • 6.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. 2. 메가마트 데이터 분석 현대화 6
  • 7.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 7
  • 8.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 8 데이터 웨어하우스 트랜드 Server DB Storage Server DB Storage
  • 9.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 9 클라우드의 데이터 분석 프로세스 Athena Redshift Glue QuickSight S3 Direct Connect DMS Data Exchange
  • 10.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. All-in-AWS Cloud 환경 구성 제안 10 AWS Cloud Amazon Redshift Reporting & BI OLTP/ERP RDBMS 수집 / 저장 처리 / 분석 / 시각화
  • 11.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 고객의 고민과 우려 11
  • 12.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 사전 성능 검증 점진적 고도화
  • 13.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 성능 개선 검증 13
  • 14.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 14 점진적 고도화
  • 15.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 아키텍처 – DW 데이터 분석 대용량 데이터 z1d.2xlarge
  • 16.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 도입 효과 16 ▪ 저장 용량 무제한 사용 ▪ 데이터량에 따른 저장/성능 확장성 ▪ 빅데이터 분석 도입 가능한 환경 구성 ▪ 노후 서버 신규 버전 교체 온프레미스 클라우드
  • 17.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. 3. 데이터 마이그레이션 사례 17
  • 18.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 조선・해양 엔지니어링사 DB 18 DATABASE DATABASE
  • 19.
    데이터플랫폼 모더나이제이션 © 2022,Amazon Web Services, Inc. or its affiliates. DB 링크를 이용한 DB 마이그레이션 2. Export Dump 1. Database Link 생성 Database Link 3. DB Link를 통한 Dump파일 전송 4. Import Dump Source Target
  • 20.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. AWS DMS를 이용한 DB 마이그레이션 2. DMS 전체 로드 태스크 생성 Source Target 1. DMS Source/Target endpoint 생성 DMS Source Endpoint DMS Target Endpoint 3. DMS 태스크 실행
  • 21.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. Amazon S3를 이용한 DB 마이그레이션 2. Export Dump / Upload 3. Download / Import Dump Source Target 네트워크 단절 1. S3 Bucket 생성
  • 22.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 글로벌 브랜드 DB 마이그레이션 22 DATABASE DATABASE
  • 23.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 매출관리 멤버십관리 재고관리 포인트관리 데이터베이스 마이그레이션에 허용된 시간 최대 “2시간”
  • 24.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. Export/Import DB 마이그레이션 환경 및 소요 시간 Upload to AWS 7시간 12시간 14시간 = 33시간 + +
  • 25.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. DMS기반 CDC 적용 전 주요 준비사항 원본 데이터베이스 다이어트 초기데이터 적재 PK가 없는 데이블 검토 DB, Table Supplemental Logging 설정 Trigger / Constraints / Sequence 검토 목적지 데이터베이스 스케쥴드 잡 정지 xLOB 사이즈 확인
  • 26.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. CDC 방식 DB 연속 복제 2. DMS 전체 로드 & CDC 태스크 생성 Source Target 1. DMS Source/Target endpoint 생성 DMS Source Endpoint DMS Target Endpoint 3. DMS 전체로드 실행 4. DMS CDC 복제 시작 5. DMS CDC 복제 중지 및 마무리 작업
  • 27.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. 이기종 DB 마이그레이션 27 DATABASE PostgreSQL
  • 28.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. DMS기반 이기종 DB 마이그레이션 절차
  • 29.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. Migration Report Schema Conversion Tool 29 SCT 이기종 DB 마이그레이션 진단 보고서 29
  • 30.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. DMS기반 이기종 DB 마이그레이션 4. DMS 전체 로드 태스크 생성 Source Target 3. DMS Source/Target endpoint 생성 DMS Source Endpoint DMS Target Endpoint 5. DMS 태스크 실행 AWS SCT 1. SCT 설치 2. SCT 를 통한 스키마 변환
  • 31.
    © 2022, AmazonWeb Services, Inc. or its affiliates. 여러분의 소중한 피드백을 기다립니다. 행사 종료 후 설문조사에 참여해 주십시오. © 2022, Amazon Web Services, Inc. or its affiliates. 31
  • 32.
    데이터 분석 현대화 ©2022, Amazon Web Services, Inc. or its affiliates. Thank you! © 2022, Amazon Web Services, Inc. or its affiliates. 32