본 세션에서는 Amazon의 관리형 데이터베이스 서비스(RDS) 중 기존 상용데이터베이스의 5배 성능 및 1/10 가격으로도 확장성을 보장하는 Aurora에 대한 소개 및 사용법 그리고 기존의 DB에서의 마이그레이션 방법에 대해 소개해드립니다. 10월 리인벤트를 통해 동경 리전에 Aurora를 사용가능하게 되었습니다.
Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...Amazon Web Services Korea
ccAmazon Aurora 데이터베이스는 클라우드용으로 구축된 관계형 데이터베이스입니다. Aurora는 상용 데이터베이스의 성능과 가용성, 그리고 오픈소스 데이터베이스의 단순성과 비용 효율성을 모두 제공합니다. 이 세션은 Aurora의 고급 사용자들을 위한 세션으로써 Aurora의 내부 구조와 성능 최적화에 대해 알아봅니다.
아름답고 유연한 데이터 파이프라인 구축을 위한 Amazon Managed Workflow for Apache Airflow - 유다니엘 A...Amazon Web Services Korea
Apache Airflow는 복잡한 데이터 처리 파이프라인의 전체적인 프로세스를 자동화하기 위한 워크플로우 관리 플랫폼이며 오픈 소스 커뮤니티에서 활발하게 기여하고 있는 top-level 프로젝트 입니다. AWS는 최근에 Amazon Managed Workflow for Apache Airflow (MWAA) 서비스를 정식 출시하였고, 본 강연에서는 Apache Airflow 및 MWAA를 소개하고 어떻게 AWS 서비스와 연동하여 데이터 처리 워크플로우를 구축할 수 있는지 데모를 통해 알려 드립니다.
EMR 플랫폼 기반의 Spark 워크로드 실행 최적화 방안 - 정세웅, AWS 솔루션즈 아키텍트:: AWS Summit Online Ko...Amazon Web Services Korea
발표영상 다시보기: https://youtu.be/hPvBst9TPlI
S3 기반의 데이터레이크에서 대량의 데이터 변환과 처리에 사용될 수 있는 가장 대표적인 솔루션이 Apache Spark 입니다. EMR 플랫폼 환경에서 쉽게 적용 가능한 Apache Spark의 성능 향상 팁을 소개합니다. 또한 데이터의 레코드 레벨 업데이트, 리소스 확장, 권한 관리 및 모니터링과 같은 다양한 데이터 워크로드 관리 최적화 방안을 함께 살펴봅니다.
최근 국내와 글로벌 서비스에서 MongoDB를 사용하는 사례가 급증하고 있습니다. 다만 전통적인 RDBMS에 비해, 아직 지식과 경험의 축적이 적게 되어 있어 손쉬운 접근과 트러블 슈팅등에 문제가 있는 것도 사실입니다. 이 세션에서는 MongoDB 와 AWS의 DocumentDB의 Architecure를 간단히 살펴보고 MongoDB 및 DocumentDB의 비교를 진행하며 특히 MongoDB와 DocumentDB를 사용할때 주의해야할 중요 포인트에 대해서 알아봅니다.
본 세션에서는 Amazon의 관리형 데이터베이스 서비스(RDS) 중 기존 상용데이터베이스의 5배 성능 및 1/10 가격으로도 확장성을 보장하는 Aurora에 대한 소개 및 사용법 그리고 기존의 DB에서의 마이그레이션 방법에 대해 소개해드립니다. 10월 리인벤트를 통해 동경 리전에 Aurora를 사용가능하게 되었습니다.
Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...Amazon Web Services Korea
ccAmazon Aurora 데이터베이스는 클라우드용으로 구축된 관계형 데이터베이스입니다. Aurora는 상용 데이터베이스의 성능과 가용성, 그리고 오픈소스 데이터베이스의 단순성과 비용 효율성을 모두 제공합니다. 이 세션은 Aurora의 고급 사용자들을 위한 세션으로써 Aurora의 내부 구조와 성능 최적화에 대해 알아봅니다.
아름답고 유연한 데이터 파이프라인 구축을 위한 Amazon Managed Workflow for Apache Airflow - 유다니엘 A...Amazon Web Services Korea
Apache Airflow는 복잡한 데이터 처리 파이프라인의 전체적인 프로세스를 자동화하기 위한 워크플로우 관리 플랫폼이며 오픈 소스 커뮤니티에서 활발하게 기여하고 있는 top-level 프로젝트 입니다. AWS는 최근에 Amazon Managed Workflow for Apache Airflow (MWAA) 서비스를 정식 출시하였고, 본 강연에서는 Apache Airflow 및 MWAA를 소개하고 어떻게 AWS 서비스와 연동하여 데이터 처리 워크플로우를 구축할 수 있는지 데모를 통해 알려 드립니다.
EMR 플랫폼 기반의 Spark 워크로드 실행 최적화 방안 - 정세웅, AWS 솔루션즈 아키텍트:: AWS Summit Online Ko...Amazon Web Services Korea
발표영상 다시보기: https://youtu.be/hPvBst9TPlI
S3 기반의 데이터레이크에서 대량의 데이터 변환과 처리에 사용될 수 있는 가장 대표적인 솔루션이 Apache Spark 입니다. EMR 플랫폼 환경에서 쉽게 적용 가능한 Apache Spark의 성능 향상 팁을 소개합니다. 또한 데이터의 레코드 레벨 업데이트, 리소스 확장, 권한 관리 및 모니터링과 같은 다양한 데이터 워크로드 관리 최적화 방안을 함께 살펴봅니다.
최근 국내와 글로벌 서비스에서 MongoDB를 사용하는 사례가 급증하고 있습니다. 다만 전통적인 RDBMS에 비해, 아직 지식과 경험의 축적이 적게 되어 있어 손쉬운 접근과 트러블 슈팅등에 문제가 있는 것도 사실입니다. 이 세션에서는 MongoDB 와 AWS의 DocumentDB의 Architecure를 간단히 살펴보고 MongoDB 및 DocumentDB의 비교를 진행하며 특히 MongoDB와 DocumentDB를 사용할때 주의해야할 중요 포인트에 대해서 알아봅니다.
re:Invent 2022 DAT326 Deep dive into Amazon Aurora and its innovationsGrant McAlister
With an innovative architecture that decouples compute from storage as well as advanced features like Global Database and low-latency read replicas, Amazon Aurora reimagines what it means to be a relational database. The result is a modern database service that offers performance and high availability at scale, fully open-source MySQL- and PostgreSQL-compatible editions, and a range of developer tools for building serverless and machine learning-driven applications. In this session, dive deep into some of the most exciting features Aurora offers, including Aurora Serverless v2 and Global Database. Also learn about recent innovations that enhance performance, scalability, and security while reducing operational challenges.
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study (박주홍 데이터 분석 및 인프라 팀...Amazon Web Services Korea
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study
이 세션에서는 데브시스터즈의 Case Study를 통하여 Data Lake를 만들고 사용하는데 있어 요구 되는 사항들에 대해 공유합니다. 여러 목적에 맞는 데이터를 전달하기 위해 AWS 를 활용하여 Data Lake 를 구축하게된 계기와 실제 구축 작업을 하면서 경험하게 된 것들에 대해 말씀드리고자 합니다. 기존 인프라 구조 대비 효율성 및 비용적 측면을 소개해드리고, 빅데이터를 이용한 부서별 데이터 세분화를 진행할 때 어떠한 Architecture가 사용되었는지 소개드리고자 합니다.
OpenSearch는 배포형 오픈 소스 검색과 분석 제품군으로 실시간 애플리케이션 모니터링, 로그 분석 및 웹 사이트 검색과 같이 다양한 사용 사례에 사용됩니다. OpenSearch는 데이터 탐색을 쉽게 도와주는 통합 시각화 도구 OpenSearch와 함께 뛰어난 확장성을 지닌 시스템을 제공하여 대량 데이터 볼륨에 빠르게 액세스 및 응답합니다. 이 세션에서는 실제 동작 구조에 대한 설명을 바탕으로 최적화를 하기 위한 방법과 운영상에 발생할 수 있는 이슈에 대해서 알아봅니다.
데이터 분석가를 위한 신규 분석 서비스 - 김기영, AWS 분석 솔루션즈 아키텍트 / 변규현, 당근마켓 소프트웨어 엔지니어 :: AWS r...Amazon Web Services Korea
AWS re:Invent에서는 다양한 고객들의 요구에 맞추어 새로운 분석 및 서버리스 서비스가 대거 출시되었습니다. 본 강연에서는 새롭게 출시된 핵심 분석 기능들과 함께, 누구나 손쉽게 사용할 수 있는 AWS의 분석 서버리스와 On-demand 기능들에 대한 심층적인 정보를 확인하실 수 있습니다.
Amazon RDS allows you to launch an optimally configured, secure and highly available database with just a few clicks. It provides cost-efficient and resizable capacity while managing time-consuming database administration tasks, freeing you up to focus on your applications and business. We’ll discuss Amazon RDS fundamentals, learn about the six available database engines (with the seventh on the way), and examine customer success stories.
Amazon DynamoDB는 대표적인 완전 관리형 NoSQL 데이터베이스 서비스이지만, 많은 고객분들은 여전히 가격이 너무 비싸다는 인식을 갖고 계십니다. 이번 세션에서는 특히 운영 부담 없이 인터넷 스케일의 서비스를 가능하게 하는 DynamoDB의 장점과 사용 사례, 그리고 한국 최대 규모 DynamoDB 고객의 비용 최적화 사례를 통해 워크로드에 따라 다양한 비용 최적화 포인트가 있음을 소개합니다.
Amazon Aurora Storage Demystified: How It All Works (DAT363) - AWS re:Invent ...Amazon Web Services
Amazon Aurora is a high performance, highly scalable database service with MySQL- and PostgreSQL-compatibility. One of its key components is an innovative storage system that is optimized for database workloads and specifically designed to take advantage of modern cloud technology. Hear from the team that built Amazon Aurora's storage system on how the system is designed, how it works, and what you need to know to get the most out of it.
LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...Amazon Web Services Korea
LG 이노텍은 세계 시장을 선도하는 글로벌 소재·부품기업으로, Amazon Redshift 을 데이터 분석 플랫폼의 핵심 서비스로 활용하고 있습니다.지속적인 데이터 증가와 업무 확대에 따른 유연한 아키텍처 개선의 필요성에 대처하기 위해, 2022년에 AWS 에서 발표된 Redshift Serverless 를 활용한, 비용 최적화된 아키텍처 개선 과정의 실사례를 엿볼수 있는 기회가 됩니다.
AWS 상의 컨테이너 서비스 소개 ECS, EKS - 이종립 / Principle Enterprise Evangelist @베스핀글로벌BESPIN GLOBAL
지난 11월 Bespin Gaming Day 행사의 발표 자료를 통해 AWS에서 컨테이너를 활용하는 방법을 알아보겠습니다.
AWS에서는 사용 목적에 따라 다양한 컨테이너 서비스를 제공합니다.
- Management 스케쥴링, 스케일링, 배포, 전략: Amazon ECS, Amazon EKS
- Hosting 컨테이너가 수행되는 곳: Amazon EC2, AWS Fargate
- Image Registry 컨테이너 이미지 저장소: Amazon ECR
컨테이너 및 쿠버네티스 관련 서비스 중 Amazon EKS, Amazon ECS, AWS Fargate에 대해 보다 자세히 살펴보실 수 있습니다.
롯데이커머스의 마이크로 서비스 아키텍처 진화와 비용 관점의 운영 노하우-나현길, 롯데이커머스 클라우드플랫폼 팀장::AWS 마이그레이션 A ...Amazon Web Services Korea
2015 년부터 진행한 실험적 퍼블릭클라우드 운영에 대한 최근 결과를 공유하며 그간 경험한 MSA Architecture 환경, Cost optimization, Operation 관련 내용을 공유합니다. 특히 대규모 운영 환경에서 경험한 다양한 관점의 경험과 비용절감에 대해 인사이트를 제공 예정입니다.
디지털 전환과, 혁신을 주도하기 위해 Modern Data Architecture를 계획하는 많은 회사들이 있지만, 어디서부터 어떻게 시작해야 할지 막막하기만 합니다. 1000개 이상의 Use Case를 진행하며 다수의 고객과 Modern Data Architecture 를 구축한 사례를 바탕으로, AWS 클라우드에서 Modern Data Architecture를 구축하면서 도움이 되었던 조직문화, AWS의 서비스 활용, 간극을 메우기 위해 필요한 기술, 그리고 필요했던 교육들에 대한 부분을 공유하면서 Modern Data Architecture를 가속화하는 부분과 장점, 적용사례에 대해 360도 View를 제시하는 세션입니다.
Amazon Aurora 는 엔터프라이즈급의 가용성과 성능을 제공합니다. 실제 적용에서 Aurora성능 개선을 위해 무엇을 해야하는지, 그에 따른 모범 사례는 무엇이 있는지 본 세션에서 살펴봅니다. 또한 AWS Lambda 및 Amazon S3 와 같은 AWS의 다양한 서비스와 통합하는 최근 기능들에 대하여 상세하게 살펴보고 한국 고객들이 Aurora를 도입 및 마이그레이션한 사례를 통해 어떻게 마이그레이션에 접근해야 하는지를 살펴봅니다.
연사: 구승모, 아마존 웹서비스 솔루션즈 아키텍트
re:Invent 2022 DAT326 Deep dive into Amazon Aurora and its innovationsGrant McAlister
With an innovative architecture that decouples compute from storage as well as advanced features like Global Database and low-latency read replicas, Amazon Aurora reimagines what it means to be a relational database. The result is a modern database service that offers performance and high availability at scale, fully open-source MySQL- and PostgreSQL-compatible editions, and a range of developer tools for building serverless and machine learning-driven applications. In this session, dive deep into some of the most exciting features Aurora offers, including Aurora Serverless v2 and Global Database. Also learn about recent innovations that enhance performance, scalability, and security while reducing operational challenges.
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study (박주홍 데이터 분석 및 인프라 팀...Amazon Web Services Korea
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study
이 세션에서는 데브시스터즈의 Case Study를 통하여 Data Lake를 만들고 사용하는데 있어 요구 되는 사항들에 대해 공유합니다. 여러 목적에 맞는 데이터를 전달하기 위해 AWS 를 활용하여 Data Lake 를 구축하게된 계기와 실제 구축 작업을 하면서 경험하게 된 것들에 대해 말씀드리고자 합니다. 기존 인프라 구조 대비 효율성 및 비용적 측면을 소개해드리고, 빅데이터를 이용한 부서별 데이터 세분화를 진행할 때 어떠한 Architecture가 사용되었는지 소개드리고자 합니다.
OpenSearch는 배포형 오픈 소스 검색과 분석 제품군으로 실시간 애플리케이션 모니터링, 로그 분석 및 웹 사이트 검색과 같이 다양한 사용 사례에 사용됩니다. OpenSearch는 데이터 탐색을 쉽게 도와주는 통합 시각화 도구 OpenSearch와 함께 뛰어난 확장성을 지닌 시스템을 제공하여 대량 데이터 볼륨에 빠르게 액세스 및 응답합니다. 이 세션에서는 실제 동작 구조에 대한 설명을 바탕으로 최적화를 하기 위한 방법과 운영상에 발생할 수 있는 이슈에 대해서 알아봅니다.
데이터 분석가를 위한 신규 분석 서비스 - 김기영, AWS 분석 솔루션즈 아키텍트 / 변규현, 당근마켓 소프트웨어 엔지니어 :: AWS r...Amazon Web Services Korea
AWS re:Invent에서는 다양한 고객들의 요구에 맞추어 새로운 분석 및 서버리스 서비스가 대거 출시되었습니다. 본 강연에서는 새롭게 출시된 핵심 분석 기능들과 함께, 누구나 손쉽게 사용할 수 있는 AWS의 분석 서버리스와 On-demand 기능들에 대한 심층적인 정보를 확인하실 수 있습니다.
Amazon RDS allows you to launch an optimally configured, secure and highly available database with just a few clicks. It provides cost-efficient and resizable capacity while managing time-consuming database administration tasks, freeing you up to focus on your applications and business. We’ll discuss Amazon RDS fundamentals, learn about the six available database engines (with the seventh on the way), and examine customer success stories.
Amazon DynamoDB는 대표적인 완전 관리형 NoSQL 데이터베이스 서비스이지만, 많은 고객분들은 여전히 가격이 너무 비싸다는 인식을 갖고 계십니다. 이번 세션에서는 특히 운영 부담 없이 인터넷 스케일의 서비스를 가능하게 하는 DynamoDB의 장점과 사용 사례, 그리고 한국 최대 규모 DynamoDB 고객의 비용 최적화 사례를 통해 워크로드에 따라 다양한 비용 최적화 포인트가 있음을 소개합니다.
Amazon Aurora Storage Demystified: How It All Works (DAT363) - AWS re:Invent ...Amazon Web Services
Amazon Aurora is a high performance, highly scalable database service with MySQL- and PostgreSQL-compatibility. One of its key components is an innovative storage system that is optimized for database workloads and specifically designed to take advantage of modern cloud technology. Hear from the team that built Amazon Aurora's storage system on how the system is designed, how it works, and what you need to know to get the most out of it.
LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...Amazon Web Services Korea
LG 이노텍은 세계 시장을 선도하는 글로벌 소재·부품기업으로, Amazon Redshift 을 데이터 분석 플랫폼의 핵심 서비스로 활용하고 있습니다.지속적인 데이터 증가와 업무 확대에 따른 유연한 아키텍처 개선의 필요성에 대처하기 위해, 2022년에 AWS 에서 발표된 Redshift Serverless 를 활용한, 비용 최적화된 아키텍처 개선 과정의 실사례를 엿볼수 있는 기회가 됩니다.
AWS 상의 컨테이너 서비스 소개 ECS, EKS - 이종립 / Principle Enterprise Evangelist @베스핀글로벌BESPIN GLOBAL
지난 11월 Bespin Gaming Day 행사의 발표 자료를 통해 AWS에서 컨테이너를 활용하는 방법을 알아보겠습니다.
AWS에서는 사용 목적에 따라 다양한 컨테이너 서비스를 제공합니다.
- Management 스케쥴링, 스케일링, 배포, 전략: Amazon ECS, Amazon EKS
- Hosting 컨테이너가 수행되는 곳: Amazon EC2, AWS Fargate
- Image Registry 컨테이너 이미지 저장소: Amazon ECR
컨테이너 및 쿠버네티스 관련 서비스 중 Amazon EKS, Amazon ECS, AWS Fargate에 대해 보다 자세히 살펴보실 수 있습니다.
롯데이커머스의 마이크로 서비스 아키텍처 진화와 비용 관점의 운영 노하우-나현길, 롯데이커머스 클라우드플랫폼 팀장::AWS 마이그레이션 A ...Amazon Web Services Korea
2015 년부터 진행한 실험적 퍼블릭클라우드 운영에 대한 최근 결과를 공유하며 그간 경험한 MSA Architecture 환경, Cost optimization, Operation 관련 내용을 공유합니다. 특히 대규모 운영 환경에서 경험한 다양한 관점의 경험과 비용절감에 대해 인사이트를 제공 예정입니다.
디지털 전환과, 혁신을 주도하기 위해 Modern Data Architecture를 계획하는 많은 회사들이 있지만, 어디서부터 어떻게 시작해야 할지 막막하기만 합니다. 1000개 이상의 Use Case를 진행하며 다수의 고객과 Modern Data Architecture 를 구축한 사례를 바탕으로, AWS 클라우드에서 Modern Data Architecture를 구축하면서 도움이 되었던 조직문화, AWS의 서비스 활용, 간극을 메우기 위해 필요한 기술, 그리고 필요했던 교육들에 대한 부분을 공유하면서 Modern Data Architecture를 가속화하는 부분과 장점, 적용사례에 대해 360도 View를 제시하는 세션입니다.
Amazon Aurora 는 엔터프라이즈급의 가용성과 성능을 제공합니다. 실제 적용에서 Aurora성능 개선을 위해 무엇을 해야하는지, 그에 따른 모범 사례는 무엇이 있는지 본 세션에서 살펴봅니다. 또한 AWS Lambda 및 Amazon S3 와 같은 AWS의 다양한 서비스와 통합하는 최근 기능들에 대하여 상세하게 살펴보고 한국 고객들이 Aurora를 도입 및 마이그레이션한 사례를 통해 어떻게 마이그레이션에 접근해야 하는지를 살펴봅니다.
연사: 구승모, 아마존 웹서비스 솔루션즈 아키텍트
[Games on AWS 2019] AWS 사용자를 위한 만랩 달성 트랙 | Aurora로 게임 데이터베이스 레벨 업! - 김병수 AWS ...Amazon Web Services Korea
Amazon Aurora Database는 오픈소스의 개방성과 상용 데이터베이스의 성능과 안정성을 모두 제공하는 관리형 데이터베이스 서비스입니다. Amazon Aurora Database는 처음 소개된 이후로 계속 기능을 추가하며 진화해 왔습니다. Amazon Aurora의 성능과 새롭게 업데이트된 기능들을 게임사에 적용할 수 있는 사용 사례와 함께 소개합니다.
AWS에서는 애플리케이션의 목적과 특징에 맞는 다양한 클라우드 기반 데이터베이스 선택 옵션을 제공합니다. 본 세션에서는 클라우드 DB 서비스를 간단히 알아보고, 그 중에서도 DB 서버 및 클러스터 관리 및 운영에 대한 걱정이 전혀 없는 서버리스(Serverless) DB 서비스인 Amazon Aurora Serverless와 DynamoDB에 대해 자세히 알아봅니다. DB 관리 및 운영 등의 번거러운 작업은 AWS에 맡기고, 비지니스 로직에 필요한 데이터 모델 구성 및 쿼리 최적화 등에 집중하여 시장에 요구에 따른 비지니스에 민첩한 서비스를 만드는 방법을 알아 봅니다.
게임 서비스를 위한 AWS상의 고성능 SQL 데이터베이스 구성 (이정훈 솔루션즈 아키텍트, AWS) :: Gaming on AWS 2018Amazon Web Services Korea
게임 서비스를 위한 AWS상의 고성능 SQL 데이터베이스 구성
게임 서비스 아키텍처에서 관계형 데이터베이스는 핵심 컴포넌트이며 또한 전체 서비스의 성능 병목 지점이 되곤 합니다. 이 세션에서는 AWS 상에서 게임 서비스를 구현할 때, 기존 물리환경에서의 DB 성능과 동일하거나 더 높은 성능을 얻을 수 있는 구성을 설명 드리며, MS SQL 구성의 성능 데모를 시연하고자 합니다.
천만사용자를 위한 AWS 클라우드 아키텍처 진화하기 – 문종민, AWS솔루션즈 아키텍트:: AWS Summit Online Korea 2020Amazon Web Services Korea
발표영상 다시보기: https://youtu.be/z68l2X5KoC4
AWS 클라우드는 초기에 적은 비용으로 웹 서비스를 시작하고, 향후 사업이 발전했을 때 천만 이상의 유저가 사용할 수 있는 고가용성, 확장성, 민첩성이 뛰어난 웹 서비스를 만들 수 있습니다. 본 세션에서는 작은 서비스로 시작하여 AWS의 다양한 서비스를 사용하여 천만 이상의 대규모 유저 트래픽을 수용할 수 있는 웹 서비스로 발전시키는 것을 단계별로 오토스케일링, 트래픽 경감, 모니터링과 자동화, 고가용성 확보를 위한 아키텍처 구성 방법을 소개합니다.
급진적으로 늘어나는 데이터, 점차 다양해지는 워크로드의 특성에 적합한 데이터 관리를 위해 AWS는 광범위한 데이터베이스를 제공합니다. 이번 웨비나에서는 관계형 데이터베이스를 비롯, 인메모리, 그래프, 시계열 등 다양한 어플리케이션에 적합한 데이터베이스를 선택할 수 있도록 AWS의 각 데이터베이스의 개요를 소개합니다.
사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...Amazon Web Services Korea
Database Migration Service(DMS)는 RDBMS 이외에도 다양한 데이터베이스 이관을 지원합니다. 실제 고객사 사례를 통해 DMS가 데이터베이스 이관, 통합, 분리를 수행하는 데 어떻게 활용되는지 알아보고, 동시에 데이터 분석을 위한 데이터 수집(Data Ingest)에도 어떤 역할을 하는지 살펴보겠습니다.
Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Lev...Amazon Web Services Korea
Amazon ElastiCache는 Redis 및 MemCached와 호환되는 완전관리형 서비스로서 현대적 애플리케이션의 성능을 최적의 비용으로 실시간으로 개선해 줍니다. ElastiCache의 Best Practice를 통해 최적의 성능과 서비스 최적화 방법에 대해 알아봅니다.
[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...Amazon Web Services Korea
오랫동안 관계형 데이터베이스가 가장 많이 사용되었으며 거의 모든 애플리케이션에서 널리 사용되었습니다. 따라서 애플리케이션 아키텍처에서 데이터베이스를 선택하기가 더 쉬웠지만, 구축할 수 있는 애플리케이션의 유형이 제한적이었습니다. 관계형 데이터베이스는 스위스 군용 칼과 같아서 많은 일을 할 수 있지만 특정 업무에는 완벽하게 적합하지는 않습니다. 클라우드 컴퓨팅의 등장으로 경제적인 방식으로 더욱 탄력적이고 확장 가능한 애플리케이션을 구축할 수 있게 되면서 기술적으로 가능한 일이 달라졌습니다. 이러한 변화는 전용 데이터베이스의 부상으로 이어졌습니다. 개발자는 더 이상 기본 관계형 데이터베이스를 사용할 필요가 없습니다. 개발자는 애플리케이션의 요구 사항을 신중하게 고려하고 이러한 요구 사항에 맞는 데이터베이스를 선택할 수 있습니다.
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...Amazon Web Services Korea
실시간 분석은 AWS 고객의 사용 사례가 점점 늘어나고 있습니다. 이 세션에 참여하여 스트리밍 데이터 기술이 어떻게 데이터를 즉시 분석하고, 시스템 간에 데이터를 실시간으로 이동하고, 실행 가능한 통찰력을 더 빠르게 얻을 수 있는지 알아보십시오. 일반적인 스트리밍 데이터 사용 사례, 비즈니스에서 실시간 분석을 쉽게 활성화하는 단계, AWS가 Amazon Kinesis와 같은 AWS 스트리밍 데이터 서비스를 사용하도록 지원하는 방법을 다룹니다.
Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...Amazon Web Services Korea
Amazon EMR은 Apache Spark, Hive, Presto, Trino, HBase 및 Flink와 같은 오픈 소스 프레임워크를 사용하여 분석 애플리케이션을 쉽게 실행할 수 있는 관리형 서비스를 제공합니다. Spark 및 Presto용 Amazon EMR 런타임에는 오픈 소스 Apache Spark 및 Presto에 비해 두 배 이상의 성능 향상을 제공하는 최적화 기능이 포함되어 있습니다. Amazon EMR Serverless는 Amazon EMR의 새로운 배포 옵션이지만 데이터 엔지니어와 분석가는 클라우드에서 페타바이트 규모의 데이터 분석을 쉽고 비용 효율적으로 실행할 수 있습니다. 이 세션에 참여하여 개념, 설계 패턴, 라이브 데모를 사용하여 Amazon EMR/EMR 서버리스를 살펴보고 Spark 및 Hive 워크로드, Amazon EMR 스튜디오 및 Amazon SageMaker Studio와의 Amazon EMR 통합을 실행하는 것이 얼마나 쉬운지 알아보십시오.
Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...Amazon Web Services Korea
로그 및 지표 데이터를 쉽게 가져오고, OpenSearch 검색 API를 사용하고, OpenSearch 대시보드를 사용하여 시각화를 구축하는 등 Amazon OpenSearch의 새로운 기능과 기능에 대해 자세히 알아보십시오. 애플리케이션 문제를 디버깅할 수 있는 OpenSearch의 Observability 기능에 대해 알아보세요. Amazon OpenSearch Service를 통해 인프라 관리에 대해 걱정하지 않고 검색 또는 모니터링 문제에 집중할 수 있는 방법을 알아보십시오.
Enabling Agility with Data Governance - 발표자: 김성연, Analytics Specialist, WWSO,...Amazon Web Services Korea
데이터 거버넌스는 전체 프로세스에서 데이터를 관리하여 데이터의 정확성과 완전성을 보장하고 필요한 사람들이 데이터에 액세스할 수 있도록 하는 프로세스입니다. 이 세션에 참여하여 AWS가 어떻게 분석 서비스 전반에서 데이터 준비 및 통합부터 데이터 액세스, 데이터 품질 및 메타데이터 관리에 이르기까지 포괄적인 데이터 거버넌스를 제공하는지 알아보십시오. AWS에서의 스트리밍에 대해 자세히 알아보십시오.
Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New feature...Amazon Web Services Korea
이 세션에 참여하여 Amazon Redshift의 새로운 기능을 자세히 살펴보십시오. Amazon Data Sharing, Amazon Redshift Serverless, Redshift Streaming, Redshift ML 및 자동 복사 등에 대한 자세한 내용과 데모를 통해 Amazon Redshift의 새로운 기능을 알고 싶은 사용자에게 적합합니다.
From Insights to Action, How to build and maintain a Data Driven Organization...Amazon Web Services Korea
데이터는 혁신과 변혁의 토대입니다. 비즈니스 혁신을 이끄는 혁신은 특정 시점의 전략이나 솔루션이 아니라 성장을 위한 반복적이고 집단적인 계획입니다. 혁신에 이러한 접근 방식을 채택하는 기업은 전략과 비즈니스 문화에서 데이터를 기반으로 하는 경우가 많습니다. 이러한 접근 방식을 개발하려면 리더가 데이터를 조직의 자산처럼 취급하고 조직이 더 나은 비즈니스 성과를 위해 데이터를 활용할 수 있도록 권한을 부여해야 합니다. AWS와 Amazon이 어떻게 데이터와 분석을 활용하여 확장 가능한 비즈니스 효율성을 창출하고 고객의 가장 복잡한 문제를 해결하는 메커니즘을 개발했는지 알아보십시오.
[Keynote] Accelerating Business Outcomes with AWS Data - 발표자: Saeed Gharadagh...Amazon Web Services Korea
데이터는 최종 소비자의 성공에 초점을 맞춘 디지털 혁신에서 중추적인 역할을 하고 있습니다. 모든 기업들은 데이터를 자산으로 사용하여 사례 제공을 추진하고 까다로운 결과를 해결하고 있습니다. AWS 클라우드 기술과 분석 솔루션의 강력한 성능을 통해 고객은 혁신 여정을 가속화할 수 있습니다. 이 세션에서는 기업 고객들이 클라우드에서 데이터의 힘을 활용하여 혁신 목표를 달성하고 필요한 결과를 제공하는 방법에 대해 다룹니다.
LG전자 - Amazon Aurora 및 RDS 블루/그린 배포를 이용한 데이터베이스 업그레이드 안정성 확보 - 발표자: 이은경 책임, L...Amazon Web Services Korea
LG ThinQ는 LG전자의 가전제품과 서비스를 아우르는 플랫폼 브랜드로서 앱 하나로 간편한 컨트롤, 똑똑한 케어, 스마트한 쇼핑까지 한번에 가능한 플랫폼입니다. ThinQ 플랫폼은 글로벌 서비스로 제공되고 있어, 작업 시간을 최소화하고, 서비스의 영향을 최소화 할 필요가 있었습니다. 따라서 DB 버전 업그레이드 작업 시 애플리케이션 배포가 필요없는 Blue/Green Deployment 방식은 최선의 선택이 되었습니다.
KB국민카드 - 클라우드 기반 분석 플랫폼 혁신 여정 - 발표자: 박창용 과장, 데이터전략본부, AI혁신부, KB카드│강병억, Soluti...Amazon Web Services Korea
온프레미스 분석 플랫폼에는 자원 증설 비용, 자원 관리 비용, 신규 자원 도입 및 환경 설정의 리드타임 등 다양한 측면에서의 한계가 존재합니다. 이에 KB국민카드에서는 기존 분석 플랫폼의 한계를 극복함과 동시에 시너지를 낼 수 있는 클라우드 기반 분석 플랫폼을 설계 및 도입하였습니다. 본 사례 소개는 KB국민카드의 데이터 혁신 여정과 노하우를 소개합니다.
SK Telecom - 망관리 프로젝트 TANGO의 오픈소스 데이터베이스 전환 여정 - 발표자 : 박승전, Project Manager, ...Amazon Web Services Korea
SK Telecom의 망관리 프로젝트인 TANGO에서는 오라클을 기반으로 시스템을 구축하여 운영해 왔습니다. 하지만 늘어나는 사용자와 데이터로 인해 유연하고 비용 효율적인 인프라가 필요하게 되었고, 이에 클라우드 도입을 검토 및 실행에 옮기게 되었습니다. TANGO 프로젝트의 클라우드 도입을 위한 검토부터 준비, 실행 및 이를 통해 얻게 된 교훈과 향후 계획에 대해 소개합니다.
코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS ...Amazon Web Services Korea
2022년 코리안리는 핵심업무시스템(기간계/정보계 시스템)을 AWS 클라우드로 전환하는 사업과 AWS 클라우드 기반에서 손익분석을 위한 어플리케이션 구축 사업을 동시에 진행하고 있었습니다. 이에 따라 클라우드 전환 이후 시스템 간 상호운용성과 호환성을갖춘 데이터 분석 플랫폼 또한 필요하게 되었습니다. 코리안리 IT 환경에 적합한 플랫폼 선정을 위하여 AWS Native Analytics Platform, 3rd Party Analytics Platform (클라우데라, 데이터브릭스)과의 PoC를 진행하고, 최종적으로 AWS Native Analytics Platform 으로 확정하였습니다. 코리안리는 메가존클라우드와 함께 2022년 10월부터 4개월(구축 3개월, 안정화 및 교육 1개월) 동안 AWS 기반 데이터 분석 플랫폼을 구축하고 활용 범위를 지속적으로 확대하고 있습니다.
[Keynote] Data Driven Organizations with AWS Data - 발표자: Agnes Panosian, Head...Amazon Web Services Korea
데이터는 모든 애플리케이션, 프로세스 및 비즈니스 의사 결정의 중심에 있습니다. 데이터는 거의 모든 조직의 디지털 트랜스포메이션의 초석입니다. 데이터는 새로운 경험을 촉진하고 혁신을 이끌어내는 통찰력으로 이어집니다. 전체 조직을 위한 데이터의 가치를 실현하는 전략을 구축하는 것은 쉽고 간단한 여정이 아닙니다. 이 세션에서는 데이터 기반 조직화를 위한 모범 사례와 그 여정에서 AWS가 어떻게 도움을 드릴 수 있는지를 다룹니다.
Amazon Neptune은 확장성과 가용성을 제공하도록 설계된 서버리스 데이터 그래프 데이터베이스입니다. 본 세션에서는 Neptune 서버리스를 통해 한의학 컨텐츠내용 및 상품 상세 데이터를 통해 그래프 DB를 구축하고 상품 추천 구현 사례를 살펴봅니다.
ECK(Elasticsearch Cloud on Kubernetes)는 쿠버네티스 환경에서 Elastic 제품을 배포하고 관리할 수 있는 오퍼레이터입니다. 본 세션에서는 Amazon EKS 환경에서 ECK를 사용한 검색 엔진 플랫폼 구축 사례 및 개발팀과 인프라팀 간 협업 과정을 공유합니다.
2. 강연 중 질문하는 법
자신이 질문한 내역이 표시되며, 전체 공개로 답변된 내용은 검은색,
질문자 본인에게만 공개로 답변된 내용은 붉은 색으로 돌아옵니다.
3. 본 세션의 주요 주제
• Amazon Aurora 개요
• Amazon Aurora 아키텍처 및 특징
• 성능
• 내구성과 가용성
• 운영 효율성
• 비용
• PostgreSQL 호환 Amazon Aurora
4. Amazon Relational Database Service (RDS)
• 관계형 데이터베이스
• 완전 관리형 서비스
• 빠르고 손쉬운 확장
• 빠르고 예측 가능한 성능
• 비용 절감, 사용량만큼 지불
5. Amazon Aurora란?
오픈 소스 호환 관계형 데이터베이스
MySQL 호환 관계형 데이터베이스
상업용 데이터베이스의 성능과 가용성
오픈소스 데이터베이스의 단순성과 비용 효율성
6. Aurora의 도입
AWS 역사상 가장
빠르게 성장하고
있는 서비스
비지니스 애플리케이션
웹/모바일
컨텐츠 관리
E-커머스, 리테일
IoT
검색, 광고
BI, 분석
게임, 미디어
탑 100 AWS 고객 중 2/3
탑 10 게이밍 고객 중 8
7. Amazon Aurora 주요 특징
고성능 뛰어난 보안 MySQL과 호환
뛰어난 확장성 높은 가용성 및
내구성
완전 관리형
8. 데이터베이스의 역사
모놀리식 스택에 있는
여러 기능 계층들
SQL
Transactions
Caching
Logging
클라우드를 고려하지 않고 설계된 관계형 데이터베이스!
9. 지난 30년간 크게 바뀌지 않음
각 아키텍처는 모놀리식 사고 방식으로 제한됨
SQL
Transactions
Caching
Logging
SQL
Transactions
Caching
Logging
Application
SQL
Transactions
Caching
Logging
SQL
Transactions
Caching
Logging
Application
SQL
Transactions
Caching
Logging
SQL
Transactions
Caching
Logging
Storage
Application
10. 관계형 데이터베이스의 재구성
오늘날 데이터베이스를 발명한다면?
- 스택을 레이어별로 분리하는건 필수!
- 고려할 것들
- 스케일-아웃이 가능하게
- Self-healing 이 가능하게
- 분산 서비스를 활용할 수 있게
11. 서비스 지향 아키텍처 적용 데이터베이스
로깅 및 스토리지를 멀티-테넌트,
스케일-아웃, DB 최적화 스토리지
서비스로 이동
EC2, VPC, DynamoDB, SWF, Route
53 등 다른 AWS 서비스들과
통합하여 제어 및 모니터링
운영 및 관리의 부담을 줄일 수
있는 Amazon RDS 를 통해 관리형
서비스로 제공
Control PlaneData Plane
Amazon
DynamoDB
Amazon SWF
Amazon Route 53
Logging + Storage
SQL
Transactions
Caching
Amazon S3
1
2
3
15. 인스턴스 크기와 함께 확장
WRITE PERFORMANCE READ PERFORMANCE
오로라는 읽기와 쓰기 모두의 인스턴스 크기에 따라 확장
Aurora MySQL 5.6 MySQL 5.7
16. 응답속도 개선 사례 – 게임 워크로드
3배 빠른 Aurora (r3.4xlarge)
Aurora vs RDS MySQL – r3.4XL, MAZ
17. MySQL의 I/O 트래픽
BINLOG DATA DOUBLE-WRITELOG FRM FILES
T Y P E O F W R I T E
MYSQL WITH REPLICA
EBS에 쓰기 시작 – EBS는 미러링을 하고 완료 시 ack
DRBD를 통해 레플리카 인스턴스에 쓰기
레플리카 인스턴스의 EBS에 쓰기 수행
IO FLOW
스텝 1, 3, 4는 순차적이며 동기식
대기 시간과 지터 모두 증폭
각 작업에 대해 쓰기 유형이 많음
쓰기 조각을 방지하기 위해 데이터 블록을 두번 써야함
OBSERVATIONS
78만 트랜잭션
백만 트랜잭션 당 738만8천 I/O (미러링과 스탠바이 제외)
트랜잭션 당 평균 7.4 I/O
PERFORMANCE
30분 SysBench 쓰기 워크로드, 100 GB 데이터세트, RDS 단일 AZ, 3만 PIOPS
EBS mirrorEBS mirror
AZ 1 AZ 2
Amazon S3
EBS
Amazon Elastic
Block Store (EBS)
Primary
instance
Standby
instance
1
2
3
4
5
18. Aurora의 I/O 트래픽
AZ 1 AZ 3
Primary
instance
Amazon S3
AZ 2
Replica
instance
AMAZON AURORA
ASYNC
4/6 QUORUM
DISTRIBUTED
WRITES
BINLOG DATA DOUBLE-WRITELOG FRM FILES
T Y P E O F W R I T E
30분 SysBench 쓰기 워크로드, 100 GB 데이터세트
IO FLOW
Redo 로그 레코드만 씀; 모든 단계는 비동기
데이터 블록 쓰기 없음 (체크포인트, 캐시 교체)
6배 더 로그를 쓰지만, 9배 더 적은 네트워크 트래픽
네트워크 및 스토리지 외부 지연 용인
OBSERVATIONS
2737만8천 트랜잭션 35X 더 많고
백만 트랜잭션 당 95만 I/O (6배 증폭) 7.7X 더 적음
PERFORMANCE
redo 로그 레코드 – LSN으로 정렬됨
적절한 세그먼트로 셔플 – 부분 정렬
스토리지 노드로 이동 후 쓰기 수행
19. Aurora의 I/O 트래픽 (스토리지 노드)
LOG RECORDS
Primary
instance
INCOMING QUEUE
STORAGE NODE
S3 BACKUP
1
2
3
4
5
6
7
8
UPDATE
QUEUE
ACK
HOT
LOG
DATA
BLOCKS
POINT IN TIME
SNAPSHOT
GC
SCRUB
COALESCE
SORT
GROUP
PEER-TO-PEER GOSSIPPeer
storage
nodes
모든 단계는 비동기
단계 1과 단계 2만 앞단의 지연에 영향을 줌
입력 큐는 MySQL 보다 46배 더 작음 (증폭없음, 노드 당)
지연에 민감한 작업에 강함
트래픽 급증 시 디스크 공간을 버퍼로 사용
OBSERVATIONS
IO FLOW
① 레코드를 받아서 인-메모리 큐에 추가
② 레코드를 유지하고 ACK
③ 레코드를 구성하고 로그와의 갭을 확인
④ 구멍을 메꾸기 위해 피어간 통신
⑤ 로그 레코드를 새로운 데이터 블록 버전으로 통합
⑥ 주기적으로 로그 및 새로운 블록 버전을 S3에 적제
⑦ 주기적으로 오래된 버전에 대한 가비지 콜렉트
⑧ 주기적으로 블록의 CRC 코드 유효성 검사
20. Aurora의 I/O 트래픽 (Replica)
페이지 캐시
업데이트
Aurora Master
30% Read
70% Write
Aurora Replica
100% New Reads
Shared Multi-AZ Storage
MySQL Master
30% Read
70% Write
MySQL Replica
30% New Reads
70% Write
싱글 스레드
Binlog 적용
Data Volume Data Volume
Logical: SQL 문을 레플리카로 전송
쓰기 워크로드는 양쪽 모두 비슷함
독립 스토리지
마스터와 읽기 레플리카간 데이터 드리프트가
발생할 수 있음
Physical: 마스터에서 redo 를 레플리카로 전송
레플리카는 공유 스토리지 사용; 쓰기 수행 없음
캐시된 페이지에 redo 가 적용됨
모든 커밋이 보일 때 미리 읽음
MYSQL READ SCALING AMAZON AURORA READ SCALING
21. 실제 사례: 읽기 레플리카 지연
“In MySQL, we saw replica lag spike to almost 12 minutes which is
almost absurd from an application’s perspective. With Aurora, the
maximum read replica lag across 4 replicas never exceeded 20 ms.”
22. Read
Write
Commit
Read
Read
T1
Commit (T1)
Commit (T2)
Commit (T3)
LSN 10
LSN 12
LSN 22
LSN 50
LSN 30
LSN 34
LSN 41
LSN 47
LSN 20
LSN 49
Commit (T4)
Commit (T5)
Commit (T6)
Commit (T7)
Commit (T8)
LSN GROWTH
Durable LSN at head-node
COMMIT QUEUE
Pending commits in LSN order
TIME
GROUP
COMMIT
TRANSACTIONS
Read
Write
Commit
Read
Read
T1
Read
Write
Commit
Read
Read
Tn
TRADITIONAL APPROACH AMAZON AURORA
디스크에 기록할 로그 레코드 버퍼 유지
버퍼가 가득 차거나 쓰기를 기다리는 시간이 초과되면 쓰기
쓰기 속도가 느릴 때 첫번째 쓰기는 레이턴시 패널티 있음
첫 쓰기에서 I/O 요청, 쓰기가 완료될때까지 버퍼를 채움
6개의 스토리지 노드 중 4개가 ACK 일 때 개별 쓰기 내구성
가장 이른 대기중인 ACK 까지 DB 내구성을 가짐
비동기 그룹 커밋
23. 적응형 스레드 풀
• 활성 스레드에 멀티플렉싱 커넥션을 재사용
• 커널 영역의 epoll() 은 latch-free 큐에 삽입
• 동적 크기의 스레드 풀
• r3.8xl 에서 5000 개 이상의 동시 클라이언트 세션을
안정적으로(gracefully) 처리
표준 MySQL – 커넥션 당 하나의 스레드
커넥션 개수에 맞추어 확장되지 않음
MySQL EE – 커넥션은 스레드 그룹에 할당
조심스럽게 스톨 임계 값 튜닝 필요
CLIENTCONNECTION
CLIENTCONNECTION
LATCH FREE
TASK QUEUE
epoll()
MYSQL THREAD MODEL AURORA THREAD MODEL
24. Aurora 락 관리
MySQL lock manager Aurora lock manager
• MySQL과 동일한 locking 시맨틱
• Lock 체인에 동시 접근
• 개별 Lock 채인에 여러개의 스캐너 허용
• Lock-free 데드락 감지
높은 업데이트 처리량과 많은 동시 세션을 지원하기 위해 필요
25. 캐시 읽기 성능
• 카탈로그 동시성: 향상된 데이터 사전
동기화 및 캐시 에빅션
• NUMA 인식 스케줄러: Aurora 스케줄러가
NUMA를 인식, 멀티 소켓 인스턴스 확장을
지원
• 읽기 뷰: Latch-free 동시 읽기-뷰 알고리즘
을 사용하여 읽기 뷰를 구성
0
100
200
300
400
500
600
700
MySQL 5.6 MySQL 5.7 Aurora 2015 Aurora 2016
초당 수천건의 읽기 요청
* R3.8xlarge 인스턴스. <1GB 데이터세트, Sysbench 사용
26. 비캐시 읽기 성능
• 스마트 스케줄러: Aurora 스케줄러는 I/O
위주의 워크로드와 CPU 위주의
워크로드간에 스레드를 동적으로 할당
• 스마트 셀렉터: Aurora 최상의 성능으로
스토리지 노드에서 데이터 복사본을
선택하여 읽기 대기 시간을 줄임
• LRA (Logical read ahead): B-tree 내의
순서를 기반으로 페이지를 프리패치하여
읽기 I/O 대기를 회피
0
20
40
60
80
100
120
MySQL 5.6 MySQL 5.7 Aurora 2015 Aurora 2016
초당 수천건의 요청
* R3.8xlarge 인스턴스, 1TB 데이터세트, Sysbench 사용
10% 처리량 증가
27. 삽입 성능
• 커서 위치를 캐싱함으로써, 기본키로
정렬된 배치 삽입을 가속화
• 데이터 패턴에 따라 동적으로 활성
및 비활성
• 트리를 탐색하는 동안 불필요한
래치를 획득을 피함
• 양방향성, 모든 삽입문에서 동작
• LOAD INFILE, INSERT INTO SELECT,
INSERT INTO REPLACE, 다중 값 삽입
Index
R4 R5R2 R3R0 R1 R6 R7 R8
Index
Root
Index
R4 R5R2 R3R0 R1 R6 R7 R8
Index
Root
MySQL: 모든 삽입에 대해 루트부터 시작하여 B-tree를 순회
Aurora: 삽입은 인덱스 순회를 방지
28. 빠른 인덱스 구축
§ MySQL 5.6은 리눅스 read ahead를 활용하며
B-tree 에서 블록 주소를 요구. 탑다운 방식의
새로운 트리 삽입은 결국 분할과 과도한
로깅이 발생
§ Aurora의 스캔은 블록 주소가 아닌 트리의
위치를 기반으로 블록을 미리 가져옴
§ Aurora는 leaf 블록을 만들고 트리의 branch
를 만듬
• 구축 시 분할이 발생하지 않음
• 각 페이지는 한번씩만 접근
• 페이지 당 하나의 로그 레코드
MySQL 5.6 또는 MySQL 5.7 에 비해 2-4 배 우수
0
2
4
6
8
10
12
r3.large on 10GB
dataset
r3.8xlarge on
10GB dataset
r3.8xlarge on
100GB dataset
Hours
RDS MySQL 5.6 RDS MySQL 5.7 Aurora 2016
29. 성능 향상의 이유
더 적은 I/Os 수행
네트워크 패킷 최소화
이전 결과 캐시
데이터베이스 엔진 오프로드
더 적은 작업
비동기 처리
지연 줄임
Lock 없는 데이터 구조 사용
배치 작업
더 효율적으로
데이터베이스의 대부분은 I/O
네트워크로 연결되는 스토리지의 대부분은 PACKETS/SECOND
높은 처리량을 위해 허용하지 않는 CONTEXT SWITCHES
31. 성능을 위한 모범사례 (Best Practices)
• MySQL과 RDBMS에서의 전략은 여전히 유효
• 작업에 적합한 도구를 선택 (OLAP vs OLTP)
• 적절한 인덱스 생성
• SQL 코드 튜닝, Explain plan 사용, 성능 스키마 사용
• 높은 동시성 활용
• 커넥션 갯수에 따라 Aurora 처리량 증가
• 높은 동시성을 활용하도록 애플리케이션 설계
• 읽기 확장성
• 사실상 레플리케이션 랙 없이 읽기 레플리카를 제공
• 여러개의 읽기 레플리카로 읽기를 분산
32. 성능을 위한 모범사례 (Best Practices)
• 파라미터 튜닝
• 성능 관련 MySQL 파라미터를 마이그레이션 할 필요 없음
• 대부분의 경우에 맞춰 파라미터 그룹은 미리 튜닝되어 있음
• 성능 비교
• 개별 지표(CPU, IOPS, I/O 처리량)에 얽매이지 않는게 좋음
• 중요한 것, 즉 애플리케이션 성능에 집중!
• 기타
• 쿼리 캐시 활성화
• Amazon CloudWatch 지표를 활용
34. 스토리지 내구성
• 스토리지 볼륨은 자동으로 최대 64TB
까지 증가
• 읽기/쓰기를 위한 쿼럼 시스템; 지연
내구성
• 갭을 채우기 위한 peer-to-peer-gossip
레플리케이션
• S3에 지속적으로 백업 (11개의 9 내구성)
• 노드와 디스크의 복구를 위해
지속적으로 모니터링
• 복구 또는 핫스팟 리밸런스를 위한 10GB
세그먼트 단위
• 쿼럼 멤버십 변경으로 쓰기 작업이
멈추지 않음
AZ 1 AZ 2 AZ 3
Amazon
S3
35. Aurora 레플리카
• Aurora 클러스터는 기본노드와
최대 15개의 레플리카를 가질 수
있음
• 실패한 데이터베이스 노드는
자동으로 감지되어 대체됨
• 실패한 데이터베이스 프로세스는
자동으로 감지되고 재활용 됨
• 여러 레플리카에 걸쳐 읽기
트래픽 처리를 확장할 수 있음
• 레플리카는 중단이 지속될 경우
자동으로 승격됨
AZ 1 AZ 3AZ 2
Primary
Node
Primary
Node
Primary
Node
Primary
Node
Primary
Node
Secondary
Node
Primary
Node
Primary
Node
Secondary
Node
36. 지속적 백업
Segment snapshot Log records
Recovery point
Segment 1
Segment 2
Segment 3
Time
• 주기적으로 각 세그먼트의 스냅샷을 병렬로 생성; redo 로그를 Amazon S3 로 스트리밍
• 성능이나 가용성에 영향을 미치지 않고 지속적으로 백업
• 복원 시 해당 세그먼트 스냅샷과 로그 스트림을 스토리지 노드로 가져옴
• 세그먼트 스냅샷에 로그 스트림을 병렬 및 비동기로 적용
37. 신속한 크래시 복구
전통적인 데이터베이스
• 마지막 체크포인트 이후의 로그를
리플레이해야 함
• 일반적으로 체크포인트 간격은
5분
• MySQL 에서는 싱글-쓰레드이며
많은 수의 디스크 접근이 필요
Amazon Aurora
• 기반 스토리지는 디스크 읽기의
일부로 필요할 때 redo 레코드를
리플레이
• 병렬, 분산, 비동기
• 시작시 리플레이 없음
Checkpointed data Redo log
T0 에서 충돌이 발생하면
마지막 체크포인트 이후 redo
로그내의 SQL 복제가 필요함
T0 T0
T0 에서 충돌 발생시 필요에 따라 각
세그먼트에 redo 로그가 병렬적으로,
비동기적으로 적용됨
38. 살아남는 캐시
• 데이터베이스 프로세스와 캐시의 분리
• 데이터베이스 재가동시에도 캐시는 웜(warm) 상태 유지
• 완전히 로드된 작업을 훨씬 빠르게 재게 가능
• 신속한 크래시 복구 + 캐시 유지 à 빠르고 손쉬운 DB
장애 복구
SQL
Transactions
Caching
SQL
Transactions
Caching
SQL
Transactions
Caching
캐싱 프로세스가 DB 프로세스 외부에 있고
데이터베이스 재시작에도 웜(warm) 상태 유지
39. 빠른 장애 조치
App
RunningFailure Detection DNS Propagation
Recovery Recovery
DB
Failure
MySQL
App
Running
Failure Detection DNS Propagation
Recovery
DB
Failure
Aurora (w/ MariaDB Driver)
1 5 - 2 0 s e c
3 - 2 0 s e c
41. 실제 사례: Failover 시간
“In RDS MySQL, it took minutes or sometimes tens of minutes to failover.
It’s pretty awesome that you can failover/restart within less than a minute.”
42. SQL을 사용하여 장애 시뮬레이션
ALTER SYSTEM CRASH [{INSTANCE | DISPATCHER | NODE}]
ALTER SYSTEM SIMULATE percent_failure DISK failure_type IN
[DISK index | NODE index] FOR INTERVAL interval
ALTER SYSTEM SIMULATE percent_failure NETWORK failure_type
[TO {ALL | read_replica | availability_zone}] FOR INTERVAL interval
• 데이터베이스 노드에서의 구성요소의 장애:
• 디스크 장애:
• 네트워킹 장애:
44. 스토리지 관리 단순화
§ Amazon S3에 지속적으로 증분 백업
§ 성능 영향 없이 즉시 사용자 스냅샷 생성
§ 성능 영향 없이 최대 64TB 까지 자동으로 스토리지 확장
§ 자동 restriping, 미러 복구, 핫스팟 관리, 암호화
최대 64TB – 10GB 단위로 자동 확장
최대 64 TB
45. 보안과 컴플라이언스
R 고객 관리 키를 사용하여 데이터를
안전하게 저장하는 암호화
• AES-256; 하드웨어 가속
• Amazon S3와 디스크의 모든 블록이 암호화
• AWS KMS를 통한 키 관리
R 암호화된 리전간 복제, 스냅샷 복사
(데이터 전송 간 보호를 위한 SSL)
R 성능 영향 없이 향상된 감사 및 로깅
R 업계 표준 보안 및 데이터 보호 - SOC,
ISO, PCI/DSS, HIPPA/BAA
Data Key 1 Data Key 2 Data Key 3 Data Key 4
Customer Master
Key(s)
Storage
Node
Storage
Node
Storage
Node
Storage
Node
Database
Engine
46. 향상된 모니터링
50개 이상의 시스템/OS 지표 | 정렬된 프로세스 목록 | 1–60 초단위
특정 지표에 알람 설정 | CloudWatch Logs에 적재 | 3rd 파티 도구들과 통합
47. 중요한 시스템 및 OS 지표
User
System
Wait
IRQ
Idle
Nice
Steal
CPU utilization
Rx per declared ethn
Tx per declared ethn
Network
Sleeping
Running
Total
Stopped
Blocked
Zombie
Processes
Process ID
Process name
VSS
Res
Mem %
consumed
CPU % used
CPU time
Parent ID
Process list
Free
Cached
Buffered
Total
Writeback
Inactive
Dirty
Mapped
Slab
Page tables
Huge pages free
Huge pages rsvd
Huge pages surp
Huge pages size
Huge pages total
Swap
Swap free
Swap committed
Memory
Read latency
Write latency
Read throughput
Write throughput
Read I/O/sec
Write I/O/sec
Queue depth
Read queue depth
Write queue depth
Free local storage
Device I/O
Used
Total
Used Inodes/%
Max Inodes/%
File system
1 min
5 min
15 min
Load average
48. 중요한 데이터베이스 지표
§ Aurora 및 CloudWatch
콘솔의 데이터베이스 수준
지표 보기
§ 소급 워크로드 분석 수행
Select throughput
Select latency
DML throughput
DML latency
Commit throughput
Commit latency
DDL throughput
DDL latency
DB connections
Active connections
Login failures
Buffer cache hit ratio
Resultset cache hit
ratio
Deadlocks
Blocked transactions
Failed SQL statements
Replica lag
Replica lag maximum
Replica lag minimum
Free local storage
49. MySQL 및 AWS 에코시스템 활용
Query and
Monitoring
Business
Intelligence
Source: Amazon
Data Integration
“We ran our compatibility test suites against Amazon Aurora and
everything just worked." - Dan Jewett, Vice President of Product Management
at Tableau
Lambda IAM
CloudWatch
S3
Route53
KMS
AWS 에코시스템
VPC SWF
51. 소유 비용: Aurora vs MySQL
Primary
r3.4XL
Standby
r3.4XL
Replica
r3.4XL
Replica
R3.4XL
Storage
1 TB / 10 K PIOP
Storage
1 TB / 10 K PIOP
Storage
1 TB / 4 K PIOP
Storage
1 TB / 4 K PIOP
$2.27/hr
$2.27/hr
$2.27/hr $2.27/hr
$1.2/hr
$0.60/hr $0.60/hr
인스턴스 비용: $9.08 / 시간
스토리지 비용: $3.60 / 시간
총 비용: $12.68 / 시간
$1.2/hr
2017.09.06 Seoul 리전 기준
52. 소유 비용: Aurora vs MySQL
인스턴스 비용: $8.40 / hr
스토리지 비용: $0.50 / hr
총 비용: $8.90 / hr
Primary
r3.4XL
Replica
r3.4XL
Replica
R3.4XL
Storage / 1 TB
$2.80 / hr $2.80 / hr $2.80 / hr
$0.5 / hr
* 전체적으로 Aurora는 RDS MySQL에 비해
스토리지 비용을 50% 이상 절약
29.8%
Savings
§ 유휴 대기 인스턴스 없음
§ 단일 공유 스토리지 볼륨
§ PIOPS 없음 – I/O 사용량 만큼 지불
§ 전반적인 I/O 감소
2017.09.06 Seoul 리전 기준
53. 소유 비용: Aurora vs MySQL (추가 전략)
인스턴스 비용: $4.20 / hr
스토리지 비용: $0.50 / hr
총 비용: $4.70 / hr
62.9%
Savings
Primary
r3.4XL
Replica
r3.4XL
Replica
r3.4XL
Storage / 1TB
$1.40 / hr $1.40 / hr $1.40 / hr
$0.5 / hr
r3.2XL r3.2XL r3.2XL
§ 더 작은 인스턴스 크기 사용
§ 사용한만큼 지불하는 스토리지
54. 높은 성능과 낮은 비용
§ 더 적은 인스턴스로 충분
§ 작은 인스턴스를 활용 가능
Safe.com 은 샤딩된 MySQL에서 단일 Aurora 인스턴스로
전환한 뒤 기존 비용의 40%를 절감하였습니다.
Double Down Interactive (게이밍) 비용의 67%를 절감하였을
뿐만 아니라 지연은 더 나아졌으며 (대부분의 쿼리가 더 빠르게
동작) CPU 사용률 또한 낮추었습니다.
§ 스토리지를 사전에 준비할 필요 없음
§ 읽기 레플리카를 위한 추가 스토리지 필요
없음
55. 개발 및 테스트 용도
• t2.small/t2.medium 을 활용하세요!
t2 RI 할인
1년 RI 시 최대 27%
3년 RI 시 최대 53%
vCPU Mem Hourly Price
db.t2.small
db.t2.medium
1
2
1
4
$0.063
$0.125
db.r3.large 2 15.25 $0.35
db.r3.xlarge 4 30.5 $0.70
db.r3.2xlarge 8 61 $1.40
db.r3.4xlarge 16 122 $2.80
db.r3.8xlarge 32 244 $5.60
2017.09.06 Seoul 리전 기준
57. 2014년, MySQL 호환성을 갖춘 Amazon Aurora를 출시했습니다.
이제 우리는 PostgreSQL 호환성을 추가합니다.
상용 데이터베이스의 성능과 가용성, 그리고 오픈 소스
데이터베이스의 단순성과 비용 효율성과 함께 Amazon의 클라우드
최적화 관계형데이터베이스를 사용 방법을 선택할 수 있습니다
Amazon Aurora의 발전
58. PostgreSQL
• 20년 동안 활발히 개발중인 오픈소스 데이터베이스
• 단일 회사가 아닌 재단이 소유
• 관대한 혁신 친화적 오픈 소스 라이센스
• 높은 성능
• 객체지향 및 ANSI-SQL 2008 호환
• 12개의 언어로 작성할 수 있는 저장 프로시저 지원
(Java, Perl, Python, Ruby, TCL, C/C++, PL/pgSQL, 등)
• 오라클과 가장 높은 호환성을 가진 오픈소스
데이터베이스
Open Source Initiative
59. PostgreSQL 호환성의 의미
PostgreSQL 9.6 + Amazon Aurora 클라우드 최적화 스토리지
• 성능: 단일 PostgreSQL 보다 2~3배 높은 처리량
• 가용성: 30초 미만의 장애조치 시간
• 내구성: 3개의 가용영역에 걸쳐 6개의 사본
• 읽기 레플리카: 최대 15개의 레플리카에서 한 자리 밀리초 지연시간
Amazon Aurora 스토리지
60. PostgreSQL 호환성의 의미
• 클라우드 고유의 보안 및 암호화
• 손 쉬운 관리 및 운영
• 쉬운 마이그레이션
• 가까운 장래에 PostgreSQL과 완벽하게 호환
AWS DMS
Amazon RDS
PostgreSQL
61. 숫자로 보는 성능
측정 결과
PgBench 2배 이상 빠른
SysBench 2~3배 빠른
데이터 로딩 3배 빠른
응답시간 2배 이상 빠른
처리량 지터 3배 이상 더 일관적
확장시 처리량 3배 빠른
복구 속도 최대 85배 빠른