기업들은 데이터로부터 insight를 얻기 위해서 부단한 노력을 하고 있습니다. 이를 위해 조직의 데이터를 한 곳에 모아서 보관하는 Data Lake의 구축은 데이터 분석을 위한 중심으로 자리잡고 있습니다. 본 세션에서는 AWS에서 S3를 활용하여 민첩하고 비용효율적인 Data Lake를 구축하는 방법을 소개합니다. 또한 이를 기반으로 AWS의 다양한 데이터 분석 서비스와 연동하는 법을 살펴봅니다.
대상 :
빅 데이터 및 데이터 분석 담당자, AWS 기반 데이터 분석에 관심 있는 모든 분
발표자 :
문종민 솔루션즈 아키텍트, AWS
[보험사를 위한 AWS Data Analytics Day] 2_금융의 핵심자산 Data, 글로ᄇ...AWS Korea 금융산업팀
디지털 전환을 마친 있는 보험사들이 점점 더 스마트해져 가는 고객을 이해하기 위해서 데이터 분석의 활용에 관심을 확대하고 있습니다. 글로벌 보험사들은 고객의 데이터를 실시간으로 으로 파악하여 고객 채널을 통해서 맞춤형 상품, 서비스 제공은 물론 보험심사 및 클레임 처리, 보험사기 탐지 등 다양한 부문에서 디지털 기술과 접목되어 활용되고 있습니다. 해외 글로벌 보험사의 구축 사례를 통해서 국내 보험사의 활용 시사점에 대해서 살펴보겠습니다.
발표영상 다시보기: https://youtu.be/-45noG3dQqo
데이터의 중요성은 더이상 반복할 필요가 없이 모두가 알고 있습니다. 비지니스에서 데이터를 활용하여 혁신하고 성장하는 사례는 전세계 모든 산업에서 확인 할 수 있습니다. AWS에서는 가장 빠르고 쉽게 데이터를 수집하고 분석할 수 있는 Data Lake 아키텍쳐를 가이드하고 직접 고객이 쉽게 빌드 할수 있도록 도와드립니다. 고객이 데이터에 대한 호기심만 가지고 있다면, AWS는 데이터를 통해 원하는 정형/비정형 데이터 분석, Data Warehouse, Machine Learning, Data Science 와 같은 거의 모든 방법을 제공합니다.
Deep Dive on MySQL Databases on Amazon RDS (DAT322) - AWS re:Invent 2018Amazon Web Services
In recent years, MySQL has become a top database choice for new application development and migration from overpriced, restrictive commercial databases. In this session, we provide an overview of the MySQL and MariaDB options available on AWS. We also do a deep dive on Amazon Relational Database Service (Amazon RDS), a fully managed MySQL service, and Amazon Aurora, a MySQL-compatible database with up to 5X the performance, and many additional innovations.
[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기ᄇ...AWS Korea 금융산업팀
KB금융 그룹은 다양한 채널 서비스와 분석 플랫폼에 AWS클라우드를 활용하고 있습니다. 특히, KB카드는 AWS클라우드를 이용하여 대부분의 채널서비스를 AWS클라우드로 이관하였고, 연관된 분석플랫폼과 머신러닝 플랫폼을 AWS기반 클라우드로 구성하여 사용하고 있습니다. 이번 세션에서는 KB카드를 포함한 다양한 KB금융그룹 차원의 AWS클라우드내의 Analytics 구성 사례에 대해서 소개해 드리고자 합니다.
기업들은 데이터로부터 insight를 얻기 위해서 부단한 노력을 하고 있습니다. 이를 위해 조직의 데이터를 한 곳에 모아서 보관하는 Data Lake의 구축은 데이터 분석을 위한 중심으로 자리잡고 있습니다. 본 세션에서는 AWS에서 S3를 활용하여 민첩하고 비용효율적인 Data Lake를 구축하는 방법을 소개합니다. 또한 이를 기반으로 AWS의 다양한 데이터 분석 서비스와 연동하는 법을 살펴봅니다.
대상 :
빅 데이터 및 데이터 분석 담당자, AWS 기반 데이터 분석에 관심 있는 모든 분
발표자 :
문종민 솔루션즈 아키텍트, AWS
[보험사를 위한 AWS Data Analytics Day] 2_금융의 핵심자산 Data, 글로ᄇ...AWS Korea 금융산업팀
디지털 전환을 마친 있는 보험사들이 점점 더 스마트해져 가는 고객을 이해하기 위해서 데이터 분석의 활용에 관심을 확대하고 있습니다. 글로벌 보험사들은 고객의 데이터를 실시간으로 으로 파악하여 고객 채널을 통해서 맞춤형 상품, 서비스 제공은 물론 보험심사 및 클레임 처리, 보험사기 탐지 등 다양한 부문에서 디지털 기술과 접목되어 활용되고 있습니다. 해외 글로벌 보험사의 구축 사례를 통해서 국내 보험사의 활용 시사점에 대해서 살펴보겠습니다.
발표영상 다시보기: https://youtu.be/-45noG3dQqo
데이터의 중요성은 더이상 반복할 필요가 없이 모두가 알고 있습니다. 비지니스에서 데이터를 활용하여 혁신하고 성장하는 사례는 전세계 모든 산업에서 확인 할 수 있습니다. AWS에서는 가장 빠르고 쉽게 데이터를 수집하고 분석할 수 있는 Data Lake 아키텍쳐를 가이드하고 직접 고객이 쉽게 빌드 할수 있도록 도와드립니다. 고객이 데이터에 대한 호기심만 가지고 있다면, AWS는 데이터를 통해 원하는 정형/비정형 데이터 분석, Data Warehouse, Machine Learning, Data Science 와 같은 거의 모든 방법을 제공합니다.
Deep Dive on MySQL Databases on Amazon RDS (DAT322) - AWS re:Invent 2018Amazon Web Services
In recent years, MySQL has become a top database choice for new application development and migration from overpriced, restrictive commercial databases. In this session, we provide an overview of the MySQL and MariaDB options available on AWS. We also do a deep dive on Amazon Relational Database Service (Amazon RDS), a fully managed MySQL service, and Amazon Aurora, a MySQL-compatible database with up to 5X the performance, and many additional innovations.
[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기ᄇ...AWS Korea 금융산업팀
KB금융 그룹은 다양한 채널 서비스와 분석 플랫폼에 AWS클라우드를 활용하고 있습니다. 특히, KB카드는 AWS클라우드를 이용하여 대부분의 채널서비스를 AWS클라우드로 이관하였고, 연관된 분석플랫폼과 머신러닝 플랫폼을 AWS기반 클라우드로 구성하여 사용하고 있습니다. 이번 세션에서는 KB카드를 포함한 다양한 KB금융그룹 차원의 AWS클라우드내의 Analytics 구성 사례에 대해서 소개해 드리고자 합니다.
많은 고객들은 기존 방식의 분석에서 확장하여 데이터에서 최대한 가치를 얻고 그에 기반한 의사 결정을 하기를 원하고 있습니다. 본 웨비나에서는 데이터 분석의 근간이 되는 데이터 레이크와 고객들이 안전하고 확장 가능한 데이터 분석을 쉽게 할 수 있게 해주는 AWS의 서비스 포트폴리오에 대해서 알아보도록 하겠습니다.
대상 :
빅 데이터 및 데이터 분석 담당자, AWS 기반 데이터 분석에 관심 있는 모든 분
발표자 :
이종화 솔루션즈 아키텍트, AWS
AWS IoT를 통해 클라우드로 세상을 연결하는 방법 - 이종화 솔루션즈 아키텍트, AWS / 최원근 솔루션즈 아키텍트, AWS :: AW...Amazon Web Services Korea
AWS IoT를 통해 클라우드로 세상을 연결하는 방법
이종화 솔루션즈 아키텍트, AWS
최원근 솔루션스 아키텍트, AWS
AWS IoT는 수많은 사물인터넷에서 발생되는 물리 세계의 데이터를 고객이 쉽게 수집하고, 관리, 분석할 수있도록 많은 서비스를 제공하고 있습니다. 이번 세션에서는 AWS IoT Core 서비스와 함께 새로운 서비스들을사용해서 물리 세계의 많은 비지니스 문제점들을 이해하고, 분석할 수 있는 여러가지 모범 사례를 제공합니다.
데이터 분석가를 위한 신규 분석 서비스 - 김기영, AWS 분석 솔루션즈 아키텍트 / 변규현, 당근마켓 소프트웨어 엔지니어 :: AWS r...Amazon Web Services Korea
AWS re:Invent에서는 다양한 고객들의 요구에 맞추어 새로운 분석 및 서버리스 서비스가 대거 출시되었습니다. 본 강연에서는 새롭게 출시된 핵심 분석 기능들과 함께, 누구나 손쉽게 사용할 수 있는 AWS의 분석 서버리스와 On-demand 기능들에 대한 심층적인 정보를 확인하실 수 있습니다.
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...Amazon Web Services Korea
실시간 분석은 AWS 고객의 사용 사례가 점점 늘어나고 있습니다. 이 세션에 참여하여 스트리밍 데이터 기술이 어떻게 데이터를 즉시 분석하고, 시스템 간에 데이터를 실시간으로 이동하고, 실행 가능한 통찰력을 더 빠르게 얻을 수 있는지 알아보십시오. 일반적인 스트리밍 데이터 사용 사례, 비즈니스에서 실시간 분석을 쉽게 활성화하는 단계, AWS가 Amazon Kinesis와 같은 AWS 스트리밍 데이터 서비스를 사용하도록 지원하는 방법을 다룹니다.
코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS ...Amazon Web Services Korea
2022년 코리안리는 핵심업무시스템(기간계/정보계 시스템)을 AWS 클라우드로 전환하는 사업과 AWS 클라우드 기반에서 손익분석을 위한 어플리케이션 구축 사업을 동시에 진행하고 있었습니다. 이에 따라 클라우드 전환 이후 시스템 간 상호운용성과 호환성을갖춘 데이터 분석 플랫폼 또한 필요하게 되었습니다. 코리안리 IT 환경에 적합한 플랫폼 선정을 위하여 AWS Native Analytics Platform, 3rd Party Analytics Platform (클라우데라, 데이터브릭스)과의 PoC를 진행하고, 최종적으로 AWS Native Analytics Platform 으로 확정하였습니다. 코리안리는 메가존클라우드와 함께 2022년 10월부터 4개월(구축 3개월, 안정화 및 교육 1개월) 동안 AWS 기반 데이터 분석 플랫폼을 구축하고 활용 범위를 지속적으로 확대하고 있습니다.
Data Lake는 오늘날 데이터 기반에 의사 결정을 하기 위한 가장 일반적인 데이터 분석 아키텍처로 떠오르고 있습니다. 잘 설계된 Data Lake는 기업이 데이터 자산으로부터 가장 많은 비지니스 가치를 창출하도록 보장합니다. 본 세션을 통해 AWS 기반의 Data Lake 아키텍처를 소개하고, 다양한 사례를 통해 AWS 고객들은 데이터 분석 플랫폼을 어떤 방식으로 설계해서 활용하고 있는지 살펴봅니다.
다시보기 링크: https://youtu.be/mE8V9oNXdrs
농심 그룹 메가마트 : 온프레미스 Exadata의 AWS 클라우드 환경 전환 사례 공유-김동현, NDS Cloud Innovation Ce...Amazon Web Services Korea
메가마트는 데이터 분석 환경 기반 마련과 비용 및 성능 효율을 위해서 온프레미스 환경의 Exadata에서 AWS 환경으로 전환을 성공적으로 수행하였습니다. 대용량 데이터베이스 마이그레이션 프로젝트의 경험을 기반으로 클라우드 환경에서의 데이터 베이스 성능 확보 및 운영 효율을 위한 모범 사례를 소개합니다.
Build a simple data lake on AWS using a combination of services, including AWS Glue Data Catalog, AWS Glue Crawlers, AWS Glue Jobs, AWS Glue Studio, Amazon Athena, Amazon Relational Database Service (Amazon RDS), and Amazon S3.
Link to the blog post and video: https://garystafford.medium.com/building-a-simple-data-lake-on-aws-df21ca092e32
Amazon SageMaker는 머신러닝 프로젝트를 위한 통합 플랫폼입니다. SageMaker의 기능 중 Amazon SageMaker Studio는 머신러닝 통합 개발환경을 제공하여, 데이터를 준비에서부터 모델을 빌드, 교육 및 배포하는 데 필요한 모든 단계를 수행할 수 있습니다. Amazon EMR은 Apache Spark, Apache Hive 및 Presto와 같은 오픈 소스 분석 프레임워크를 사용하여 대규모 분산 데이터 처리 작업, 대화형 SQL 쿼리 및 ML 애플리케이션을 실행하기 위한 빅 데이터 플랫폼입니다. 이 세션에서는 데이터 과학자와 ML 엔지니어가 ML 워크플로우에서 분산 빅 데이터 프레임워크를 쉽게 사용할 수 있도록 상호 서비스 간의 통합에 대하여 데모를 통해 알아봅니다.
Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New feature...Amazon Web Services Korea
이 세션에 참여하여 Amazon Redshift의 새로운 기능을 자세히 살펴보십시오. Amazon Data Sharing, Amazon Redshift Serverless, Redshift Streaming, Redshift ML 및 자동 복사 등에 대한 자세한 내용과 데모를 통해 Amazon Redshift의 새로운 기능을 알고 싶은 사용자에게 적합합니다.
Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...Amazon Web Services Korea
로그 및 지표 데이터를 쉽게 가져오고, OpenSearch 검색 API를 사용하고, OpenSearch 대시보드를 사용하여 시각화를 구축하는 등 Amazon OpenSearch의 새로운 기능과 기능에 대해 자세히 알아보십시오. 애플리케이션 문제를 디버깅할 수 있는 OpenSearch의 Observability 기능에 대해 알아보세요. Amazon OpenSearch Service를 통해 인프라 관리에 대해 걱정하지 않고 검색 또는 모니터링 문제에 집중할 수 있는 방법을 알아보십시오.
[Bespin Global 파트너 세션] 분산 데이터 통합 (Data Lake) 기반의 데이터 분석 환경 구축 사례 - 베스핀 글로벌 장익...Amazon Web Services Korea
기업 환경에 따라 차이는 있겠지만, 최근 대부분의 기업은 데이터 분석 환경이 구축되어 있고, 이를 기반으로 데이터를 분석하고 있습니다. 그럼에도 불구하고 현업에서는 분석하고자 하는 데이터가 없거나 변화하는 비즈니스 요건을 반영하지 못한다는 불만을 제기하고, 분석 환경을 제공하는 IT운영팀은 변화하는 비즈니스 요건에 따라 분석 환경을 적시에 제공하기 쉽지 않다는 어려움을 토로하고 있습니다. 이 해결책으로 운영시스템에 데이터베이스 형태로 존재하고 있거나, 현업의 PC에서 수작업으로 작성한 정형, 비정형 파일을 통합 관리할 수 있고, 또한 인프라 환경의 확장 및 변경을 보다 유연하게 할 수 있는 AWS Cloud 기반의 분석 환경 구축 사례를 소개하고자 합니다.
다시보기 링크: https://youtu.be/YvYfNZHMJkI
금융 서비스 패러다임의 전환 가속화 시대, 신한금융투자의 Cloud First 전략 - 신중훈 AWS 솔루션즈 아키텍트 / 최성봉 클라우...Amazon Web Services Korea
신한금융투자는 급변하는 금융 환경에 민첩하게 대응하기 위해 디지털 트랜스포메이션 마스터플랜을 수립하고, 2021년 상반기 본격적인 서비스 시작을 앞두고 있습니다. 비즈니스와 서비스의 중심을 클라우드 기반으로 전환하는 Cloud First 전략을 추진 중입니다. Cloud First 전략의 일환으로 데이터 & 고객 중심의 Seamless 서비스를 위해 클라우드 기반의 데이터 분석 플랫폼, 인공지능 컨택센터 구축에 착수하였으며, 이번 발표에서는 서비스 구축 과정에서 당사가 고민했던, Why Cloud, What and How to do에 대해 공유하고자 합니다.
AWS delivers an integrated suite of services that provide everything needed to quickly and easily build and manage a data lake for analytics. AWS-powered data lakes can handle the scale, agility, and flexibility required to combine different types of data and analytics approaches to gain deeper insights, in ways that traditional data silos and data warehouses cannot. In this session, we will show you how you can quickly build a data lake on AWS that ingests, catalogs and processes incoming data and makes it ready for analysis. Using a live demo, we demonstrate the capabilities of AWS provided analytical services such as AWS Glue, Amazon Athena and Amazon EMR and how to build a Data Lake on AWS step-by-step.
이커머스 기업 쿠팡은 폭발적인 성장에 대응하기 위하여 Amazon Aurora 기반의 선택과 집중을 통해 DBA가 보다 의미 있는 일에 투자할 수 있도록 하고 있습니다. 삼성전자의 채팅플러스는 높은 수준의 가용성을 요구하는 통신 서비스의 특성에 맞게 적절한 AWS 데이터베이스를 활용하고 있습니다. 이 세션에서는 쿠팡이 Amazon Aurora를 통하여 얻은 경험 기반의 혁신 사례를 소개하며, 삼성전자에서 수 천만 명의 트래픽을 다루기 위해 Amazon DynamoDB, Amazon ElastiCache for Redis를 활용했던 경험을 공유합니다.
많은 고객들은 기존 방식의 분석에서 확장하여 데이터에서 최대한 가치를 얻고 그에 기반한 의사 결정을 하기를 원하고 있습니다. 본 웨비나에서는 데이터 분석의 근간이 되는 데이터 레이크와 고객들이 안전하고 확장 가능한 데이터 분석을 쉽게 할 수 있게 해주는 AWS의 서비스 포트폴리오에 대해서 알아보도록 하겠습니다.
대상 :
빅 데이터 및 데이터 분석 담당자, AWS 기반 데이터 분석에 관심 있는 모든 분
발표자 :
이종화 솔루션즈 아키텍트, AWS
AWS IoT를 통해 클라우드로 세상을 연결하는 방법 - 이종화 솔루션즈 아키텍트, AWS / 최원근 솔루션즈 아키텍트, AWS :: AW...Amazon Web Services Korea
AWS IoT를 통해 클라우드로 세상을 연결하는 방법
이종화 솔루션즈 아키텍트, AWS
최원근 솔루션스 아키텍트, AWS
AWS IoT는 수많은 사물인터넷에서 발생되는 물리 세계의 데이터를 고객이 쉽게 수집하고, 관리, 분석할 수있도록 많은 서비스를 제공하고 있습니다. 이번 세션에서는 AWS IoT Core 서비스와 함께 새로운 서비스들을사용해서 물리 세계의 많은 비지니스 문제점들을 이해하고, 분석할 수 있는 여러가지 모범 사례를 제공합니다.
데이터 분석가를 위한 신규 분석 서비스 - 김기영, AWS 분석 솔루션즈 아키텍트 / 변규현, 당근마켓 소프트웨어 엔지니어 :: AWS r...Amazon Web Services Korea
AWS re:Invent에서는 다양한 고객들의 요구에 맞추어 새로운 분석 및 서버리스 서비스가 대거 출시되었습니다. 본 강연에서는 새롭게 출시된 핵심 분석 기능들과 함께, 누구나 손쉽게 사용할 수 있는 AWS의 분석 서버리스와 On-demand 기능들에 대한 심층적인 정보를 확인하실 수 있습니다.
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...Amazon Web Services Korea
실시간 분석은 AWS 고객의 사용 사례가 점점 늘어나고 있습니다. 이 세션에 참여하여 스트리밍 데이터 기술이 어떻게 데이터를 즉시 분석하고, 시스템 간에 데이터를 실시간으로 이동하고, 실행 가능한 통찰력을 더 빠르게 얻을 수 있는지 알아보십시오. 일반적인 스트리밍 데이터 사용 사례, 비즈니스에서 실시간 분석을 쉽게 활성화하는 단계, AWS가 Amazon Kinesis와 같은 AWS 스트리밍 데이터 서비스를 사용하도록 지원하는 방법을 다룹니다.
코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS ...Amazon Web Services Korea
2022년 코리안리는 핵심업무시스템(기간계/정보계 시스템)을 AWS 클라우드로 전환하는 사업과 AWS 클라우드 기반에서 손익분석을 위한 어플리케이션 구축 사업을 동시에 진행하고 있었습니다. 이에 따라 클라우드 전환 이후 시스템 간 상호운용성과 호환성을갖춘 데이터 분석 플랫폼 또한 필요하게 되었습니다. 코리안리 IT 환경에 적합한 플랫폼 선정을 위하여 AWS Native Analytics Platform, 3rd Party Analytics Platform (클라우데라, 데이터브릭스)과의 PoC를 진행하고, 최종적으로 AWS Native Analytics Platform 으로 확정하였습니다. 코리안리는 메가존클라우드와 함께 2022년 10월부터 4개월(구축 3개월, 안정화 및 교육 1개월) 동안 AWS 기반 데이터 분석 플랫폼을 구축하고 활용 범위를 지속적으로 확대하고 있습니다.
Data Lake는 오늘날 데이터 기반에 의사 결정을 하기 위한 가장 일반적인 데이터 분석 아키텍처로 떠오르고 있습니다. 잘 설계된 Data Lake는 기업이 데이터 자산으로부터 가장 많은 비지니스 가치를 창출하도록 보장합니다. 본 세션을 통해 AWS 기반의 Data Lake 아키텍처를 소개하고, 다양한 사례를 통해 AWS 고객들은 데이터 분석 플랫폼을 어떤 방식으로 설계해서 활용하고 있는지 살펴봅니다.
다시보기 링크: https://youtu.be/mE8V9oNXdrs
농심 그룹 메가마트 : 온프레미스 Exadata의 AWS 클라우드 환경 전환 사례 공유-김동현, NDS Cloud Innovation Ce...Amazon Web Services Korea
메가마트는 데이터 분석 환경 기반 마련과 비용 및 성능 효율을 위해서 온프레미스 환경의 Exadata에서 AWS 환경으로 전환을 성공적으로 수행하였습니다. 대용량 데이터베이스 마이그레이션 프로젝트의 경험을 기반으로 클라우드 환경에서의 데이터 베이스 성능 확보 및 운영 효율을 위한 모범 사례를 소개합니다.
Build a simple data lake on AWS using a combination of services, including AWS Glue Data Catalog, AWS Glue Crawlers, AWS Glue Jobs, AWS Glue Studio, Amazon Athena, Amazon Relational Database Service (Amazon RDS), and Amazon S3.
Link to the blog post and video: https://garystafford.medium.com/building-a-simple-data-lake-on-aws-df21ca092e32
Amazon SageMaker는 머신러닝 프로젝트를 위한 통합 플랫폼입니다. SageMaker의 기능 중 Amazon SageMaker Studio는 머신러닝 통합 개발환경을 제공하여, 데이터를 준비에서부터 모델을 빌드, 교육 및 배포하는 데 필요한 모든 단계를 수행할 수 있습니다. Amazon EMR은 Apache Spark, Apache Hive 및 Presto와 같은 오픈 소스 분석 프레임워크를 사용하여 대규모 분산 데이터 처리 작업, 대화형 SQL 쿼리 및 ML 애플리케이션을 실행하기 위한 빅 데이터 플랫폼입니다. 이 세션에서는 데이터 과학자와 ML 엔지니어가 ML 워크플로우에서 분산 빅 데이터 프레임워크를 쉽게 사용할 수 있도록 상호 서비스 간의 통합에 대하여 데모를 통해 알아봅니다.
Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New feature...Amazon Web Services Korea
이 세션에 참여하여 Amazon Redshift의 새로운 기능을 자세히 살펴보십시오. Amazon Data Sharing, Amazon Redshift Serverless, Redshift Streaming, Redshift ML 및 자동 복사 등에 대한 자세한 내용과 데모를 통해 Amazon Redshift의 새로운 기능을 알고 싶은 사용자에게 적합합니다.
Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...Amazon Web Services Korea
로그 및 지표 데이터를 쉽게 가져오고, OpenSearch 검색 API를 사용하고, OpenSearch 대시보드를 사용하여 시각화를 구축하는 등 Amazon OpenSearch의 새로운 기능과 기능에 대해 자세히 알아보십시오. 애플리케이션 문제를 디버깅할 수 있는 OpenSearch의 Observability 기능에 대해 알아보세요. Amazon OpenSearch Service를 통해 인프라 관리에 대해 걱정하지 않고 검색 또는 모니터링 문제에 집중할 수 있는 방법을 알아보십시오.
[Bespin Global 파트너 세션] 분산 데이터 통합 (Data Lake) 기반의 데이터 분석 환경 구축 사례 - 베스핀 글로벌 장익...Amazon Web Services Korea
기업 환경에 따라 차이는 있겠지만, 최근 대부분의 기업은 데이터 분석 환경이 구축되어 있고, 이를 기반으로 데이터를 분석하고 있습니다. 그럼에도 불구하고 현업에서는 분석하고자 하는 데이터가 없거나 변화하는 비즈니스 요건을 반영하지 못한다는 불만을 제기하고, 분석 환경을 제공하는 IT운영팀은 변화하는 비즈니스 요건에 따라 분석 환경을 적시에 제공하기 쉽지 않다는 어려움을 토로하고 있습니다. 이 해결책으로 운영시스템에 데이터베이스 형태로 존재하고 있거나, 현업의 PC에서 수작업으로 작성한 정형, 비정형 파일을 통합 관리할 수 있고, 또한 인프라 환경의 확장 및 변경을 보다 유연하게 할 수 있는 AWS Cloud 기반의 분석 환경 구축 사례를 소개하고자 합니다.
다시보기 링크: https://youtu.be/YvYfNZHMJkI
금융 서비스 패러다임의 전환 가속화 시대, 신한금융투자의 Cloud First 전략 - 신중훈 AWS 솔루션즈 아키텍트 / 최성봉 클라우...Amazon Web Services Korea
신한금융투자는 급변하는 금융 환경에 민첩하게 대응하기 위해 디지털 트랜스포메이션 마스터플랜을 수립하고, 2021년 상반기 본격적인 서비스 시작을 앞두고 있습니다. 비즈니스와 서비스의 중심을 클라우드 기반으로 전환하는 Cloud First 전략을 추진 중입니다. Cloud First 전략의 일환으로 데이터 & 고객 중심의 Seamless 서비스를 위해 클라우드 기반의 데이터 분석 플랫폼, 인공지능 컨택센터 구축에 착수하였으며, 이번 발표에서는 서비스 구축 과정에서 당사가 고민했던, Why Cloud, What and How to do에 대해 공유하고자 합니다.
AWS delivers an integrated suite of services that provide everything needed to quickly and easily build and manage a data lake for analytics. AWS-powered data lakes can handle the scale, agility, and flexibility required to combine different types of data and analytics approaches to gain deeper insights, in ways that traditional data silos and data warehouses cannot. In this session, we will show you how you can quickly build a data lake on AWS that ingests, catalogs and processes incoming data and makes it ready for analysis. Using a live demo, we demonstrate the capabilities of AWS provided analytical services such as AWS Glue, Amazon Athena and Amazon EMR and how to build a Data Lake on AWS step-by-step.
이커머스 기업 쿠팡은 폭발적인 성장에 대응하기 위하여 Amazon Aurora 기반의 선택과 집중을 통해 DBA가 보다 의미 있는 일에 투자할 수 있도록 하고 있습니다. 삼성전자의 채팅플러스는 높은 수준의 가용성을 요구하는 통신 서비스의 특성에 맞게 적절한 AWS 데이터베이스를 활용하고 있습니다. 이 세션에서는 쿠팡이 Amazon Aurora를 통하여 얻은 경험 기반의 혁신 사례를 소개하며, 삼성전자에서 수 천만 명의 트래픽을 다루기 위해 Amazon DynamoDB, Amazon ElastiCache for Redis를 활용했던 경험을 공유합니다.
BespinGlobal 컨설팅 본부
최정식 위원(js.choi@bespinglobal.com)
데이터 마이그레이션 세미나 - 데이터로 날자
Helping You Adopt Cloud | 가트너 선정 아시아 No.1 클라우드 MSP, 성공적인 클라우드 도입을 위한 전략, 구축, 운영 및 관리 서비스 제공
천만사용자를 위한 AWS 클라우드 아키텍처 진화하기 – 문종민, AWS솔루션즈 아키텍트:: AWS Summit Online Korea 2020Amazon Web Services Korea
발표영상 다시보기: https://youtu.be/z68l2X5KoC4
AWS 클라우드는 초기에 적은 비용으로 웹 서비스를 시작하고, 향후 사업이 발전했을 때 천만 이상의 유저가 사용할 수 있는 고가용성, 확장성, 민첩성이 뛰어난 웹 서비스를 만들 수 있습니다. 본 세션에서는 작은 서비스로 시작하여 AWS의 다양한 서비스를 사용하여 천만 이상의 대규모 유저 트래픽을 수용할 수 있는 웹 서비스로 발전시키는 것을 단계별로 오토스케일링, 트래픽 경감, 모니터링과 자동화, 고가용성 확보를 위한 아키텍처 구성 방법을 소개합니다.
클라우드 기반 데이터 웨어하우스(DW)에 대한 사장의 선택지가 풍부해지고 있습니다.
DW 구축과 운영방식을 송두리째 바꿀 클라우드 DW의 기술적 특징과 시장에서 주목하는 AWS RedShift에 대해 살펴보세요.
목차
1. 시작하면서
1) Database 아키텍처와 고려사항
2) 최근까지의 7가지 트렌드
3) Big Data 도전 과제
2. AWS Big Data 전략
4) Data Store 관점에서의 AWS 서비스
5) Big Data Architecting process
6) AWS Big data 서비스
3. AWS RedShift 소개
사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...Amazon Web Services Korea
Database Migration Service(DMS)는 RDBMS 이외에도 다양한 데이터베이스 이관을 지원합니다. 실제 고객사 사례를 통해 DMS가 데이터베이스 이관, 통합, 분리를 수행하는 데 어떻게 활용되는지 알아보고, 동시에 데이터 분석을 위한 데이터 수집(Data Ingest)에도 어떤 역할을 하는지 살펴보겠습니다.
Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Lev...Amazon Web Services Korea
Amazon ElastiCache는 Redis 및 MemCached와 호환되는 완전관리형 서비스로서 현대적 애플리케이션의 성능을 최적의 비용으로 실시간으로 개선해 줍니다. ElastiCache의 Best Practice를 통해 최적의 성능과 서비스 최적화 방법에 대해 알아봅니다.
Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...Amazon Web Services Korea
ccAmazon Aurora 데이터베이스는 클라우드용으로 구축된 관계형 데이터베이스입니다. Aurora는 상용 데이터베이스의 성능과 가용성, 그리고 오픈소스 데이터베이스의 단순성과 비용 효율성을 모두 제공합니다. 이 세션은 Aurora의 고급 사용자들을 위한 세션으로써 Aurora의 내부 구조와 성능 최적화에 대해 알아봅니다.
[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...Amazon Web Services Korea
오랫동안 관계형 데이터베이스가 가장 많이 사용되었으며 거의 모든 애플리케이션에서 널리 사용되었습니다. 따라서 애플리케이션 아키텍처에서 데이터베이스를 선택하기가 더 쉬웠지만, 구축할 수 있는 애플리케이션의 유형이 제한적이었습니다. 관계형 데이터베이스는 스위스 군용 칼과 같아서 많은 일을 할 수 있지만 특정 업무에는 완벽하게 적합하지는 않습니다. 클라우드 컴퓨팅의 등장으로 경제적인 방식으로 더욱 탄력적이고 확장 가능한 애플리케이션을 구축할 수 있게 되면서 기술적으로 가능한 일이 달라졌습니다. 이러한 변화는 전용 데이터베이스의 부상으로 이어졌습니다. 개발자는 더 이상 기본 관계형 데이터베이스를 사용할 필요가 없습니다. 개발자는 애플리케이션의 요구 사항을 신중하게 고려하고 이러한 요구 사항에 맞는 데이터베이스를 선택할 수 있습니다.
Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...Amazon Web Services Korea
Amazon EMR은 Apache Spark, Hive, Presto, Trino, HBase 및 Flink와 같은 오픈 소스 프레임워크를 사용하여 분석 애플리케이션을 쉽게 실행할 수 있는 관리형 서비스를 제공합니다. Spark 및 Presto용 Amazon EMR 런타임에는 오픈 소스 Apache Spark 및 Presto에 비해 두 배 이상의 성능 향상을 제공하는 최적화 기능이 포함되어 있습니다. Amazon EMR Serverless는 Amazon EMR의 새로운 배포 옵션이지만 데이터 엔지니어와 분석가는 클라우드에서 페타바이트 규모의 데이터 분석을 쉽고 비용 효율적으로 실행할 수 있습니다. 이 세션에 참여하여 개념, 설계 패턴, 라이브 데모를 사용하여 Amazon EMR/EMR 서버리스를 살펴보고 Spark 및 Hive 워크로드, Amazon EMR 스튜디오 및 Amazon SageMaker Studio와의 Amazon EMR 통합을 실행하는 것이 얼마나 쉬운지 알아보십시오.
Enabling Agility with Data Governance - 발표자: 김성연, Analytics Specialist, WWSO,...Amazon Web Services Korea
데이터 거버넌스는 전체 프로세스에서 데이터를 관리하여 데이터의 정확성과 완전성을 보장하고 필요한 사람들이 데이터에 액세스할 수 있도록 하는 프로세스입니다. 이 세션에 참여하여 AWS가 어떻게 분석 서비스 전반에서 데이터 준비 및 통합부터 데이터 액세스, 데이터 품질 및 메타데이터 관리에 이르기까지 포괄적인 데이터 거버넌스를 제공하는지 알아보십시오. AWS에서의 스트리밍에 대해 자세히 알아보십시오.
From Insights to Action, How to build and maintain a Data Driven Organization...Amazon Web Services Korea
데이터는 혁신과 변혁의 토대입니다. 비즈니스 혁신을 이끄는 혁신은 특정 시점의 전략이나 솔루션이 아니라 성장을 위한 반복적이고 집단적인 계획입니다. 혁신에 이러한 접근 방식을 채택하는 기업은 전략과 비즈니스 문화에서 데이터를 기반으로 하는 경우가 많습니다. 이러한 접근 방식을 개발하려면 리더가 데이터를 조직의 자산처럼 취급하고 조직이 더 나은 비즈니스 성과를 위해 데이터를 활용할 수 있도록 권한을 부여해야 합니다. AWS와 Amazon이 어떻게 데이터와 분석을 활용하여 확장 가능한 비즈니스 효율성을 창출하고 고객의 가장 복잡한 문제를 해결하는 메커니즘을 개발했는지 알아보십시오.
[Keynote] Accelerating Business Outcomes with AWS Data - 발표자: Saeed Gharadagh...Amazon Web Services Korea
데이터는 최종 소비자의 성공에 초점을 맞춘 디지털 혁신에서 중추적인 역할을 하고 있습니다. 모든 기업들은 데이터를 자산으로 사용하여 사례 제공을 추진하고 까다로운 결과를 해결하고 있습니다. AWS 클라우드 기술과 분석 솔루션의 강력한 성능을 통해 고객은 혁신 여정을 가속화할 수 있습니다. 이 세션에서는 기업 고객들이 클라우드에서 데이터의 힘을 활용하여 혁신 목표를 달성하고 필요한 결과를 제공하는 방법에 대해 다룹니다.
LG전자 - Amazon Aurora 및 RDS 블루/그린 배포를 이용한 데이터베이스 업그레이드 안정성 확보 - 발표자: 이은경 책임, L...Amazon Web Services Korea
LG ThinQ는 LG전자의 가전제품과 서비스를 아우르는 플랫폼 브랜드로서 앱 하나로 간편한 컨트롤, 똑똑한 케어, 스마트한 쇼핑까지 한번에 가능한 플랫폼입니다. ThinQ 플랫폼은 글로벌 서비스로 제공되고 있어, 작업 시간을 최소화하고, 서비스의 영향을 최소화 할 필요가 있었습니다. 따라서 DB 버전 업그레이드 작업 시 애플리케이션 배포가 필요없는 Blue/Green Deployment 방식은 최선의 선택이 되었습니다.
KB국민카드 - 클라우드 기반 분석 플랫폼 혁신 여정 - 발표자: 박창용 과장, 데이터전략본부, AI혁신부, KB카드│강병억, Soluti...Amazon Web Services Korea
온프레미스 분석 플랫폼에는 자원 증설 비용, 자원 관리 비용, 신규 자원 도입 및 환경 설정의 리드타임 등 다양한 측면에서의 한계가 존재합니다. 이에 KB국민카드에서는 기존 분석 플랫폼의 한계를 극복함과 동시에 시너지를 낼 수 있는 클라우드 기반 분석 플랫폼을 설계 및 도입하였습니다. 본 사례 소개는 KB국민카드의 데이터 혁신 여정과 노하우를 소개합니다.
SK Telecom - 망관리 프로젝트 TANGO의 오픈소스 데이터베이스 전환 여정 - 발표자 : 박승전, Project Manager, ...Amazon Web Services Korea
SK Telecom의 망관리 프로젝트인 TANGO에서는 오라클을 기반으로 시스템을 구축하여 운영해 왔습니다. 하지만 늘어나는 사용자와 데이터로 인해 유연하고 비용 효율적인 인프라가 필요하게 되었고, 이에 클라우드 도입을 검토 및 실행에 옮기게 되었습니다. TANGO 프로젝트의 클라우드 도입을 위한 검토부터 준비, 실행 및 이를 통해 얻게 된 교훈과 향후 계획에 대해 소개합니다.
LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...Amazon Web Services Korea
LG 이노텍은 세계 시장을 선도하는 글로벌 소재·부품기업으로, Amazon Redshift 을 데이터 분석 플랫폼의 핵심 서비스로 활용하고 있습니다.지속적인 데이터 증가와 업무 확대에 따른 유연한 아키텍처 개선의 필요성에 대처하기 위해, 2022년에 AWS 에서 발표된 Redshift Serverless 를 활용한, 비용 최적화된 아키텍처 개선 과정의 실사례를 엿볼수 있는 기회가 됩니다.
[Keynote] Data Driven Organizations with AWS Data - 발표자: Agnes Panosian, Head...Amazon Web Services Korea
데이터는 모든 애플리케이션, 프로세스 및 비즈니스 의사 결정의 중심에 있습니다. 데이터는 거의 모든 조직의 디지털 트랜스포메이션의 초석입니다. 데이터는 새로운 경험을 촉진하고 혁신을 이끌어내는 통찰력으로 이어집니다. 전체 조직을 위한 데이터의 가치를 실현하는 전략을 구축하는 것은 쉽고 간단한 여정이 아닙니다. 이 세션에서는 데이터 기반 조직화를 위한 모범 사례와 그 여정에서 AWS가 어떻게 도움을 드릴 수 있는지를 다룹니다.
Amazon Neptune은 확장성과 가용성을 제공하도록 설계된 서버리스 데이터 그래프 데이터베이스입니다. 본 세션에서는 Neptune 서버리스를 통해 한의학 컨텐츠내용 및 상품 상세 데이터를 통해 그래프 DB를 구축하고 상품 추천 구현 사례를 살펴봅니다.
ECK(Elasticsearch Cloud on Kubernetes)는 쿠버네티스 환경에서 Elastic 제품을 배포하고 관리할 수 있는 오퍼레이터입니다. 본 세션에서는 Amazon EKS 환경에서 ECK를 사용한 검색 엔진 플랫폼 구축 사례 및 개발팀과 인프라팀 간 협업 과정을 공유합니다.
ChatGPT를 비롯한 거대 언어 모델(LLM) 기반 생성 AI를 통해 다양한 활용 사례가 나오고 있습니다. 본 세션에서는 생성 AI 모델의 임베딩벡터에 대해 알아보고 이를 통해 손쉽게 서버리스 텍스트 및 이미지 추천 검색을 구현하는 방법을 소개합니다. OpenAI의 GPT3 API 및 Amazon SageMaker JumpStart를 통해 올린 EleutherAI 모델 기반으로 한국어 추천 및 검색 애플리케이션을 구현한 사례를 살펴봅니다.
에이슬립은 AI 모델로 수면을 정확하게 분석하여 맞춤형 수면 서비스를 제공하는 SaaS 서비스를 제공합니다. 본 세션에서는 SaaS 서비스 인증 및 권한제어, 사용량 측정 등 필수적인 기능을 AWS 기반 서버리스 서비스를 통해 제공하여 데이터베이스 부하 없이 대규모 트래픽에도 견딜 수 있는 아키텍처를 소개합니다.
매드업은 디지털 마케팅 자동화 솔루션을 개발 및 운영하면서 대용량 데이터를 수집, 가공해서 데이터웨어하우스를 만드는 도전이 있습니다. 본 세션에서는 기존의 Amazon Athena에서 어떻게 Amazon Redshift Serverless를 통해 데이터가 필요한 조직에 정확하게 공급했는지 그 사례와 장단점을 소개합니다.
14. 맵리듀스를 활용한 데이터 처리
loadlog = LOAD 's3://Bucket_name/Directory_name/Logfile_name'
USING JsonLoader
('host:chararray,user:chararray,method:chararray,path:chararray,
code:INT,size:INT,referer:chararray,agent:chararray,time:chararr
ay');
ip_data = GROUP loadlog BY host ;
ip_count = FOREACH ip_data GENERATE group AS time,COUNT(loadJson)
as total_visits ;
sort_data = RANK ip_count BY total_visits DESC ;
store sort_data into 's3://Bucket_name/Logoutput_directory/'
using PigStorage();
15. SQL on EMR의 활용
CREATE EXTERNAL TABLE Customer_info (
customer_no INT ,
birth_date DATE ,
first_name VARCHAR(14) ,
last_name VARCHAR(16) ,
gender STRING ,
login_date DATE
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE
LOCATION ‘s3://Bucket_name/Directory_name/Table_name/’
;
33. 다양한 인스턴스를 선택하세요
업무 마스터 인스턴스 그룹 코어 인스턴스 그룹 태스크 인스턴스 그룹
배치 작업 On-demand
On-demand
또는 Instance-fleet 혼합
Spot 또는
instance-fleet 혼합
데이터 변환 Spot Spot Spot
실시간 처리 On-Demand On-Demand
Spot 또는
instance-fleet 혼합
개발 테스트 Spot Spot Spot
34. 향상된 관리 기능을 활용하세요.
인스턴스 용량 설정
YARN 리소스
사용기반 설정
자동확장/축소선택
38. “시간, 언어, 공간의 제약을 넘어 인류 개개인의 도달가능한
인간관계를 전 세계로 넓힌다”
• 2014년 3월 엔지니어들을 주
축으로 설립
• 비디오 & 소셜네트워킹 기술
스타트업
• 약 20개 국적의 100명 이상의
직원들이 근무 중
39. • 화면을 넘길 때마다 전 세계의 새로운 사람들을 만날 수 있는 ‘소셜 디스커
버리‘ 플랫폼
• 최초로 WebRTC 를 모바일에 적용해 상용화
• 주요 기능 - 친구추가, 실시간 음성 번역, 얼굴인식 스티커 등
• 주요 성과
- 전 세계 200여 개 국가에서 1억 다운로드
- 160억 회 이상의 누적 매치
- 2015, 2016 구글플레이 올해의 앱 선정
40. 데이터 분석 플랫폼 구축 목표
• 다양한 분석 수요에 따른 데이터 추출 / 변환 / 적재
• DataFlow 기획 / 제작 / 관리
• 대쉬보드 / 레포트 / EDA 도구 제공
• 이상 행동 탐지, 매칭 상대 추천 등 데이터 기반 서비스 제작
42. 하지만 사용자 증가에 따라
대용량 데이터에 대한 처리 고민
• 5천만 매치 데이터 / 일
• 7억건 이벤트 / 일
• 1T 생성 / 일
43. Amazon S3와 Redshift를 활용하여
• 다양한 데이터 수집 가능
• 데이터 처리 시간 단축
Event log
Batch Analysis
Ad-hoc Analysis
Reporing
3rd party
Data
Service DB
집계 시간 – 2시간 47분
집계 시간 – 9시간 08분
3배 단축
44. 다양한 요구 등장
대용량 데이터에 대한 안정적 처리 필요
• 이벤트 로그의 전처리 과정 단축
• 배포 후 실시간 확인
• Ad-hoc레포트를 위한 데이터 준비 필요
45. 다양한 업무 요구사항 충족을 위해
Amazon EMR을 선택한 이유
• S3 에 보관하고 있는 데이터의 접근성이 높음
• CPU bound (auto scaling) 에 대한 보장
• IO bound (S3) 에 대한 보장
• 보고서 작성을 위한 SQL의 활용
52. 꼭 기억해 주세요!!!
• S3를 활용한 안전하고 비용 효과적인 저장소를 구축하세요.
• 분석 워크로드간 독립성을 유지하세요.
• 다양한 데이터 분석, 시각화 도구 활용하세요.
• Spot Fleets을 활용하여 비용을 절감하세요.
• 관리 자동화를 위해 오토 스케일링을 설정하세요.
53. 본 강연이 끝난 후…
Amazon EMR 자습서 및 샘플코드를 참조하세요.
https://aws.amazon.com/articles/Elastic-MapReduce
Amazon EMR 블로그를 통해 다양한 소식 및 사용 사례를
참조하세요.
https://aws.amazon.com/ko/blogs/aws/category/amazon-emr/
55. https://www.awssummit.kr
AWS Summit 모바일 앱을 통해 지금 세션 평가에
참여하시면, 행사 후 기념품을 드립니다.
#AWSSummitKR 해시태그로 소셜 미디어에
여러분의 행사 소감을 올려주세요.
발표 자료 및 녹화 동영상은 AWS Korea 공식 소셜
채널로 공유될 예정입니다.
여러분의 피드백을 기다립니다!