Data Lake는 오늘날 데이터 기반에 의사 결정을 하기 위한 가장 일반적인 데이터 분석 아키텍처로 떠오르고 있습니다. 잘 설계된 Data Lake는 기업이 데이터 자산으로부터 가장 많은 비지니스 가치를 창출하도록 보장합니다. 본 세션을 통해 AWS 기반의 Data Lake 아키텍처를 소개하고, 다양한 사례를 통해 AWS 고객들은 데이터 분석 플랫폼을 어떤 방식으로 설계해서 활용하고 있는지 살펴봅니다.
다시보기 링크: https://youtu.be/mE8V9oNXdrs
Data Lake는 오늘날 데이터 기반에 의사 결정을 하기 위한 가장 일반적인 데이터 분석 아키텍처로 떠오르고 있습니다. 잘 설계된 Data Lake는 기업이 데이터 자산으로부터 가장 많은 비지니스 가치를 창출하도록 보장합니다. 본 세션을 통해 AWS 기반의 Data Lake 아키텍처를 소개하고, 다양한 사례를 통해 AWS 고객들은 데이터 분석 플랫폼을 어떤 방식으로 설계해서 활용하고 있는지 살펴봅니다.
다시보기 링크: https://youtu.be/mE8V9oNXdrs
발표영상 다시보기: https://youtu.be/1HlRVG6OPBo
고객의 온프레미스 데이터를 클라우드로 마이그레이션 또는 하이브리드 환경을 구축하기 위해서 다양한 요구사항들이 존재합니다. 이번 세션에서는 AWS로 데이터를 마이그레이션 및 전송하기 위한 스토리지 서비스들을 소개합니다. 하이브리드 환경을 위한 AWS Storage Gateway와 백업 중앙화 관리 및 자동화를 위한 AWS Backup의 연계, 데이터 전송을 위한 AWS DataSync 및 AWS Transfer for SFTP 등의 스토리지 서비스 개요 및 Use Case를 소개하며, 대용량 데이터 마이그레이션을 위한 AWS Snowball 서비스를 고객사례와 함께 설명드립니다.
발표영상 다시보기: https://youtu.be/eQjkwhyOOmI
대규모 데이터 레이크 구성 및 관리는 복잡하고 시간이 많이 걸리는 작업입니다. AWS Lake Formation은 수일만에 안전한 데이터 레이크를 구성할 수 있는 완전 관리 서비스입니다. 본 세션에서는 데이터 수집, 분류, 정리, 변환 및 보안을 위해 AWS Lake Formation을 통해 Amazon S3, EMR, Redshift 및 Athena와 같은 분석 도구를 쉽게 구성하는 방법을 알아봅니다. (2019년 11월 서울 리전 출시)
AWS는 규모의 경제에서 발생하는 비용 절감 효과를 고객들에게 돌려드리는 철학을 가지고 있습니다. AWS가 제공하는 다양한 인스턴스 타입을 적절히 선택해면 뛰어난 성능의 아키텍처를 구현하면서도 비용을 최적화해 더욱 더 비용 효율적인 아키텍처 구성을 꾀할 수 있습니다.
이 강연에서는 구매 옵션에 따른 설정 및 기능에 따른 다양한 가격 절감 사례를 함께 안내해 드리며, 향후 서비스 성장에 따른 비용 증가 가능성에 대해 고민하시는 개발자 및 관리자들에게 도움이 되실 것입니다.
본 강연에서는 AWS 파트너인 Treasure data의 솔루션을 이용하여 클라우드 환경에서 손쉽게 빅데이터 분석 및 적용하는 법에 대하여 살펴봅니다. 모범 사례에 따른 사용법을 소개하고 JP Morgan 등 해외 선도 고객 사례를 공유합니다.
연사: 고영혁 대표, Treasure Data
발표영상 다시보기: https://youtu.be/1HlRVG6OPBo
고객의 온프레미스 데이터를 클라우드로 마이그레이션 또는 하이브리드 환경을 구축하기 위해서 다양한 요구사항들이 존재합니다. 이번 세션에서는 AWS로 데이터를 마이그레이션 및 전송하기 위한 스토리지 서비스들을 소개합니다. 하이브리드 환경을 위한 AWS Storage Gateway와 백업 중앙화 관리 및 자동화를 위한 AWS Backup의 연계, 데이터 전송을 위한 AWS DataSync 및 AWS Transfer for SFTP 등의 스토리지 서비스 개요 및 Use Case를 소개하며, 대용량 데이터 마이그레이션을 위한 AWS Snowball 서비스를 고객사례와 함께 설명드립니다.
발표영상 다시보기: https://youtu.be/eQjkwhyOOmI
대규모 데이터 레이크 구성 및 관리는 복잡하고 시간이 많이 걸리는 작업입니다. AWS Lake Formation은 수일만에 안전한 데이터 레이크를 구성할 수 있는 완전 관리 서비스입니다. 본 세션에서는 데이터 수집, 분류, 정리, 변환 및 보안을 위해 AWS Lake Formation을 통해 Amazon S3, EMR, Redshift 및 Athena와 같은 분석 도구를 쉽게 구성하는 방법을 알아봅니다. (2019년 11월 서울 리전 출시)
AWS는 규모의 경제에서 발생하는 비용 절감 효과를 고객들에게 돌려드리는 철학을 가지고 있습니다. AWS가 제공하는 다양한 인스턴스 타입을 적절히 선택해면 뛰어난 성능의 아키텍처를 구현하면서도 비용을 최적화해 더욱 더 비용 효율적인 아키텍처 구성을 꾀할 수 있습니다.
이 강연에서는 구매 옵션에 따른 설정 및 기능에 따른 다양한 가격 절감 사례를 함께 안내해 드리며, 향후 서비스 성장에 따른 비용 증가 가능성에 대해 고민하시는 개발자 및 관리자들에게 도움이 되실 것입니다.
본 강연에서는 AWS 파트너인 Treasure data의 솔루션을 이용하여 클라우드 환경에서 손쉽게 빅데이터 분석 및 적용하는 법에 대하여 살펴봅니다. 모범 사례에 따른 사용법을 소개하고 JP Morgan 등 해외 선도 고객 사례를 공유합니다.
연사: 고영혁 대표, Treasure Data
AWS re:Invent 2020 Awesome AI/ML ServicesSungmin Kim
#SageMaker #GlueDataBrew #RedshiftML #QuickSightQ
1. What is Machine Learning?
2. Typical Machine Learning Process
3. Amazon SageMaker Overview
4. New on Amazon SageMaker
(4.1) Amazon SageMaker Data Wrangler
(4.2) Amazon SageMaker Feature Store
(4.3) Amazon SageMaker Pipelines
(4.4) Availability & Pricing
5. Bringing ML To Even More Builders
(5.1) Amazon Redshift ML
(5.2) Amazon Neptune ML
(5.3) AWS Glue DataBrew
(5.4) Amazon QuickSight Q
6. Summary - Awesome AI/ML Services
7. AI/ML Mission @ AWS
참고
- Amazon Redshift ML Is Now Generally Available – Use SQL to Create Machine Learning Models and Make Predictions from Your Data https://aws.amazon.com/ko/blogs/aws/amazon-redshift-ml-is-now-generally-available-use-sql-to-create-machine-learning-models-and-make-predictions-from-your-data/
핵심 미래 분석 기술! 시계열 분석을 활용한 수요예측과 재고관리 최적화 사례 – 김형일 AWS 솔루션즈 아키텍트, 이환기 신세계아이앤씨 A...Amazon Web Services Korea
리테일을 포함한 많은 기업들이 디지털 전환의 핵심 기술로 AI와 머신러닝 활용을 고려하고 있습니다. 본 세션에서는 리테일 비즈니스 최적화를 위한 수요 예측과 재고관리에 시계열 분석을 도입하기 위한 분석도구로 Amazon Forecast와 Amazon SageMaker를 활용하는 방안에 대해 알아보고, 국내 대형유통업체가 AWS 서비스를 활용하여 어떻게 재고를 최적화했는지 성공사례를 공유해 드립니다.
[AWS Innovate 온라인 컨퍼런스] Amazon Personalize를 통한 개인화 추천 기능 실전 구현하기 - 최원근, AWS 솔...Amazon Web Services Korea
발표자료 다시보기: https://youtu.be/npwFUT6XO18
Amazon Personalize는 Amazon.com에서 20년 이상 추천/개인화를 제공해 온 경험을 바탕으로, 회사가 권장 사항, 검색 결과, 이메일 캠페인및 알림과 같은 개인화 된 경험을 제공하도록 돕는 완전 관리 형 서비스입니다. 본 세션에서는 기계 학습에 대한 지식 없이도 개인화 및 추천 기능을 도입하고 싶을때, 현장에서 충분히 활용 가능한 Amazon Personalize를 상세하게 알아보고 이를 활용한 간단한 데모를 통해 실제 활용 예시를 살펴보겠습니다.
[AWS Innovate 온라인 컨퍼런스] Amazon Forecast를 통한 시계열 예측 활용하기 - 김종선, AWS 솔루션즈 아키텍트Amazon Web Services Korea
발표자료 다시보기: https://youtu.be/XXIZQdzjVbs
Amazon Forecast는 제품 수요, 리소스 요구량 또는 금융 실적 등의 향후 비즈니스 성과를 정확하게 예측하기 위해 기계 학습을 사용하는 완전관리형 기계 학습 서비스입니다. 본 세션에서는 기계 학습 경험이 없어도 시작 가능한 시계열 예측 방법을 제공하는 Amazon Forecast의 데모를 통해서, 데이터가 추가 변수와 결합하여 예측을 만들어내는 과정을 상세하게 알아봅니다.
비즈니스 경쟁은 혁신 기술로 치열하게 격돌하는 승부처 이고 AI/ML은 가장 파급력이 높은 혁신 기술입니다. 여기서는 비즈니스 혁신을 만들 수 있는 AWS의 AI/ML 서비스를 소개하고, 사례를 기반으로 초개인화 서비스, 고객 경험 혁신, 문서 처리, 수요 예측 등을 살펴보겠습니다. 마지막으로 책임있는 AI를 제공하기 위한 고려 요소와 준비를 이야기하겠습니다.
2018년도 Amazon AWS re:Invent Machine Learning 부분에 대한 요약을 오픈소스컨설팅 서경빈(AWS SA)님이 해주셨습니다.
사내 발표 때 아주 쉽게 설명해주셔서 좋았는데, 해당 내용은 Tech Blog에서도 확인이 가능합니다.
https://tech.osci.kr/2018/12/06/50693623/
[AWS Innovate 온라인 컨퍼런스] ML 모델 생성 및 운영 효율화를 높이는 Amazon SageMaker의 신규 기능들 - 남궁...Amazon Web Services Korea
발표자료 다시보기: https://youtu.be/XVbhLKHC06U
기계 학습 모델링에는 여전히 많은 수작업이 수반됩니다. 여기에는 모델 평가, 성능 모니터링, 실효성 검증 등 다양한 요소들이 포함되어 있습니다. 본 세션에서는 기계 학습 모델에서 데이터 라벨링 작업의 어려움을 해소하는 SageMaker Ground Truth, 모델 예측 결과에 대한 사람에 의한 리뷰 작업을 도와 주는 Augmented AI (A2I), 모델에 대한 성능 모니터링을 도와주는 SageMaker Model Monitor 등에 대해 알아봅니다.
데이터 과학자를 위한 신규 인공지능 서비스 - 김대근, 이유동, AWS AI/ML 스페셜리스트 솔루션즈 아키텍트 / 소성운, 카카오스타일 ...Amazon Web Services Korea
AWS re:Invent에서는 비즈니스 분석가와 프랙티셔너를 위한 신규 서비스뿐만 아니라, MLOps를 가속화할 수 있는 신규 인공지능 및 기계 학습 서비스들이 출시되었습니다. 본 강연에서는 Amazon SageMaker Studio Lab, Amazon SageMaker Inference Recommender, Amazon SageMaker Serverless Inference를 통해 데이터 과학자들이 완전 관리형 머신 러닝 스택에 익숙해지는 방법을 소개합니다.
게임 데이터 분석을 위한 Data Lake 구축과 Machine Learning 을 활용한 분석 Hands on Lab (안효빈 솔루션즈 ...Amazon Web Services Korea
게임 데이터 분석을 위한 Data Lake 구축과 Machine Learning 을 활용한 분석
이 세션에서는 AWS 상에서 게임 데이터를 분석해봅니다. Amazon DynamoDB, 로그 서버 등에서 발생한 데이터를 Amazon S3 에 저장하여 Data Lake 를 구축하고, 저장된 데이터의 스키마는 AWS Glue 를 통해 관리합니다. 이 후에 Amazon Athena 를 통해 쿼리해보고, Amazon SageMaker 를 이용해 빠르게 머신 러닝 모델을 만들어 학습시키고 배포해봅니다. 이를 통해 AWS 상에서 데이터를 수집하고, 분석을 위한 Data Lake 를 구축한 뒤 실제 머신 러닝을 통해 이상 유저를 판독하는 실습을 진행하게 됩니다.
취향기반의 개인화 서비스를 통한 이커머스 혁신 – 소성운 ZIGZAG 데이터사이언티스트, 강상원 마이셀럽스 대표:: AWS Cloud We...Amazon Web Services Korea
패션 테크 스타트업 지그재그의 AWS 기반 지속 가능한 AWS 데이터 분석 플랫폼 구축과 Personalize를 활용한 개인화 상품 추천 서비스 구축 경험을 공유드립니다. [마이셀럽스] MATS(Mycelebs AI Transformation Suite)를 이용한 Data 수집, 시각화, 자동화를 통해 고객 취향 기반의 추천 서비스를 제공한 사례를 공유합니다.
AWS 기계 학습 솔루션을 활용한 온라인 사기·부정거래 감지 – 서지혜 AWS 스타트업 AIML 스페셜리스트:: AWS Cloud Week...Amazon Web Services Korea
금융사 AI 과제 중 제일 많은 관심과 사례를 가지고 있는것이 바로 금융 부정거래 및 온라인 사기 탐지 입니다. 이번 시간에는 비지니스 인사이트와 결합하여 사용할 수 있는 AWS 에서 제공하는 Fraud Detection 솔루션 들에 대해 소개합니다. Amazon SagaMaker 를 활용한 Custom Training 모델 구현 방식과 Amazon.com의 사기 탐지 패턴까지 녹여 만든 Amazon Fraud Detector 솔루션 활용 방식에 대해 알아봅니다.
[금융사를 위한 AWS Generative AI Day 2023] 3_AWS Generative AI 기술특징과 접근...AWS Korea 금융산업팀
각 산업에서 Generative AI 기술을 적용하여 비즈니스 차별화를 모색하는 움직임이 가속화 되고 있습니다. 기업들은 Generative AI에 대해 이전의 기술 대비 훨씬 넓고/깊은 활용 가능성을 확인하고 있지만, 이와 동시에 실제 적용으로 연결하기 위해, 보안 / 도메인 최적화 / 오류 제거 등에 대한 여러 어려움 역시 직면하고 있습니다. Generative AI를 적용하기 위한 기업의 공통적인 니즈와 함께 AWS의 접근 방향을 공유 드리고자 합니다.
Similar to Amazon Machine Learning 게임에서 활용해보기 :: 김일호 :: AWS Summit Seoul 2016 (20)
사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...Amazon Web Services Korea
Database Migration Service(DMS)는 RDBMS 이외에도 다양한 데이터베이스 이관을 지원합니다. 실제 고객사 사례를 통해 DMS가 데이터베이스 이관, 통합, 분리를 수행하는 데 어떻게 활용되는지 알아보고, 동시에 데이터 분석을 위한 데이터 수집(Data Ingest)에도 어떤 역할을 하는지 살펴보겠습니다.
Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Lev...Amazon Web Services Korea
Amazon ElastiCache는 Redis 및 MemCached와 호환되는 완전관리형 서비스로서 현대적 애플리케이션의 성능을 최적의 비용으로 실시간으로 개선해 줍니다. ElastiCache의 Best Practice를 통해 최적의 성능과 서비스 최적화 방법에 대해 알아봅니다.
Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...Amazon Web Services Korea
ccAmazon Aurora 데이터베이스는 클라우드용으로 구축된 관계형 데이터베이스입니다. Aurora는 상용 데이터베이스의 성능과 가용성, 그리고 오픈소스 데이터베이스의 단순성과 비용 효율성을 모두 제공합니다. 이 세션은 Aurora의 고급 사용자들을 위한 세션으로써 Aurora의 내부 구조와 성능 최적화에 대해 알아봅니다.
[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...Amazon Web Services Korea
오랫동안 관계형 데이터베이스가 가장 많이 사용되었으며 거의 모든 애플리케이션에서 널리 사용되었습니다. 따라서 애플리케이션 아키텍처에서 데이터베이스를 선택하기가 더 쉬웠지만, 구축할 수 있는 애플리케이션의 유형이 제한적이었습니다. 관계형 데이터베이스는 스위스 군용 칼과 같아서 많은 일을 할 수 있지만 특정 업무에는 완벽하게 적합하지는 않습니다. 클라우드 컴퓨팅의 등장으로 경제적인 방식으로 더욱 탄력적이고 확장 가능한 애플리케이션을 구축할 수 있게 되면서 기술적으로 가능한 일이 달라졌습니다. 이러한 변화는 전용 데이터베이스의 부상으로 이어졌습니다. 개발자는 더 이상 기본 관계형 데이터베이스를 사용할 필요가 없습니다. 개발자는 애플리케이션의 요구 사항을 신중하게 고려하고 이러한 요구 사항에 맞는 데이터베이스를 선택할 수 있습니다.
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...Amazon Web Services Korea
실시간 분석은 AWS 고객의 사용 사례가 점점 늘어나고 있습니다. 이 세션에 참여하여 스트리밍 데이터 기술이 어떻게 데이터를 즉시 분석하고, 시스템 간에 데이터를 실시간으로 이동하고, 실행 가능한 통찰력을 더 빠르게 얻을 수 있는지 알아보십시오. 일반적인 스트리밍 데이터 사용 사례, 비즈니스에서 실시간 분석을 쉽게 활성화하는 단계, AWS가 Amazon Kinesis와 같은 AWS 스트리밍 데이터 서비스를 사용하도록 지원하는 방법을 다룹니다.
Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...Amazon Web Services Korea
Amazon EMR은 Apache Spark, Hive, Presto, Trino, HBase 및 Flink와 같은 오픈 소스 프레임워크를 사용하여 분석 애플리케이션을 쉽게 실행할 수 있는 관리형 서비스를 제공합니다. Spark 및 Presto용 Amazon EMR 런타임에는 오픈 소스 Apache Spark 및 Presto에 비해 두 배 이상의 성능 향상을 제공하는 최적화 기능이 포함되어 있습니다. Amazon EMR Serverless는 Amazon EMR의 새로운 배포 옵션이지만 데이터 엔지니어와 분석가는 클라우드에서 페타바이트 규모의 데이터 분석을 쉽고 비용 효율적으로 실행할 수 있습니다. 이 세션에 참여하여 개념, 설계 패턴, 라이브 데모를 사용하여 Amazon EMR/EMR 서버리스를 살펴보고 Spark 및 Hive 워크로드, Amazon EMR 스튜디오 및 Amazon SageMaker Studio와의 Amazon EMR 통합을 실행하는 것이 얼마나 쉬운지 알아보십시오.
Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...Amazon Web Services Korea
로그 및 지표 데이터를 쉽게 가져오고, OpenSearch 검색 API를 사용하고, OpenSearch 대시보드를 사용하여 시각화를 구축하는 등 Amazon OpenSearch의 새로운 기능과 기능에 대해 자세히 알아보십시오. 애플리케이션 문제를 디버깅할 수 있는 OpenSearch의 Observability 기능에 대해 알아보세요. Amazon OpenSearch Service를 통해 인프라 관리에 대해 걱정하지 않고 검색 또는 모니터링 문제에 집중할 수 있는 방법을 알아보십시오.
Enabling Agility with Data Governance - 발표자: 김성연, Analytics Specialist, WWSO,...Amazon Web Services Korea
데이터 거버넌스는 전체 프로세스에서 데이터를 관리하여 데이터의 정확성과 완전성을 보장하고 필요한 사람들이 데이터에 액세스할 수 있도록 하는 프로세스입니다. 이 세션에 참여하여 AWS가 어떻게 분석 서비스 전반에서 데이터 준비 및 통합부터 데이터 액세스, 데이터 품질 및 메타데이터 관리에 이르기까지 포괄적인 데이터 거버넌스를 제공하는지 알아보십시오. AWS에서의 스트리밍에 대해 자세히 알아보십시오.
Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New feature...Amazon Web Services Korea
이 세션에 참여하여 Amazon Redshift의 새로운 기능을 자세히 살펴보십시오. Amazon Data Sharing, Amazon Redshift Serverless, Redshift Streaming, Redshift ML 및 자동 복사 등에 대한 자세한 내용과 데모를 통해 Amazon Redshift의 새로운 기능을 알고 싶은 사용자에게 적합합니다.
From Insights to Action, How to build and maintain a Data Driven Organization...Amazon Web Services Korea
데이터는 혁신과 변혁의 토대입니다. 비즈니스 혁신을 이끄는 혁신은 특정 시점의 전략이나 솔루션이 아니라 성장을 위한 반복적이고 집단적인 계획입니다. 혁신에 이러한 접근 방식을 채택하는 기업은 전략과 비즈니스 문화에서 데이터를 기반으로 하는 경우가 많습니다. 이러한 접근 방식을 개발하려면 리더가 데이터를 조직의 자산처럼 취급하고 조직이 더 나은 비즈니스 성과를 위해 데이터를 활용할 수 있도록 권한을 부여해야 합니다. AWS와 Amazon이 어떻게 데이터와 분석을 활용하여 확장 가능한 비즈니스 효율성을 창출하고 고객의 가장 복잡한 문제를 해결하는 메커니즘을 개발했는지 알아보십시오.
[Keynote] Accelerating Business Outcomes with AWS Data - 발표자: Saeed Gharadagh...Amazon Web Services Korea
데이터는 최종 소비자의 성공에 초점을 맞춘 디지털 혁신에서 중추적인 역할을 하고 있습니다. 모든 기업들은 데이터를 자산으로 사용하여 사례 제공을 추진하고 까다로운 결과를 해결하고 있습니다. AWS 클라우드 기술과 분석 솔루션의 강력한 성능을 통해 고객은 혁신 여정을 가속화할 수 있습니다. 이 세션에서는 기업 고객들이 클라우드에서 데이터의 힘을 활용하여 혁신 목표를 달성하고 필요한 결과를 제공하는 방법에 대해 다룹니다.
LG전자 - Amazon Aurora 및 RDS 블루/그린 배포를 이용한 데이터베이스 업그레이드 안정성 확보 - 발표자: 이은경 책임, L...Amazon Web Services Korea
LG ThinQ는 LG전자의 가전제품과 서비스를 아우르는 플랫폼 브랜드로서 앱 하나로 간편한 컨트롤, 똑똑한 케어, 스마트한 쇼핑까지 한번에 가능한 플랫폼입니다. ThinQ 플랫폼은 글로벌 서비스로 제공되고 있어, 작업 시간을 최소화하고, 서비스의 영향을 최소화 할 필요가 있었습니다. 따라서 DB 버전 업그레이드 작업 시 애플리케이션 배포가 필요없는 Blue/Green Deployment 방식은 최선의 선택이 되었습니다.
KB국민카드 - 클라우드 기반 분석 플랫폼 혁신 여정 - 발표자: 박창용 과장, 데이터전략본부, AI혁신부, KB카드│강병억, Soluti...Amazon Web Services Korea
온프레미스 분석 플랫폼에는 자원 증설 비용, 자원 관리 비용, 신규 자원 도입 및 환경 설정의 리드타임 등 다양한 측면에서의 한계가 존재합니다. 이에 KB국민카드에서는 기존 분석 플랫폼의 한계를 극복함과 동시에 시너지를 낼 수 있는 클라우드 기반 분석 플랫폼을 설계 및 도입하였습니다. 본 사례 소개는 KB국민카드의 데이터 혁신 여정과 노하우를 소개합니다.
SK Telecom - 망관리 프로젝트 TANGO의 오픈소스 데이터베이스 전환 여정 - 발표자 : 박승전, Project Manager, ...Amazon Web Services Korea
SK Telecom의 망관리 프로젝트인 TANGO에서는 오라클을 기반으로 시스템을 구축하여 운영해 왔습니다. 하지만 늘어나는 사용자와 데이터로 인해 유연하고 비용 효율적인 인프라가 필요하게 되었고, 이에 클라우드 도입을 검토 및 실행에 옮기게 되었습니다. TANGO 프로젝트의 클라우드 도입을 위한 검토부터 준비, 실행 및 이를 통해 얻게 된 교훈과 향후 계획에 대해 소개합니다.
코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS ...Amazon Web Services Korea
2022년 코리안리는 핵심업무시스템(기간계/정보계 시스템)을 AWS 클라우드로 전환하는 사업과 AWS 클라우드 기반에서 손익분석을 위한 어플리케이션 구축 사업을 동시에 진행하고 있었습니다. 이에 따라 클라우드 전환 이후 시스템 간 상호운용성과 호환성을갖춘 데이터 분석 플랫폼 또한 필요하게 되었습니다. 코리안리 IT 환경에 적합한 플랫폼 선정을 위하여 AWS Native Analytics Platform, 3rd Party Analytics Platform (클라우데라, 데이터브릭스)과의 PoC를 진행하고, 최종적으로 AWS Native Analytics Platform 으로 확정하였습니다. 코리안리는 메가존클라우드와 함께 2022년 10월부터 4개월(구축 3개월, 안정화 및 교육 1개월) 동안 AWS 기반 데이터 분석 플랫폼을 구축하고 활용 범위를 지속적으로 확대하고 있습니다.
LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...Amazon Web Services Korea
LG 이노텍은 세계 시장을 선도하는 글로벌 소재·부품기업으로, Amazon Redshift 을 데이터 분석 플랫폼의 핵심 서비스로 활용하고 있습니다.지속적인 데이터 증가와 업무 확대에 따른 유연한 아키텍처 개선의 필요성에 대처하기 위해, 2022년에 AWS 에서 발표된 Redshift Serverless 를 활용한, 비용 최적화된 아키텍처 개선 과정의 실사례를 엿볼수 있는 기회가 됩니다.
3. 데이터 기반 개발의 세 가지 방법
Retrospective
분석 또는 보고
Amazon Redshift,
Amazon RDS
Amazon S3
Amazon EMR
4. 데이터 기반 개발의 세 가지 방법
Retrospective
분석 또는 보고
Here-and-now
실시간 분석/처리
또는 대쉬보드
Amazon Kinesis
Amazon EC2
AWS Lambda
Amazon Redshift,
Amazon RDS
Amazon S3
Amazon EMR
5. 데이터 기반 개발의 세 가지 방법
Retrospective
분석 또는 보고
Here-and-now
실시간 분석/처리
또는 대쉬보드
Predictions
보다 스마트한
서비스 개발
Amazon Kinesis
Amazon EC2
AWS Lambda
Amazon Redshift,
Amazon RDS
Amazon S3
Amazon EMR
6. Machine learning, 보다 스마트한 서비스
Machine Learning 은 데이터에서 새로운
패턴과 의미를 발견하고, 그 예측된 값을 새로운
데이더로 활용할 수 있다.
7. Machine learning, 보다 스마트한 서비스
Machine Learning 은 데이터에서 새로운
패턴과 의미를 발견하고, 그 예측된 값을 새로운
데이더로 활용할 수 있다.
Your data + machine learning = smart applications
9. Machine Learning 를 이용한 예제
Based on what you
know about the user:
이 아이템에 사용자가
정말 매력을 느낄까?
Based on what you
know about an order:
전에 비슷한 아이템을
구매했는가?
Based on what you know
about a news article:
이 사용자는 다른 정보가
아이템 구매와 관련이
있을까?
10. Machine Learning 적용 아이디어
Fraud detection 정상적인 Transaction인가?, 의심가는 사용자 패턴 인식,
위험 사용자 태깅 …
Personalization 유져가 좋아할만한 아이템, 미션 추천…
Targeted marketing 유져마다 각각 다른 이벤트 제안, 다른 형식의 마케팅
진행, 크로스 셀링, 업 셀링…
Content classification 개인에 맞는 스킬 셋, 장비 셋 제안…
Churn prediction 예상 탈퇴 또는 미사용자 검색, 공짜에서 유료 사용자로
전환 타이밍 감지…
Customer support 고객 이메일, 게시판 등에서 예상될 이슈 감지 및 경고…
12. 타겟 유저를 뽑아 봅시다.
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
GROUP BY c.ID
HAVING o.date > GETDATE() – 30
최근 30일 내에 아이템을
구매한 유저분들에게
제안한다.
13. 조금 좁혀서 타겟 유저를 뽑아 봅시다.
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
GROUP BY c.ID
HAVING
AND o.date > GETDATE() – 30
무기 외에 방어구만
구매한 유저만을
뽑아본다.
14. 더 좁혀서 타겟 유저를 뽑아 봅시다.
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
GROUP BY c.ID
HAVING o.category = ‘ARMOR’
AND
(COUNT(*) > 2
AND SUM(o.price) > 200
AND o.date > GETDATE() – 30)
)
방어구 중에 최근 두 달간
갑옷 종류를 구매한
유저만을 뽑아본다….
15. 더 좁혀서 타겟 유저를 뽑아 봅시다.
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
LEFT JOIN products p
ON p.ID = o.product
GROUP BY c.ID
HAVING o.category = ‘toys’
AND ((p.description LIKE ‘% %’
AND o.date > GETDATE() - 60)
OR (COUNT(*) > 2
AND SUM(o.price) > 200
AND o.date > GETDATE() – 30)
)
부츠는? 헬멧은?
쿼리 조건을 다시 추가…?
‘% %’
‘% %’
16. 타겟 유저가 너무 적다. 더 뽑아 봅시다.
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
LEFT JOIN products p
ON p.ID = o.product
GROUP BY c.ID
HAVING o.category = ‘ARMOR’
AND ((p.description LIKE ‘%PLATE%’
AND o.date > GETDATE() - )
OR (COUNT(*) > 2
AND SUM(o.price) > 200
AND o.date > GETDATE() – 30)
)
60일이 아니라 120일전
기록까지 뽑아본다.
17. 타겟 유저가 너무 적다. 더 뽑아 봅시다.
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
LEFT JOIN products p
ON p.ID = o.product
GROUP BY c.ID
HAVING o.category = ‘ARMOR’
AND ((p.description LIKE ‘%PLATE%’
AND o.date > GETDATE() - 120)
OR (COUNT(*) > 2
AND SUM(o.price) > 200
AND o.date > GETDATE() – )
)
$200이상 유저는
30일에서
40일전까지…
18. 타겟 유저가 정말 구입 가능성이 높은 유저인가?
SELECT c.ID
FROM customers c
LEFT JOIN orders o
ON c.ID = o.customer
LEFT JOIN products p
ON p.ID = o.product
GROUP BY c.ID
HAVING o.category = ‘ARMOR’
AND ((p.description LIKE ‘%PLATE%’
AND o.date > GETDATE() - )
OR (COUNT(*) > 2
AND SUM(o.price) > 150
AND o.date > GETDATE() – 40)
)
누군가 의미있는
연관성과 패턴을 찾아
구매 가능성이 가장
높은 유저 리스트를
뽑아주면 정말 좋겠다!
Machine Learning!
19. Machine Learning 적용이 쉬운 문제일까?
1. Machine learning 전문가가 적다.
2. 확장 가능한 Machine learning 아키텍쳐를 구성하기
어렵다
3. 모델링과 서비스를 연동하는게 많은 비용과 시간이
든다.
21. Amazon Machine Learning
• 간단히 생성, 쉬운 사용법
• AWS에서 관리하는 제공하는 Machine Learning 서비스
• API로 개발자도 쉽게 사용
• Amazon 내부의 시스템위에서 빠른 Machine Learning 기술
사용
• 이미 AWS 에 저장된 데이터를 바로 사용하여 데이터 모델링
• 바로 Production으로 사용할 수 있도록 배포(Endpoint)
22. 개발자들이 쉽게 접근하여 사용 가능
쉽게 접근 및 사용할 수 있는 Console로 직접 ML
모델링
• 데이터 소스 지정 및 생성
• ML 모델 생성, 모델 품질 측정, 튜닝
• 배포 및 관리
자동화된 관리와 API, SDK를 이용하여 쉽게 활용
• Java, Python, .NET, JavaScript, Ruby, Javascript
AWS Mobile SDK를 통해 Android, iOS 앱에서도 쉽게
사용 가능
23. 신뢰할 수 있는 machine learning technology
Amazon 내부의 Data Scientist들이 사용한 기술과
동일하고 확장성이 높은 입증된 Machine Learning을
기술을 기반으로 합니다.
알고리즘외의 편리한 기능:
• 간단한 데이터 타입 변환, 스키마 생성
• 원본 데이터와 모델에 대한 품질 평가
확장 가능한 Pay as use 모델
• 100GB 데이터 모델링 가능
• 배치를 통한 예측 지원
• 실시간 예측 지원
24. AWS 의 다른 서비스과 연계
S3에 저장된 데이터를 직접 접근하여 활용하며,
Amazon Redshift에 저장된 데이터를 편리하게
가져와 모델링 가능
예측 결과 파일을 간단히 S3에 저장하여 활용
가능
AWS Identity and Access Management (IAM)를
활용하여 서비스에 접근 권한 제어 가능
25. AWS에서 관리하고 제공하는 서비스
직접 Machine learning을 위한 시스템을
관리하거나 배포할 필요가 없음
클릭 몇 번으로 Production 배포 가능
API를 통해 모델링과 쿼리에 대한 Workflow
자동화 가능
Amazon CloudWatch를 통한 모니터링 제공
30. 데이터 모델 생성
>>> import boto
>>> ml = boto.connect_machinelearning()
>>> model = ml.create_ml_model(
ml_model_id=’my_model',
ml_model_type='REGRESSION',
training_data_source_id='my_datasource')
36. 배치(Batch)방식 예측
비동기적으로 대량의 예측 결과 필요 시 사용
Console, API를 통해 요청 가능
많은 양의 데이터를 한 번에 처리하여 결과를 S3에 저장
>>> import boto
>>> ml = boto.connect_machinelearning()
>>> model = ml.create_batch_prediction(
batch_prediction_id = 'my_batch_prediction’
batch_prediction_data_source_id = ’my_datasource’
ml_model_id = ’my_model',
output_uri = 's3://examplebucket/output/’)
37. 실시간(Real-time) 예측
동기적으로 빠르게 예측 결과를 바로 사용 가능
API, SDK를 통해 요청
각각의 데이터를 실시간으로 서비스에서 요청하여 사용
>>> import boto
>>> ml = boto.connect_machinelearning()
>>> ml.predict(
ml_model_id=’my_model',
predict_endpoint=’example_endpoint’,
record={’key1':’value1’, ’key2':’value2’})
{
'Prediction': {
'predictedValue': 13.284348,
'details': {
'Algorithm': 'SGD',
'PredictiveModelType': 'REGRESSION’
}
}
}
40. Query for predictions with
Amazon ML batch API
Process data
with EMR
Raw data in S3
Aggregated data
in S3
Predictions
in S3 Your Game
EMR을 같이 이용한 배치방식
41. Query for predictions with
Amazon ML batch API
IDC
Aggregated data
in S3
Predictions
in S3
Your Game
IDC의 데이터를 S3로 저장 후 활용
DashBoard
42. Structured data
In Amazon Redshift
Load predictions into
Amazon Redshift
-or-
Read prediction results
directly from S3
Predictions
in S3
Query for predictions with
Amazon ML batch API
Your Game
Amazon Redshift를 활용한 배치 프로세싱