본 강연에서는 AWS 파트너인 Treasure data의 솔루션을 이용하여 클라우드 환경에서 손쉽게 빅데이터 분석 및 적용하는 법에 대하여 살펴봅니다. 모범 사례에 따른 사용법을 소개하고 JP Morgan 등 해외 선도 고객 사례를 공유합니다.
연사: 고영혁 대표, Treasure Data
[AWS & 베스핀글로벌, 바이오∙헬스케어∙제약사를 위한 세미나] AWS 101, Cloud Computing is New NormalBESPIN GLOBAL
AWS와 함께 하는 바이오 ∙ 헬스케어 ∙ 제약사를 위한 클라우드 세미나
'안전하게 클라우드로 날자'
어떻게 하면 클라우드를 통한 디지털 혁신과 비즈니스 성장을 이룰 수 있을까요?
AWS 를 통해 어떤 기업들이 혁신적인 서비스를 제공하고 있을까요?
도입 후에는 어떤 변화가 있고 어떻게 관리해야 할까요?
지난 6월 8일. AWS와 클라우드 전문가 베스핀글로벌이 바이오 · 헬스케어 · 제약 고객들만을 위해 쉽고 빠르게 클라우드를 도입할 수 있는 방법을 제시하는 세미나를 진행했습니다.
클라우드가 뭔지 궁금하지만 잘 모르겠다면, 클라우드를 도입하고는 싶지만 어디서부터 시작해야 할지 감이 오지 않으신다면, 베스핀글로벌과 상의하세요.
본 강연에서는 AWS 파트너인 Treasure data의 솔루션을 이용하여 클라우드 환경에서 손쉽게 빅데이터 분석 및 적용하는 법에 대하여 살펴봅니다. 모범 사례에 따른 사용법을 소개하고 JP Morgan 등 해외 선도 고객 사례를 공유합니다.
연사: 고영혁 대표, Treasure Data
[AWS & 베스핀글로벌, 바이오∙헬스케어∙제약사를 위한 세미나] AWS 101, Cloud Computing is New NormalBESPIN GLOBAL
AWS와 함께 하는 바이오 ∙ 헬스케어 ∙ 제약사를 위한 클라우드 세미나
'안전하게 클라우드로 날자'
어떻게 하면 클라우드를 통한 디지털 혁신과 비즈니스 성장을 이룰 수 있을까요?
AWS 를 통해 어떤 기업들이 혁신적인 서비스를 제공하고 있을까요?
도입 후에는 어떤 변화가 있고 어떻게 관리해야 할까요?
지난 6월 8일. AWS와 클라우드 전문가 베스핀글로벌이 바이오 · 헬스케어 · 제약 고객들만을 위해 쉽고 빠르게 클라우드를 도입할 수 있는 방법을 제시하는 세미나를 진행했습니다.
클라우드가 뭔지 궁금하지만 잘 모르겠다면, 클라우드를 도입하고는 싶지만 어디서부터 시작해야 할지 감이 오지 않으신다면, 베스핀글로벌과 상의하세요.
고객 중심 서비스 출시를 위한 준비 “온오프라인 고객 데이터 통합” – 김준형 AWS 솔루션즈 아키텍트, 김수진 아모레퍼시픽:: AWS C...Amazon Web Services Korea
AWS의 빅데이터 서비스들이 데이터 파이프라인 상에서 어떻게 활용 되는지와 데이터 모델링과 플랫폼 구축을 100% 내재화 하여 AWS와 함께 고객기반 서비스의 경쟁력을 강화 해나가는 고객 사례를 전해 드립니다. 국내 뷰티산업을 리딩 하고 있는 아모레퍼시픽에서 온/오프라인 고객 정보를 AWS 기반의 Data Lake로 통합 하고 고객 관점의 데이터 서비스를 출시 하는데 속도를 높이고 있는 성공 스토리를 직접 전해 드립니다.
핵심 미래 분석 기술! 시계열 분석을 활용한 수요예측과 재고관리 최적화 사례 – 김형일 AWS 솔루션즈 아키텍트, 이환기 신세계아이앤씨 A...Amazon Web Services Korea
리테일을 포함한 많은 기업들이 디지털 전환의 핵심 기술로 AI와 머신러닝 활용을 고려하고 있습니다. 본 세션에서는 리테일 비즈니스 최적화를 위한 수요 예측과 재고관리에 시계열 분석을 도입하기 위한 분석도구로 Amazon Forecast와 Amazon SageMaker를 활용하는 방안에 대해 알아보고, 국내 대형유통업체가 AWS 서비스를 활용하여 어떻게 재고를 최적화했는지 성공사례를 공유해 드립니다.
본 강연에서는 금융 감독원의 클라우드 이용 가이드라인에 맞추어 바로 도입 가능한 HPC, 빅데이터, 백업, VDI 등의 업무에 대하여 간단하게 소개하고 AWS 상에서 구축하기 위한 참조 아키텍쳐와 특장점 및 고객 사례에 대해 설명해 드릴 예정입니다.
연사: 정영준 솔루션 아키텍트, 아마존 웹서비스
비즈니스 리더를 위한 디지털 트랜스포메이션 트렌드 - 김지현, 김영현 AWS 사업개발 매니저 :: AWS re:Invent re:Cap 2021Amazon Web Services Korea
AWS re:Invent에서 소개된 골드만삭스, 스타벅스, ARM 등 다양한 산업에서 이루어지고 있는 클라우드 트렌드와 엔드-투-엔드 경영 밸류 체인 상에서의 클라우드 기반 디지털 트랜스포메이션 사례를 소개합니다. CSO를 위한 신사업 전략, CMO를 위한 마케팅 및 고객 관리 전략, CPO를 위한 상품기획 및 차별화 전략, CTO를 위한 Time-to-Market 혁신, COO를 위한 제조 혁신, CFO를 위한 비용 최적화 방법 등 전략 수립을 위한 인사이트를 확인하실 수 있습니다.
Verizon의 AWS 활용 사례: AI로 스마트한 고객 경험과 네트워크 관제 시스템 구현하기 – 최우형 AWS 솔루션즈 아키텍트:: AW...Amazon Web Services Korea
Verizon이 AI를 사용하여 고객의 니즈를 이해하고 적응하는 방법에 대해 알아보십시오. 고객을 단번에 올바른 에이전트로 배정하여 비용을 절감하면서 고객을 지원하고, 고객을 놀라게 하고 즐겁게 하면서 디지털 사용 시기 파악하려면 그들이 무엇을 생각하고 어디서 어려워하는지 잘 알아야 합니다. 네트워크 데이터에서 꺼낼 수 있는 하루에 수십억 개의 이벤트들의 의미를 잃지 않고 잘 활용할 수 있도록 하는 방법에 대해 알아보십시오. 물론 민감한 데이터이므로 규제와 개인정보침해가 발생하지 않도록 유의해야 합니다.
스타트업 관점에서 본 AWS 선택과 집중
스타트업은 적은 인력으로 빠르게 애플리케이션 개발, 운영하기 위해 AWS를 이용합니다. 그러기 위해 수많은 AWS 제품 중에 적합한 서비스를 선택하고 집중해야 하죠. 이 세션에서는 ‘컴퓨팅 & 서비리스’, ‘데이터’, ‘운영 & 보안’ 3가지로 주제로 나누어 어떤 서비스를 선택하고, 어떻게 활용했는지 소개합니다.
클라우드를 활용한 디지털 제조(Digital Manufacturing)실현 방법 및 사례 소개 - 윤석찬 (AWS 테크에반젤리스트) :: ...Amazon Web Services Korea
제조업의 디지털 혁신을 위해 오퍼레이션 및 고객 데이터 등을 분석하고, 이를 경영 전략에 활용하는 것이 점점 중요해 지고 있습니다. 본 세션에서는 제조업 현장에서 클라우드를 도입하는 다양한 국내외 사례를 통해 스마트 프로덕트를 기획하는 단계부터 생산에 이르기까지 다양한 과정을 거치면서 어떻게 클라우드를 활용하여 혁신을 이루어 내었는지 삼성중공업, 현대 건설 기계 및 GS칼텍스 등 국내 사례 위주로 소개 합니다.
클라우드 기반의 실시간 비딩 시스템 아키텍처를 구축하는 방법에 대해 설명하는 백서 [Building a Real-Time Bidding Platform on AWS]의 내용을 AWS 코리아의 김필중 솔루션즈 아키텍트가 한글로 요약한 슬라이드입니다. 어떻게 클라우드가 RTB의 필수 요소인 낮은 지연시간과 확장성을 확보하는 데 도움이 될 수 있는지 설명하고, 실제 고객 사례를 통해 이러한 아키텍처를 구성하는 법을 살펴보실 수 있습니다.
Similar to 2017 Ad-Tech on AWS 세미나ㅣ국내외 애드테크 고객 사례 및 Machine Learning 소개 (20)
사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...Amazon Web Services Korea
Database Migration Service(DMS)는 RDBMS 이외에도 다양한 데이터베이스 이관을 지원합니다. 실제 고객사 사례를 통해 DMS가 데이터베이스 이관, 통합, 분리를 수행하는 데 어떻게 활용되는지 알아보고, 동시에 데이터 분석을 위한 데이터 수집(Data Ingest)에도 어떤 역할을 하는지 살펴보겠습니다.
Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Lev...Amazon Web Services Korea
Amazon ElastiCache는 Redis 및 MemCached와 호환되는 완전관리형 서비스로서 현대적 애플리케이션의 성능을 최적의 비용으로 실시간으로 개선해 줍니다. ElastiCache의 Best Practice를 통해 최적의 성능과 서비스 최적화 방법에 대해 알아봅니다.
Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...Amazon Web Services Korea
ccAmazon Aurora 데이터베이스는 클라우드용으로 구축된 관계형 데이터베이스입니다. Aurora는 상용 데이터베이스의 성능과 가용성, 그리고 오픈소스 데이터베이스의 단순성과 비용 효율성을 모두 제공합니다. 이 세션은 Aurora의 고급 사용자들을 위한 세션으로써 Aurora의 내부 구조와 성능 최적화에 대해 알아봅니다.
[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...Amazon Web Services Korea
오랫동안 관계형 데이터베이스가 가장 많이 사용되었으며 거의 모든 애플리케이션에서 널리 사용되었습니다. 따라서 애플리케이션 아키텍처에서 데이터베이스를 선택하기가 더 쉬웠지만, 구축할 수 있는 애플리케이션의 유형이 제한적이었습니다. 관계형 데이터베이스는 스위스 군용 칼과 같아서 많은 일을 할 수 있지만 특정 업무에는 완벽하게 적합하지는 않습니다. 클라우드 컴퓨팅의 등장으로 경제적인 방식으로 더욱 탄력적이고 확장 가능한 애플리케이션을 구축할 수 있게 되면서 기술적으로 가능한 일이 달라졌습니다. 이러한 변화는 전용 데이터베이스의 부상으로 이어졌습니다. 개발자는 더 이상 기본 관계형 데이터베이스를 사용할 필요가 없습니다. 개발자는 애플리케이션의 요구 사항을 신중하게 고려하고 이러한 요구 사항에 맞는 데이터베이스를 선택할 수 있습니다.
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...Amazon Web Services Korea
실시간 분석은 AWS 고객의 사용 사례가 점점 늘어나고 있습니다. 이 세션에 참여하여 스트리밍 데이터 기술이 어떻게 데이터를 즉시 분석하고, 시스템 간에 데이터를 실시간으로 이동하고, 실행 가능한 통찰력을 더 빠르게 얻을 수 있는지 알아보십시오. 일반적인 스트리밍 데이터 사용 사례, 비즈니스에서 실시간 분석을 쉽게 활성화하는 단계, AWS가 Amazon Kinesis와 같은 AWS 스트리밍 데이터 서비스를 사용하도록 지원하는 방법을 다룹니다.
Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...Amazon Web Services Korea
Amazon EMR은 Apache Spark, Hive, Presto, Trino, HBase 및 Flink와 같은 오픈 소스 프레임워크를 사용하여 분석 애플리케이션을 쉽게 실행할 수 있는 관리형 서비스를 제공합니다. Spark 및 Presto용 Amazon EMR 런타임에는 오픈 소스 Apache Spark 및 Presto에 비해 두 배 이상의 성능 향상을 제공하는 최적화 기능이 포함되어 있습니다. Amazon EMR Serverless는 Amazon EMR의 새로운 배포 옵션이지만 데이터 엔지니어와 분석가는 클라우드에서 페타바이트 규모의 데이터 분석을 쉽고 비용 효율적으로 실행할 수 있습니다. 이 세션에 참여하여 개념, 설계 패턴, 라이브 데모를 사용하여 Amazon EMR/EMR 서버리스를 살펴보고 Spark 및 Hive 워크로드, Amazon EMR 스튜디오 및 Amazon SageMaker Studio와의 Amazon EMR 통합을 실행하는 것이 얼마나 쉬운지 알아보십시오.
Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...Amazon Web Services Korea
로그 및 지표 데이터를 쉽게 가져오고, OpenSearch 검색 API를 사용하고, OpenSearch 대시보드를 사용하여 시각화를 구축하는 등 Amazon OpenSearch의 새로운 기능과 기능에 대해 자세히 알아보십시오. 애플리케이션 문제를 디버깅할 수 있는 OpenSearch의 Observability 기능에 대해 알아보세요. Amazon OpenSearch Service를 통해 인프라 관리에 대해 걱정하지 않고 검색 또는 모니터링 문제에 집중할 수 있는 방법을 알아보십시오.
Enabling Agility with Data Governance - 발표자: 김성연, Analytics Specialist, WWSO,...Amazon Web Services Korea
데이터 거버넌스는 전체 프로세스에서 데이터를 관리하여 데이터의 정확성과 완전성을 보장하고 필요한 사람들이 데이터에 액세스할 수 있도록 하는 프로세스입니다. 이 세션에 참여하여 AWS가 어떻게 분석 서비스 전반에서 데이터 준비 및 통합부터 데이터 액세스, 데이터 품질 및 메타데이터 관리에 이르기까지 포괄적인 데이터 거버넌스를 제공하는지 알아보십시오. AWS에서의 스트리밍에 대해 자세히 알아보십시오.
Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New feature...Amazon Web Services Korea
이 세션에 참여하여 Amazon Redshift의 새로운 기능을 자세히 살펴보십시오. Amazon Data Sharing, Amazon Redshift Serverless, Redshift Streaming, Redshift ML 및 자동 복사 등에 대한 자세한 내용과 데모를 통해 Amazon Redshift의 새로운 기능을 알고 싶은 사용자에게 적합합니다.
From Insights to Action, How to build and maintain a Data Driven Organization...Amazon Web Services Korea
데이터는 혁신과 변혁의 토대입니다. 비즈니스 혁신을 이끄는 혁신은 특정 시점의 전략이나 솔루션이 아니라 성장을 위한 반복적이고 집단적인 계획입니다. 혁신에 이러한 접근 방식을 채택하는 기업은 전략과 비즈니스 문화에서 데이터를 기반으로 하는 경우가 많습니다. 이러한 접근 방식을 개발하려면 리더가 데이터를 조직의 자산처럼 취급하고 조직이 더 나은 비즈니스 성과를 위해 데이터를 활용할 수 있도록 권한을 부여해야 합니다. AWS와 Amazon이 어떻게 데이터와 분석을 활용하여 확장 가능한 비즈니스 효율성을 창출하고 고객의 가장 복잡한 문제를 해결하는 메커니즘을 개발했는지 알아보십시오.
[Keynote] Accelerating Business Outcomes with AWS Data - 발표자: Saeed Gharadagh...Amazon Web Services Korea
데이터는 최종 소비자의 성공에 초점을 맞춘 디지털 혁신에서 중추적인 역할을 하고 있습니다. 모든 기업들은 데이터를 자산으로 사용하여 사례 제공을 추진하고 까다로운 결과를 해결하고 있습니다. AWS 클라우드 기술과 분석 솔루션의 강력한 성능을 통해 고객은 혁신 여정을 가속화할 수 있습니다. 이 세션에서는 기업 고객들이 클라우드에서 데이터의 힘을 활용하여 혁신 목표를 달성하고 필요한 결과를 제공하는 방법에 대해 다룹니다.
LG전자 - Amazon Aurora 및 RDS 블루/그린 배포를 이용한 데이터베이스 업그레이드 안정성 확보 - 발표자: 이은경 책임, L...Amazon Web Services Korea
LG ThinQ는 LG전자의 가전제품과 서비스를 아우르는 플랫폼 브랜드로서 앱 하나로 간편한 컨트롤, 똑똑한 케어, 스마트한 쇼핑까지 한번에 가능한 플랫폼입니다. ThinQ 플랫폼은 글로벌 서비스로 제공되고 있어, 작업 시간을 최소화하고, 서비스의 영향을 최소화 할 필요가 있었습니다. 따라서 DB 버전 업그레이드 작업 시 애플리케이션 배포가 필요없는 Blue/Green Deployment 방식은 최선의 선택이 되었습니다.
KB국민카드 - 클라우드 기반 분석 플랫폼 혁신 여정 - 발표자: 박창용 과장, 데이터전략본부, AI혁신부, KB카드│강병억, Soluti...Amazon Web Services Korea
온프레미스 분석 플랫폼에는 자원 증설 비용, 자원 관리 비용, 신규 자원 도입 및 환경 설정의 리드타임 등 다양한 측면에서의 한계가 존재합니다. 이에 KB국민카드에서는 기존 분석 플랫폼의 한계를 극복함과 동시에 시너지를 낼 수 있는 클라우드 기반 분석 플랫폼을 설계 및 도입하였습니다. 본 사례 소개는 KB국민카드의 데이터 혁신 여정과 노하우를 소개합니다.
SK Telecom - 망관리 프로젝트 TANGO의 오픈소스 데이터베이스 전환 여정 - 발표자 : 박승전, Project Manager, ...Amazon Web Services Korea
SK Telecom의 망관리 프로젝트인 TANGO에서는 오라클을 기반으로 시스템을 구축하여 운영해 왔습니다. 하지만 늘어나는 사용자와 데이터로 인해 유연하고 비용 효율적인 인프라가 필요하게 되었고, 이에 클라우드 도입을 검토 및 실행에 옮기게 되었습니다. TANGO 프로젝트의 클라우드 도입을 위한 검토부터 준비, 실행 및 이를 통해 얻게 된 교훈과 향후 계획에 대해 소개합니다.
코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS ...Amazon Web Services Korea
2022년 코리안리는 핵심업무시스템(기간계/정보계 시스템)을 AWS 클라우드로 전환하는 사업과 AWS 클라우드 기반에서 손익분석을 위한 어플리케이션 구축 사업을 동시에 진행하고 있었습니다. 이에 따라 클라우드 전환 이후 시스템 간 상호운용성과 호환성을갖춘 데이터 분석 플랫폼 또한 필요하게 되었습니다. 코리안리 IT 환경에 적합한 플랫폼 선정을 위하여 AWS Native Analytics Platform, 3rd Party Analytics Platform (클라우데라, 데이터브릭스)과의 PoC를 진행하고, 최종적으로 AWS Native Analytics Platform 으로 확정하였습니다. 코리안리는 메가존클라우드와 함께 2022년 10월부터 4개월(구축 3개월, 안정화 및 교육 1개월) 동안 AWS 기반 데이터 분석 플랫폼을 구축하고 활용 범위를 지속적으로 확대하고 있습니다.
LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...Amazon Web Services Korea
LG 이노텍은 세계 시장을 선도하는 글로벌 소재·부품기업으로, Amazon Redshift 을 데이터 분석 플랫폼의 핵심 서비스로 활용하고 있습니다.지속적인 데이터 증가와 업무 확대에 따른 유연한 아키텍처 개선의 필요성에 대처하기 위해, 2022년에 AWS 에서 발표된 Redshift Serverless 를 활용한, 비용 최적화된 아키텍처 개선 과정의 실사례를 엿볼수 있는 기회가 됩니다.
LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...
2017 Ad-Tech on AWS 세미나ㅣ국내외 애드테크 고객 사례 및 Machine Learning 소개
1. 국내외 애드테크 고객 사례 및 ML 소개
AWS의 다양한 서비스를
활용한 활용사례 활용하기와 ML
김필중, 솔루션즈 아키텍트
2. • 경제성
• 비용 효율적
• 서버리스 컴퓨팅의 선구자
• 컴퓨팅 용량 마켓 – EC2 스팟 마켓
• 혁신의 속도
• 고객과 함께 하는 혁신
• 넓은 서비스 범위 (Redshfit Spectrum, Athena, EMR/Spark, RDS)
• 글로벌 접근
• 고속 네트워크 백본
• 유럽 국가 지역, 중국 및 인도 지역
Ad-Tech 고객들이 AWS를 선택하는 이유
3. 광고 고객 - 스타트업
모바일 Ad 익스체인지 DSPBidder-as-a-Service
DSP
90k+ 퍼블리셔
450+ DSP 파트너
100억 일일 노출
1700억 일일 입찰
600M+ 월 고유
사용자
800+ EC2 스팟
1M+ QPS
Kinesis, EMR,
Redshift
2M+ QPS
Kinesis, EMR
3000+ 인스턴스
2PB의 데이터
13개의 리전
6. Real-time Bidding (RTB)
퍼블리셔
애드
익스체인지
Beeswax
Bidder
Scale: O(M) QPS
Latency_99 : 20 ms
- Target campaigns
- Target user profiles
- Optimize for ROI
- Customize
< 200 ms
단계 1:
광고 요청 및 user id 전송
단계 2:
Bid 요청
브로드캐스팅
단계 3:
Bid 및 광고 마크업
제출
단계 4:
광고 유저에게 노출
경매
7. The Bidder-as-a-Service
샌드박스에서 각 고객을 위해
배포된 전체 스택 솔루션
Services
you control
사전 구축된
에코시스템과
공급 관계
Cookies,
Mobile ID’s, 3rd
Party
Data
Bidding
and Targeting
Engine
Campaign
Management UI/API
Reporting
UI/API
Custom
bidding
algos
Log-level
streaming
RESTful APIs
고객 호스팅
서비스에 대한
직접 연결
AWS 위에서 동작하는 완전 관리형 애드테크 플랫폼
8. Event
Stream
Bid Data
Producer
Impression &
Click Data
Producer
Streaming
Message Hub
Customer
Stream
S3 Bucket Amazon
Redshift
Customer HTTPS
Endpoint
BEESWAX
Customer API
Beeswax 시스템 아키텍처
protobuf
~300 샤드, 250 MB/초
QPS > 1M
latency < 10s
loss = 0
9. Event
Stream
Bid Data
Producer
Impression &
Click Data
Producer
Streaming
Message Hub
Customer
Stream
S3 Bucket Amazon
Redshift
Customer HTTPS
Endpoint
BEESWAX
Customer API
Beeswax 시스템 아키텍처
• 애드 익스체인지로부터 초당
수백만개의 쿼리를 받고 처리
• 매우 대용량의 요청을 처리해야 함
10. Event
Stream
Bid Data
Producer
Impression &
Click Data
Producer
Streaming
Message Hub
Customer
Stream
S3 Bucket Amazon
Redshift
Customer HTTPS
Endpoint
BEESWAX
Customer API
Beeswax 시스템 아키텍처
• 애드 익스체인지로부터 비딩에서
이겼을 때의 알림 혹은 브라우저에서
유저가 광고를 클릭했을 때 등의 낮은
QPS 소스로부터의 이벤트를 받음
• 데이터를 잃지 않아야 함
11. Event
Stream
Bid Data
Producer
Impression &
Click Data
Producer
Streaming
Message Hub
Customer
Stream
S3 Bucket Amazon
Redshift
Customer HTTPS
Endpoint
BEESWAX
Customer API
Beeswax 시스템 아키텍처
이벤트 스트림 선택
1. 요구사항
• 1M QPS 이상의 처리할 수 있어야 함
• 낮은 지연의 전달이 가능하여야 함
• 데이터 저장소의 안정성이 중요함
• 이벤트를 순서대로 받을 수 있어야 함
2. 옵션
• Amazon Kinesis
• Apache Kafka on EC2
3. Amazon Kinesis 선택 이유
• 완전 관리형; 작은 엔지니어링 팀에게 매우 중요한 요소
• RTB에 필요한 규모를 지원
• 비용 최적화 가능성이 있는 비용 정책을 가지고 있음
12. Event
Stream
Bid Data
Producer
Impression &
Click Data
Producer
Streaming
Message Hub
Customer
Stream
S3 Bucket Amazon
Redshift
Customer HTTPS
Endpoint
BEESWAX
Customer API
Beeswax 시스템 아키텍처
• 스트림의 이벤트를 처리
• 고객에게 API를 오픈하여 직접
스트리밍 메시지 앱을 프로그램할 수
있게 함으로써, 수집, 변환, 전달을
커스터마이징할 수 있게 함
13. Event
Stream
Bid Data
Producer
Impression &
Click Data
Producer
Streaming
Message Hub
Customer
Stream
S3 Bucket Amazon
Redshift
Customer HTTPS
Endpoint
BEESWAX
Customer API
Beeswax 시스템 아키텍처
Kinesis Record
BidAdapters
WinAdapters
S3Emitter
...
HTTPEmitterClickAdapters
KinesisEmitter
...
15. 데이터 회사 에이비일팔공
간편하고 정확한 앱마케팅 분석툴
간편한 성과 측정 중복과금 방지 실시간 통계 부담없는 이용요금
로우데이터 추출
S3로 실시간 로우데이터를 추출하여
원하는데로 내부 KPI를 설정&기획 가능
실시간 분산처리 시스템
클라우드 기반의 확장 가능한
실시간 분산처리 시스템을 통해
수천만건의 트랜잭션 동시에 처리
https://www.airbridge.io/
실시간 전수 데이터
표본 데이터가 아닌 전수 데이터로
더욱 정확한 성과 측정이 가능
중복과금 방지
마지막 간접 클릭 모델을 통해
중복과금을 방지
WE’RE HIRING!
20. Tracker Task Queue Task Sender Worker Queue Worker
DCO Image
Bidder
DCO Data
Commerce
History
Cache
Worker: 상품 구성
DCO 시스템 아키텍처
Worker: DCO 이미지
Sender: 커머스 상품 조회
Bidder: DCO 정보 조회 (딥링크, Image URL)
21. • 아이템 크기는 작게 유지
• 메타데이터는 DynamoDB에, 큰 blobs 은 S3에 저장
• 매우 높은 규모를 위해 해시키와 함께 테이블을 사용
• time series 데이터 저장을 위해 일, 주, 월 등의 단위로 테이블을
사용
• 중복제거를 위해 조건 업데이트를 사용
• 모델을 위해 hash-range 테이블과 (또는) GSI를 사용
• 1:N, M:N 관계
• Hot keys 와 Hot partitions 을 피해야함
DynamoDB 모범 (Best Practices)
23. DataXu
• 페타바이트 규모의 디지털 마케팅
플랫폼
• Inc. 5000에서 가장 빠르게 성장하는
기업 중 하나
• 세계에서 가장 가치있는 브랜드가
소비자를 이해하고 소통하도록 도움
• ROI 극대화
• 초당 2M+ 개의 입찰 요청
• 한달에 수십억건의 노출, 페타바이트
데이터
• Round-trip 응답 시간: ~10ms
• 하루 180+ TB 로그
• 2 PB 데이터 분석
• 3000+ 서버들이 플랫폼에 사용됨
• 13개의 리전, 24x7
24. 어트리뷰션은 활동/판매에서 고객이 구매/활동 전에 노출된 마케팅
터치포인트에 대한 기여도를 측정하는 것
어트리뷰션
온라인 구매
노출 클릭노출
고객의 여정
EI 이벤트노출 A 액티비티
25. 일반화된 이벤트 체인
AI E I A
시간
• 수십억개의 이벤트와 활동이 시퀀스로 구성됨
• 이벤트는 활동에 이르는 경로를 구성하기 위해 시간과 사용자에 따라 상호
연관됨
EI Event
E
Impression A Activity
I E
26. DataXu – 매일 180TB 로그 데이터 (old ver.)
CDN
Real Time
Bidding
Retargeting
Platform
Kinesis Attribution & ML S3
Reporting
Data Visualization
Data
Pipeline
ETL(Spark SQL)
Ecosystem of tools and services
Amazon Athena
Machine Learning
(Spark)
ETL
(Spark SQL)
Attribution
(MR)
29. • 95% 이상의 광고 고객들은 ML 을 하고 있음
• 경쟁 우위로 여겨지는 ML 과 AI
• Amazon 은 “non-differentiated heavy lifting” 을 제공
(차별화 되는 것에 집중해라)
• 데이터 준비와 새로운 기능 개발이 작업의 80%를 차지
광고에서 관찰되는 ML
30. • 95% 이상의 광고 고객들은 ML 을 하고 있음
• 경쟁 우위로 여겨지는 ML 과 AI
• Amazon 은 “non-differentiated heavy lifting” 을 제공 (차별화 되는
것에 집중)
• 데이터 준비와 새로운 기능 개발이 작업의 80%를 차지
광고에서 관찰되는 ML
31. 애드테크 머신러닝의 어려움
• 데이터는 매우 밀도가 낮으며, 특정 시키기 어려움 (0.01% 또는 그
이하의 CTR과 CVR)
• 학습에 활용되기 전 데이터는 사전 작업이 필요
• non-human 트래픽의 높은 비율 (25%+)
• 직접 데이터를 필터링하거나 Whiteops, DV, Integral Ad
Science 와 같은 서드파티를 사용
• 광고 요청에 대한 입찰 결정은 신속해야함
• 비더에 예측 로직을 넣고 비더 이외에 학습 로직을 넣음
32. 하이레벨 ML 프로세스
트래픽 변환
불법 필터링,
신원 확인 강화
입찰자
캠페인 및
입찰가 평가
ML
다중 캠페인
최적화, 짐작
ML
낮은 지연 ML
잠재 고객 세그먼트화
닮은꼴 모델링, 속성, 등
기능 개발
모델 개발
오프라인 테스팅
배치 ML
기능
데이터 캐시
빅데이터
오프라인 ML
33. • 기술
• Scikit-learn
• Apache Spark Mllib / Spark ML
• R (glmnet)
• 알고리즘
• Linear 알고리즘이 가장 일반적 (logistic regression)
• Binary trees
• Gradient boosting (xgboot)
• FFM (Field-aware Factorization Machines)
인기있는 ML 기술과 알고리즘
36. 데이터 과학자에게 AWS
• 유연한 데이터 저장과 컴퓨팅과의 분리
• 광범위한 데이터 변환 도구 및 기술 선택
• 최첨단 오픈 소스 ML 프레임워크 및 라이브러리
• 실험을 쉽게 확장
37. • 유연한 프로그래밍 모델
(imperative 및 symbolic 지원)
• 7개 이상 언어에 대한 바인딩
지원 (예, Python, C++, Scala
등)
• 다양한 CPU/GPU 서버 및 저
전력 모바일 디바이스에 포딩
이 가능함
• 클라우드 환경에서 고성능 및
확장성을 보여줌
MXNet - OpenSource Deep Learning Framework
38. EC2 P2 인스턴스 - GPU기반 병렬 컴퓨팅
딥러닝 컴퓨팅에 최적화
• CUDA 및 OpenCL을 사용하는 범용 GPU
컴퓨팅 애플리케이션을 위해 설계
• 기계 학습, 고성능 데이터베이스, 전산 유체
역학, 컴퓨팅 금융, 내진 해석, 분자 모델링,
유전체학, 렌더링, 대용령 병렬 부동 소수점
처리
다양한 딥러닝 프레임웍 지원
• MXnet 및 Tensorflow과 같은 인기 있는 딥
러닝 프레임워크와 함께 사전에 설치된
Deep Learning AMI를 사용 가능
• 이미 설치된 GPU 드라이버와 CUDA 도구
키트가 포함된 NVIDIA AMI를 사용 가능
39. Amazon ML – 데이터 개발자를 위한 서비스
Amazon Machine Learning은 모든 개발자가 머신 러닝
서비스를 간편하게 사용하도록 도와주는 서비스
40. Amazon ML 특징: 손쉬운 접근성
관리 콘솔에서 직접 ML 모델링
• 데이터 소스 지정 및 생성
• ML 모델 생성, 모델 품질 측정, 튜닝
• 배포 및 관리
API, SDK를 이용하여 쉽게 활용
• Java, Python, .NET, JavaScript, Ruby,
Javascript
• AWS Mobile SDK를 통해 Android, iOS
앱에서도 쉽게 사용 가능
41. Amazon ML 특징: 신뢰성 및 확장성
신뢰 높은 시스템 (Dog fooding)
• 아마존 내부 데이터사이언티스트 사용 시스템
• 신뢰성 높은 알고리즘 제공
알고리즘외의 편리한 기능
• 간단한 데이터 타입 변환, 스키마 생성
• 원본 데이터와 모델에 대한 품질 평가
확장성 높은 종량 과금 모델
• 100GB 데이터 모델링 가능
• 배치를 통한 예측 지원
• 실시간 예측 지원
42. AWS 기반 머신 러닝 활용 사례
컴퓨터 비전 API
온라인 부정 지불 감시
클라우드 소싱 기반
지도 서비스
자율 주행
컴퓨터 비전 분석
대용량 기계 학습 부동산 구매 예측 분석
동영상 추천 엔진 개발 고객 트래픽 분석
스포츠 플레이 예측 이미지 인식 기반 검색
Zestimate 서비스
(Apache Spark 활용)
보험 리스크 분석
43. • 최대 40k 의 CUDA 코어
• 미리 설정된 CUDA 드라이버
• CloudFormation 템플릿
• 컨테이너 이미지
AWS 딥러닝 AMI
원-클릭 GPU
딥러닝
45. • 오픈소스 ML 알고리즘은 대부분의 유즈케이스에 “충분”
하므로 특별히 수정하지 않음
• 알고리즘 자체가 아니라 데이터와 트레이닝 개선에
초점을 맞춤
• 10,000+ 모델을 동시에 실행하는 것은 어려운 작업임
• 스트리밍 데이터에 대한 머신러닝이 필요함
• 낮은 지연 환경의 데이터(고객 프로파일)를 예측
고객의 피드백 및 관찰 결과
46. 체크 포인트
• 95% 이상의 광고 고객들은 머신러닝을 이미 하고 있음
• 경쟁 우위로 여겨지는 머신러닝과 AI
47. 본 강연이 끝난 후…
• AWS for Digital Marketing:
• https://aws.amazon.com/digital-marketing/
• AWS Ad Tech Page:
• https://aws.amazon.com/dynamodb/adtech/
• AI on AWS:
• https://aws.amazon.com/amazon-ai/
• Open Data:
• https://aws.amazon.com/opendata/