더 많은 기업들이 디지털 전환을 앞당기며 뉴노멀 비즈니스를 위한 마이크로 서비스 전략을 세우고 더 빠른 앱 개발을 위해 노력을 기울이고 있습니다. 본 강연에서는 AWS re:Invent를 통해 발표된 Amazon EKS 및 AWS Proton의 신규 업데이트와 새롭게 출시된 Karpenter 프로젝트 등에 대해서 살펴봅니다. Graviton2 지원 및 Event Filtering, 그리고 AWS StepFunction Workflow Studio와 같은 서버리스 분야의 업데이트들과 함께 클라우드 운영 개선에 많은 도움을 줄 수 있는 관리 도구들에 대한 업데이트들도 소개합니다.
Amazon SageMaker는 머신러닝 프로젝트를 위한 통합 플랫폼입니다. SageMaker의 기능 중 Amazon SageMaker Studio는 머신러닝 통합 개발환경을 제공하여, 데이터를 준비에서부터 모델을 빌드, 교육 및 배포하는 데 필요한 모든 단계를 수행할 수 있습니다. Amazon EMR은 Apache Spark, Apache Hive 및 Presto와 같은 오픈 소스 분석 프레임워크를 사용하여 대규모 분산 데이터 처리 작업, 대화형 SQL 쿼리 및 ML 애플리케이션을 실행하기 위한 빅 데이터 플랫폼입니다. 이 세션에서는 데이터 과학자와 ML 엔지니어가 ML 워크플로우에서 분산 빅 데이터 프레임워크를 쉽게 사용할 수 있도록 상호 서비스 간의 통합에 대하여 데모를 통해 알아봅니다.
Amazon SageMaker 모델 학습 방법 소개::최영준, 솔루션즈 아키텍트 AI/ML 엑스퍼트, AWS::AWS AIML 스페셜 웨비나Amazon Web Services Korea
Amazon SageMaker Training과 Processing에 처음 입문 하고자 하는 분을 위해 동작 방식을 설명하고, 실행할 수 있는 가이드를 제공합니다.사용자는 Amazon SageMaker 노트북을 생성한 다음, 직접 정의한 별도의 GPU 또는 고성능 CPU로 구성된 학습 클러스터에서 학습 코드를 실행하여, 효율적으로 모델 학습과 데이터 전처리, 추론 결과 후처리 또는 모델 평가 등을 할 수 있도록 합니다. 추가적으로 Amazon SageMaker Experiments를 이용하여 학습 실험에 대한 구조화와 평가 메트릭 간의 비교를 체계적으로 관리하는 방법을 소개합니다.
스폰서 발표 세션 | KINX와 함께 하는 AWS Direct Connect 도입
남시우 매니저, KINX
AWS Direct Connect는 AWS와 온프레미스 사이에 프라이빗 연결을 설정해 일관된 네트워크 성능, 비용 절감, 대역폭 처리량 증대 등의 이점을 제공하는 서비스입니다. 2016년 AWS 서울 리전 오픈부터 함께해 온 인터넷 인프라 전문기업 (주)케이아이엔엑스(KINX)는 AWS Direct Connect를 도입하고자 하는 기업을 위한 핵심 노하우를 공유하고자 합니다. 본 세션에서는 AWS Direct Connect에 손쉽게 연결하는 방법과 함께 AWS Direct Connect의 네트워크 구성을 기반으로 한 실제 활용사례, AWS Direct Connect를 바탕으로 한 제조업 분야의 중국지사 연결 방안을 소개합니다.
Whether you are a traditional enterprise exploring migrating workloads to the cloud or are already “all-in” on AWS, performing common tasks of inventory collection, OS patch management, and image creation at scale is increasingly complicated in hybrid infrastructure environments. Amazon EC2 Systems Manager allows you to perform automated configuration and ongoing management of your hybrid environment systems at scale. This session provides an overview of key EC2 Systems Manager capabilities that help you define and track system configurations, prevent drift, and maintain software compliance of your EC2 and on-premises configurations. We will also discuss common use cases for EC2 Systems Manager and give you a demonstration of a hybrid-cloud management scenario.
데브옵스 엔지니어를 위한 신규 운영 서비스 - 김필중, AWS 개발 전문 솔루션즈 아키텍트 / 김현민, 메가존클라우드 솔루션즈 아키텍트 :...Amazon Web Services Korea
AWS re:Invent에서 소개된 개발에서 운영까지 이어지는 파이프라인 전체에 대한 최신 기술을 통해, 사일로를 분리하고 협업을 향상하는 방법을 소개합니다. 거버넌스 제어를 위한 AWS Control Tower, 코드 수준에서의 위험성 사전 탐지를 위한 Amazon CodeGuru Reviewer, 더 빠르고 풍부한 기능의 앱 제작을 위한 AWS Amplify Studio, IaC를 위한 AWS Cloud Development Kit, 그리고 운영 효율성을 향상 시키는 Amazon CloudWatch의 신규 기능을 알아봅니다.
더 많은 기업들이 디지털 전환을 앞당기며 뉴노멀 비즈니스를 위한 마이크로 서비스 전략을 세우고 더 빠른 앱 개발을 위해 노력을 기울이고 있습니다. 본 강연에서는 AWS re:Invent를 통해 발표된 Amazon EKS 및 AWS Proton의 신규 업데이트와 새롭게 출시된 Karpenter 프로젝트 등에 대해서 살펴봅니다. Graviton2 지원 및 Event Filtering, 그리고 AWS StepFunction Workflow Studio와 같은 서버리스 분야의 업데이트들과 함께 클라우드 운영 개선에 많은 도움을 줄 수 있는 관리 도구들에 대한 업데이트들도 소개합니다.
Amazon SageMaker는 머신러닝 프로젝트를 위한 통합 플랫폼입니다. SageMaker의 기능 중 Amazon SageMaker Studio는 머신러닝 통합 개발환경을 제공하여, 데이터를 준비에서부터 모델을 빌드, 교육 및 배포하는 데 필요한 모든 단계를 수행할 수 있습니다. Amazon EMR은 Apache Spark, Apache Hive 및 Presto와 같은 오픈 소스 분석 프레임워크를 사용하여 대규모 분산 데이터 처리 작업, 대화형 SQL 쿼리 및 ML 애플리케이션을 실행하기 위한 빅 데이터 플랫폼입니다. 이 세션에서는 데이터 과학자와 ML 엔지니어가 ML 워크플로우에서 분산 빅 데이터 프레임워크를 쉽게 사용할 수 있도록 상호 서비스 간의 통합에 대하여 데모를 통해 알아봅니다.
Amazon SageMaker 모델 학습 방법 소개::최영준, 솔루션즈 아키텍트 AI/ML 엑스퍼트, AWS::AWS AIML 스페셜 웨비나Amazon Web Services Korea
Amazon SageMaker Training과 Processing에 처음 입문 하고자 하는 분을 위해 동작 방식을 설명하고, 실행할 수 있는 가이드를 제공합니다.사용자는 Amazon SageMaker 노트북을 생성한 다음, 직접 정의한 별도의 GPU 또는 고성능 CPU로 구성된 학습 클러스터에서 학습 코드를 실행하여, 효율적으로 모델 학습과 데이터 전처리, 추론 결과 후처리 또는 모델 평가 등을 할 수 있도록 합니다. 추가적으로 Amazon SageMaker Experiments를 이용하여 학습 실험에 대한 구조화와 평가 메트릭 간의 비교를 체계적으로 관리하는 방법을 소개합니다.
스폰서 발표 세션 | KINX와 함께 하는 AWS Direct Connect 도입
남시우 매니저, KINX
AWS Direct Connect는 AWS와 온프레미스 사이에 프라이빗 연결을 설정해 일관된 네트워크 성능, 비용 절감, 대역폭 처리량 증대 등의 이점을 제공하는 서비스입니다. 2016년 AWS 서울 리전 오픈부터 함께해 온 인터넷 인프라 전문기업 (주)케이아이엔엑스(KINX)는 AWS Direct Connect를 도입하고자 하는 기업을 위한 핵심 노하우를 공유하고자 합니다. 본 세션에서는 AWS Direct Connect에 손쉽게 연결하는 방법과 함께 AWS Direct Connect의 네트워크 구성을 기반으로 한 실제 활용사례, AWS Direct Connect를 바탕으로 한 제조업 분야의 중국지사 연결 방안을 소개합니다.
Whether you are a traditional enterprise exploring migrating workloads to the cloud or are already “all-in” on AWS, performing common tasks of inventory collection, OS patch management, and image creation at scale is increasingly complicated in hybrid infrastructure environments. Amazon EC2 Systems Manager allows you to perform automated configuration and ongoing management of your hybrid environment systems at scale. This session provides an overview of key EC2 Systems Manager capabilities that help you define and track system configurations, prevent drift, and maintain software compliance of your EC2 and on-premises configurations. We will also discuss common use cases for EC2 Systems Manager and give you a demonstration of a hybrid-cloud management scenario.
데브옵스 엔지니어를 위한 신규 운영 서비스 - 김필중, AWS 개발 전문 솔루션즈 아키텍트 / 김현민, 메가존클라우드 솔루션즈 아키텍트 :...Amazon Web Services Korea
AWS re:Invent에서 소개된 개발에서 운영까지 이어지는 파이프라인 전체에 대한 최신 기술을 통해, 사일로를 분리하고 협업을 향상하는 방법을 소개합니다. 거버넌스 제어를 위한 AWS Control Tower, 코드 수준에서의 위험성 사전 탐지를 위한 Amazon CodeGuru Reviewer, 더 빠르고 풍부한 기능의 앱 제작을 위한 AWS Amplify Studio, IaC를 위한 AWS Cloud Development Kit, 그리고 운영 효율성을 향상 시키는 Amazon CloudWatch의 신규 기능을 알아봅니다.
This document discusses AWS security best practices for enterprises. It recommends following AWS security policies and IAM best practices, automating security configurations through tools like CloudFormation, and architecting networks carefully with security groups and subnets. Automating security operations, compliance checks, and incident response is emphasized to manage risks and unknown threats. The document also warns against simply migrating on-premises systems to AWS without redesigning for the cloud.
AWS 기반 클라우드 아키텍처 모범사례 - 삼성전자 개발자 포털/개발자 워크스페이스 - 정영준 솔루션즈 아키텍트, AWS / 유현성 수석,...Amazon Web Services Korea
AWS 기반 클라우드 아키텍처 모범사례 - 삼성전자 개발자 포털/개발자 워크스페이스
정영준 솔루션즈 아키텍트, AWS
유현성 수석, 삼성전자 클라우드팀
다양한 AWS 아키텍처 적인 요소들을 적용한 구체적인 사례들에 대해서 소개합니다. 삼성전자에서 2년동안 만든 공통 플랫폼 기반 개발자 포털의 아키텍처와 개발 스토리 그리고 SRE(Site Reliability Engineering) 적용 등에 대한 이야기를 직접 들어보며, 수백만 명의 모바일 사용자에게 사진을 공유하는 애플리케이션을 운영하는 서비스, 테라바이트 이상의 데이터가 다양한 소스에서 들어 올 때 실시간으로 분석하기 위한 아키텍처들에 대해서도 알아봅니다. 또한 중단 되면 안되는 중요한 비즈니스 운영을 지원하는 서비스나 금융 데이터 같은 민감한 데이터를 다루는 서비스를 운영하는 다른 베스트 프렉티스 아키텍처도 소개합니다.
Module 3: Security, Identity and Access Management - AWSome Day Online Confer...Amazon Web Services
Module 3: Security, Identity and Access Management
This module will cover:
- Data Center Security
- AWS Identity and Access Management (IAM) concepts including users, groups, roles and policies
[보험사를 위한 AWS Data Analytics Day] 1_데이터 경영으로 보험 산업의 ...AWS Korea 금융산업팀
현재 모든 기업들이 불확실한 경영 환경에대한 대응이 필요하고 비용 절감과 리스크 관리를 최우선 과제로 고려하는 시기입니다. 이러한 도전을 극복하기 위해서는 데이터 기반 경영이라는 기본으로 돌아가고 최신 데이터 전략과 기술을 보험의 가치사슬에 신속하게 적용할 수 있어야 합니다. 여기서는 보험사의 고객, 상품, 채널에 걸쳐있는 데이터에 대한 분석과 활용에 대한 전체 거버넌스를 지원할 수 있는 AWS 서비스와 솔루션을 소개하고 관련 사례를 통해서 시사점을 살펴보겠습니다. 또한 데이터를 기반으로 AI 기술 적용을 통해서 보험의 심사 및 청구와 같은 핵심 업무를 어떻게 혁신할 수 있는지 살펴보겠습니다.
커머스 스타트업의 효율적인 데이터 분석 플랫폼 구축기 - 하지양 데이터 엔지니어, 발란 / 강웅석 데이터 엔지니어, 크로키닷컴 :: AWS...Amazon Web Services Korea
스타트업에서 빠르게 분석 서비스를 구성하기 위한 AWS 분석 서비스를 활용하고 있습니다. 본 세션에서는 커머스 서비스의 대용량 데이터를 Amazon Kinesis Firehose를 이용하여 실시간으로 사내에 흐르는 중요 데이터를 캡쳐하여 다양한 용도로 사용하는 방법을 알아봅니다. 매달 수백억 건의 사용자 행동 로그를 안정적이고 견고하게 수집하여 인하우스 데이터 분석 방법을 소개합니다. 또한, Amazon Personalize를 통한 개인화 추천 및 Amazon SageMaker를 이용한 이미지분류 등 기계 학습 활용 사례도 공유합니다.
AWS Kubernetes 서비스 자세히 살펴보기
Kubernetes와 Amazon Elastic Container Service for Kubernetes(EKS)의 주요 개념과 로깅/모니터링, 보안, 스토리지, 오토스케일링을 상세히 다룹니다. 주요 핵심 개념과 함께 Fluentd, Prometheus, Grafana를 활용한 로깅 및 모니터링, 보안 정책, Dynamic provisioning, Headless Service, StatefulSet을 활용한 stateful apps, Horizontal Pod AutoScaler에 대해 설명해 드립니다.
한글과컴퓨터의 클라우드 마이그레이션, 거버넌스 그리고 모더나이제이션-박인재, AWS ISV SA Manager / 박상형, 한글과컴퓨터 I...Amazon Web Services Korea
온프레미스에서 클라우드로 전환은 단계적으로 그리고 중, 장기적 관점의 전략을 가지고 수행되어야 합니다. 한글과 컴퓨터의 클라우드 기반 마이그레이션 및 거버넌스 확보, 애플리케이션 모더나이제이션을 위한 여정을 살펴보고, 동시에 인프라팀과 개발팀이 어떻게 협력했는지 공유하고자 합니다.
데이터 분석플랫폼을 위한 데이터 전처리부터 시각화까지 한번에 보기 - 노인철 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul ...Amazon Web Services Korea
기업의 비즈니스 혁신의 기반인 데이터 분석 플랫폼은 쉽고 빠르게 구축할 수 있는 방법이 요구됩니다. 이를 위해 본 강연에서는 데이터 전처리를 코드없이 사용자 친화적 유저 인터페이스(GUI)로 수행할 수 있는 AWS Glue DataBrew , 데이터 추출, 변환 및 저장(ETL)을 위한 서버리스 서비스인 AWS Glue Studio, 데이터 카탈로그에 대한 권한통제 방법, 데이터웨어하우스 구축을 위한 Amazon Redshift 의 기술을 소개하고 대규모 데이터웨어하우스(DW) 클러스터간 데이터 공유 방법과 코드없이 기계 학습을 수행할 수 있는 기능들을 알려드립니다.
AWS 클라우드 핵심 서비스로 클라우드 기반 아키텍처 빠르게 구성하기 - 문종민 솔루션즈 아키텍트, AWS :: AWS Summit Seo...Amazon Web Services Korea
AWS 클라우드 핵심 서비스로 클라우드 기반 아키텍처 빠르게 구성하기
문종민 솔루션즈 아키텍트, AWS
본 세션은 AWS를 처음 접하는 분들을 대상으로 AWS의 150여개 이상의 서비스들 중 가장 중심이 되는 컴퓨팅, 스토리지, 네트워크 등의 핵심 서비스를 기술적 관점에서 소개합니다. 클라우드에서 신규 서비스 구축 및 기존 데이터센터 워크로드를 이전할 때, Amazon EC2, S3 및 RDS, VPC 등의 서비스를 통해 어떻게 빠르게 AWS 상에서 시스템 구축할 수 있는지 살펴봅니다.
엔터프라이즈 클라우드 마이그레이션 준비와 실행. 그리고, 클라우드 운영 모범 사례 공유-최지웅, 오픈소스컨설팅 CTO / 장진환, 스마일샤...Amazon Web Services Korea
클라우드 마이레이션은 단순한 업무의 환경 이전 차원을 넘어 미래를 준비하는 긴 여정의 출발점이기도 합니다. 또한, 클라우드 마이그레이션의 전략,기술 준비사항은 기존의 IT 운영 환경에 비례하여 매우 다양하며 복잡 합니다. 이번 세션에서는 AWS MSP 파트너사인 오픈소스 컨설팅, 스마일 샤크의 다양한 클라우드 마이그레이션 사례 및 운영 환경 최적화 사례를 기반으로 여러분들의 클라우드 여정에 도움을 드리고자 합니다.
[보험사를 위한 AWS Data Analytics Day] 4_신한금융그룹의 데이터 댐_Do...AWS Korea 금융산업팀
신한금융그룹은 빅테크와의 경쟁, 미래에 대한 불확실성에 빠르게 적응하기 위해 고객, 회사, 사회 등을 보다 깊이 바라봐야 하는 상황이라고 판단했습니다. 이를 위해 은행의 고객 자산정보, 카드의 고객 소비행태와 가맹점 정보, 금융투자의 고객 투자성향, 라이프의 고객 미래 준비 상황을 한 곳으로 모아 양적으로 데이터를 확대하고, 이를 분석할 수 있는 인프라를 만들게 되었습니다. 또한 공공 데이터 및 데이터 제휴를 통해 데이터의 양적/질적 가치를 지속적으로 제고하여 새로운 고객 가치를 만들어가고 있습니다.
대규모 온프레미스 하둡 마이그레이션을 위한 실행 전략과 최적화 방안 소개-유철민, AWS Data Architect / 박성열,AWS Pr...Amazon Web Services Korea
빅데이터 분석을 위해 온프레미스 환경에서 대규모 하둡 클러스터를 운영하고 있는 고객은 매우 많습니다. 하지만 고객은 최근 관리 및 운영, 비용 등 다양한 어려움을 겪고 있으며, 이를 극복하기 위한 클라우드 전환을 적극적으로 검토하고 있습니다. 온프레미스 하둡을 클라우드 기반으로 마이그레이션 하기 위해 세워야 할 전략과 고려사항, 최적화를 위한 다양한 기법과 비용/성능 최적의 클러스터 구성 방안, 더 나아가서 TCO를 최적화하기 위한 구체적인 방안을 본 세션을 통해 소개드립니다.
Presentation from the developer track at I Love APIs London 2016 featuring Matt McClean, Amazon Web Services.
Developers have been jumping on the microservices bandwagon because of the obvious benefits of faster release cycles and innovation. However, microservices' downside is the increased server costs, operational costs, and performance costs. To reduce this complexity, Amazon Web Services created AWS Lambda - a compute platform that lets you build microservices with no provisioning and servers.
Matt McClean, Solution Architect from AWS, presents how to use AWS Lambda to build your microservices. He covers various architectural patterns and anti-patterns for using AWS Lambda.
20190312 AWS Black Belt Online Seminar AWS Well-Architected Frameworkによるコスト最適化Amazon Web Services Japan
The document is about an AWS Black Belt Online Seminar hosted by Amazon Web Services Japan. It provides an overview of the seminar series, which covers various AWS services, solutions, and industries. It notes some things covered in the seminar, like cost optimization best practices, as well as things not covered, like architecture changes for cost optimization. It also provides some context about AWS Well-Architected Framework and how it can help with cloud optimization and cost optimization.
Amazon SageMaker 모델 배포 방법 소개::김대근, AI/ML 스페셜리스트 솔루션즈 아키텍트, AWS::AWS AIML 스페셜 웨비나Amazon Web Services Korea
Amazon SageMaker 배포에 처음 입문 하고자 하는 분들을 위해 동작 방식을 설명하고 실행할 수 있는 가이드를 제공합니다. Amazon SageMaker 빌트인 4가지 서빙 패턴(리얼타임 추론, 배치 추론, 비동기 추론, 서버리스 추론)을 시작으로 프로덕션 적용을 위한 핵심 기능과 비용 절감을 위한 방법을 소개합니다.
This document discusses AWS security best practices for enterprises. It recommends following AWS security policies and IAM best practices, automating security configurations through tools like CloudFormation, and architecting networks carefully with security groups and subnets. Automating security operations, compliance checks, and incident response is emphasized to manage risks and unknown threats. The document also warns against simply migrating on-premises systems to AWS without redesigning for the cloud.
AWS 기반 클라우드 아키텍처 모범사례 - 삼성전자 개발자 포털/개발자 워크스페이스 - 정영준 솔루션즈 아키텍트, AWS / 유현성 수석,...Amazon Web Services Korea
AWS 기반 클라우드 아키텍처 모범사례 - 삼성전자 개발자 포털/개발자 워크스페이스
정영준 솔루션즈 아키텍트, AWS
유현성 수석, 삼성전자 클라우드팀
다양한 AWS 아키텍처 적인 요소들을 적용한 구체적인 사례들에 대해서 소개합니다. 삼성전자에서 2년동안 만든 공통 플랫폼 기반 개발자 포털의 아키텍처와 개발 스토리 그리고 SRE(Site Reliability Engineering) 적용 등에 대한 이야기를 직접 들어보며, 수백만 명의 모바일 사용자에게 사진을 공유하는 애플리케이션을 운영하는 서비스, 테라바이트 이상의 데이터가 다양한 소스에서 들어 올 때 실시간으로 분석하기 위한 아키텍처들에 대해서도 알아봅니다. 또한 중단 되면 안되는 중요한 비즈니스 운영을 지원하는 서비스나 금융 데이터 같은 민감한 데이터를 다루는 서비스를 운영하는 다른 베스트 프렉티스 아키텍처도 소개합니다.
Module 3: Security, Identity and Access Management - AWSome Day Online Confer...Amazon Web Services
Module 3: Security, Identity and Access Management
This module will cover:
- Data Center Security
- AWS Identity and Access Management (IAM) concepts including users, groups, roles and policies
[보험사를 위한 AWS Data Analytics Day] 1_데이터 경영으로 보험 산업의 ...AWS Korea 금융산업팀
현재 모든 기업들이 불확실한 경영 환경에대한 대응이 필요하고 비용 절감과 리스크 관리를 최우선 과제로 고려하는 시기입니다. 이러한 도전을 극복하기 위해서는 데이터 기반 경영이라는 기본으로 돌아가고 최신 데이터 전략과 기술을 보험의 가치사슬에 신속하게 적용할 수 있어야 합니다. 여기서는 보험사의 고객, 상품, 채널에 걸쳐있는 데이터에 대한 분석과 활용에 대한 전체 거버넌스를 지원할 수 있는 AWS 서비스와 솔루션을 소개하고 관련 사례를 통해서 시사점을 살펴보겠습니다. 또한 데이터를 기반으로 AI 기술 적용을 통해서 보험의 심사 및 청구와 같은 핵심 업무를 어떻게 혁신할 수 있는지 살펴보겠습니다.
커머스 스타트업의 효율적인 데이터 분석 플랫폼 구축기 - 하지양 데이터 엔지니어, 발란 / 강웅석 데이터 엔지니어, 크로키닷컴 :: AWS...Amazon Web Services Korea
스타트업에서 빠르게 분석 서비스를 구성하기 위한 AWS 분석 서비스를 활용하고 있습니다. 본 세션에서는 커머스 서비스의 대용량 데이터를 Amazon Kinesis Firehose를 이용하여 실시간으로 사내에 흐르는 중요 데이터를 캡쳐하여 다양한 용도로 사용하는 방법을 알아봅니다. 매달 수백억 건의 사용자 행동 로그를 안정적이고 견고하게 수집하여 인하우스 데이터 분석 방법을 소개합니다. 또한, Amazon Personalize를 통한 개인화 추천 및 Amazon SageMaker를 이용한 이미지분류 등 기계 학습 활용 사례도 공유합니다.
AWS Kubernetes 서비스 자세히 살펴보기
Kubernetes와 Amazon Elastic Container Service for Kubernetes(EKS)의 주요 개념과 로깅/모니터링, 보안, 스토리지, 오토스케일링을 상세히 다룹니다. 주요 핵심 개념과 함께 Fluentd, Prometheus, Grafana를 활용한 로깅 및 모니터링, 보안 정책, Dynamic provisioning, Headless Service, StatefulSet을 활용한 stateful apps, Horizontal Pod AutoScaler에 대해 설명해 드립니다.
한글과컴퓨터의 클라우드 마이그레이션, 거버넌스 그리고 모더나이제이션-박인재, AWS ISV SA Manager / 박상형, 한글과컴퓨터 I...Amazon Web Services Korea
온프레미스에서 클라우드로 전환은 단계적으로 그리고 중, 장기적 관점의 전략을 가지고 수행되어야 합니다. 한글과 컴퓨터의 클라우드 기반 마이그레이션 및 거버넌스 확보, 애플리케이션 모더나이제이션을 위한 여정을 살펴보고, 동시에 인프라팀과 개발팀이 어떻게 협력했는지 공유하고자 합니다.
데이터 분석플랫폼을 위한 데이터 전처리부터 시각화까지 한번에 보기 - 노인철 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul ...Amazon Web Services Korea
기업의 비즈니스 혁신의 기반인 데이터 분석 플랫폼은 쉽고 빠르게 구축할 수 있는 방법이 요구됩니다. 이를 위해 본 강연에서는 데이터 전처리를 코드없이 사용자 친화적 유저 인터페이스(GUI)로 수행할 수 있는 AWS Glue DataBrew , 데이터 추출, 변환 및 저장(ETL)을 위한 서버리스 서비스인 AWS Glue Studio, 데이터 카탈로그에 대한 권한통제 방법, 데이터웨어하우스 구축을 위한 Amazon Redshift 의 기술을 소개하고 대규모 데이터웨어하우스(DW) 클러스터간 데이터 공유 방법과 코드없이 기계 학습을 수행할 수 있는 기능들을 알려드립니다.
AWS 클라우드 핵심 서비스로 클라우드 기반 아키텍처 빠르게 구성하기 - 문종민 솔루션즈 아키텍트, AWS :: AWS Summit Seo...Amazon Web Services Korea
AWS 클라우드 핵심 서비스로 클라우드 기반 아키텍처 빠르게 구성하기
문종민 솔루션즈 아키텍트, AWS
본 세션은 AWS를 처음 접하는 분들을 대상으로 AWS의 150여개 이상의 서비스들 중 가장 중심이 되는 컴퓨팅, 스토리지, 네트워크 등의 핵심 서비스를 기술적 관점에서 소개합니다. 클라우드에서 신규 서비스 구축 및 기존 데이터센터 워크로드를 이전할 때, Amazon EC2, S3 및 RDS, VPC 등의 서비스를 통해 어떻게 빠르게 AWS 상에서 시스템 구축할 수 있는지 살펴봅니다.
엔터프라이즈 클라우드 마이그레이션 준비와 실행. 그리고, 클라우드 운영 모범 사례 공유-최지웅, 오픈소스컨설팅 CTO / 장진환, 스마일샤...Amazon Web Services Korea
클라우드 마이레이션은 단순한 업무의 환경 이전 차원을 넘어 미래를 준비하는 긴 여정의 출발점이기도 합니다. 또한, 클라우드 마이그레이션의 전략,기술 준비사항은 기존의 IT 운영 환경에 비례하여 매우 다양하며 복잡 합니다. 이번 세션에서는 AWS MSP 파트너사인 오픈소스 컨설팅, 스마일 샤크의 다양한 클라우드 마이그레이션 사례 및 운영 환경 최적화 사례를 기반으로 여러분들의 클라우드 여정에 도움을 드리고자 합니다.
[보험사를 위한 AWS Data Analytics Day] 4_신한금융그룹의 데이터 댐_Do...AWS Korea 금융산업팀
신한금융그룹은 빅테크와의 경쟁, 미래에 대한 불확실성에 빠르게 적응하기 위해 고객, 회사, 사회 등을 보다 깊이 바라봐야 하는 상황이라고 판단했습니다. 이를 위해 은행의 고객 자산정보, 카드의 고객 소비행태와 가맹점 정보, 금융투자의 고객 투자성향, 라이프의 고객 미래 준비 상황을 한 곳으로 모아 양적으로 데이터를 확대하고, 이를 분석할 수 있는 인프라를 만들게 되었습니다. 또한 공공 데이터 및 데이터 제휴를 통해 데이터의 양적/질적 가치를 지속적으로 제고하여 새로운 고객 가치를 만들어가고 있습니다.
대규모 온프레미스 하둡 마이그레이션을 위한 실행 전략과 최적화 방안 소개-유철민, AWS Data Architect / 박성열,AWS Pr...Amazon Web Services Korea
빅데이터 분석을 위해 온프레미스 환경에서 대규모 하둡 클러스터를 운영하고 있는 고객은 매우 많습니다. 하지만 고객은 최근 관리 및 운영, 비용 등 다양한 어려움을 겪고 있으며, 이를 극복하기 위한 클라우드 전환을 적극적으로 검토하고 있습니다. 온프레미스 하둡을 클라우드 기반으로 마이그레이션 하기 위해 세워야 할 전략과 고려사항, 최적화를 위한 다양한 기법과 비용/성능 최적의 클러스터 구성 방안, 더 나아가서 TCO를 최적화하기 위한 구체적인 방안을 본 세션을 통해 소개드립니다.
Presentation from the developer track at I Love APIs London 2016 featuring Matt McClean, Amazon Web Services.
Developers have been jumping on the microservices bandwagon because of the obvious benefits of faster release cycles and innovation. However, microservices' downside is the increased server costs, operational costs, and performance costs. To reduce this complexity, Amazon Web Services created AWS Lambda - a compute platform that lets you build microservices with no provisioning and servers.
Matt McClean, Solution Architect from AWS, presents how to use AWS Lambda to build your microservices. He covers various architectural patterns and anti-patterns for using AWS Lambda.
20190312 AWS Black Belt Online Seminar AWS Well-Architected Frameworkによるコスト最適化Amazon Web Services Japan
The document is about an AWS Black Belt Online Seminar hosted by Amazon Web Services Japan. It provides an overview of the seminar series, which covers various AWS services, solutions, and industries. It notes some things covered in the seminar, like cost optimization best practices, as well as things not covered, like architecture changes for cost optimization. It also provides some context about AWS Well-Architected Framework and how it can help with cloud optimization and cost optimization.
Amazon SageMaker 모델 배포 방법 소개::김대근, AI/ML 스페셜리스트 솔루션즈 아키텍트, AWS::AWS AIML 스페셜 웨비나Amazon Web Services Korea
Amazon SageMaker 배포에 처음 입문 하고자 하는 분들을 위해 동작 방식을 설명하고 실행할 수 있는 가이드를 제공합니다. Amazon SageMaker 빌트인 4가지 서빙 패턴(리얼타임 추론, 배치 추론, 비동기 추론, 서버리스 추론)을 시작으로 프로덕션 적용을 위한 핵심 기능과 비용 절감을 위한 방법을 소개합니다.
[AWS Innovate 온라인 컨퍼런스] 수백만 사용자 대상 기계 학습 서비스를 위한 확장 비법 - 윤석찬, AWS 테크 에반젤리스트Amazon Web Services Korea
발표자료 다시보기: https://youtu.be/RYzviz-uOCU
기계 학습은 이제 개발자에게 필수 기술셋이 되었습니다. 본 세션에서는 AWS의 다양한 인공 지능 서비스를 활용하여 개발자들이 기계 학습을 처음 접하는 시점부터 혼자서 공부하는 방법부터 팀에서 초기 도입시, 그리고 정식 프로덕션 환경에서 수백만 사용자를 위한 서비스를 향해 가는 과정을 알려드림으로서 기계 학습 기반 개발자가 될 수 있는 방법을 알아봅니다.
핵심 미래 분석 기술! 시계열 분석을 활용한 수요예측과 재고관리 최적화 사례 – 김형일 AWS 솔루션즈 아키텍트, 이환기 신세계아이앤씨 A...Amazon Web Services Korea
리테일을 포함한 많은 기업들이 디지털 전환의 핵심 기술로 AI와 머신러닝 활용을 고려하고 있습니다. 본 세션에서는 리테일 비즈니스 최적화를 위한 수요 예측과 재고관리에 시계열 분석을 도입하기 위한 분석도구로 Amazon Forecast와 Amazon SageMaker를 활용하는 방안에 대해 알아보고, 국내 대형유통업체가 AWS 서비스를 활용하여 어떻게 재고를 최적화했는지 성공사례를 공유해 드립니다.
개발자들이 직접 선정한 re:Invent 2019 상위 12 신규 서비스 알아보기 - 윤석찬 (AWS 테크에반젤리스트)
--
올해 AWS re:Invent 2019에서는 77개 서비스가 신규 출시 되었습니다. 이중에서 AWS 한국 사용자 모임에서 투표를 통해 가장 흥미로운 서비스로 선정된 12개를 소개합니다.
AWS의 비용 효율적 고성능기계학습(ML) 플랫폼 뛰어들기 - 윤석찬 수석 테크 에반젤리스트, AWS :: AWS Innovate 2019Amazon Web Services Korea
AWS의 비용 효율적 고성능기계학습(ML) 플랫폼 뛰어들기 - 윤석찬 수석 테크 에반젤리스트, AWS :: AWS Innovate 2019
기계 학습(ML) 및 인공 지능 기술이 발전함에 따라 더 많은 데이터 훈련과 학습 및 ML 서비스를 위한 고성능 컴퓨팅 플랫폼 확보가 중요해 지고 있습니다. 어떻게 비용 효율적인 ML 서비스를 제공할 수 있는지 신규 GPU 인스턴스 타입, Deep Learning AMI 성능 개선, 추론용 GPU 카드 등 AWS 클라우드가 선 보이고 있는 새로운 ML 플랫폼에 대해 소개합니다. 또한, AWS의 완전 관리 ML 서비스인 Amazon SageMaker를 통해 어떻게 더 빠르게 다양한 ML 모델 학습이 가능한지를 Tensorflow 및 Keras 예제와 함께 알아봅니다.
데이터 과학자를 위한 신규 인공지능 서비스 - 김대근, 이유동, AWS AI/ML 스페셜리스트 솔루션즈 아키텍트 / 소성운, 카카오스타일 ...Amazon Web Services Korea
AWS re:Invent에서는 비즈니스 분석가와 프랙티셔너를 위한 신규 서비스뿐만 아니라, MLOps를 가속화할 수 있는 신규 인공지능 및 기계 학습 서비스들이 출시되었습니다. 본 강연에서는 Amazon SageMaker Studio Lab, Amazon SageMaker Inference Recommender, Amazon SageMaker Serverless Inference를 통해 데이터 과학자들이 완전 관리형 머신 러닝 스택에 익숙해지는 방법을 소개합니다.
개발자를 위한 AWS re:Invent 신규 서비스 - 윤석찬 (AWS수석테크에반젤리스트) :: AWS Community Day 2020AWSKRUG - AWS한국사용자모임
AWS Community Day는 AWS를 사용하는 개발자 및 고급 사용자들이 주축이 되어 AWS 서비스 활용 방법 및 사용 대한 정보를 공유하는 기술 컨퍼런스입니다. 이번에는 지난 12월 미국 라스베가스에서 열린 AWS re:Invent 2019 행사에 직접 참여하셨던 분들이 꼽은 흥미로운 신규 서비스 소개와 아울러 인공지능, 서버리스, 컨테이너, 데브옵스 및 프론트엔드 분야의 다양한 애플리케이션 개발 및 구축 시, 개발자의 입장에서 AWS 클라우드 도입 및 활용 사례를 생생하게 전달해 드리는 시간이었습니다.
Amazon SageMaker 모델 빌딩 파이프라인 소개::이유동, AI/ML 스페셜리스트 솔루션즈 아키텍트, AWS::AWS AIML 스...Amazon Web Services Korea
Amazon SageMaker 에서 제공하는 기계 학습을 위한 CI/CD 서비스, Aamzon SageMaker Pipelines 를 사용하기 위해 기계 학습의 라이프 사이클과 MLOps 의 개념과 AWS 에서의 MLOps 에 대한 오버뷰를 소개합니다. 또한, Amazon SageMaker Pipelines 의 세부적인 사용법을 스크린샷과 함께 소개합니다.
지난 AWS re:Invent 2022에서 소개된 내용 가운데 디지털 네이티브 비즈니스 리더분들께서 주목할만한 AWS 기술(혁신, 데이터, 현대화)에 대한 AWS 신규 서비스와 고객 사례를 공유합니다.
발표자:
Channy Yun, Principal Developer Advocate, AWS
Hyo Choi, Solutions Architect, AWS
Yoosung Jeon, Solutions Architect, AWS
AWS re:Invent 2020 Awesome AI/ML ServicesSungmin Kim
#SageMaker #GlueDataBrew #RedshiftML #QuickSightQ
1. What is Machine Learning?
2. Typical Machine Learning Process
3. Amazon SageMaker Overview
4. New on Amazon SageMaker
(4.1) Amazon SageMaker Data Wrangler
(4.2) Amazon SageMaker Feature Store
(4.3) Amazon SageMaker Pipelines
(4.4) Availability & Pricing
5. Bringing ML To Even More Builders
(5.1) Amazon Redshift ML
(5.2) Amazon Neptune ML
(5.3) AWS Glue DataBrew
(5.4) Amazon QuickSight Q
6. Summary - Awesome AI/ML Services
7. AI/ML Mission @ AWS
참고
- Amazon Redshift ML Is Now Generally Available – Use SQL to Create Machine Learning Models and Make Predictions from Your Data https://aws.amazon.com/ko/blogs/aws/amazon-redshift-ml-is-now-generally-available-use-sql-to-create-machine-learning-models-and-make-predictions-from-your-data/
AWS에서는 다양한 언어에 대한 기계 번역(Translate) 등 AI 기능에 대한 API 서비스를 제공합니다. 본 실습에서는 이들 서비스(Serverless) 환경으로 AWS Amplify를 활용하여 소셜 모바일 앱을 안드로이드 기반으로 만들어 봅니다. 이를 위해 사용자 인증(Cognito), Graphql(Appsync) 등의 기능을 함께 활용합니다. 만들어진 앱은 AWS Device Farm을 통해서 클라우드 상에서 테스트 할 수 있습니다. 추가적으로Amazon Pinpoint를 이용하여 사용자 이벤트를 수집하고 분석하는 기능을 활용합니다.
사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...Amazon Web Services Korea
Database Migration Service(DMS)는 RDBMS 이외에도 다양한 데이터베이스 이관을 지원합니다. 실제 고객사 사례를 통해 DMS가 데이터베이스 이관, 통합, 분리를 수행하는 데 어떻게 활용되는지 알아보고, 동시에 데이터 분석을 위한 데이터 수집(Data Ingest)에도 어떤 역할을 하는지 살펴보겠습니다.
Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Lev...Amazon Web Services Korea
Amazon ElastiCache는 Redis 및 MemCached와 호환되는 완전관리형 서비스로서 현대적 애플리케이션의 성능을 최적의 비용으로 실시간으로 개선해 줍니다. ElastiCache의 Best Practice를 통해 최적의 성능과 서비스 최적화 방법에 대해 알아봅니다.
Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...Amazon Web Services Korea
ccAmazon Aurora 데이터베이스는 클라우드용으로 구축된 관계형 데이터베이스입니다. Aurora는 상용 데이터베이스의 성능과 가용성, 그리고 오픈소스 데이터베이스의 단순성과 비용 효율성을 모두 제공합니다. 이 세션은 Aurora의 고급 사용자들을 위한 세션으로써 Aurora의 내부 구조와 성능 최적화에 대해 알아봅니다.
[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...Amazon Web Services Korea
오랫동안 관계형 데이터베이스가 가장 많이 사용되었으며 거의 모든 애플리케이션에서 널리 사용되었습니다. 따라서 애플리케이션 아키텍처에서 데이터베이스를 선택하기가 더 쉬웠지만, 구축할 수 있는 애플리케이션의 유형이 제한적이었습니다. 관계형 데이터베이스는 스위스 군용 칼과 같아서 많은 일을 할 수 있지만 특정 업무에는 완벽하게 적합하지는 않습니다. 클라우드 컴퓨팅의 등장으로 경제적인 방식으로 더욱 탄력적이고 확장 가능한 애플리케이션을 구축할 수 있게 되면서 기술적으로 가능한 일이 달라졌습니다. 이러한 변화는 전용 데이터베이스의 부상으로 이어졌습니다. 개발자는 더 이상 기본 관계형 데이터베이스를 사용할 필요가 없습니다. 개발자는 애플리케이션의 요구 사항을 신중하게 고려하고 이러한 요구 사항에 맞는 데이터베이스를 선택할 수 있습니다.
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...Amazon Web Services Korea
실시간 분석은 AWS 고객의 사용 사례가 점점 늘어나고 있습니다. 이 세션에 참여하여 스트리밍 데이터 기술이 어떻게 데이터를 즉시 분석하고, 시스템 간에 데이터를 실시간으로 이동하고, 실행 가능한 통찰력을 더 빠르게 얻을 수 있는지 알아보십시오. 일반적인 스트리밍 데이터 사용 사례, 비즈니스에서 실시간 분석을 쉽게 활성화하는 단계, AWS가 Amazon Kinesis와 같은 AWS 스트리밍 데이터 서비스를 사용하도록 지원하는 방법을 다룹니다.
Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...Amazon Web Services Korea
Amazon EMR은 Apache Spark, Hive, Presto, Trino, HBase 및 Flink와 같은 오픈 소스 프레임워크를 사용하여 분석 애플리케이션을 쉽게 실행할 수 있는 관리형 서비스를 제공합니다. Spark 및 Presto용 Amazon EMR 런타임에는 오픈 소스 Apache Spark 및 Presto에 비해 두 배 이상의 성능 향상을 제공하는 최적화 기능이 포함되어 있습니다. Amazon EMR Serverless는 Amazon EMR의 새로운 배포 옵션이지만 데이터 엔지니어와 분석가는 클라우드에서 페타바이트 규모의 데이터 분석을 쉽고 비용 효율적으로 실행할 수 있습니다. 이 세션에 참여하여 개념, 설계 패턴, 라이브 데모를 사용하여 Amazon EMR/EMR 서버리스를 살펴보고 Spark 및 Hive 워크로드, Amazon EMR 스튜디오 및 Amazon SageMaker Studio와의 Amazon EMR 통합을 실행하는 것이 얼마나 쉬운지 알아보십시오.
Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...Amazon Web Services Korea
로그 및 지표 데이터를 쉽게 가져오고, OpenSearch 검색 API를 사용하고, OpenSearch 대시보드를 사용하여 시각화를 구축하는 등 Amazon OpenSearch의 새로운 기능과 기능에 대해 자세히 알아보십시오. 애플리케이션 문제를 디버깅할 수 있는 OpenSearch의 Observability 기능에 대해 알아보세요. Amazon OpenSearch Service를 통해 인프라 관리에 대해 걱정하지 않고 검색 또는 모니터링 문제에 집중할 수 있는 방법을 알아보십시오.
Enabling Agility with Data Governance - 발표자: 김성연, Analytics Specialist, WWSO,...Amazon Web Services Korea
데이터 거버넌스는 전체 프로세스에서 데이터를 관리하여 데이터의 정확성과 완전성을 보장하고 필요한 사람들이 데이터에 액세스할 수 있도록 하는 프로세스입니다. 이 세션에 참여하여 AWS가 어떻게 분석 서비스 전반에서 데이터 준비 및 통합부터 데이터 액세스, 데이터 품질 및 메타데이터 관리에 이르기까지 포괄적인 데이터 거버넌스를 제공하는지 알아보십시오. AWS에서의 스트리밍에 대해 자세히 알아보십시오.
Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New feature...Amazon Web Services Korea
이 세션에 참여하여 Amazon Redshift의 새로운 기능을 자세히 살펴보십시오. Amazon Data Sharing, Amazon Redshift Serverless, Redshift Streaming, Redshift ML 및 자동 복사 등에 대한 자세한 내용과 데모를 통해 Amazon Redshift의 새로운 기능을 알고 싶은 사용자에게 적합합니다.
From Insights to Action, How to build and maintain a Data Driven Organization...Amazon Web Services Korea
데이터는 혁신과 변혁의 토대입니다. 비즈니스 혁신을 이끄는 혁신은 특정 시점의 전략이나 솔루션이 아니라 성장을 위한 반복적이고 집단적인 계획입니다. 혁신에 이러한 접근 방식을 채택하는 기업은 전략과 비즈니스 문화에서 데이터를 기반으로 하는 경우가 많습니다. 이러한 접근 방식을 개발하려면 리더가 데이터를 조직의 자산처럼 취급하고 조직이 더 나은 비즈니스 성과를 위해 데이터를 활용할 수 있도록 권한을 부여해야 합니다. AWS와 Amazon이 어떻게 데이터와 분석을 활용하여 확장 가능한 비즈니스 효율성을 창출하고 고객의 가장 복잡한 문제를 해결하는 메커니즘을 개발했는지 알아보십시오.
[Keynote] Accelerating Business Outcomes with AWS Data - 발표자: Saeed Gharadagh...Amazon Web Services Korea
데이터는 최종 소비자의 성공에 초점을 맞춘 디지털 혁신에서 중추적인 역할을 하고 있습니다. 모든 기업들은 데이터를 자산으로 사용하여 사례 제공을 추진하고 까다로운 결과를 해결하고 있습니다. AWS 클라우드 기술과 분석 솔루션의 강력한 성능을 통해 고객은 혁신 여정을 가속화할 수 있습니다. 이 세션에서는 기업 고객들이 클라우드에서 데이터의 힘을 활용하여 혁신 목표를 달성하고 필요한 결과를 제공하는 방법에 대해 다룹니다.
LG전자 - Amazon Aurora 및 RDS 블루/그린 배포를 이용한 데이터베이스 업그레이드 안정성 확보 - 발표자: 이은경 책임, L...Amazon Web Services Korea
LG ThinQ는 LG전자의 가전제품과 서비스를 아우르는 플랫폼 브랜드로서 앱 하나로 간편한 컨트롤, 똑똑한 케어, 스마트한 쇼핑까지 한번에 가능한 플랫폼입니다. ThinQ 플랫폼은 글로벌 서비스로 제공되고 있어, 작업 시간을 최소화하고, 서비스의 영향을 최소화 할 필요가 있었습니다. 따라서 DB 버전 업그레이드 작업 시 애플리케이션 배포가 필요없는 Blue/Green Deployment 방식은 최선의 선택이 되었습니다.
KB국민카드 - 클라우드 기반 분석 플랫폼 혁신 여정 - 발표자: 박창용 과장, 데이터전략본부, AI혁신부, KB카드│강병억, Soluti...Amazon Web Services Korea
온프레미스 분석 플랫폼에는 자원 증설 비용, 자원 관리 비용, 신규 자원 도입 및 환경 설정의 리드타임 등 다양한 측면에서의 한계가 존재합니다. 이에 KB국민카드에서는 기존 분석 플랫폼의 한계를 극복함과 동시에 시너지를 낼 수 있는 클라우드 기반 분석 플랫폼을 설계 및 도입하였습니다. 본 사례 소개는 KB국민카드의 데이터 혁신 여정과 노하우를 소개합니다.
SK Telecom - 망관리 프로젝트 TANGO의 오픈소스 데이터베이스 전환 여정 - 발표자 : 박승전, Project Manager, ...Amazon Web Services Korea
SK Telecom의 망관리 프로젝트인 TANGO에서는 오라클을 기반으로 시스템을 구축하여 운영해 왔습니다. 하지만 늘어나는 사용자와 데이터로 인해 유연하고 비용 효율적인 인프라가 필요하게 되었고, 이에 클라우드 도입을 검토 및 실행에 옮기게 되었습니다. TANGO 프로젝트의 클라우드 도입을 위한 검토부터 준비, 실행 및 이를 통해 얻게 된 교훈과 향후 계획에 대해 소개합니다.
코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS ...Amazon Web Services Korea
2022년 코리안리는 핵심업무시스템(기간계/정보계 시스템)을 AWS 클라우드로 전환하는 사업과 AWS 클라우드 기반에서 손익분석을 위한 어플리케이션 구축 사업을 동시에 진행하고 있었습니다. 이에 따라 클라우드 전환 이후 시스템 간 상호운용성과 호환성을갖춘 데이터 분석 플랫폼 또한 필요하게 되었습니다. 코리안리 IT 환경에 적합한 플랫폼 선정을 위하여 AWS Native Analytics Platform, 3rd Party Analytics Platform (클라우데라, 데이터브릭스)과의 PoC를 진행하고, 최종적으로 AWS Native Analytics Platform 으로 확정하였습니다. 코리안리는 메가존클라우드와 함께 2022년 10월부터 4개월(구축 3개월, 안정화 및 교육 1개월) 동안 AWS 기반 데이터 분석 플랫폼을 구축하고 활용 범위를 지속적으로 확대하고 있습니다.
LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...Amazon Web Services Korea
LG 이노텍은 세계 시장을 선도하는 글로벌 소재·부품기업으로, Amazon Redshift 을 데이터 분석 플랫폼의 핵심 서비스로 활용하고 있습니다.지속적인 데이터 증가와 업무 확대에 따른 유연한 아키텍처 개선의 필요성에 대처하기 위해, 2022년에 AWS 에서 발표된 Redshift Serverless 를 활용한, 비용 최적화된 아키텍처 개선 과정의 실사례를 엿볼수 있는 기회가 됩니다.
LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...
AWS CLOUD 2018- AWS의 새로운 통합 머신러닝 플랫폼 서비스, Amazon SageMaker (김무현 솔루션즈 아키텍트)
1. AWS의 새로운 통합 머신러닝 플랫폼 서비스
Amazon SageMaker
김무현 / AWS 솔루션즈 아키텍트
2. 목차
• 머신러닝 프로세스 리뷰
• Amazon SageMaker 소개
• Amazon SageMaker 주요 기능
• 데모
3. 모든 개발자와 데이터 과학자들이 사용할 수 있는
서비스를 제공하는 것입니다.
ML on AWS: Our mission
4. FRAMEWORKS AND INTERFACES
AWS DEEP LEARNING API
Apache MXNet TensorFlowCaffe2 Torch KerasCNTK PyTorch GluonTheano
PLATFORM SERVICES
V I S I O N
AWS DeepLens
L A N G U A G E
A P P L I C A T I O N S E R V I C E S
Amazon Rekogni
tion
Amazon Polly Amazon Lex
Amazon Rekognitio
n Video
Amazon Transcribe Amazon Translate Amazon Comprehend
Alexa for Business
V R / I R Amazon Sumerian
Amazon Kinesis
Video Streams
AWS 머신러닝 스택
Amazon SageMaker
6. Data Visualization &
Analysis
Business Problem –
Data Collection
Data Integration
Data Preparation &
Cleaning
Feature Engineering
Model Training &
Parameter Tuning
Model Evaluation
Are Business
Goals met?
Model Deployment
Monitoring &
Debugging
– Predictions
YesNo
DataAugmentation
Feature
Augmentation
Re-training
ML problem framing
머신러닝 프로세스
7. Data Visualization &
Analysis
Business Problem –
Data Collection
Data Integration
Data Preparation &
Cleaning
Feature Engineering
Model Training &
Parameter Tuning
Model Evaluation
Are Business
Goals met?
Model Deployment
Monitoring &
Debugging
– Predictions
YesNo
DataAugmentation
Feature
Augmentation
Re-training
ML problem framing
탐색: 분석
•정확한 질문을 만들
는데 도움을 주는 것
• Domain Knowledge
8. Data Visualization &
Analysis
Business Problem –
Data Collection
Data Integration
Data Preparation &
Cleaning
Feature Engineering
Model Training &
Parameter Tuning
Model Evaluation
Are Business
Goals met?
Model Deployment
Monitoring &
Debugging
– Predictions
YesNo
DataAugmentation
Feature
Augmentation
Re-training
ML problem framing
통합: 데이터 아키텍처
•데이터 플렛폼 구현
• Amazon S3
• AWS Glue
• Amazon Athena
• Amazon EMR
• Amazon Redshift Spectrum
9. Data Visualization &
Analysis
Business Problem –
Data Collection
Data Integration
Data Preparation &
Cleaning
Feature Engineering
Model Training &
Parameter Tuning
Model Evaluation
Are Business
Goals met?
Model Deployment
Monitoring &
Debugging
– Predictions
YesNo
DataAugmentation
Feature
Augmentation
Re-training
ML problem framing
왜 SageMaker를 만들었나 학습 환경 제공
• 노트북 환경 구성 및 관리
• 학습 클러스터 구성 및 관리
• 데이터 커넥터 작성
• 대용량 데이터를 수용할 수 있
는 확장성 있는 ML 알고리즘
• 여러 노드를 사용할 수 있는
분산 ML 학습 알고리즘
• 모델 결과물에 대한 보안
10. Data Visualization &
Analysis
Business Problem –
Data Collection
Data Integration
Data Preparation &
Cleaning
Feature Engineering
Model Training &
Parameter Tuning
Model Evaluation
Are Business
Goals met?
Model Deployment
Monitoring &
Debugging
– Predictions
YesNo
DataAugmentation
Feature
Augmentation
Re-training
ML problem framing
왜 SageMaker를 만들었나 배포 환경 제공
• 인퍼런스 클러스터 구성 및
운영
• 인퍼런스 API를 확장성 있게
구성하고 운영하기
• 모델 예측 결과에 대한 모니
터링과 디버깅
• 모델 버저닝과 성능 추적
• 새로운 모델을 운영환경에
A/B 테스팅 형태로 배포
11. 데이터 과학자와 개발자들이 스마트 어플리케이션에 사용될
머신러닝 기반의 모델을 빠르고 쉽게 만들도록 해주는
완전 관리형 서비스
Amazon SageMakerNEW!
13. 한번 클릭으로
ML, DL,
커스텀 알고리즘 학습
구축사전에 빌드된
노트북 인스턴스
하이퍼파라메터 최적화를
통한 손쉬운 학습
학습
Amazon SageMaker
고도로 최적화된
머신러닝 알고리즘들
14. 엔지니어링 노력이
필요없는 배포
확장성이 있는 관전
관리형 모델 호스팅
구축사전에 빌드된
노트북 인스턴스
배포
학습
Amazon SageMaker
고도로 최적화된
머신러닝 알고리즘들
한번 클릭으로
ML, DL,
커스텀 알고리즘 학습
하이퍼파라메터 최적화를
통한 손쉬운 학습
16. Amazon ECR
Model Training (on EC2)
Amazon SageMaker
Client application
Training code
학습 코드 및
학습 데이터세트
준비
17. Amazon ECR
Model Training (on EC2)
Trainingdata
Training code Helper code
Client application
Training code
Amazon SageMaker
학습 환경 구성
및
학습 수행
18. Amazon ECR
Model Training (on EC2)
Trainingdata
Modelartifacts
Training code Helper code
Client application
Inference code
Training code
Amazon SageMaker
학습 완료된 모델
저장
및
예측 코드 준비
19. Amazon ECR
Model Training (on EC2)
Model Hosting (on EC2)
Trainingdata
Modelartifacts
Training code Helper code
Helper codeInference code
Client application
Inference code
Training code
Amazon SageMaker
예측 환경 구성
및
모델 호스팅
20. Amazon ECR
Model Training (on EC2)
Model Hosting (on EC2)
Trainingdata
Modelartifacts
Training code Helper code
Helper codeInference code
Client application
Inference code
Training code
Inference requestInference response
Inference Endpoint
Amazon SageMaker
예측 엔드포인트
를 통한 API 서비
스 제공
21. Amazon ECR
Model Training (on EC2)
Model Hosting (on EC2)
Trainingdata
Modelartifacts
Training code Helper code
Helper codeInference code
GroundTruth
Client application
Inference code
Training code
Inference requestInference response
Inference Endpoint
Amazon SageMaker
새로운
학습 데이터 수집
및 재학습, 배포 …
22. Intuit에서 말하는 SageMaker의 장점들
노트북 환경을 Ad-hoc 하게 구성하고 관리
해야했음
모델 배포 환경 선택의 제약
팀간의 컴퓨트 자원 경쟁
SageMaker 노트북에서 쉬운 데이터 탐색
가능
가상화를 활용한 유연한 배포 환경 구성
Auto-scale이 지원되는 모델 호스팅 환경
SageMaker 사용 전 SageMaker 사용 후
23. Model Hosting (SageMaker)
SageMaker를 이용한 실시간 사기 탐지 기능
Calculate Featu
res
Reader
Cleanser
Processor
Data
Lookup
Training
Feature Store
Model Training (SageMaker)
Model
Client Service
Amazon EM
R
Amazon SageMa
ker
Amazon SageMa
ker
25. 1
I
Notebook 인스턴스
데이터 탐색을 통한 분석을 바로 수행
노트북 작성
AWS 데이터베이스
서비스에 ELT 접근
S3 데이터 레이크
접근
• 추전/개인화
• 이상 거래 탐지
• 예측
• 이미지 분류
• 이탈 예측
• 마케팅 이메일, 캠패인 타케팅
• 로그 프로세스 및 이상 탐지
• 음성을 텍스트로 변환
• …
“Just add data”
Zero Setup
26. 예제 - Jupyter 노트북 만들기
SageMaker가 없다면 …
1. AWS Deep Learning AMI 선택
2. EC2 인스턴스 생성
3. Jupuyter 노트북 서비스 구동
4. SSH 터널링 설정
5. Jupyter 노트북 접속
6. 문제 생기면, 3번부터 반복
SageMaker를 이용하면 …
1. Jupyter 인스턴스 생성 요청
2. AWS 콘솔에서 Jupyter 노트북 열기
IAM
Role
28. 2
I
Algorithms
Training code
• Matrix Factorization
• Regression
• Principal Component Analysis
• K-Means Clustering
• Gradient Boosted Trees
• Time-series Prediction
• Image Classification
• 더 많은 알고리즘 추가 예정
Amazon provided Algorithms
Bring Your Own Script (SageMaker builds the Container)
SageMaker Estimators i
n Apache Spark Bring Your Own Algorithm (You build the Container)
속도와 큰 데이터에 최적화된 ML Algorithm
29. 데이터셋 스트리밍을
통한 저렴한 학습 비용
싱글 패스로
빠른 학습
아주 큰 데이터셋에
대한 학습이 가능
다양한
ML 알고리즘 제공
I
Algorithms
Amazon SageMaker ML 알고리즘 특징
30. 빌트인 ML Algorithm 종류
문제 알고리즘 러닝 형태
Discrete Classification,
Regression
Linear Learner Supervised
XGBoost Algorithm Supervised
Discrete Recommendations Factorization Machines Supervised
Image Classification Image Classification Algorithm Supervised, CNN
Neural Machine Translation Sequence to Sequence Supervised, seq2seq
Time-series Prediction DeepAR Supervised, RNN
Discrete Groupings K-Means Algorithm Unsupervised
Dimensionality Reduction PCA (Principal Component Analysis) Unsupervised
Topic Determination Latent Dirichlet Allocation (LDA) Unsupervised
Neural Topic Model (NTM) Unsupervised,
Neural Network Based
31. 알고리즘을 조금 더 살펴보면 …
Neural Machine Translation
• Recurrent Neural Networks (RNNs)와 Convolutional Neural Network (CNN)
모델을 attention과 함께 사용하는 encoder-decoder 아키텍처
• 활용예 - 기계 번역, 텍스트 요약, 음성을 텍스트로 변환
Time-series Forecasting
• 관련된 여러 Time-series 학습 데이터들로 부터 패턴을 학습해서 정확한 예측 모델을
생성하는 알고리즘
• https://arxiv.org/abs/1704.04110
• 특정 시점에 대한 예측 및 특정 기간에 대한 예측 결과 제공
32. SageMaker를 이용한 학습의 단순화
1.학습 환경 구성
1) EC2, EBS 생성
2) 필요시 클러스터 구성
2.EC2에 필요한 파일들 복사
1) 학습 스크립트 복사
2) 학습 데이터 복사
3.학습 수행
4.학습 완료 후,
1) 모델을 영구 스토리지로 이동
2) 학습 환경 삭제
33. Amazon SageMaker를 Apache Spark와 함께 사용
Apache Spark
데이터 전처리 모델 학습 모델 호스팅
Amazon SageMaker
• 연동을 위한 SageMaker Spark SDK 제공
• Spark ML 파이프라인에 SageMaker를 통합해서 학습 및 모델 호스팅에 사용할 수 있음
34. 어떤 머신러닝/딥러닝 프레임워크와도 함께 사용
• ML/DL 프레임워크
• 학습 스크립트
• 예측 스크립트
• API 설정
ECR
학습 데이터 API 서비스
학습된 모델
• 학습 수행
• 모델 호스팅
35. Training code
• Matrix Factorization
• Regression
• Principal Component Analysis
• K-Means Clustering
• Gradient Boosted Trees
• And More!
Amazon provided Algorithms
Bring Your Own Script (SageMaker builds the Container)
Bring Your Own Algorithm (You build the Container)
3
I
ML 학습 서비스
학습 데이터 로딩
모델 결과물 저장
Fully
managed
–
Secured–
Amazon ECR
예측 코드 저장
SageMaker Estimator
s in Apache Spark
CPU GPU HPO
유연한 분산 학습 환경을 관리형 서비스로 제공
39. Amazon ECR
30 50
10 10
InstanceType: c3.4xlarge
InitialInstanceCount: 3
ModelName: prod
VariantName: primary
InitialVariantWeight: 50
Model Artifacts
Inference Image
가중치를 적용한
ProductionVariants
생성
Amazon SageMaker
ProductionVariant
여러 버전의
모델
4
I
ML Hosting Service
쉬운 모델 배포
40. Amazon ECR
30 50
10 10
Model Artifacts
Inference Image
하나 이상의
ProductionVariant를
이용해서
EndpointConfiguration 생성EndpointConfiguration
Amazon SageMaker
ProductionVariant
InstanceType: c3.4xlarge
InitialInstanceCount: 3
ModelName: prod
VariantName: primary
InitialVariantWeight: 50
여러 버전의
모델
4
I
ML Hosting Service
쉬운 모델 배포
41. Amazon ECR
30 50
10 10
Model Artifacts
Inference Image
EndpointConfiguration 를 이
용해서 Endpoint 생성
EndpointConfiguration
Amazon SageMaker
ProductionVariant
InstanceType: c3.4xlarge
InitialInstanceCount: 3
ModelName: prod
VariantName: primary
InitialVariantWeight: 50
여러 버전의
모델
Inference Endpoint
4
I
ML Hosting Service
쉬운 모델 배포
55. 1. “Getting started with Amazon SageMaker”를 통한 간단한
실습
2. Amazon SageMaker SDK 사용법 익히기
• Python: https://github.com/aws/sagemaker-python-sdk
• Spark: https://github.com/aws/sagemaker-spark
3. SageMaker 예제들
https://github.com/awslabs/amazon-sagemaker-examples
본 강연이 끝난 후…