SlideShare a Scribd company logo

[금융사를 위한 AWS Generative AI Day 2023] 7_다양한 AI 워크로드를 위한 최적의 Accelerator 사용 및 AWS 실리콘 활용 방안_김희민_AWS.pdf

AWS Korea 금융산업팀
AWS Korea 금융산업팀
AWS Korea 금융산업팀Team at AWS Korea 금융산업팀

Amazon EC2는 다양한 AI Workload를 위한 폭넓고 효율적인 EC2 포트폴리오를 제공하고 있습니다. P5 및 G5 같은 GPU 기반 고성능 인스턴스에서부터 최고의 가격대 성능을 위한 AI Workload 전용 AWS 실리콘으로 제작된 트레니움 및 인퍼런시아 인스턴스까지 다양한 워크로드에 적합한 인스턴스가 있습니다. 이 세션에서는 AI Workload에 따른 효율적인 Accelerator사용 전략을 소개하고, AWS 실리콘의 실제 활용한 사례를 공유합니다.

[금융사를 위한 AWS Generative AI Day 2023] 7_다양한 AI 워크로드를 위한 최적의 Accelerator 사용 및 AWS 실리콘 활용 방안_김희민_AWS.pdf

1 of 28
Download to read offline
UPDATE EVENT TITLE IN SLIDE MASTER
FINANCIAL SERVICES |
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
A W S G E N E R A T I V E A I D A Y F O R F S I
다양한 AI 워크로드를 위한 최적의 Accelerator 활용 방안
Powered by AWS silicon
김희민
Sr Accelerated Computing Specialist
Amazon Web Services
금융사를 위한 AWS GENERATIVE AI DAY
FINANCIAL SERVICES |
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 2
Accelerated Computing Workloads 특징
AWS Cloud-native Accelerated Computing 차별성
AI paradigm shift into the purpose-built ASIC(Inferentia, Trainium)
Accelerated Computing Market Trend
Agenda
UPDATE EVENT TITLE IN SLIDE MASTER
FINANCIAL SERVICES |
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Accelerated Computing Workloads Market Trend
3
금융사를 위한 AWS GENERATIVE AI DAY
FINANCIAL SERVICES |
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
The AWS AI/ML stack
ML FRAMEWORKS
& INFRASTRUCTURE
STUDIO IDE
AMAZON
SAGEMAKER
CANVAS
No-code ML for
business analysts
STUDIO LAB
Learn ML
GROUND TRUTH
Label data Prepare data Geospatial
ML
Store features
Build with
notebooks
Train
models
Tune
parameters
Manage
and monitor
Deploy in
production
PyTorch, TensorFlow Amazon EC2 CPUs GPUs
AWS
Trainium
AWS
Inferentia
FPGA
Habana
Gaudi
CORE
SPECIALIZED
AI
SERVICES
BUSINESS PROCESSES
Amazon Personalize
Amazon Forecast
Amazon Fraud Detector
Amazon Lookout for Metrics
SEARCH
Amazon Kendra
CONVERSATION
Amazon Lex
Amazon Transcribe Call Analytics
Contact Lens
Voice ID
CODE + DEVOPS
Amazon CodeGuru
Amazon CodeWhisperer
Amazon DevOps Guru
INDUSTRIAL
Amazon Monitron
Amazon Lookout for Equipment
Amazon Lookout for Vision
HEALTH
Amazon HealthLake
Amazon Comprehend Medical
Amazon Transcribe Medical
Amazon Omics
TEXT
Amazon Translate Amazon Comprehend
SPEECH
Amazon Polly Amazon Transcribe
VISION
Amazon Textract Amazon Rekognition AWS Panorama
CI/CD | GOVERNANCE | RESPONSIBLE ML
EDGE MANAGER
Manage edge devices
금융사를 위한 AWS GENERATIVE AI DAY
FINANCIAL SERVICES |
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
AWS: broadest and deepest infrastructure for AI/ML
ML
FRAMEWORKS
AND
INFRASTRUCTURE
ML Frameworks &
Opensource
Orchestration
EC2 Instances Trn1(n) Inf2 DL1
Amazon EKS Amazon ECS AWS Batch AWS ParallelCluster
PyTorch TensorFlow Hugging Face OpenXLA
Inf1 P5 P4de* P3 G5 G5g G4dn VT1 F1
Trainium accelerator
Inferentia accelerator
Graviton CPU
H100, A100, V100 GPU
A10G, T4 GPU
Gaudi accelerator
Storage/Networking Amazon EFS Amazon S3 Amazon FSx for Lustre EFA
P4d G4ad
Radeon GPU
Xilinx accelerator
Xilinx FPGA
* Preview
금융사를 위한 AWS GENERATIVE AI DAY
FINANCIAL SERVICES |
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Accelerated Computing Workloads Market
6
• 기존 CPU 로 처리가 어려운 고성능 병렬 분산 Workloads 등장
- e.g. AI/ML, 3D Graphic, Spatial Computing, Autonomous Vehicles + HPC
• CPU 를 대신하는 Accelerator 와 별도의 Network, Storage 기술 필요
- e.g. GPU, ASIC, 인피니밴드, 병렬분산 스토리지, Orchestration
• Super-Computing 기술의 Cloud-Native 적용 방안
- e.g. Nitro Card, EFA, SRD, Nitro System(Hypervisor), Network Topology, FSx for Lustre
• AI workload 에 최적화된 Accelerator?
- General Purpose GPU 는 다양한 병렬 Workload 에 최적화, AI/ML 에 최적화된 Accelerator 가 필요

Recommended

[금융사를 위한 AWS Generative AI Day 2023] 3_AWS Generative AI 기술특징과 접근...
[금융사를 위한 AWS Generative AI Day 2023] 3_AWS Generative AI 기술특징과 접근...[금융사를 위한 AWS Generative AI Day 2023] 3_AWS Generative AI 기술특징과 접근...
[금융사를 위한 AWS Generative AI Day 2023] 3_AWS Generative AI 기술특징과 접근...AWS Korea 금융산업팀
 
[금융사를 위한 AWS Generative AI Day 2023] 4_AWS Generative AI 서비스의 활용 방ᄇ...
[금융사를 위한 AWS Generative AI Day 2023] 4_AWS Generative AI 서비스의 활용 방ᄇ...[금융사를 위한 AWS Generative AI Day 2023] 4_AWS Generative AI 서비스의 활용 방ᄇ...
[금융사를 위한 AWS Generative AI Day 2023] 4_AWS Generative AI 서비스의 활용 방ᄇ...AWS Korea 금융산업팀
 
[금융사를 위한 AWS Generative AI Day 2023] 2_세상을 바꾸고 있는 Generative AI에...
[금융사를 위한 AWS Generative AI Day 2023] 2_세상을 바꾸고 있는 Generative AI에...[금융사를 위한 AWS Generative AI Day 2023] 2_세상을 바꾸고 있는 Generative AI에...
[금융사를 위한 AWS Generative AI Day 2023] 2_세상을 바꾸고 있는 Generative AI에...AWS Korea 금융산업팀
 
[금융사를 위한 AWS Generative AI Day 2023] 8_Wrap-up과 QnA_금융사의 AI와 관련하...
[금융사를 위한 AWS Generative AI Day 2023] 8_Wrap-up과 QnA_금융사의 AI와 관련하...[금융사를 위한 AWS Generative AI Day 2023] 8_Wrap-up과 QnA_금융사의 AI와 관련하...
[금융사를 위한 AWS Generative AI Day 2023] 8_Wrap-up과 QnA_금융사의 AI와 관련하...AWS Korea 금융산업팀
 
[보험사를 위한 AWS Data Analytics Day] 3_교보생명의 빅데이터 플랫폼 ...
[보험사를 위한 AWS Data Analytics Day] 3_교보생명의 빅데이터 플랫폼 ...[보험사를 위한 AWS Data Analytics Day] 3_교보생명의 빅데이터 플랫폼 ...
[보험사를 위한 AWS Data Analytics Day] 3_교보생명의 빅데이터 플랫폼 ...AWS Korea 금융산업팀
 
[보험사를 위한 AWS Data Analytics Day] 2_금융의 핵심자산 Data, 글로ᄇ...
[보험사를 위한 AWS Data Analytics Day] 2_금융의 핵심자산 Data, 글로ᄇ...[보험사를 위한 AWS Data Analytics Day] 2_금융의 핵심자산 Data, 글로ᄇ...
[보험사를 위한 AWS Data Analytics Day] 2_금융의 핵심자산 Data, 글로ᄇ...AWS Korea 금융산업팀
 
[보험사를 위한 AWS Data Analytics Day] 4_신한금융그룹의 데이터 댐_Do...
[보험사를 위한 AWS Data Analytics Day] 4_신한금융그룹의 데이터 댐_Do...[보험사를 위한 AWS Data Analytics Day] 4_신한금융그룹의 데이터 댐_Do...
[보험사를 위한 AWS Data Analytics Day] 4_신한금융그룹의 데이터 댐_Do...AWS Korea 금융산업팀
 
AWS Summit Seoul 2023 | 비즈니스 경쟁에서 승리하기 위한 AWS AI/ML 서비스
AWS Summit Seoul 2023 | 비즈니스 경쟁에서 승리하기 위한 AWS AI/ML 서비스AWS Summit Seoul 2023 | 비즈니스 경쟁에서 승리하기 위한 AWS AI/ML 서비스
AWS Summit Seoul 2023 | 비즈니스 경쟁에서 승리하기 위한 AWS AI/ML 서비스Amazon Web Services Korea
 

More Related Content

What's hot

AWS 클라우드 비용 최적화를 위한 TIP - 임성은 AWS 매니저
AWS 클라우드 비용 최적화를 위한 TIP - 임성은 AWS 매니저AWS 클라우드 비용 최적화를 위한 TIP - 임성은 AWS 매니저
AWS 클라우드 비용 최적화를 위한 TIP - 임성은 AWS 매니저Amazon Web Services Korea
 
AWS Summit Seoul 2023 | 다중 계정 및 하이브리드 환경에서 안전한 IAM 체계 만들기
AWS Summit Seoul 2023 | 다중 계정 및 하이브리드 환경에서 안전한 IAM 체계 만들기AWS Summit Seoul 2023 | 다중 계정 및 하이브리드 환경에서 안전한 IAM 체계 만들기
AWS Summit Seoul 2023 | 다중 계정 및 하이브리드 환경에서 안전한 IAM 체계 만들기Amazon Web Services Korea
 
Optimizing Total Cost of Ownership for the AWS Cloud
Optimizing Total Cost of Ownership for the AWS CloudOptimizing Total Cost of Ownership for the AWS Cloud
Optimizing Total Cost of Ownership for the AWS CloudAmazon Web Services
 
금융권 최신 AWS 도입 사례 총정리 – 신한 제주 은행, KB손해보험 사례를 중심으로 - 지성국 사업 개발 담당 이사, AWS / 정을용...
금융권 최신 AWS 도입 사례 총정리 – 신한 제주 은행, KB손해보험 사례를 중심으로 - 지성국 사업 개발 담당 이사, AWS / 정을용...금융권 최신 AWS 도입 사례 총정리 – 신한 제주 은행, KB손해보험 사례를 중심으로 - 지성국 사업 개발 담당 이사, AWS / 정을용...
금융권 최신 AWS 도입 사례 총정리 – 신한 제주 은행, KB손해보험 사례를 중심으로 - 지성국 사업 개발 담당 이사, AWS / 정을용...Amazon Web Services Korea
 
AWS Summit Seoul 2023 | AWS Graviton과 함께하는 계획문제 최적화 애플리케이션 개발
AWS Summit Seoul 2023 | AWS Graviton과 함께하는 계획문제 최적화 애플리케이션 개발AWS Summit Seoul 2023 | AWS Graviton과 함께하는 계획문제 최적화 애플리케이션 개발
AWS Summit Seoul 2023 | AWS Graviton과 함께하는 계획문제 최적화 애플리케이션 개발Amazon Web Services Korea
 
[보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토ᄉ...
[보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토ᄉ...[보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토ᄉ...
[보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토ᄉ...AWS Korea 금융산업팀
 
20191127 AWS Black Belt Online Seminar Amazon CloudWatch Container Insights で...
20191127 AWS Black Belt Online Seminar Amazon CloudWatch Container Insights で...20191127 AWS Black Belt Online Seminar Amazon CloudWatch Container Insights で...
20191127 AWS Black Belt Online Seminar Amazon CloudWatch Container Insights で...Amazon Web Services Japan
 
AWS를 활용한 리테일,이커머스 워크로드와 온라인 서비스 이관 사례::이동열, 임혁용:: AWS Summit Seoul 2018
AWS를 활용한 리테일,이커머스 워크로드와 온라인 서비스 이관 사례::이동열, 임혁용:: AWS Summit Seoul 2018 AWS를 활용한 리테일,이커머스 워크로드와 온라인 서비스 이관 사례::이동열, 임혁용:: AWS Summit Seoul 2018
AWS를 활용한 리테일,이커머스 워크로드와 온라인 서비스 이관 사례::이동열, 임혁용:: AWS Summit Seoul 2018 Amazon Web Services Korea
 
AWS初心者向けWebinar AWSにおけるセキュリティとコンプライアンス
AWS初心者向けWebinar AWSにおけるセキュリティとコンプライアンスAWS初心者向けWebinar AWSにおけるセキュリティとコンプライアンス
AWS初心者向けWebinar AWSにおけるセキュリティとコンプライアンスAmazon Web Services Japan
 
AWS Summit Seoul 2023 | 데이터, 분석 및 AI를 통합하는 단 하나의 레이크하우스, Databricks on AWS 로 ...
AWS Summit Seoul 2023 | 데이터, 분석 및 AI를 통합하는 단 하나의 레이크하우스, Databricks on AWS 로 ...AWS Summit Seoul 2023 | 데이터, 분석 및 AI를 통합하는 단 하나의 레이크하우스, Databricks on AWS 로 ...
AWS Summit Seoul 2023 | 데이터, 분석 및 AI를 통합하는 단 하나의 레이크하우스, Databricks on AWS 로 ...Amazon Web Services Korea
 
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説Amazon Web Services Japan
 
금융권 고객을 위한 클라우드 보안 및 규정 준수 가이드 - 이대근 시큐리티 어슈어런스 매니저, AWS :: AWS Summit Seoul ...
금융권 고객을 위한 클라우드 보안 및 규정 준수 가이드 - 이대근 시큐리티 어슈어런스 매니저, AWS :: AWS Summit Seoul ...금융권 고객을 위한 클라우드 보안 및 규정 준수 가이드 - 이대근 시큐리티 어슈어런스 매니저, AWS :: AWS Summit Seoul ...
금융권 고객을 위한 클라우드 보안 및 규정 준수 가이드 - 이대근 시큐리티 어슈어런스 매니저, AWS :: AWS Summit Seoul ...Amazon Web Services Korea
 
있는 그대로 저장하고, 바로 분석 가능한, 새로운 관점의 데이터 애널리틱 플랫폼 - 정세웅 애널리틱 스페셜리스트, AWS
있는 그대로 저장하고, 바로 분석 가능한, 새로운 관점의 데이터 애널리틱 플랫폼 - 정세웅 애널리틱 스페셜리스트, AWS있는 그대로 저장하고, 바로 분석 가능한, 새로운 관점의 데이터 애널리틱 플랫폼 - 정세웅 애널리틱 스페셜리스트, AWS
있는 그대로 저장하고, 바로 분석 가능한, 새로운 관점의 데이터 애널리틱 플랫폼 - 정세웅 애널리틱 스페셜리스트, AWSAmazon Web Services Korea
 
CloudFront(클라우드 프론트)와 Route53(라우트53) AWS Summit Seoul 2015
CloudFront(클라우드 프론트)와 Route53(라우트53) AWS Summit Seoul 2015CloudFront(클라우드 프론트)와 Route53(라우트53) AWS Summit Seoul 2015
CloudFront(클라우드 프론트)와 Route53(라우트53) AWS Summit Seoul 2015WineSOFT
 
AWS Summit Seoul 2023 | 비즈니스 경계를 허무는 혁신: 단 하나의 선택, 슈퍼앱
AWS Summit Seoul 2023 | 비즈니스 경계를 허무는 혁신: 단 하나의 선택, 슈퍼앱AWS Summit Seoul 2023 | 비즈니스 경계를 허무는 혁신: 단 하나의 선택, 슈퍼앱
AWS Summit Seoul 2023 | 비즈니스 경계를 허무는 혁신: 단 하나의 선택, 슈퍼앱Amazon Web Services Korea
 
AWS Summit Seoul 2023 | 금융 디지털 서비스 혁신을 리딩하는 교보정보통신의 클라우드 마이그레이션 사례 소개
AWS Summit Seoul 2023 | 금융 디지털 서비스 혁신을 리딩하는 교보정보통신의 클라우드 마이그레이션 사례 소개AWS Summit Seoul 2023 | 금융 디지털 서비스 혁신을 리딩하는 교보정보통신의 클라우드 마이그레이션 사례 소개
AWS Summit Seoul 2023 | 금융 디지털 서비스 혁신을 리딩하는 교보정보통신의 클라우드 마이그레이션 사례 소개Amazon Web Services Korea
 

What's hot (20)

AWS 클라우드 비용 최적화를 위한 TIP - 임성은 AWS 매니저
AWS 클라우드 비용 최적화를 위한 TIP - 임성은 AWS 매니저AWS 클라우드 비용 최적화를 위한 TIP - 임성은 AWS 매니저
AWS 클라우드 비용 최적화를 위한 TIP - 임성은 AWS 매니저
 
AWS Summit Seoul 2023 | 다중 계정 및 하이브리드 환경에서 안전한 IAM 체계 만들기
AWS Summit Seoul 2023 | 다중 계정 및 하이브리드 환경에서 안전한 IAM 체계 만들기AWS Summit Seoul 2023 | 다중 계정 및 하이브리드 환경에서 안전한 IAM 체계 만들기
AWS Summit Seoul 2023 | 다중 계정 및 하이브리드 환경에서 안전한 IAM 체계 만들기
 
Optimizing Total Cost of Ownership for the AWS Cloud
Optimizing Total Cost of Ownership for the AWS CloudOptimizing Total Cost of Ownership for the AWS Cloud
Optimizing Total Cost of Ownership for the AWS Cloud
 
금융권 최신 AWS 도입 사례 총정리 – 신한 제주 은행, KB손해보험 사례를 중심으로 - 지성국 사업 개발 담당 이사, AWS / 정을용...
금융권 최신 AWS 도입 사례 총정리 – 신한 제주 은행, KB손해보험 사례를 중심으로 - 지성국 사업 개발 담당 이사, AWS / 정을용...금융권 최신 AWS 도입 사례 총정리 – 신한 제주 은행, KB손해보험 사례를 중심으로 - 지성국 사업 개발 담당 이사, AWS / 정을용...
금융권 최신 AWS 도입 사례 총정리 – 신한 제주 은행, KB손해보험 사례를 중심으로 - 지성국 사업 개발 담당 이사, AWS / 정을용...
 
AWS Summit Seoul 2023 | AWS Graviton과 함께하는 계획문제 최적화 애플리케이션 개발
AWS Summit Seoul 2023 | AWS Graviton과 함께하는 계획문제 최적화 애플리케이션 개발AWS Summit Seoul 2023 | AWS Graviton과 함께하는 계획문제 최적화 애플리케이션 개발
AWS Summit Seoul 2023 | AWS Graviton과 함께하는 계획문제 최적화 애플리케이션 개발
 
[보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토ᄉ...
[보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토ᄉ...[보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토ᄉ...
[보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토ᄉ...
 
AWS 101
AWS 101AWS 101
AWS 101
 
Cost Optimization on AWS
Cost Optimization on AWSCost Optimization on AWS
Cost Optimization on AWS
 
Cost Optimization in AWS
Cost Optimization in AWSCost Optimization in AWS
Cost Optimization in AWS
 
20191127 AWS Black Belt Online Seminar Amazon CloudWatch Container Insights で...
20191127 AWS Black Belt Online Seminar Amazon CloudWatch Container Insights で...20191127 AWS Black Belt Online Seminar Amazon CloudWatch Container Insights で...
20191127 AWS Black Belt Online Seminar Amazon CloudWatch Container Insights で...
 
AWS Blackbelt 2015シリーズ AWS Lambda
AWS Blackbelt 2015シリーズ AWS LambdaAWS Blackbelt 2015シリーズ AWS Lambda
AWS Blackbelt 2015シリーズ AWS Lambda
 
AWS를 활용한 리테일,이커머스 워크로드와 온라인 서비스 이관 사례::이동열, 임혁용:: AWS Summit Seoul 2018
AWS를 활용한 리테일,이커머스 워크로드와 온라인 서비스 이관 사례::이동열, 임혁용:: AWS Summit Seoul 2018 AWS를 활용한 리테일,이커머스 워크로드와 온라인 서비스 이관 사례::이동열, 임혁용:: AWS Summit Seoul 2018
AWS를 활용한 리테일,이커머스 워크로드와 온라인 서비스 이관 사례::이동열, 임혁용:: AWS Summit Seoul 2018
 
AWS初心者向けWebinar AWSにおけるセキュリティとコンプライアンス
AWS初心者向けWebinar AWSにおけるセキュリティとコンプライアンスAWS初心者向けWebinar AWSにおけるセキュリティとコンプライアンス
AWS初心者向けWebinar AWSにおけるセキュリティとコンプライアンス
 
AWS Summit Seoul 2023 | 데이터, 분석 및 AI를 통합하는 단 하나의 레이크하우스, Databricks on AWS 로 ...
AWS Summit Seoul 2023 | 데이터, 분석 및 AI를 통합하는 단 하나의 레이크하우스, Databricks on AWS 로 ...AWS Summit Seoul 2023 | 데이터, 분석 및 AI를 통합하는 단 하나의 레이크하우스, Databricks on AWS 로 ...
AWS Summit Seoul 2023 | 데이터, 분석 및 AI를 통합하는 단 하나의 레이크하우스, Databricks on AWS 로 ...
 
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
 
금융권 고객을 위한 클라우드 보안 및 규정 준수 가이드 - 이대근 시큐리티 어슈어런스 매니저, AWS :: AWS Summit Seoul ...
금융권 고객을 위한 클라우드 보안 및 규정 준수 가이드 - 이대근 시큐리티 어슈어런스 매니저, AWS :: AWS Summit Seoul ...금융권 고객을 위한 클라우드 보안 및 규정 준수 가이드 - 이대근 시큐리티 어슈어런스 매니저, AWS :: AWS Summit Seoul ...
금융권 고객을 위한 클라우드 보안 및 규정 준수 가이드 - 이대근 시큐리티 어슈어런스 매니저, AWS :: AWS Summit Seoul ...
 
있는 그대로 저장하고, 바로 분석 가능한, 새로운 관점의 데이터 애널리틱 플랫폼 - 정세웅 애널리틱 스페셜리스트, AWS
있는 그대로 저장하고, 바로 분석 가능한, 새로운 관점의 데이터 애널리틱 플랫폼 - 정세웅 애널리틱 스페셜리스트, AWS있는 그대로 저장하고, 바로 분석 가능한, 새로운 관점의 데이터 애널리틱 플랫폼 - 정세웅 애널리틱 스페셜리스트, AWS
있는 그대로 저장하고, 바로 분석 가능한, 새로운 관점의 데이터 애널리틱 플랫폼 - 정세웅 애널리틱 스페셜리스트, AWS
 
CloudFront(클라우드 프론트)와 Route53(라우트53) AWS Summit Seoul 2015
CloudFront(클라우드 프론트)와 Route53(라우트53) AWS Summit Seoul 2015CloudFront(클라우드 프론트)와 Route53(라우트53) AWS Summit Seoul 2015
CloudFront(클라우드 프론트)와 Route53(라우트53) AWS Summit Seoul 2015
 
AWS Summit Seoul 2023 | 비즈니스 경계를 허무는 혁신: 단 하나의 선택, 슈퍼앱
AWS Summit Seoul 2023 | 비즈니스 경계를 허무는 혁신: 단 하나의 선택, 슈퍼앱AWS Summit Seoul 2023 | 비즈니스 경계를 허무는 혁신: 단 하나의 선택, 슈퍼앱
AWS Summit Seoul 2023 | 비즈니스 경계를 허무는 혁신: 단 하나의 선택, 슈퍼앱
 
AWS Summit Seoul 2023 | 금융 디지털 서비스 혁신을 리딩하는 교보정보통신의 클라우드 마이그레이션 사례 소개
AWS Summit Seoul 2023 | 금융 디지털 서비스 혁신을 리딩하는 교보정보통신의 클라우드 마이그레이션 사례 소개AWS Summit Seoul 2023 | 금융 디지털 서비스 혁신을 리딩하는 교보정보통신의 클라우드 마이그레이션 사례 소개
AWS Summit Seoul 2023 | 금융 디지털 서비스 혁신을 리딩하는 교보정보통신의 클라우드 마이그레이션 사례 소개
 

Similar to [금융사를 위한 AWS Generative AI Day 2023] 7_다양한 AI 워크로드를 위한 최적의 Accelerator 사용 및 AWS 실리콘 활용 방안_김희민_AWS.pdf

Machine Learning using Kubernetes - AI Conclave 2019
Machine Learning using Kubernetes - AI Conclave 2019Machine Learning using Kubernetes - AI Conclave 2019
Machine Learning using Kubernetes - AI Conclave 2019Arun Gupta
 
Amazon EC2 A1 instances, powered by the AWS Graviton processor - CMP303 - San...
Amazon EC2 A1 instances, powered by the AWS Graviton processor - CMP303 - San...Amazon EC2 A1 instances, powered by the AWS Graviton processor - CMP303 - San...
Amazon EC2 A1 instances, powered by the AWS Graviton processor - CMP303 - San...Amazon Web Services
 
What’s new in Amazon Elastic Compute Cloud (Amazon EC2) - CMP201 - Chicago AW...
What’s new in Amazon Elastic Compute Cloud (Amazon EC2) - CMP201 - Chicago AW...What’s new in Amazon Elastic Compute Cloud (Amazon EC2) - CMP201 - Chicago AW...
What’s new in Amazon Elastic Compute Cloud (Amazon EC2) - CMP201 - Chicago AW...Amazon Web Services
 
What's new in Amazon EC2 - CMP201 - New York AWS Summit
What's new in Amazon EC2 - CMP201 - New York AWS SummitWhat's new in Amazon EC2 - CMP201 - New York AWS Summit
What's new in Amazon EC2 - CMP201 - New York AWS SummitAmazon Web Services
 
Rightsizing Your Silicon Design Environment: Elastic Clusters for EDA Workloa...
Rightsizing Your Silicon Design Environment: Elastic Clusters for EDA Workloa...Rightsizing Your Silicon Design Environment: Elastic Clusters for EDA Workloa...
Rightsizing Your Silicon Design Environment: Elastic Clusters for EDA Workloa...Amazon Web Services
 
Amazon EC2 instances: Customizable cloud computing across workloads - DEM20-S...
Amazon EC2 instances: Customizable cloud computing across workloads - DEM20-S...Amazon EC2 instances: Customizable cloud computing across workloads - DEM20-S...
Amazon EC2 instances: Customizable cloud computing across workloads - DEM20-S...Amazon Web Services
 
Track 1 Session 3_建構安全高效的電子設計自動化環境
Track 1 Session 3_建構安全高效的電子設計自動化環境Track 1 Session 3_建構安全高效的電子設計自動化環境
Track 1 Session 3_建構安全高效的電子設計自動化環境Amazon Web Services
 
Modern-Application-Design-with-Amazon-ECS
Modern-Application-Design-with-Amazon-ECSModern-Application-Design-with-Amazon-ECS
Modern-Application-Design-with-Amazon-ECSAmazon Web Services
 
Aws 101 garage+
Aws 101 garage+Aws 101 garage+
Aws 101 garage+Bruce Chen
 
AWS Compute Evolved Week: High Performance Computing on AWS
AWS Compute Evolved Week: High Performance Computing on AWSAWS Compute Evolved Week: High Performance Computing on AWS
AWS Compute Evolved Week: High Performance Computing on AWSAmazon Web Services
 
AWS re:Invent 2016 recap (part 1)
AWS re:Invent 2016 recap (part 1)AWS re:Invent 2016 recap (part 1)
AWS re:Invent 2016 recap (part 1)Julien SIMON
 
Amazon on Amazon: How Amazon Designs Chips on AWS (MFG305) - AWS re:Invent 2018
Amazon on Amazon: How Amazon Designs Chips on AWS (MFG305) - AWS re:Invent 2018Amazon on Amazon: How Amazon Designs Chips on AWS (MFG305) - AWS re:Invent 2018
Amazon on Amazon: How Amazon Designs Chips on AWS (MFG305) - AWS re:Invent 2018Amazon Web Services
 
What's new in Amazon EC2 - CMP201 - Santa Clara AWS Summit.pdf
What's new in Amazon EC2 - CMP201 - Santa Clara AWS Summit.pdfWhat's new in Amazon EC2 - CMP201 - Santa Clara AWS Summit.pdf
What's new in Amazon EC2 - CMP201 - Santa Clara AWS Summit.pdfAmazon Web Services
 
Introduction to EC2 A1 instances, powered by the AWS Graviton processor - CMP...
Introduction to EC2 A1 instances, powered by the AWS Graviton processor - CMP...Introduction to EC2 A1 instances, powered by the AWS Graviton processor - CMP...
Introduction to EC2 A1 instances, powered by the AWS Graviton processor - CMP...Amazon Web Services
 
Java Developer on AWS 在AWS上開發Java應用
Java Developer on AWS 在AWS上開發Java應用Java Developer on AWS 在AWS上開發Java應用
Java Developer on AWS 在AWS上開發Java應用Amazon Web Services
 
High Performance Computing on AWS
High Performance Computing on AWSHigh Performance Computing on AWS
High Performance Computing on AWSAmazon Web Services
 
AWS Core - Compute, Network, Storage and Security | AWS Summit Tel Aviv 2019
AWS Core - Compute, Network, Storage and Security | AWS Summit Tel Aviv 2019AWS Core - Compute, Network, Storage and Security | AWS Summit Tel Aviv 2019
AWS Core - Compute, Network, Storage and Security | AWS Summit Tel Aviv 2019AWS Summits
 

Similar to [금융사를 위한 AWS Generative AI Day 2023] 7_다양한 AI 워크로드를 위한 최적의 Accelerator 사용 및 AWS 실리콘 활용 방안_김희민_AWS.pdf (20)

Machine Learning using Kubernetes - AI Conclave 2019
Machine Learning using Kubernetes - AI Conclave 2019Machine Learning using Kubernetes - AI Conclave 2019
Machine Learning using Kubernetes - AI Conclave 2019
 
Amazon EC2 A1 instances, powered by the AWS Graviton processor - CMP303 - San...
Amazon EC2 A1 instances, powered by the AWS Graviton processor - CMP303 - San...Amazon EC2 A1 instances, powered by the AWS Graviton processor - CMP303 - San...
Amazon EC2 A1 instances, powered by the AWS Graviton processor - CMP303 - San...
 
What’s new in Amazon Elastic Compute Cloud (Amazon EC2) - CMP201 - Chicago AW...
What’s new in Amazon Elastic Compute Cloud (Amazon EC2) - CMP201 - Chicago AW...What’s new in Amazon Elastic Compute Cloud (Amazon EC2) - CMP201 - Chicago AW...
What’s new in Amazon Elastic Compute Cloud (Amazon EC2) - CMP201 - Chicago AW...
 
What's new in Amazon EC2 - CMP201 - New York AWS Summit
What's new in Amazon EC2 - CMP201 - New York AWS SummitWhat's new in Amazon EC2 - CMP201 - New York AWS Summit
What's new in Amazon EC2 - CMP201 - New York AWS Summit
 
Rightsizing Your Silicon Design Environment: Elastic Clusters for EDA Workloa...
Rightsizing Your Silicon Design Environment: Elastic Clusters for EDA Workloa...Rightsizing Your Silicon Design Environment: Elastic Clusters for EDA Workloa...
Rightsizing Your Silicon Design Environment: Elastic Clusters for EDA Workloa...
 
Amazon EC2 instances: Customizable cloud computing across workloads - DEM20-S...
Amazon EC2 instances: Customizable cloud computing across workloads - DEM20-S...Amazon EC2 instances: Customizable cloud computing across workloads - DEM20-S...
Amazon EC2 instances: Customizable cloud computing across workloads - DEM20-S...
 
Track 1 Session 3_建構安全高效的電子設計自動化環境
Track 1 Session 3_建構安全高效的電子設計自動化環境Track 1 Session 3_建構安全高效的電子設計自動化環境
Track 1 Session 3_建構安全高效的電子設計自動化環境
 
Modern-Application-Design-with-Amazon-ECS
Modern-Application-Design-with-Amazon-ECSModern-Application-Design-with-Amazon-ECS
Modern-Application-Design-with-Amazon-ECS
 
Aws 101 garage+
Aws 101 garage+Aws 101 garage+
Aws 101 garage+
 
AWS Compute Evolved Week: High Performance Computing on AWS
AWS Compute Evolved Week: High Performance Computing on AWSAWS Compute Evolved Week: High Performance Computing on AWS
AWS Compute Evolved Week: High Performance Computing on AWS
 
AWS re:Invent 2016 recap (part 1)
AWS re:Invent 2016 recap (part 1)AWS re:Invent 2016 recap (part 1)
AWS re:Invent 2016 recap (part 1)
 
Core services
Core servicesCore services
Core services
 
Amazon on Amazon: How Amazon Designs Chips on AWS (MFG305) - AWS re:Invent 2018
Amazon on Amazon: How Amazon Designs Chips on AWS (MFG305) - AWS re:Invent 2018Amazon on Amazon: How Amazon Designs Chips on AWS (MFG305) - AWS re:Invent 2018
Amazon on Amazon: How Amazon Designs Chips on AWS (MFG305) - AWS re:Invent 2018
 
What's new in Amazon EC2 - CMP201 - Santa Clara AWS Summit.pdf
What's new in Amazon EC2 - CMP201 - Santa Clara AWS Summit.pdfWhat's new in Amazon EC2 - CMP201 - Santa Clara AWS Summit.pdf
What's new in Amazon EC2 - CMP201 - Santa Clara AWS Summit.pdf
 
Introduction to EC2 A1 instances, powered by the AWS Graviton processor - CMP...
Introduction to EC2 A1 instances, powered by the AWS Graviton processor - CMP...Introduction to EC2 A1 instances, powered by the AWS Graviton processor - CMP...
Introduction to EC2 A1 instances, powered by the AWS Graviton processor - CMP...
 
Java Developer on AWS 在AWS上開發Java應用
Java Developer on AWS 在AWS上開發Java應用Java Developer on AWS 在AWS上開發Java應用
Java Developer on AWS 在AWS上開發Java應用
 
Java-Developer-on-AWS
Java-Developer-on-AWSJava-Developer-on-AWS
Java-Developer-on-AWS
 
High Performance Computing on AWS
High Performance Computing on AWSHigh Performance Computing on AWS
High Performance Computing on AWS
 
Compute@Scale
Compute@ScaleCompute@Scale
Compute@Scale
 
AWS Core - Compute, Network, Storage and Security | AWS Summit Tel Aviv 2019
AWS Core - Compute, Network, Storage and Security | AWS Summit Tel Aviv 2019AWS Core - Compute, Network, Storage and Security | AWS Summit Tel Aviv 2019
AWS Core - Compute, Network, Storage and Security | AWS Summit Tel Aviv 2019
 

More from AWS Korea 금융산업팀

[금융 고객을 위한 re:Invent 2023 re:Cap Event] 04_금융사가 알아야 할 reInvent 20...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 04_금융사가 알아야 할 reInvent 20...[금융 고객을 위한 re:Invent 2023 re:Cap Event] 04_금융사가 알아야 할 reInvent 20...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 04_금융사가 알아야 할 reInvent 20...AWS Korea 금융산업팀
 
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 03_금융 비즈니스 관점에서 보는 r...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 03_금융 비즈니스 관점에서 보는 r...[금융 고객을 위한 re:Invent 2023 re:Cap Event] 03_금융 비즈니스 관점에서 보는 r...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 03_금융 비즈니스 관점에서 보는 r...AWS Korea 금융산업팀
 
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 02_reInvent 2023 이벤트 스케치와 실...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 02_reInvent 2023 이벤트 스케치와 실...[금융 고객을 위한 re:Invent 2023 re:Cap Event] 02_reInvent 2023 이벤트 스케치와 실...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 02_reInvent 2023 이벤트 스케치와 실...AWS Korea 금융산업팀
 
[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기ᄇ...
[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기ᄇ...[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기ᄇ...
[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기ᄇ...AWS Korea 금융산업팀
 
[보험사를 위한 AWS Data Analytics Day] 1_데이터 경영으로 보험 산업의 ...
[보험사를 위한 AWS Data Analytics Day] 1_데이터 경영으로 보험 산업의 ...[보험사를 위한 AWS Data Analytics Day] 1_데이터 경영으로 보험 산업의 ...
[보험사를 위한 AWS Data Analytics Day] 1_데이터 경영으로 보험 산업의 ...AWS Korea 금융산업팀
 
[보험사를 위한 AWS Data Analytics Day] 7_데이터 경영을 위한 실행 프ᄅ...
[보험사를 위한 AWS Data Analytics Day] 7_데이터 경영을 위한 실행 프ᄅ...[보험사를 위한 AWS Data Analytics Day] 7_데이터 경영을 위한 실행 프ᄅ...
[보험사를 위한 AWS Data Analytics Day] 7_데이터 경영을 위한 실행 프ᄅ...AWS Korea 금융산업팀
 
한국투자증권의 디지털 플랫폼 구현 사례.pdf
한국투자증권의 디지털 플랫폼 구현 사례.pdf한국투자증권의 디지털 플랫폼 구현 사례.pdf
한국투자증권의 디지털 플랫폼 구현 사례.pdfAWS Korea 금융산업팀
 
[금융 고객을 위한 Resiliency in the Cloud] Open Discussion
[금융 고객을 위한 Resiliency in the Cloud] Open Discussion[금융 고객을 위한 Resiliency in the Cloud] Open Discussion
[금융 고객을 위한 Resiliency in the Cloud] Open DiscussionAWS Korea 금융산업팀
 
[금융고객을 위한 Resiliency in the Cloud] AWS를 활용한 금융사 Resiliency 구성...
[금융고객을 위한 Resiliency in the Cloud] AWS를 활용한 금융사 Resiliency 구성...[금융고객을 위한 Resiliency in the Cloud] AWS를 활용한 금융사 Resiliency 구성...
[금융고객을 위한 Resiliency in the Cloud] AWS를 활용한 금융사 Resiliency 구성...AWS Korea 금융산업팀
 
[금융고객을 위한 Resiliency in the Cloud] 최근 대규모 장애 사태 여파에 따른 DR 도...
[금융고객을 위한 Resiliency in the Cloud] 최근 대규모 장애 사태 여파에 따른 DR 도...[금융고객을 위한 Resiliency in the Cloud] 최근 대규모 장애 사태 여파에 따른 DR 도...
[금융고객을 위한 Resiliency in the Cloud] 최근 대규모 장애 사태 여파에 따른 DR 도...AWS Korea 금융산업팀
 
[금융고객을 위한 Resiliency in the Cloud] 금융사의 Resiliency를 위한 AWS Solutio...
[금융고객을 위한 Resiliency in the Cloud] 금융사의 Resiliency를 위한 AWS Solutio...[금융고객을 위한 Resiliency in the Cloud] 금융사의 Resiliency를 위한 AWS Solutio...
[금융고객을 위한 Resiliency in the Cloud] 금융사의 Resiliency를 위한 AWS Solutio...AWS Korea 금융산업팀
 
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 3.AWS reInvent 2022 Technical Highlights...
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 3.AWS reInvent 2022 Technical Highlights...[금융고객을 위한 AWS re:Invent 2022 re:Cap] 3.AWS reInvent 2022 Technical Highlights...
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 3.AWS reInvent 2022 Technical Highlights...AWS Korea 금융산업팀
 
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 2.AWS reInvent 2022 Customer Case Highli...
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 2.AWS reInvent 2022 Customer Case Highli...[금융고객을 위한 AWS re:Invent 2022 re:Cap] 2.AWS reInvent 2022 Customer Case Highli...
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 2.AWS reInvent 2022 Customer Case Highli...AWS Korea 금융산업팀
 

More from AWS Korea 금융산업팀 (13)

[금융 고객을 위한 re:Invent 2023 re:Cap Event] 04_금융사가 알아야 할 reInvent 20...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 04_금융사가 알아야 할 reInvent 20...[금융 고객을 위한 re:Invent 2023 re:Cap Event] 04_금융사가 알아야 할 reInvent 20...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 04_금융사가 알아야 할 reInvent 20...
 
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 03_금융 비즈니스 관점에서 보는 r...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 03_금융 비즈니스 관점에서 보는 r...[금융 고객을 위한 re:Invent 2023 re:Cap Event] 03_금융 비즈니스 관점에서 보는 r...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 03_금융 비즈니스 관점에서 보는 r...
 
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 02_reInvent 2023 이벤트 스케치와 실...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 02_reInvent 2023 이벤트 스케치와 실...[금융 고객을 위한 re:Invent 2023 re:Cap Event] 02_reInvent 2023 이벤트 스케치와 실...
[금융 고객을 위한 re:Invent 2023 re:Cap Event] 02_reInvent 2023 이벤트 스케치와 실...
 
[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기ᄇ...
[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기ᄇ...[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기ᄇ...
[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기ᄇ...
 
[보험사를 위한 AWS Data Analytics Day] 1_데이터 경영으로 보험 산업의 ...
[보험사를 위한 AWS Data Analytics Day] 1_데이터 경영으로 보험 산업의 ...[보험사를 위한 AWS Data Analytics Day] 1_데이터 경영으로 보험 산업의 ...
[보험사를 위한 AWS Data Analytics Day] 1_데이터 경영으로 보험 산업의 ...
 
[보험사를 위한 AWS Data Analytics Day] 7_데이터 경영을 위한 실행 프ᄅ...
[보험사를 위한 AWS Data Analytics Day] 7_데이터 경영을 위한 실행 프ᄅ...[보험사를 위한 AWS Data Analytics Day] 7_데이터 경영을 위한 실행 프ᄅ...
[보험사를 위한 AWS Data Analytics Day] 7_데이터 경영을 위한 실행 프ᄅ...
 
한국투자증권의 디지털 플랫폼 구현 사례.pdf
한국투자증권의 디지털 플랫폼 구현 사례.pdf한국투자증권의 디지털 플랫폼 구현 사례.pdf
한국투자증권의 디지털 플랫폼 구현 사례.pdf
 
[금융 고객을 위한 Resiliency in the Cloud] Open Discussion
[금융 고객을 위한 Resiliency in the Cloud] Open Discussion[금융 고객을 위한 Resiliency in the Cloud] Open Discussion
[금융 고객을 위한 Resiliency in the Cloud] Open Discussion
 
[금융고객을 위한 Resiliency in the Cloud] AWS를 활용한 금융사 Resiliency 구성...
[금융고객을 위한 Resiliency in the Cloud] AWS를 활용한 금융사 Resiliency 구성...[금융고객을 위한 Resiliency in the Cloud] AWS를 활용한 금융사 Resiliency 구성...
[금융고객을 위한 Resiliency in the Cloud] AWS를 활용한 금융사 Resiliency 구성...
 
[금융고객을 위한 Resiliency in the Cloud] 최근 대규모 장애 사태 여파에 따른 DR 도...
[금융고객을 위한 Resiliency in the Cloud] 최근 대규모 장애 사태 여파에 따른 DR 도...[금융고객을 위한 Resiliency in the Cloud] 최근 대규모 장애 사태 여파에 따른 DR 도...
[금융고객을 위한 Resiliency in the Cloud] 최근 대규모 장애 사태 여파에 따른 DR 도...
 
[금융고객을 위한 Resiliency in the Cloud] 금융사의 Resiliency를 위한 AWS Solutio...
[금융고객을 위한 Resiliency in the Cloud] 금융사의 Resiliency를 위한 AWS Solutio...[금융고객을 위한 Resiliency in the Cloud] 금융사의 Resiliency를 위한 AWS Solutio...
[금융고객을 위한 Resiliency in the Cloud] 금융사의 Resiliency를 위한 AWS Solutio...
 
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 3.AWS reInvent 2022 Technical Highlights...
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 3.AWS reInvent 2022 Technical Highlights...[금융고객을 위한 AWS re:Invent 2022 re:Cap] 3.AWS reInvent 2022 Technical Highlights...
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 3.AWS reInvent 2022 Technical Highlights...
 
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 2.AWS reInvent 2022 Customer Case Highli...
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 2.AWS reInvent 2022 Customer Case Highli...[금융고객을 위한 AWS re:Invent 2022 re:Cap] 2.AWS reInvent 2022 Customer Case Highli...
[금융고객을 위한 AWS re:Invent 2022 re:Cap] 2.AWS reInvent 2022 Customer Case Highli...
 

Recently uploaded

AI MODELS USAGE IN FINTECH PRODUCTS: PM APPROACH & BEST PRACTICES by Kasthuri...
AI MODELS USAGE IN FINTECH PRODUCTS: PM APPROACH & BEST PRACTICES by Kasthuri...AI MODELS USAGE IN FINTECH PRODUCTS: PM APPROACH & BEST PRACTICES by Kasthuri...
AI MODELS USAGE IN FINTECH PRODUCTS: PM APPROACH & BEST PRACTICES by Kasthuri...ISPMAIndia
 
From eSIMs to iSIMs: It’s Inside the Manufacturing
From eSIMs to iSIMs: It’s Inside the ManufacturingFrom eSIMs to iSIMs: It’s Inside the Manufacturing
From eSIMs to iSIMs: It’s Inside the ManufacturingSoracom Global, Inc.
 
AWS reInvent 2023 recaps from Chicago AWS user group
AWS reInvent 2023 recaps from Chicago AWS user groupAWS reInvent 2023 recaps from Chicago AWS user group
AWS reInvent 2023 recaps from Chicago AWS user groupAWS Chicago
 
5 Things You Shouldn’t Do at Salesforce World Tour Sydney 2024!
5 Things You Shouldn’t Do at Salesforce World Tour Sydney 2024!5 Things You Shouldn’t Do at Salesforce World Tour Sydney 2024!
5 Things You Shouldn’t Do at Salesforce World Tour Sydney 2024!XfilesPro
 
My self introduction to know others abut me
My self  introduction to know others abut meMy self  introduction to know others abut me
My self introduction to know others abut meManoj Prabakar B
 
"Journey of Aspiration: Unveiling the Path to Becoming a Technocrat and Entre...
"Journey of Aspiration: Unveiling the Path to Becoming a Technocrat and Entre..."Journey of Aspiration: Unveiling the Path to Becoming a Technocrat and Entre...
"Journey of Aspiration: Unveiling the Path to Becoming a Technocrat and Entre...shaiyuvasv
 
zigbee motion sensor user manual NAS-PD07B2.pdf
zigbee motion sensor user manual NAS-PD07B2.pdfzigbee motion sensor user manual NAS-PD07B2.pdf
zigbee motion sensor user manual NAS-PD07B2.pdfDomotica daVinci
 
My sample product research idea for you!
My sample product research idea for you!My sample product research idea for you!
My sample product research idea for you!KivenRaySarsaba
 
"Running Open-Source LLM models on Kubernetes", Volodymyr Tsap
"Running Open-Source LLM models on Kubernetes",  Volodymyr Tsap"Running Open-Source LLM models on Kubernetes",  Volodymyr Tsap
"Running Open-Source LLM models on Kubernetes", Volodymyr TsapFwdays
 
DNA LIGASE BIOTECHNOLOGY BIOLOGY STUDY OF LIFE
DNA LIGASE BIOTECHNOLOGY BIOLOGY STUDY OF LIFEDNA LIGASE BIOTECHNOLOGY BIOLOGY STUDY OF LIFE
DNA LIGASE BIOTECHNOLOGY BIOLOGY STUDY OF LIFEandreiandasan
 
Introduction to Serverless with AWS Lambda in C#.pptx
Introduction to Serverless with AWS Lambda in C#.pptxIntroduction to Serverless with AWS Lambda in C#.pptx
Introduction to Serverless with AWS Lambda in C#.pptxBrandon Minnick, MBA
 
Artificial-Intelligence-in-Marketing-Data.pdf
Artificial-Intelligence-in-Marketing-Data.pdfArtificial-Intelligence-in-Marketing-Data.pdf
Artificial-Intelligence-in-Marketing-Data.pdfIsidro Navarro
 
2024 February Patch Tuesday
2024 February Patch Tuesday2024 February Patch Tuesday
2024 February Patch TuesdayIvanti
 
Tete thermostatique Zigbee MOES BRT-100 V2.pdf
Tete thermostatique Zigbee MOES BRT-100 V2.pdfTete thermostatique Zigbee MOES BRT-100 V2.pdf
Tete thermostatique Zigbee MOES BRT-100 V2.pdfDomotica daVinci
 
LLMs, LMMs, their Improvement Suggestions and the Path towards AGI.pdf
LLMs, LMMs, their Improvement Suggestions and the Path towards AGI.pdfLLMs, LMMs, their Improvement Suggestions and the Path towards AGI.pdf
LLMs, LMMs, their Improvement Suggestions and the Path towards AGI.pdfThomas Poetter
 
Zi-Stick UBS Dongle ZIgbee from Aeotec manual
Zi-Stick UBS Dongle ZIgbee from  Aeotec manualZi-Stick UBS Dongle ZIgbee from  Aeotec manual
Zi-Stick UBS Dongle ZIgbee from Aeotec manualDomotica daVinci
 
How we think about an advisor tech stack
How we think about an advisor tech stackHow we think about an advisor tech stack
How we think about an advisor tech stackSummit
 
Q1 Memory Fabric Forum: SMART CXL Product Lineup
Q1 Memory Fabric Forum: SMART CXL Product LineupQ1 Memory Fabric Forum: SMART CXL Product Lineup
Q1 Memory Fabric Forum: SMART CXL Product LineupMemory Fabric Forum
 
21ST CENTURY LITERACY FROM TRADITIONAL TO MODERN
21ST CENTURY LITERACY FROM TRADITIONAL TO MODERN21ST CENTURY LITERACY FROM TRADITIONAL TO MODERN
21ST CENTURY LITERACY FROM TRADITIONAL TO MODERNRonnelBaroc
 

Recently uploaded (20)

AI MODELS USAGE IN FINTECH PRODUCTS: PM APPROACH & BEST PRACTICES by Kasthuri...
AI MODELS USAGE IN FINTECH PRODUCTS: PM APPROACH & BEST PRACTICES by Kasthuri...AI MODELS USAGE IN FINTECH PRODUCTS: PM APPROACH & BEST PRACTICES by Kasthuri...
AI MODELS USAGE IN FINTECH PRODUCTS: PM APPROACH & BEST PRACTICES by Kasthuri...
 
5 Tech Trend to Notice in ESG Landscape- 47Billion
5 Tech Trend to Notice in ESG Landscape- 47Billion5 Tech Trend to Notice in ESG Landscape- 47Billion
5 Tech Trend to Notice in ESG Landscape- 47Billion
 
From eSIMs to iSIMs: It’s Inside the Manufacturing
From eSIMs to iSIMs: It’s Inside the ManufacturingFrom eSIMs to iSIMs: It’s Inside the Manufacturing
From eSIMs to iSIMs: It’s Inside the Manufacturing
 
AWS reInvent 2023 recaps from Chicago AWS user group
AWS reInvent 2023 recaps from Chicago AWS user groupAWS reInvent 2023 recaps from Chicago AWS user group
AWS reInvent 2023 recaps from Chicago AWS user group
 
5 Things You Shouldn’t Do at Salesforce World Tour Sydney 2024!
5 Things You Shouldn’t Do at Salesforce World Tour Sydney 2024!5 Things You Shouldn’t Do at Salesforce World Tour Sydney 2024!
5 Things You Shouldn’t Do at Salesforce World Tour Sydney 2024!
 
My self introduction to know others abut me
My self  introduction to know others abut meMy self  introduction to know others abut me
My self introduction to know others abut me
 
"Journey of Aspiration: Unveiling the Path to Becoming a Technocrat and Entre...
"Journey of Aspiration: Unveiling the Path to Becoming a Technocrat and Entre..."Journey of Aspiration: Unveiling the Path to Becoming a Technocrat and Entre...
"Journey of Aspiration: Unveiling the Path to Becoming a Technocrat and Entre...
 
zigbee motion sensor user manual NAS-PD07B2.pdf
zigbee motion sensor user manual NAS-PD07B2.pdfzigbee motion sensor user manual NAS-PD07B2.pdf
zigbee motion sensor user manual NAS-PD07B2.pdf
 
My sample product research idea for you!
My sample product research idea for you!My sample product research idea for you!
My sample product research idea for you!
 
"Running Open-Source LLM models on Kubernetes", Volodymyr Tsap
"Running Open-Source LLM models on Kubernetes",  Volodymyr Tsap"Running Open-Source LLM models on Kubernetes",  Volodymyr Tsap
"Running Open-Source LLM models on Kubernetes", Volodymyr Tsap
 
DNA LIGASE BIOTECHNOLOGY BIOLOGY STUDY OF LIFE
DNA LIGASE BIOTECHNOLOGY BIOLOGY STUDY OF LIFEDNA LIGASE BIOTECHNOLOGY BIOLOGY STUDY OF LIFE
DNA LIGASE BIOTECHNOLOGY BIOLOGY STUDY OF LIFE
 
Introduction to Serverless with AWS Lambda in C#.pptx
Introduction to Serverless with AWS Lambda in C#.pptxIntroduction to Serverless with AWS Lambda in C#.pptx
Introduction to Serverless with AWS Lambda in C#.pptx
 
Artificial-Intelligence-in-Marketing-Data.pdf
Artificial-Intelligence-in-Marketing-Data.pdfArtificial-Intelligence-in-Marketing-Data.pdf
Artificial-Intelligence-in-Marketing-Data.pdf
 
2024 February Patch Tuesday
2024 February Patch Tuesday2024 February Patch Tuesday
2024 February Patch Tuesday
 
Tete thermostatique Zigbee MOES BRT-100 V2.pdf
Tete thermostatique Zigbee MOES BRT-100 V2.pdfTete thermostatique Zigbee MOES BRT-100 V2.pdf
Tete thermostatique Zigbee MOES BRT-100 V2.pdf
 
LLMs, LMMs, their Improvement Suggestions and the Path towards AGI.pdf
LLMs, LMMs, their Improvement Suggestions and the Path towards AGI.pdfLLMs, LMMs, their Improvement Suggestions and the Path towards AGI.pdf
LLMs, LMMs, their Improvement Suggestions and the Path towards AGI.pdf
 
Zi-Stick UBS Dongle ZIgbee from Aeotec manual
Zi-Stick UBS Dongle ZIgbee from  Aeotec manualZi-Stick UBS Dongle ZIgbee from  Aeotec manual
Zi-Stick UBS Dongle ZIgbee from Aeotec manual
 
How we think about an advisor tech stack
How we think about an advisor tech stackHow we think about an advisor tech stack
How we think about an advisor tech stack
 
Q1 Memory Fabric Forum: SMART CXL Product Lineup
Q1 Memory Fabric Forum: SMART CXL Product LineupQ1 Memory Fabric Forum: SMART CXL Product Lineup
Q1 Memory Fabric Forum: SMART CXL Product Lineup
 
21ST CENTURY LITERACY FROM TRADITIONAL TO MODERN
21ST CENTURY LITERACY FROM TRADITIONAL TO MODERN21ST CENTURY LITERACY FROM TRADITIONAL TO MODERN
21ST CENTURY LITERACY FROM TRADITIONAL TO MODERN
 

[금융사를 위한 AWS Generative AI Day 2023] 7_다양한 AI 워크로드를 위한 최적의 Accelerator 사용 및 AWS 실리콘 활용 방안_김희민_AWS.pdf

  • 1. UPDATE EVENT TITLE IN SLIDE MASTER FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. A W S G E N E R A T I V E A I D A Y F O R F S I 다양한 AI 워크로드를 위한 최적의 Accelerator 활용 방안 Powered by AWS silicon 김희민 Sr Accelerated Computing Specialist Amazon Web Services
  • 2. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 2 Accelerated Computing Workloads 특징 AWS Cloud-native Accelerated Computing 차별성 AI paradigm shift into the purpose-built ASIC(Inferentia, Trainium) Accelerated Computing Market Trend Agenda
  • 3. UPDATE EVENT TITLE IN SLIDE MASTER FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Accelerated Computing Workloads Market Trend 3
  • 4. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. The AWS AI/ML stack ML FRAMEWORKS & INFRASTRUCTURE STUDIO IDE AMAZON SAGEMAKER CANVAS No-code ML for business analysts STUDIO LAB Learn ML GROUND TRUTH Label data Prepare data Geospatial ML Store features Build with notebooks Train models Tune parameters Manage and monitor Deploy in production PyTorch, TensorFlow Amazon EC2 CPUs GPUs AWS Trainium AWS Inferentia FPGA Habana Gaudi CORE SPECIALIZED AI SERVICES BUSINESS PROCESSES Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon Lookout for Metrics SEARCH Amazon Kendra CONVERSATION Amazon Lex Amazon Transcribe Call Analytics Contact Lens Voice ID CODE + DEVOPS Amazon CodeGuru Amazon CodeWhisperer Amazon DevOps Guru INDUSTRIAL Amazon Monitron Amazon Lookout for Equipment Amazon Lookout for Vision HEALTH Amazon HealthLake Amazon Comprehend Medical Amazon Transcribe Medical Amazon Omics TEXT Amazon Translate Amazon Comprehend SPEECH Amazon Polly Amazon Transcribe VISION Amazon Textract Amazon Rekognition AWS Panorama CI/CD | GOVERNANCE | RESPONSIBLE ML EDGE MANAGER Manage edge devices
  • 5. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS: broadest and deepest infrastructure for AI/ML ML FRAMEWORKS AND INFRASTRUCTURE ML Frameworks & Opensource Orchestration EC2 Instances Trn1(n) Inf2 DL1 Amazon EKS Amazon ECS AWS Batch AWS ParallelCluster PyTorch TensorFlow Hugging Face OpenXLA Inf1 P5 P4de* P3 G5 G5g G4dn VT1 F1 Trainium accelerator Inferentia accelerator Graviton CPU H100, A100, V100 GPU A10G, T4 GPU Gaudi accelerator Storage/Networking Amazon EFS Amazon S3 Amazon FSx for Lustre EFA P4d G4ad Radeon GPU Xilinx accelerator Xilinx FPGA * Preview
  • 6. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Accelerated Computing Workloads Market 6 • 기존 CPU 로 처리가 어려운 고성능 병렬 분산 Workloads 등장 - e.g. AI/ML, 3D Graphic, Spatial Computing, Autonomous Vehicles + HPC • CPU 를 대신하는 Accelerator 와 별도의 Network, Storage 기술 필요 - e.g. GPU, ASIC, 인피니밴드, 병렬분산 스토리지, Orchestration • Super-Computing 기술의 Cloud-Native 적용 방안 - e.g. Nitro Card, EFA, SRD, Nitro System(Hypervisor), Network Topology, FSx for Lustre • AI workload 에 최적화된 Accelerator? - General Purpose GPU 는 다양한 병렬 Workload 에 최적화, AI/ML 에 최적화된 Accelerator 가 필요
  • 7. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 7 Super Computing Trend Lab System Rank Main Processor Frontier.OakRidgeNL 1 MI250X AMD Accelerator Fugaku.Riken.Japan 2 A64FX Fujitsu ARM LUMI.Finland 3 MI250X AMD Accelerator Leonardo.Italy 4 A100 SXM4 NVIDIA Accelerator Summit.OakRidgeNL 5 V100 NVIDIA Accelerator Sierra.LLNL 6 V100 NVIDIA Accelerator Sunway.China 7 Sunway SW26010 Perlmutter.LBNL 8 A100 SXM4 NVIDIA Accelerator Selene.NVIDIA 9 A100 SXM4 NVIDIA Accelerator Tianhe-2A.China 10 Xeon E5-2692 Intel Super Computer Top 500 list 2023.06 Lab System Rank Main Processor Sequoia.LLNL 1 Power BQC 16C IBM K Com.Riken.Japan 2 SPARK64 Fujitsu Mira.Argonne NL 3 Power BQC 16C IBM SuperMUC.Germany 4 Xeon E5-2680 Intel Tianhe-1A.China 5 Xeon X5670 Intel + NVIDIA 2050 Jaguar.OakRidgeNL 6 Opteron 6274 Cray Fermi.Italy 7 Power BQC 16C IBM JUQUEEN.Germany 8 Power BQC 16C IBM Curie.France 9 Xeon E5-2680 Intel Nebulae.China 10 Xeon X5650 Intel Super Computer Top 500 list 2012.06
  • 8. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AI Accelerator Market Trends 8 Y EAR 1957 2012 2014 2016 2018 2019 2020 2021 … … … Model size(# of parameters) VGG16 138M YOLO, GNMT 210M BERT-L 340M GPT-2 1.5B GPT-3 175B 2024 Perceptron 1 Alexnet 62M SWITCH-C 1.6T 2026 CPU GPU ASIC Others
  • 9. UPDATE EVENT TITLE IN SLIDE MASTER FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Accelerated Computing Workloads 특징 9
  • 10. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Evolution Differences of Microarchitecture From Intel Tech. Modern CPU Architecture Accelerator(GPU, ASIC) : Matrix-matrix / Matrix-vector From NVIDIA Tensor Cores
  • 11. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Processing chip for parallel workload 11 CPU ASIC GPU FPGA More Specialized More Generalized 수십개의 processing cores General-purpose computing 에 최적화 Sequential, 추측 실행 수천개의 processing cores 다양한 병렬 워크로드 실행에 효과적 Architecture tolerant of memory latency 특정 병렬 워크로드에 최적화된 Purpose-built processing chip Format, Size, Weight, Power improvement 가격대 성능 최적화 수백만개의 programmable digital logic cells 고정된 알고리즘 실행에 적합 Hardware timed execution Accelerator 영역
  • 12. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Parallel Workload Guide on Accelerator Accelerated instances P Family G Family GPU(NVIDIA, AMD) Trainium Accelerator CPU Inferentia Purpose built ASIC AWS Silicon for AI Gaudi(DL1) Xilinx(F1) Intel ASIC AMD FPGA Multi node Accelerator … Single Accelerator Multi Accelerator UltraClusters Accelerator CPU Accelerator Accelerator Inference Workload Training Workload
  • 13. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS CPU & Accelerators Instances M6i M6a M6g C6i C6a C7g R6i G4 R6g P5 P3 DL1 Trn1 G5 G5g P4d Inf1 General Computing / Traditional HPC AI/ML, Graphic, Spatial Computing, AC + HPC Inference Training EPYC CPU Radeon GPU Graviton CPU Inferentia accelerator Trainium accelerator H100, A100, V100, A10G, T4 GPUs Xeon CPU Habana Gaudi accelerator Inf2 P4de Preview
  • 14. UPDATE EVENT TITLE IN SLIDE MASTER FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS Cloud-native Accelerated Computing 차별성 14 • Accelerated Computing은 On-prem Super-Computing 기술 기반으로 탄생 - 높은 기술 진입 장벽 및 높은 초기 도입, 유지 비용 • Accelerated Computing 기술은 기존 Cloud 기술과는 이질적임 - Computing, Hypervisor, Networking, Storage 에 대한 재정의 필요 • Accelerated Computing 기술을 Cloud-Native 로 re:Invent - 낮은 리스크로 쉽고 빠르게 Super-Computing 기술을 Cloud 에서 활용 가능
  • 15. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Nitro powered EC2 Server and GPU Board CPU based server GPU HGX (Not on G family) AWS Neuron : Neuron Link, Compiler, Runtime, SDK NVIDA CUDA : NVlink, Compiler, Runtime, SDK AWS NCCL : Neuron Collective Communication Library NVIDIA NCCL : Nvidia Collective Communication Library p4d 8 x A100 GPU Server Inferentia, Trainium : Local Interconnect 물리 서버 구성 CPU 없이 묶어 사용하는 기술 필요
  • 16. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Re:Inventing virtualization for the cloud Classical virtualization EC2 Host • Server 내에서 , 각 Device 를 Smart (Purpose built Chip, Protocol, Stack) 하게 만들고, Hypervisor(CPU, Mem) 와는 독립적 동작 • Instance(Guest OS) 는 Hypervisor 없이 직접 Device 사용 가능 (Layer 및 Path 단순화) • 가상화를 통한 사용성 장점과 성능의 장점을 모두 제공 • Device 독립 운영으로 관리, 보안, 모니터링 강화 등 추가 이점 EC2 virtual machines(AWS Nitro System) Management, Security, and Monitoring Storage (Nitro SSD) Networking (Nitro Card) Nitro Hypervisor AWS Hypervisor(CPU, System Memory) Physical Server Management, Security, and Monitoring Storage Networking PCI Bus Accelerator • Server 의 Computing, Networking, Storage, Monitoring 을 Hypervisor(CPU, System Memory) 가 관리 • Instances(Guest OS) 은 Hypervisor(CPU, System Memory) 를 통해 각 Device 를 사용 • Cloud Computing 의 기본이지만, 이러한 구조는 병렬분산 컴퓨팅엔 비효율적 Accelerator link Accelerator Accelerator Accelerator Accelerator Instance Instance Instance Instance Instance Accelerator Accelerator Instance Instance Instance Instance Instance Instance Instance Instance Physical Server
  • 17. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS High Performance RDMA Network 17 AWS High Performance RDMA Network • Cloud Native Kernel Bypass stack : EFA (Full support Infiniband stack) • Cloud Native Distributed Protocol : SRD • Network Accelerator : Nitro Card • Cloud Native Topology : Clos Network Topology N I T R O 2 N I T R O 1 N I T R O 3 N I T R O 4
  • 18. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Cloud Native RDMA Stack with SRD 18 Source: AWS re:Invent 2019: Innovation and operation of the AWS global network infrastructure (NET339) L. Shalev, H. Ayoub, N. Bshara and E. Sabbag, "Supercomputing on Nitro in AWS Cloud," in IEEE Micro 2020 • RDMA 기술을 EFA 로 구현 (InfiniBand 호환 Libfabric) : Latency 향상 • ECMP 를 통한 다중 Path (IB 단일 Path) : Throughput 향상 • Out-of-order delivery (IB in-order) : Throughput 향상 • Nitro Card(EFA device) : Latency + Throughput 향상 Application MPI (분산 Workload communication) Userspace Kernel Without EFA Application MPI (분산 Workload communication) Libfabric With EFA
  • 19. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS Accelerated Computing Cluster Lightweight hypervisor – Multi XC • Hardware Acceleration built in • Passed directly without overcommitment Parallel Distributed Storage • Burst buffer, Community Scratch, Archive High Perf. NW – Multi node XC • Protocol(Kernel bypass) • Topology • Network Acceleration Processor – Single XC • Accelerator(GPU, ASIC,FPGA)
  • 20. UPDATE EVENT TITLE IN SLIDE MASTER FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AI paradigm shift into the purpose-built ASIC - Powered by AWS Inferentia, Trainium 20
  • 21. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Purpose Built AWS silicon for AI/ML AWS Inferentia 1, 2 Lowest cost inference in the cloud for running deep learning models AWS Trainium The most cost-efficient for high performance training of LLMs and diffusion models • GPU 에 비해 AI/ML 최적화된 Multiple Data Type Format (BFP, FP, TF, INT) – 가격, 성능 • GPU 에 비해 Embedded 병렬 연산 – GPU 대비 Latency/ThroughPut 향상 • AI/ML 에 최적화된 Neuron Rounding Modes 기능 제공 • 모든 병렬워크로드를 수용할 수는 없지만, AI/ML 에 최적화 되어있는 Chip Seamless Integration with ML frameworks like PyTorch and TensorFlow
  • 22. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Floating Point & Format Mixed-precision training lowers the required resources. accuracy? AWS Silicon Core Trainium and Inferentia Format NVIDIA A100 GPU Core Format A I W O R K L O A D 에 만 집 중 13.1875 = Floating Point : 01000001 01010011 00000000 00000000 - 실수의 2진수로의 효과적인 표현 FLOPS : 초당 부동 소수점 연산 능력 / 1,048,576 Threads SIMT 수행
  • 23. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Deeply embedded parallel process RoBERTa-Base Benchmarks Inf2 [BF16]; Comparable EC2 instance [Mixed Precision], seqlen 128 Throughput Latency Comparable inference-optimized Amazon EC2 instance Deeply embedded vector processors Highly optimized data path Extra wide memory interface O N - D E V I C E 에 서 A I / M L 워 크 로 드 를 바 로 처 리
  • 24. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Stochastic Rounding (확률적 반올림 반내림) O N - D E V I C E 에 서 A I / M L 워 크 로 드 효 율 극 대 화 를 위 한 기 법 Benefits of Stochastic Rounding Round( 0.9 ) = 1 P R O B A B I L I T Y 1 0 0 % Round( 0.2 ) = 0 P R O B A B I L I T Y 1 0 0 % 8 0 % P R O B A B I L I T Y 2, 1, 2 0 % Round( 0.9+0.2 + . + 0.2 ) =
  • 25. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS Inferentia 2 / Trainium1 Performance Comparable inference- optimized Amazon EC2 instance 619.6 368.6 OPT-30B Throughput (tokens/sec) FP16, Seqlen 2048, B16 65% higher inf2.48xl Comparable inference- optimized Amazon EC2 instance $59.15 $ 122.7 OPT-30B Cost per Million (USD) FP16, Seqlen 2048, B16 52% lower inf2.48xl Trn1.32xl Comparable training- optimized Amazon EC2 Instances GPT175B 1,960 1,500 - 500 1,000 1,500 2,000 GPT175B 31% Higher Trn1.32xl Comparable training- optimized Amazon EC2 Instances GPT46B 8,165 5,707 - 2,500 5,000 7,500 10,000 GPT46B 43% Higher
  • 26. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Up to 12x Lower Inference Cost for Diffusion Models 26 $- $2.00 $4.00 $6.00 SD 2.1 SD 1.5 Stable Difussion Inference Cost per 1000 Images Inf2.xl (2.11) Inf2.xl (2.12+) G5.xl P4d.24xl (single GPU) 12x Lower 3x Lower Notes: • SD 2.1 and SD 1.5 models from Hugging Face • Image Size 512x512, Batch =1 • Neuron results: FP32/autocast and BF16 Comparable Inference Optimized EC2 Instances Comparable Training Optimized EC2 Instances
  • 27. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 27 Customer momentum for AWS Trainium and AWS Inferentia Amazon Rekognition
  • 28. 금융사를 위한 AWS GENERATIVE AI DAY FINANCIAL SERVICES | © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Thank you! © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.