Download as PDF, PPTX
![AI 서비스를 활용한 다국어 스마트 초인종 구현
{
"jobName":"job ID",
"results": {
"transcripts":[
{
"transcript":" that's no answer",
"confidence":1.0
} ],
"items":[
{
"start_time":"0.180",
"end_time":"0.470",
"alternatives":[
{
"confidence":0.94,
"word":"Hello, I'm" } ] },
{
"start_time":"0.470",
"end_time":"0.710",
"alternatives":[
{
"confidence":0.99,
"word": "dad" } ] },
GetTranscribeData
TranscriptionJob](https://image.slidesharecdn.com/awsinnovateonlineconferenceaimltrack1session1channyyun-200319071657/75/AWS-Innovate-AWS-5-2048.jpg)
![EC2 기반의 딥러닝 모델 학습 (1) – 인스턴스 구동
$ aws ec2 run-instances
--image-id ami-02273e0d16172dbd1
--instance-type p3.2xlarge
--region us-east-1
--instance-market-options '{"MarketType":"spot"}’
--tag-specifications 'ResourceType=instance,
Tags=[{Key=Name,Value=dlami-demo}]'
--key-name $KEYPAIR
--security-group-ids $SECURITY_GROUP
--iam-instance-profile Name=$ROLE](https://image.slidesharecdn.com/awsinnovateonlineconferenceaimltrack1session1channyyun-200319071657/75/AWS-Innovate-AWS-17-2048.jpg)
Uploaded byAmazon Web Services Korea
[AWS Innovate 온라인 컨퍼런스] 수백만 사용자 대상 기계 학습 서비스를 위한 확장 비법 - 윤석찬, AWS 테크 에반젤리스트
발표자료 다시보기: https://youtu.be/RYzviz-uOCU 기계 학습은 이제 개발자에게 필수 기술셋이 되었습니다. 본 세션에서는 AWS의 다양한 인공 지능 서비스를 활용하여 개발자들이 기계 학습을 처음 접하는 시점부터 혼자서 공부하는 방법부터 팀에서 초기 도입시, 그리고 정식 프로덕션 환경에서 수백만 사용자를 위한 서비스를 향해 가는 과정을 알려드림으로서 기계 학습 기반 개발자가 될 수 있는 방법을 알아봅니다.
More Related Content
![[Retail & CPG Day 2019] 유통 고객의 AWS 도입 동향 - 박동국, AWS 어카운트 매니저, 김준성, AWS어카운트 매니저](https://cdn.slidesharecdn.com/ss_thumbnails/dongkukpark-191024042355-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to [AWS Innovate 온라인 컨퍼런스] 수백만 사용자 대상 기계 학습 서비스를 위한 확장 비법 - 윤석찬, AWS 테크 에반젤리스트
![[2017 AWS Startup Day] 스타트업이 인공지능을 만날 때 : 딥러닝 활용사례와 아키텍쳐](https://cdn.slidesharecdn.com/ss_thumbnails/20171102awsstartupday2017-with-171102040932-thumbnail.jpg?width=640&height=640&fit=bounds)
![[E-commerce & Retail Day] 인공지능서비스 활용방안](https://cdn.slidesharecdn.com/ss_thumbnails/random-171027021822-thumbnail.jpg?width=640&height=640&fit=bounds)
![[25D2S09]_Amazon Nova팀이 선택한 Amazon SageMaker HyperPod 활용하기.pdf](https://cdn.slidesharecdn.com/ss_thumbnails/25d2s09amazonnovaamazonsagemakerhyperpod-250403123346-184ebeaa-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S01] Gen AI를 위한 Amazon Aurora 활용 사례 방법](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s01genaiamazonaurora-240702042912-516e67f4-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S06] Neptune Analytics with Vector Similarity Search](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s06neptuneanalyticsvectorsilimliaritysearch-240702042912-94c41309-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S03] Amazon DynamoDB design puzzlers](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s03amazondynamodbdesignpuzzlers-240702042912-ad6df881-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S04] Aurora PostgreSQL performance monitoring and troubleshooting by use...](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s04aurorapostgresqlperformancemonitoringandtroubleshooting-240702042912-5df626e3-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S07] AWS S3 - 클라우드 환경에서 데이터베이스 보호하기](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s07-240702042911-cb134cd6-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S05] Aurora 혼합 구성 아키텍처를 사용하여 예상치 못한 트래픽 급증 대응하기](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s05aurora-240702042911-c7f3f22d-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S02] Aurora Limitless Database Introduction](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s02auroralimitlessdatabaseintroduction-240702042911-cb5552b7-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T2S01] Amazon Aurora MySQL 메이저 버전 업그레이드 및 Amazon B/G Deployments 실습](https://cdn.slidesharecdn.com/ss_thumbnails/d3t2s01amazonaurorabluegreendeployment-240702042226-3ae36566-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T2S03] Data&AI Roadshow 2024 - Amazon DocumentDB 실습](https://cdn.slidesharecdn.com/ss_thumbnails/d3t2s03documentdbhandson-240702042224-047bbc2c-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...](https://cdn.slidesharecdn.com/ss_thumbnails/d3s01aws-230704014400-3eeae447-thumbnail.jpg?width=640&height=640&fit=bounds)
[AWS Innovate 온라인 컨퍼런스] 수백만 사용자 대상 기계 학습 서비스를 위한 확장 비법 - 윤석찬, AWS 테크 에반젤리스트
- 2. © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved. 수백만 사용자 대상 기계 학습 서비스를 위한 확장 비법 윤석찬 AWS 수석 테크에반젤리스트
- 3. • 기계 학습(MachineLearning)에 대해 이제 막 시작하시려는 개발자 • ML 서비스 개발 및 배포에 어려움을 겪고 있는 데이터 과학자 • ML 서비스를 높은 가용성과 확장성으로 제공하려는 시스템 엔지니어 • ML 서비스를 수백만 사용자 및 기업 고객에게 제공하려는 개발 임원 • 본 세션에서는… o 혼자서 ML 공부를 시작하는 것부터 수백만 사용자를 위해 ML 서비스를 제공하는 단계별로 필요한 것들을 알아봅니다. 이런 분들을 위해 준비했습니다!
- 4. 이미지 분석 음성분석 텍스트 분석 검색 챗봇 개인화/추천 시계열 예측 사기 탐지 코드 리뷰 콜센터 분석 Amazon SageMaker 데이터 레이블링 추론 결과 인적 검토 기-학습 모델 제공 Jupyter 개발 환경 ML 모델 자동 실험 자동 하이퍼 파라미터 조정 ML 모델 디버깅 Auto ML 기능 제공 ML 모델 호스팅 배포 모델 성능 모니터링 배포 모델 추론 패키지 Ground Truth Augmented AI Built-in algorithms SageMaker Notebooks SageMaker Experiments Model tuning SageMaker Debugger SageMaker Autopilot Model hosting SageMaker Model Monitor SageMaker Neo Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia (Inf2) FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru Amazon Textract Amazon Kendra Contact Lens For Amazon Connect NEW NEW NEW NEW NEW NEW NEW NEWNEW NEWNEW NEW AI 서비스 앱 개발자를 위한 API 서비스 ML 서비스 딥러닝 개발자를 위한 완전 관리 서비스 ML 프레임워크 및 인프라 데이터 과학자를 위한 맞춤형 셀프 서비스 SageMaker Studio IDE NEW
- 5. AI 서비스를 활용한다국어 스마트 초인종 구현 { "jobName":"job ID", "results": { "transcripts":[ { "transcript":" that's no answer", "confidence":1.0 } ], "items":[ { "start_time":"0.180", "end_time":"0.470", "alternatives":[ { "confidence":0.94, "word":"Hello, I'm" } ] }, { "start_time":"0.470", "end_time":"0.710", "alternatives":[ { "confidence":0.99, "word": "dad" } ] }, GetTranscribeData TranscriptionJob
- 6. Collection 1 우리 가족 Collection2 친구 AI 서비스를 활용한 다국어 스마트 초인종 구현 Polly Translate Rekognition ImageLambdaS3 Bucket Deep LensIoT Button 1. IoT Button을 통해 Deep Lens에서 화상 이미지를 받아온다. 2. 초인종 누른 사람이 누구인지 얼굴 및 음성을 인식한다. Transcribe 3. 반갑게 인사를 하고 문을 열어준다. 어서오세 요. 아빠! 띵똥! 문열어라~ 미디어 스트리밍
- 7. 만약 AI 서비스로해결할 수 없는 맞춤형 ML 모델과 서비스를 만들어야 한다면 어떻게 해야 할까요?
- 8. 딥러닝을 통한 기계학습 과정 방식 모델 훈련 (Training) 기존 데이터를 통해 정답을 얻어내는 학습 과정 모델 추론 (Inference) 학습된 모델에 새로운 데이터를 넣어 정보를 얻는 과정 학습되지 않은 신경망 모델 딥러닝 프레임워크 학습 완료된 신경망 모델 애플리케이션 기능 제공 성능 최적화된 학습 모델 모델 피드백모델 재학습 학습용 샘플 데이터 서비스용 신규 데이터 ? 머6666
- 9. © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
- 10. 공부를 시작하면서 꿈꾸는희망 사항 자신의 랩탑에 Tensorflow 설치 후, 모델 학습 진행 학습 모델 정확도 측정 후, 실제 적용을 위한 A/B 테스트 진행 서버에 모델 배포 및 기존 애플리케이션에 기능 추가 원하는 서비스 기능 동작 및 트래픽 상승
- 11. • “ 제모델은 다양한 라이브러리 의존성이 있습니다." • “GPU / GPU에서 제대로 훈련되지 않습니다." o "nccl, cudnn이 설치되었나요? 올바른 버전입니까?" • “내 코드가 CPU에서 느리게 실행되고 있습니다.” o “코드가 AVX 명령 세트를 활용하고 있습니까?!" • "드라이버를 업데이트했는데 훈련 속도가 느려지거나 오 류가 발생했습니다." • ＂배포한 모델 서버가 다른 버전의 프레임 워크 / 리눅스 배포판이네요. ㅠㅠ " 하지만, 기계 학습을 시작하려면 복잡합니다! TensorFlow mkl cudnn cublas Nccl CUDA toolkit NVIDIA drivers Host OS Keras horovod numpy scipy others… CPU: GPU: scikit- learn pandas openmpi Python
- 12. 하지만, 기계 학습을시작하려면 복잡합니다! 내 노트북 인프라 설정 DIY (GPU카드 구매) ML SW 설정 DIY (Tensorflow 설치) 모델 개발 DIY (Jupyter Notobook) 모델 훈련 DIY (밤새 돌리기) 모델 배포 DIY (혼자 테스트) CI/CD 통합 N/A 고 가용성 N/A 비용 최적화 N/A 보안 N/A • “ 제 모델은 다양한 라이브러리 의존성이 있습니다." • “GPU / GPU에서 제대로 훈련되지 않습니다." o "nccl, cudnn이 설치되었나요? 올바른 버전입니까?" • “내 코드가 CPU에서 느리게 실행되고 있습니다.” o “코드가 AVX 명령 세트를 활용하고 있습니까?!" • "드라이버를 업데이트했는데 훈련 속도가 느려지거나 오 류가 발생했습니다." • ＂배포한 모델 서버가 다른 버전의 프레임 워크 / 리눅스 배포판이네요. ㅠㅠ "
- 13. © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
- 14. • Amazon EC2인스턴스를 통해 모델 개발, 훈련을 진행함으로서 이동성 및 민첩성 확보 • Amazon Machine Image(AMI)를 통 해 빠르게 EC2 인스턴스 구동 및 모델 훈련 • AWS가 제공하는 소스 콘트롤 (Code Commit), 스토리지(S3), 사설 네트워 크 환경(VPC), 권한 관리(IAM) 서비스 등으로 보안 강화 간편한 기계 학습을 위한 AWS 클라우드 활용 내 노트북 EC2 인프라 설정 DIY (GPU카드 구매) Auto (EC2 API/CLI) ML SW 설정 DIY (Tensorflow 설치) Auto (DL AMI) 모델 개발 DIY (Jupyter Notobook) DIY 모델 훈련 DIY (밤새 돌리기) Auto (EC2 API/CLI) 모델 배포 DIY (혼자 테스트) N/A CI/CD 통합 N/A N/A 고 가용성 N/A N/A 비용 최적화 N/A N/A 보안 N/A Auto(IAM, VPC, KMS)
- 15. AWS Deep LearningAMIs 빠른 딥러닝 애플리케이션 개발을 위해 다양한 딥러닝 프레임워크를 미리 설치하고 최적 설정을 완료한 머신 이미지(Machine Image) 제공 https://aws.amazon.com/machine-learning/amis/ Conda AMI 별도 가상 환경에 사전 설치된 딥 러닝 프레임워크 및 PIP 패키지 제공 (우분투, 아마존리눅스, 윈도용) Base AMI 개별 딥러닝 엔진 리포지토리 또는 맞춤형 빌드를 설치 가능 (우분투, 아마존리눅스용) AMI with source code 공유 Python 개발 환경에서 DL 엔진 및 소스 코드를 함께 제공
- 16. Amazon EC2 GPU인스턴스 및 Spot 구매 옵션 https://aws.amazon.com/ko/ec2/spot/ 온-디맨드 가격의 70%로 사용 가능• NVIDIA Tesla V100 GPU 기반 • 15-125 teraFLOPs 컴퓨팅 • 40,960 CUDA cores 및 5120 Tensor Codes • 128GB의 GPU 메모리 • Tensorflow, MXNet 등 다양한 기계 학습 모델 작업 최적화 P3 instance https://aws.amazon.com/ko/ec2/instance-types/p3/
- 17. EC2 기반의 딥러닝모델 학습 (1) – 인스턴스 구동 $ aws ec2 run-instances --image-id ami-02273e0d16172dbd1 --instance-type p3.2xlarge --region us-east-1 --instance-market-options '{"MarketType":"spot"}’ --tag-specifications 'ResourceType=instance, Tags=[{Key=Name,Value=dlami-demo}]' --key-name $KEYPAIR --security-group-ids $SECURITY_GROUP --iam-instance-profile Name=$ROLE
- 18. EC2 기반의 딥러닝모델 학습 (2) – Jupyter 노트북 실행 $ ssh -L 8000:localhost:8888 ec2-user@INSTANCE_NAME $ jupyter notebook --no-browser --port=8888 Open http://localhost:8000 • Jupyter는 40개 이상 프로그래밍 언어를 대화식으로 실행 가능한 오픈 소스 소프트웨어 • 주로 Python, R, Scala을 사용한 빅데이터 분석이나 딥러닝에 활용 가능
- 19. 클라우드 기반 기계학습 모델 개발 Amazon EC2 instance GPU s Deep Learning AMI Amazon EBS Datasets Amazon S3 Trained models and metadata AWS CodeCommit Git repository AWS Key Management Service Data Encryption VPC CLI Developers
- 20. 클라우드 기반 딥러닝가속화 중… https://nucleusresearch.com/research/single/guidebook-tensorflow-aws/ In analyzing the experiences of researchers supporting more than 388unique projects, Nucleus found that 88 percent of cloud-based TensorFlow projects are running on Amazon Web Services. “
- 21. Demo. Spot 인스턴스 및Deep Learning AMI 기반 MNIST 모델 학습하기
- 22. © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
- 23. • 증가하는 고객,내부 팀, 그리고 ML 모델이 추가 ▶ 확장성 • 대용량 컴퓨팅 성능을 확보하려면 ▶ 스케일-아웃 (Auto Scaling) • 매뉴얼 작업에서 해방하려면 ▶ 모델 개발 자동화 • 자동화를 통한 민첩한 모델 훈련 및 배포 ▶ 인프라 기반 코드 (IaC) 사용자 증가를 통한 확장성/생산성 이슈 발생
- 24. 확장성 높은 클라우드기반 기계 학습 모델 개발 Model Training Servers Amazon S3 Trained models and metadata Availability Zone Elastic Load Balancer (ELB) Amazon Route53 Availability Zone Model Inference Servers Users CLI Developers AWS CodeBuild
- 25. • 클러스터 구성및 확장 AWS CloudFormation, Terra form 등을 통한 클러스터 구성 Auto Scaling, Elastic Load B alancers 등을 통한 확장 스팟 인스턴스를 통한 비용 절감 • 모델 훈련 및 배포 자동화 AWS CodeBuild 또는 Jenkins, Puppet, Chef 등을 통한 CI/CD 도구 활용 서비스를 위한 모델 서버 구성 기계 학습을 위한 EC2 클러스터 구성 내 노트북 EC2 EC2 클러스터 인프라 설정 DIY (GPU카드 구매) Auto (EC2 API/CLI) Auto (Cloud Formation) ML SW 설정 DIY (Tensorflow 설치) Auto (DL AMI) Auto 모델 개발 DIY (Jupyter Notobook) DIY DIY 모델 훈련 DIY (밤새 돌리기) Auto (EC2 API/CLI) Auto 모델 배포 DIY (혼자 테스트) N/A DIY (Model Server) CI/CD 통합 N/A N/A DIY (Jenkins, Puppet) 고 가용성 N/A N/A Auto (ELB, Auto Scaling) 비용 최적화 N/A N/A DIY (Spot, RI, 자동화) 보안 N/A Auto(IAM, VPC, KMS) Auto
- 26. © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
- 27. • Docker 컨테이너는여러 환경에 서 일관되게 실행되는 사용자 지정 ML 환경을 배포 가능 • 딥러닝 프레임워크가 사전에 설치 된 Docker 이미지를 통해 사용자 지정 기계 학습(ML) 환경을 신속 하게 배포 • EC2기반 Kubernetes 및 ECS/EKS 등을 통해 AWS의 다양 한 컨테이너 플랫폼 활용 가능 기계 학습을 위한 컨테이너 활용 TensorFlow mkl cudnn cublas Nccl CUDA toolkit NVIDIA drivers Host OS Keras horovod numpy scipy others… CPU: GPU: scikit- learn pandas openmpi Python Container runtime
- 28. • 이미 검증된사전 패키징 된 Docker 컨테이너 이미지 제공 • 최신 NVIDIA 드라이버, CUDA 라이브 러리 및 Intel 라이브러리 성능 최적화 • 일관성 높은 경량 배포 기능 제공 • 분산화된 기계 학습에 최적화 • Docker on EC2, AmazonECS/EKS, Amazon ECS 및 Amazon SageMak er 등 다양한 컨테이너 환경 사용 가능 AWS Deep Learning Containers TensorFlow (8) MXNet (8) Training (4) GPU with py36 GPU with py27 CPU with py36 CPU with py27 Inference (4) GPU with py36 GPU with py27 CPU with py36 CPU with py27 (PyTorch coming soon) Amazon EKS Amazon ECS Amazon SageMaker https://aws.amazon.com/ko/machine-learning/containers/ Amazon EC2
- 29. AWS Deep LearningContainers https://docs.aws.amazon.com/dlami/latest/devguide/deep-learning-containers-images.html $ docker pull <image> Bring your own training script (BYOTS) 16 Images in ECR repositories in 15 AWS regions
- 30. LG전자 Amazon EKS기반 ML 구축 사례 Private subnet AWS Cloud AZ-1 AZ-2 AZ-3 Internal ELB Training Instances Training Instances Public subnet Master Modeling Instances Log Stream Intelliytics DB Redis Session Cluster Master Master Amazon EKS EFS Volumes Model Image Repo Raw Data Analyzed Data Image Builder Internal Git Get resources Pull & Push Images modeling scripts & source codes Amazon S3Amazon RDS Amazon Kinesis Amazon Elasticache Elastic Load Balancer(ELB)Amazon Route53 Nginx Minio Prometheus Argo
- 31. 컨테이너 기반 ML학습 및 서비스 구성 내 노트북 EC2 EC2 클러스터 ECS / EKS 인프라 설정 DIY (GPU카드 구매) Auto (EC2 API/CLI) Auto (Cloud Formation) Managed (Docker tools) ML SW 설정 DIY (Tensorflow 설치) Auto (DL AMI) Auto Managed (DL container) 모델 개발 DIY (Jupyter Notobook) DIY DIY DIY 모델 훈련 DIY (밤새 돌리기) Auto (EC2 API/CLI) Auto Auto (Docker tools) 모델 배포 DIY (혼자 테스트) N/A DIY (Model Server) Auto (Docker tools) CI/CD 통합 N/A N/A DIY (Jenkins, Puppet) Managed (ECR, Code*) 고 가용성 N/A N/A Auto (ELB, Auto Scaling) Managed (Master, Services, pods) 비용 최적화 N/A N/A DIY (Spot, RI, 자동화) DIY 보안 N/A Auto(IAM, VPC, KMS) Auto Auto
- 32. © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
- 33. 데이터 수집 및 저장 기계학습 알고리즘 선택 모델훈련을 위한 인프라 설정 모델 훈련 및 튜닝 (계속 반복) 최적화한 모델 배포 서비스 확장 및 운영 기계 학습 프로젝트 과정은 여전히 어렵습니다!
- 34. 완전 관리 및 자동스케일링 원클릭 배포 Jupyter Notebook 기반 서비스 고성능 알고리즘 미리 제공 원클릭 데이터 훈련 Hyper- parameter 최적화 SageMaker Ground Truth AWS ML Marketplace SageMaker RL SageMaker Neo Training with Spot D ATA P R E P AR ATI O N B U I LT - I N ALG O R I TH M S O NE - C LI C K TR AI NI NG TR AI N AND TU NE O NE - C LI C K TR AI NI NG Amazon SageMaker 손쉬운 기계 학습 모델 생성, 훈련 및 서비스 배포 완전 관리 서비스 Notebooks Debugger Experiments Monitoring SageMaker Studio SageMaker AutoPilot Operator for K8s S C ALI NG Auto Scaling Augmented AI
- 35. SageMaker를 통한 ML서비스 아키텍처 Notebooks Instacne Training Algorithm SageMaker Training SageMaker Hosting Build Train Deploy static website hosted on S3 Inference requests web assets on Cloudfront Developer Data Scientists End-users training data Set trained models AWS CodePipeline Amazon ECR Amazon SageMaker Amazon S3 Amazon CloudFront Amazon API Gateway AWS Lambda
- 36. 자동 하이퍼 파라미터최적화(HPO) 기능 https://medium.com/datadriveninvestor/auto-model-tuning-for-keras-on-amazon-sagemaker-plant-seedling-dataset-7b591334501e https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-produces-better-models-faster/ CPU (ml.m5.xlarge) 작업 시 Speed = 4 mins/epoch Total Runtime = ~20 hours Cost = .269 * 20 = $5.38 GPU (ml.p2.xlarge) 작업 시 Speed = 4.8 seconds/epoch Total Runtime = ~3 hours Cost = 1.26 * 3 = $3.78 Keras 기반 Plant Seedling Dataset을 위한 CNN 학습 모델 (최대 150 Epoch 학습)
- 37. from sagemaker.tensorflow importTensorFlow tf_estimator = TensorFlow(entry_point=’my_crazy_cnn.py', role=SageMakerRole, train_instance_count=8, train_instance_type='ml.p3.16xlarge', framework_version='1.12', py_version='py3',script_mode=True, hyperparameters={'epochs': 200,'learning-rate': 0.01}) tf_estimator.fit(data) # HTTPS endpoint backed by 16 multi-AZ load-balanced instances tf_endpoint = tf_estimator.deploy( scalable-dimension= sagemaker:variant:DesiredInstanceCount, min_capacity=1, max_capacity=8 instance_type=ml.c5.2xlarge) tf_endpoint.predict(…) 확장성 높은 모델 훈련 및 서비스 배포 자동 하이퍼 파라미터 조정 멀티 GPU 를 통한 빠른 학습 오토스케일링을 통한 API 서비스 구성 Tensroflow 기반 샘플 코드 – 단 3개의 함수만 실행하면 배포까지 완료
- 38. Q: 자동화된 통합개발 환경이 필요합니다! 사내에 다양한 비즈니스에 적용하고, 고객 경 험을 개선할 진정한 ML 모델을 구축하는 경우, ML 빌딩 블록과 작동 중인 요소의 개발 중 많은 최적화가 필요 기계 학습 모델에 대한 개발 및 테스트, 검증 등에 대한 효율적 개발 도구가 제공되지 않음
- 39. Amazon SageMaker Studio 기계학습 모델 개발 및 배포를 위한 최초의 완전 통합 개발 환경 (IDE) 수천 개의 모델 실험을 구성, 추적 및 비교 손쉬운 실험 및 관리 코드 의존성 추적 없이 확장 가능한 노트북 공유 대규모 협업 가능 코드 작성 없이 완벽한 가시성 및 제어 기능을 갖춘 정확한 모델 확보 자동 ML 모델 생성 오류 자동 디버깅, 모델 모니터링 및 고품질 유지 고품질 ML 모델 구성 통합 된 시각적 인터페이스에서 코드 작성, 교육, 배포 및 모니터링 생산성 향상 N E W !
- 41. SageMaker를 통한 ML서비스 구성 내 노트북 EC2 EC2 클러스터 ECS / EKS SageMaker 인프라 설정 DIY (GPU카드 구매) Auto (EC2 API/CLI) Auto (Cloud Formation) Managed (Docker tools) Managed ML SW 설정 DIY (Tensorflow 설치) Auto (DL AMI) Auto Managed (DL container) Managed 모델 개발 DIY (Jupyter Notobook) DIY DIY DIY Managed (BYOM, Built-in 모델) 모델 훈련 DIY (밤새 돌리기) Auto (EC2 API/CLI) Auto Auto (Docker tools) Managed 모델 배포 DIY (혼자 테스트) N/A DIY (Model Server) Auto (Docker tools) Managed CI/CD 통합 N/A N/A DIY (Jenkins, Puppet) Managed (ECR, Code*) Managed (SDK, Step Functions) 고 가용성 N/A N/A Auto (ELB, Auto Scaling) Managed (Master, Services, pods) Managed (On-demand training, Auto-scaling Deployment) 비용 최적화 N/A N/A DIY (Spot, RI, 자동화) DIY Managed (On-demand/Spot training, Auto- scaling Deployment) 보안 N/A Auto(IAM, VPC, KMS) Auto Auto Managed
- 42. 주유소 CCTV 영상을통한 차량 인식 및 분석 예시 주유소 영상 차량 인식 모델 통계 Data 추출 및 분석 (방문 차량 모델 비율 등) Data Point 추출 (차종, 연식만) Privacy Data 원천 제외 고객 마케팅/주유소 운영전략 고객 차량 인식을 통한 서비스 경험 향상 Amazon SageMaker
- 43. Demo. Amazon SageMaker 기반모델 훈련 및 배포 하기
- 44. © 2020, AmazonWeb Services, Inc. or its affiliates. All rights reserved.
- 45. + AMI AMI CFN SaaSIoT WAF NEW Amazon SageMaker Containers 수십만 고객에게 ML 서비스 판매 하려면?
- 46. AWS Marketplace for MachineLearning 150 개가 넘는 신뢰할 수 있고 선별 된 ML 알고리즘 및 모델 패키지 판매 53 개 기계 학습 카테고리 14 개 산업 부문 30 개 이상의 런칭 파트너 9 개 미리 보기 고객사 무료 | 무료 평가판 | 유료 라이센스 유형 https://aws.amazon.com/marketplace/b/6297422012
- 47. BUY: (ENTERPRISE CUSTOMERS) SageMaker에서알고리즘 / 모델 탐색 및 검색 AWS Marketplace에서 제품을 검색 및 원클릭 구매 SELL: (VENDORS/START UPS) SageMaker에서 AWS SDK를 사용하여 알고리즘 / 모델을 Docker 이미지로 패키지 및 업로드 AWS Marketplace에서 알고리즘 / 모델 게시 제품 마케팅 및 빌링에 대한 시간과 비용 절감 ML 서비스 구매 및 판매
- 48. ML 서비스 판매옵션 Algorithm/ model package charges AWS resources usage 알고리즘 훈련 비용 모델 패키지 : 실시간 추론 비용 모델 패키지 : 배치 추론 비용 알고리즘 : Amazon SageMaker, 스토리지 비용, 노트북 서버 모델 패키지 : Amazon SageMaker, 스토리지 비용, 데이터 입 / 출력 요금 +
- 49.
- 50. 수백만 사용자를 위한ML 서비스 판매 https://aws.amazon.com/marketplace/solutions/machine-learning
- 51. 수백만 사용자를 위한ML 서비스 제공 의학 영상에 대한 진단 및 조언 기능 수십억 건의 모바일 광고 데이터 처리 200억건의 소셜 매칭 데이터 분석 및 예측 대용량 이미지 추천 및 스팸 탐지 https://aws.amazon.com/ko/sagemaker/customers/
- 52. • ML 공부할필요 없다면 제일 좋습니다. ▶ AI API 서비스 활용 • 시작 한다면, SageMaker로 시작하세요. ▶ 완전 관리형 서비스 • 모델 훈련 및 배포 비용을 아끼세요 ▶ 딥러닝 AMIs/Containers • 반복적인 개발 비용을 꼭 염두해 두세요 ▶ Spot 구매 옵션 활용 • ML 서비스도 결국 서비스입니다 ▶ 지속적 통합/배포(CI/CD) 구축 • ML 서비스도 결국 돈입니다 ▶ Marketplace를 통한 글로벌 판매 마무리
- 53. AWS 기계 학습(ML)교육 및 자격증 • Amazon의 개발자와 데이터 과학자를 교육하는 데 직접 활용 되었던 커리큘럼을 기반으로 학습하세요! 전체 팀을 위한 기계 학습 교육 원하는 방법으로! 교육 유연성 제공 전문성에 대한 검증 비즈니스 의사 결정자, 데이터 과학자, 개발자, 데이터 플랫폼 엔지니어 등 역할에 따라 제공되는 맞춤형 학습 경로를 확인하세요. 약 65개 이상의 온라인 과정 및 AWS 전문 강사를 통해 실습과 실 적용의 기회가 제공되는 강의실 교육이 준비되어 있습니다. 업계에서 인정받는 ‘AWS 공인 기계 학습 – 전문분야’ 자격증을 통해 기계학습 모델을 구축, 학습, 튜닝 및 배포하는 데 필요한 전문 지식이있음을 입증할 수 있습니다. https://aws.amazon.com/ko/training/learning-paths/machine-learning/
- 54. © 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. AWS Innovate 온라인 컨퍼런스에 참석해주셔서 대단히 감사합니다. aws-korea-marketing@amazon.com twitter.com/AWSKorea facebook.com/amazonwebservices.ko youtube.com/user/AWSKorea slideshare.net/awskorea twitch.tv/aws 저희가 준비한 내용, 어떻게 보셨나요? 더 나은 세미나를 위하여 설문을 꼭 작성해 주시기 바랍니다.