Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Amazon SageMaker 오버뷰 - 강성문, AWS AI/ML 스페셜리스트 :: AIML 특집 웨비나

527 views

Published on

발표영상 다시보기: https://youtu.be/jF2BN98KBlg

인프라 걱정 없이 다양한 모델을 만들어 보고 관찰해 볼 수 있는 Amazon SageMaker와 re:Invent 2019에서 신규 출시된 서비스들을 소개합니다.

Published in: Technology
  • Be the first to comment

Amazon SageMaker 오버뷰 - 강성문, AWS AI/ML 스페셜리스트 :: AIML 특집 웨비나

  1. 1. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker – 머신러닝 개발 플랫폼 강성문 AIML Specialized SA AWS Korea
  2. 2. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 강연 중 질문하는 방법 Go to Webinar “Chat/채팅” 창에 자신이 질문한 내역이 표시됩니다. 기본적으로 모든 질문은 공개로 답변 됩니다만 본인만 답변을 받고 싶으면 (비공개)라고 하고 질문해 주시면 됩니다. 본 컨텐츠는 고객의 편의를 위해 AWS 서비스 설명을 위해 온라인 세미나용으로 별도로 제작, 제공된 것입니다. 만약 AWS 사이트와 컨텐츠 상에서 차이나 불일치가 있을 경우, AWS 사이트(aws.amazon.com)가 우선합니다. 또한 AWS 사이트 상에서 한글 번역문과 영어 원문에 차이나 불일치가 있을 경우(번역의 지체로 인한 경우 등 포함), 영어 원문이 우선합니다. AWS는 본 컨텐츠에 포함되거나 컨텐츠를 통하여 고객에게 제공된 일체의 정보, 콘텐츠, 자료, 제품(소프트웨어 포함) 또는 서비스를 이용함으로 인하여 발생하는 여하한 종류의 손해에 대하여 어떠한 책임도 지지 아니하며, 이는 직접 손해, 간접 손해, 부수적 손해, 징벌적 손해 및 결과적 손해를 포함하되 이에 한정되지 아니합니다. 고지 사항(Disclaimer)
  3. 3. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. The AWS ML Stack 가장 광범위하고 가장 완벽한 머신 러닝 기능 제공 VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth Augmented AI ML Marketplace Neo Built-in algorithms Notebooks Experiments Model training & tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI 서비스 ML 서비스 ML 프레임워크 & 인프라 Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE NEW NEW! NEW! NEW! NEW! NEW! NEW! NEW! NEW! NEW! NEW! Amazon SageMaker
  4. 4. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Prepare Build Train & Tune Deploy & Manage Web-based IDE for machine learning Automatically build and train models Amazon SageMaker 머신 러닝을 위한 툴 101011010 010101010 000011110 훈련 데이터 수집 및 준비 기계 학습 알고리즘 선택 또는 구축 훈련 환경 설정 및 관리 모델 훈련, 디버그 및 튜닝 프로덕션에 모델 배포 훈련 진행 관리 모델 모니터링 예측 결과 검증 프로덕션 환경 확장 및 관리 데이터 프로세싱 및 레이블링 원클릭 노트북 공유 및 고성능 알고리즘 및 모델 원클릭 트레이닝 디버깅 및 최적화 원클릭 배포 및 오토스케일링 Experiments를 통해 Job을 비교 및 시각화 Data drift를 자동으로 감지 예측결과를 사람을 통해 확인 완전 관리 및 오토스케일링, 최대 75% 절감
  5. 5. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Demo – ML Training with SageMaker console
  6. 6. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Demo – Managed ML development with SageMaker
  7. 7. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 머신러닝 프로세스 Business Problem ML problem framing Data collection Data integration Data preparation and cleaning Data visualization and analysis Feature engineering Model training and parameter tuning Model evaluation Monitoring and debugging Model deployment Predictions YESNO
  8. 8. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Build and train models using SageMaker Business Problem ML problem framing Data collection Data integration Data preparation and cleaning Data visualization and analysis Feature engineering Model training and parameter tuning Model evaluation Monitoring and debugging Model deployment Predictions YESNO • 노트북 환경 구성 및 관리 • 학습 클러스터 구성 및 관리 • 데이터 커넥터 작성 • 대용량 데이터를 수용할 수 있 는 확장성 있는 ML 알고리즘 • 여러 노드를 사용할 수 있는 분 산 ML 학습 알고리즘 • 모델 결과물에 대한 보안
  9. 9. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Deploy models using SageMaker Business Problem ML problem framing Data collection Data integration Data preparation and cleaning Data visualization and analysis Feature engineering Model training and parameter tuning Model evaluation Monitoring and debugging Model deployment Predictions YESNO • 인퍼런스 클러스터 구성 및 운영 • 인퍼런스 API를 확장성 있게 구 성하고 운영하기 • 모델 예측 결과에 대한 모니터링 과 디버깅 • 모델 버저닝과 성능 추적 • 새로운 모델을 운영환경에 A/B 테스팅 형태로 배포
  10. 10. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker 활용 Jupyter Notebook Training Instance Hosting Instance • 실험과 개발 용도로 Jupyter notebook만 사용 • SageMaker에서 학습하고 모델 호스팅은 다른 곳에 • 학습된 모델을 가져와서 SageMaker에서 호스팅 • End-to-End: Jupyter Notebook, Training, Hosting 모두 SageMaker에서
  11. 11. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda 개요 데이터준비 (Prepare) 모델개발 (Build) 학습과 최적화 (Train and Tune) 배포/관리 (Deploy and Manage) 통합 (Integration)
  12. 12. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  13. 13. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Ground Truth
  14. 14. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Ground Truth { "source-ref": "s3://jsimon-groundtruth-demo/SSDB00001.JPG", "GroundTruthDemo": { "annotations": [ {"class_id": 0, "width": 54, "top": 482, "height": 39, "left": 337}, {"class_id": 0, "width": 69, "top": 495, "height": 53, "left": 461}, {"class_id": 0, "width": 52, "top": 482, "height": 41, "left": 523}, {"class_id": 0, "width": 71, "top": 481, "height": 62, "left": 589}, {"class_id": 0, "width": 347, "top": 479, "height": 120, "left": 573} ], "image_size": [{"width": 1280, "depth": 3, "height": 960} ] }, "GroundTruthDemo-metadata": { "job-name": "labeling-job/groundtruthdemo", "class-map": {"0": "Car"}, "human-annotated": "yes", "objects": [ {"confidence": 0.94},
  15. 15. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Labeling data 생성방법
  16. 16. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Labeling data 생성방법
  17. 17. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Ground Truth Automatic Annotations Raw Data
  18. 18. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  19. 19. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Notebook instance
  20. 20. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Notebook instance
  21. 21. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Blog and code examples
  22. 22. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Studio SSO 로그인 IAM 로그인
  23. 23. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Studio 로그인 1. SSO 로그인 : 전용 URL로 접속 1. 버튼 클릭 후 사용자 등록 2. 사용자 확인 3. Studio 전용 URL
  24. 24. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. https://d-ob2yosivcrqw.studio.us-east- 2.sagemaker.aws/jupyter/default Amazon SageMaker Studio 로그인 2. IAM 사용자로 로그인 하기 1. 버튼 클릭 후 사용자 추가 2. Studio 접속
  25. 25. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Studio 시작 화면
  26. 26. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  27. 27. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. - SageMaker RL (강화학습) - SageMaker DGL (Deep Graph Library) - Automatic Model Tuning(하이퍼파라미터 튜닝) - SageMaker AutoPilot - SageMaker Experiment - SageMaker Preprocessing - SageMaker Debugger - SageMaker Managed Spot Training
  28. 28. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 도커기반 라이프사이클 관리 - Train Training AlgorithmTraining DataAmazon S3 Amazon ECR Amazon SageMaker Training Algorithm Inference AlgorithmTraining Data Model Artifacts 데이터 과학자
  29. 29. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 도커기반 라이프사이클 관리 - Deploy Amazon S3 Amazon SageMaker Training Data Model Artifacts EndPoint 개발자와 운영자 Model Artifacts Amazon ECRTraining Algorithm Inference AlgorithmInference Algorithm
  30. 30. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Training Sagemaker Built-in algorithms AWS Marketplace algorithms Model Data Data Data Data SageMaker Model Model Model SageMaker Custom Script Algorithms or Models Custom script on supported framework BYO algorithm and framework 17 Built in high performance algorithms Supported Frameworks: Apache MXNet, TensorFlow , Scikit-learn, PyTorch, Chainer Docker containers with your own algorithms and frameworks 3rd party algorithms and models SageMaker Custom Script and Custom Framework SageMaker Supported Framework Built in Algorithms
  31. 31. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker built-in algorithms Classification Computer Vision Topic Modeling Working with Text Recommendation Forecasting • Linear Learner* • XGBoost • KNN • Image Classification <> • BlazingText • Supervised • Unsupervised* • Factorization Machines* • DeepAR* • LDA Anomaly Detection • Random Cut Forests* Sequence Translation • Seq2Seq* • Object Detection <> Clustering • Kmeans* Feature Reduction • PCA Regression • Linear Learner • IP Insight*s • Semantic Segmentation • Object2Vec• XGBoost • KNN • NTM
  32. 32. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 빌트인 알고리즘 예제 – Object detections • Deep NN을 이용해서 이미지 안의 객체 발견 & 분류 • 출력은 사각형 Bounding box 와 분류 결과의 신뢰도 • Transfer Learning 지원 (freeze layer 선택) • Momentum, weight_decay 등 하이퍼파라미터 조정 • Base network로 VGG와 Resnet 선택 • Single shot multibox detector (SSD) 구조를 이용
  33. 33. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. ML/DL 프레임워크와 사용자 스크립트 • Apache Spark • TensorFlow • Apache MXNet • Scikit-learn • PyTorch • Chainer • SparkML Serving https://github.com/aws/sagemaker-python-sdk
  34. 34. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Bring Your Own Algorithm /opt/ml ├── input │ ├── config │ │ ├── hyperparameters.json │ │ └── resourceConfig.json │ └── data │ └── <channel_name> │ └── <input data> ├── model ├── code ├── output └── failure
  35. 35. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. ML 모델 마켓플레이스
  36. 36. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. - 빌트인 알고리즘 (Built-in algorithms) - 딥러닝 프레임워크 & 사용자 스크립트 - Bring your own algorithm - 기계학습 모델 마켓플레이스 - SageMaker AutoPilot - SageMaker Experiment - SageMaker Preprocessing - SageMaker Debugger - SageMaker Managed Spot Training
  37. 37. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker RL - Training Results in model updates
  38. 38. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker RL Components RL Environments to model real-world problem RL Toolkits for RL agent algorithm implementation SageMaker Deep Learning Frameworks Open AI baselines … PyTorch Chainer https://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/reinforcement-learning.html AWS Simulation Env Open Source Env Custom Env Commercial
  39. 39. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker DGL (Deep Graph Library) • Graph Neural Networks 모델을 신속하게 구축, 학습 및 평가할 수 있도록 돕는 Python 오픈 소스 라이브러리 • 딥러닝 컨테이너 및 SageMaker에서 사용 가능
  40. 40. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Automatic Model Tuning (HPO) Hyperparameter tuning finds the best hyperparameter using Bayesian optimization All ML Algorithms Supported • SageMaker Built-in Algorithms or custom algorithms • Amazon SageMaker pre-built containers for ML Frameworks (TensorFlow, MXNet, Chainer) = bring-your-own-container Training Data Set ML Algorithm Objective Selected Hyperparameters Guessing Hyperparameters to get the best result Training Models using chosen hyperparameters Giving the best Model Configuration Bayesian Optimization Training Jobs
  41. 41. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Automatic Model Tuning (HPO) https://aws.amazon.com/blogs/aws/sagemaker-automatic-model-tuning/
  42. 42. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. - 빌트인 알고리즘 (Built-in algorithms) - 딥러닝 프레임워크 & 사용자 스크립트 - Bring your own algorithm - 기계학습 모델 마켓플레이스 - SageMaker RL (강화학습) - SageMaker DGL (Deep Graph Library) - Automatic Model Tuning(하이퍼파라미터 튜닝)
  43. 43. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Autopilot 지원 알고리즘 • XGBoost • Linear Learner + 계속 추가 예정 문제 유형 • Linear regression • Binary Classification • Multi-Class classification
  44. 44. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AutoPilot 내부 동작 방식
  45. 45. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AutoPilot 하이퍼파라메터 튜닝 결과 비교
  46. 46. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Experiments
  47. 47. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Experiments Trail간 지표비교
  48. 48. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Preprocessing • Null 값 제거 • 중복값 또는 중복 라인 • Class 값들을 수치로 변환 • One-hot 인코딩 • 수치값 Scaling 42개 열 à 72개 열
  49. 49. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Debugger 훈련 과정에 아래 모든 것들이 영향을 줄 수 있습니다. • Vanishing gradients • Exploding gradients • Epoch마다 Loss가 줄어들지 않는 경우 • Weight 업데이트 값이 너무 작거나 너무 큰 경우 • Tensor의 값이 모두 0인 경우
  50. 50. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Debugger Built-in Rules
  51. 51. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Managed Spot Training 훈련 비용을 최대 90%까지 절감합니다. 각 학습 작업에 대한 비용 절감을 시각화 Amazon EC2 On-Demand 인스턴스와 비교하여 학습 비용 절감 스팟 용량 관리 및 중단 자동 처리 빌트인 알고리즘 및 사용자 정의 알고리즘 및 프레임워크 지원 모든 SageMaker 학습 가능 중단 없음 알고리즘 및 프레임워크 지원 완벽한 가시성 자동 모델 튜닝 및 강화 활용 90%까지 비용 절감 서울 리전 기준 Image Classification & Object Detection 약 65% 절감, BlazingText 약 75% 절감
  52. 52. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  53. 53. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Batch Transform EXECUTE Batch Transform Input data in Amazon S3 Output data in Amazon S3 Algorithm
  54. 54. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Endpoint 주피터 노트북 서버 Amazon SageMaker GPU/CPU 서버 클러스터 1-클릭 배포 오토 스케일링 엔드포인트 API 게이트웨이 Lambda
  55. 55. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Endpoint Amazon ECR 30 50 10 10 모델 산출물 예측 모델 이미지 엔드포인트 설정 Amazon SageMaker ProductionVariant InstanceType: c3.4xlarge InitialInstanceCount: 3 ModelName: prod VariantName: primary InitialVariantWeight: 50 여러 버전의 모델 엔드포인트 I ML Hosting Service 하나 이상의 ProductionVariant를 이용 EndpointConfiguration 및 Endpoint 생성
  56. 56. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Multi-model Endpoint EP-1 Model 1 EP-2 Model 2 EP-10 Model 10 … EP Model 1 Model 2 … Model 10 Sample scenario: ml.c5.xlarge, $0.238/hour, 2 instances running 24/7 10 separate endpoints $3,430/month 1 multi-model endpoint $343/month
  57. 57. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Multi-model Endpoint Mode: Artifact location: predict nevada.tar.gz s3://bucket/your-endpoint-models/ load new_york.tar.gz texas.tar.gz florida.tar.gz nevada.tar.gz Amazon SageMaker Multi-model endpoint Amazon S3 model storage
  58. 58. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Neo
  59. 59. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Neo Neo • 오픈소스 컴파일러 & 런타임 • 모델 사이즈 1/10로 감소
  60. 60. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Model Monitor 자동 데이터 수집 지속적 모니터링 CloudWatch 통합 엔드포인트에서 배포한 모델 관련 데이터 자동 수집 CloudWatch 경고(alerts)를 기반으로 수정 작업 자동화 시각적 데이터 분석 사전에 정의한 기준에 따라 모니터링 일정을 정의하고 품질 변화 감지 SageMaker Studio에서 모니터링 결과, 데이터 통계 시각화 및 통합 규칙에 따른 유연성 빌트인 규칙을 사용한 데이터 변화 감지, 혹은 맞춤형 분석을 위한 사용자 정의 규칙 작성 배포 중인 모델을 지속적으로 모니터링합니다.
  61. 61. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Model Monitor in Production 특정 Feature에 대해서 Baseline과 Production 시의 값의 변화
  62. 62. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Model Monitor – 결과확인
  63. 63. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Model Monitor – 위반 확인 유형 위반 확인 유형 설명 Data type check 현재 실행 중인 데이터 유형이 baseline 데이터셋의 데이터 유형과 동일하지 않은 경우 이 위반이 표시됩니다. Completeness check 현재 실행에서 관찰된 completeness(non-null items의 비율)이 feature마다 지정된 completeness 임계값에 지정된 임계값을 초과하면 이 위반이 표시됩니다. Drift check 현재 데이터셋과 baseline 데이터셋 간의 분포 거리(예: KL divergence)가 지정된 임계값보다 큰 경우 이 위반이 표시됩니다. Missing column check 현재 데이터셋의 컬럼 수가 baseline의 컬럼 수보다 작으면 이 위반이 표시됩니다. Extra column check 현재 데이터셋의 컬럼 수가 baseline의 컬럼 수보다 많으면 이 위반이 표시됩니다. Categorical values check baseline 데이터셋보다 현재 데이터셋의 unknown value들이 더 많으면 이 위반이 표시됩니다.
  64. 64. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  65. 65. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. A2I (Amazon Augmented AI) 클라이언트 어플리케이션이 입력 데이터 전송 AWS AI 서비스 또는 맞춤형 ML 모델이 예측 생성 S3에 결과 저장 1 2 64 휴먼 리뷰를 위해 낮은 신뢰도 예측 데이터 전송 3 높은 신뢰도의 예측이 즉시 클라이언트 어플리케이션에 바로 리턴 5 A2I 답변 통합 알고리즘을 사용하여 통합된 리뷰 클라이언트 어플리케이션 Amazon Rekognition Amazon Textract
  66. 66. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. A2I Textract 통합 예제 Amazon Textract Input ML 신뢰도 < 80% 잘못된 철자 확인
  67. 67. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. A2I Textract 통합 예제 작업자(Worker)가 잘못된 결과(철자)를 수정
  68. 68. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS IoT Edge deployment Inference Training Local actions Edge Cloud Amazon SageMaker Optimize with Neo AWS IoT Greengrass Feedback Model Deployment Data collection
  69. 69. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS IoT Greengrass Data and state sync Security Over-the-air updatesConnectors Operate devices offline and synchronize data when reconnected Local actions Simplify device programming with AWS Lambda Mutual authentication and authorization between cloud and devices Easily update AWS IoT Greengrass Core Machine- learning inference Perform ML inference locally Local resource access Lambda functions can access and use local resources of a given device Extend edge devices with connections to external services Local messages and triggers Enable device communication without a cloud connection Secrets manager Deploy secrets to edge devices Device software
  70. 70. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS IoT Greengrass SageMaker로 학습된 모델 선택
  71. 71. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS EMR (Elastic Map Reduce) • Livy, an open source REST interface for Spark, is installed on EMR with one click. https://aws.amazon.com/blogs/machine-learning/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/ EMRSageMaker Jupyter Notebook Server Sparkmagic Web Service Spark Livy
  72. 72. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. From EMR to SageMaker Start Training Parameters Hardware Apply Model https://docs.aws.amazon.com/sagemaker/latest/dg/apache-spark.html
  73. 73. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. From R to SageMaker https://aws.amazon.com/ko/blogs/machine-learning/using-r-with-amazon-Sagemaker/
  74. 74. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker와 GitHub / CodeCommit 연결
  75. 75. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. CI/CD with CodePipeline .zip
  76. 76. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. StepFunctions를 이용한 ML Workflow 관리
  77. 77. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. StepFunctions를 이용한 ML Workflow 관리 https://docs.aws.amazon.com/ko_kr/step-functions/latest/dg/connect-sagemaker.html
  78. 78. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Kubectl apply YAML Key Features • Amazon SageMaker Operators for training, tuning, inference • Natively interact with Amazon SageMaker jobs using K8s tools (e.g., get pods, describe) • Stream and view logs from Amazon SageMaker in K8s • Helm Charts to assist with setup and spec creation SageMaker Operators for Kubernetes
  79. 79. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. SageMaker Operators for Kubernetes https://github.com/aws/amazon-sagemaker-operator-for-k8s https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-operators-for-kubernetes/
  80. 80. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Creating Kubeflow Pipeline Components @dsl.pipeline( name='Sample Trainer', description=’’ ) def sample_train_pipeline(... ): create_cluster_op = CreateClusterOp('create-cluster', ...) analyze_op = AnalyzeOp('analyze', ...) transform_op = TransformOp('transform', ...) train_op = TrainerOp('train', ...) predict_op = PredictOp('predict', ...) confusion_matrix_op = ConfusionMatrixOp('confusion-matrix', ...) roc_op = RocOp('roc', ...) kfp.compiler.Compiler().compile(sample_train_pipeline , 'my- pipeline.zip’)
  81. 81. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Apache Airflow SageMaker Operators https://airflow.apache.org/docs/1.10.3/_api/airflow/contrib/operators/index.html • sagemaker_training_operator • sagemaker_tuning_operator • sagemaker_model_operator • sagemaker_endpoint_config_operator • sagemaker_endpoint_operator • sagemaker_transform_operator • segment_track_event_operator
  82. 82. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Apache Airflow with SageMaker https://aws.amazon.com/ko/blogs/machine-learning/build-end-to-end-machine-learning-workflows-with- amazon-sagemaker-and-apache-airflow/
  83. 83. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
  84. 84. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 더 나은 세미나를 위해 여러분의 의견을 남겨주세요! ▶ 질문에 대한 답변 드립니다. ▶ 발표자료/녹화영상은 추후 별도로 전달 드릴 예정입니다.
  85. 85. Thank you! © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

×