Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

AWS에서의 오픈 소스 활용 및 전략 - Blox와 MXNet을 중심으로 (윤석찬, AWS테크에반젤리스트)

1,971 views

Published on

삼성 오픈 소스 콘퍼런스 발표 자료

Published in: Technology

AWS에서의 오픈 소스 활용 및 전략 - Blox와 MXNet을 중심으로 (윤석찬, AWS테크에반젤리스트)

  1. 1. Blox와 Apache MXNet을 중심으로 AWS에서의 오픈 소스 활용 및 전략 아마존 웹 서비스 | 윤석찬 테크 에반젤리스트 2017.10.26
  2. 2. 4JF y 4JF o 5 e @KARa o ~ o + , - . 목차
  3. 3. i i c h e v i i t Z d wuz Q
  4. 4. Copyright 2017 SAMSUNG ELECTRONICS. ALL RIGHTS RESERVED ♥
  5. 5. 아마존 웹 서비스의 특징 1. Primitives 2. Fully-managed 3. Innovative v y w
  6. 6. I. 오픈 소스 기반 AWS 재료 서비스 AWS Primitives supporting Open Source Software
  7. 7. 1. Amazon EC2 - 오픈 소스 OS 지원 • ERQUNa • FHF V be • HOb ab • _RR5F7 • ARa5F7 • B R F N_V 4ZNg @NPUV R ZNTR 4@ w j !
  8. 8. 2. Amazon Linux • 4JFj ERQUNa • – 4JF • j t BF • • Uaa 2))Nd (NZNg (P Z)NZNg V be NZV) • 4ZNg V be 7 PXR_ • 4JF j • Uaa 2))Q P (Nd (NZNg (P Z)4ZNg 6E) NaR a)b R_ TbVQR)NZNg M V beMP aNV R_MVZNTR(UaZ
  9. 9. 3. AWS EB- 오픈 소스 프레임웍 지원 • 4JF N aVP5RN aN X2 • 4JF r y • 4JF 5 • u+( • EbOf& CfaU & C C& NcN& A QR F • 75& • u,(
  10. 10. 4. AWS Marketplace 이용하기 r – BFF 4@ p j ! PttXZ0%%IwZ.IUIaoV.KoU%UIrSMtXTIKM
  11. 11. 5. 오픈 소스 지원 서드파티 서비스 4JF j ! PttXZ0%%JQtVIUQ.KoU%PttXZ0%%K/.Qo
  12. 12. II. 오픈 소스 기반 관리형 AWS 서비스 AWS Fully-managed Services supporting Open Source Software
  13. 13. 1. Amazon ECS (EC2 Container Service) 7 PXR_ y • y •
  14. 14. 2. Amazon RDS (Relational Database Service) • yu 75 E75 y • 75 6, • & & • j • – BFF • @fFD 4b_ _N • @N_VN75 • C aT_RFD
  15. 15. 3. Amazon EMR (Elastic MapReduce) • y • NQ & F N_X& C_R a – j • – 4JF & 75 j • @E • NQ & ON R& VcR& CVT& C_R a & F N_X& LR R V & L XRR R_& :N T VN& V X& bR & @NU ba& B gVR& CVT& F & GRg PttX0%%LoKZ.IwZ.IUIaoV.KoU%MUr%TItMZt%BMTMIZM7uQLM%MUr-rMTMIZM-KoUXoVMVtZ.PtUT
  16. 16. 4. Amazon ElastiCache • • m 75 s • BFF • @RZPNPURQ ERQV • ERQV j • 4C ~ j
  17. 17. 5. 기타 오픈 소스 기반 서비스 • 4ZNg N aVP RN_PU FR_cVPR2 • N aVP RN_PU& T aN U& VON N • 4ZNg N aVPG_N P QV T FR_cVPR2 • @C : • 4JF 6 QR6 ZZVa2 • :Va • 4JF 7V_RPa _f R_cVPR2 • B R 74C y • 4ZNg 6 bQFRN_PU2 • 4 NPUR bPR R p
  18. 18. III. AWS 오픈 소스 개발 공헌 Contributions on Open Source Softwares by AWS
  19. 19. AWS 직접 공헌 프로젝트 목록 • LQVux & 5rQvMrZ • GMV • 2XIKPM DoUKIt • @oZtOrMCAL • 5oKSMr • 3oto • 2XIKPM 8ILooX • 2XIKPM 8QvM • 2XIKPM 3QOtoX • 2XIKPM OoaQM • 2XIKPM 5rQTT • 2XIKPM HMXXMTQ V • 2XIKPM @QO • 4TouLMrI 8E6 • 2XIKPM LuKMVM • 2XIKPM CoTr • KuroUoRQ • 6TIZtQKCMIrKP • 43M4 • MGNMt • MoZMZ • 2XIKPM :oZPuI
  20. 20. AWS 오픈 소스 멤버쉽 Linux Foundation Silver Member • b QV T NQcV _f ZRZOR_ S KR 3 V be b QNaV • b QV T ZRZOR_ S aUR 6 _R S_N a_bPab_R VaVNaVcR • b QV T ZRZOR_ S aUR B R 6 aNV R_ VaVNaVcR • C NaV bZ ZRZOR_ S aUR 6 bQ ANaVcR 6 Z baV T b QNaV ToDo Group 6 Z N VR P ZZVaaRQ a R b_PR Alliance for Open Media i IVQR S _ZNa OpenMPI P _aVbZ S _ UVTU R_S _ZN PR P Z baV T
  21. 21. AWS 주요 공헌 목록 Linux • A4 N aVP ARad _X 4QN aR_ • 4 N b_ N i 4E@0. PUV Ra b _a • 4JF UV_RQ V be P ZZVaaR_ 7NcVQ J QU b R , +0(+ Boto • CfaU F7 i 4JF UV_RQ P_RNa _ @VaPU :N_ NNa , +0(. Hadoop • 5VT QNaN RP f aRZ _ WRPa i cR_ + P a_VObaV
  22. 22. Blox 기반 Docker 컨테이너 운영하기 아마존 웹 서비스 | 김상필 솔루션즈 아키텍트
  23. 23. Amazon EC2 Container Service (ECS) y 4JF Docker 컨테이너를 지원하는 컨테이너 관리 서비스 Amazon EC2 인스턴스의 관리형 클러스터에서 애플리케이션을 손쉽게 실행
  24. 24. Amazon ECS 구성 요소 클러스터 6, ~ 작업 정의 (Task Definitions) t 작업 (Task) 클러스터 관리 엔진 y 스케줄러 v 에이전트 6,
  25. 25. Blox - 오픈 소스 컨테이너 관리 도구 blox.github.io 5 e 4ZNg 6F – w v& & y j cluster-state-service daemon-scheduler ecs-cli P b aR_ aNaR R_cVPR 4ZNg 6F t y 4C 2 p & & w –( t l –( QNRZ PURQb R_ r –( j v & ~ –( o t & v o –(
  26. 26. Amazon ECS 및 Blox 아키텍처 4 5 4 5 4L + 4L , b R_) PURQb R_ FPURQb R_ 6 b aR_ FaNaR FR_cVPR C NPRZR a TV R cR a Fa_RNZ Internet ECS agent ECS agent ECS agent 6, V aN PR 6, V aN PR 6, V aN PR
  27. 27. Blox 구성하기 scheduler cluster state service
  28. 28. Blox 로컬 구성 FaR +2 TVa P R Uaa 2))TVaUbO(P Z)O e)O e(TVa FaR -2 Q PXR_ P Z R b Q FaR .2 aN_a b V T 5 e PN f FaR ,2 QR f 6 bQ _ZNaV aRZ NaR a P SVTb_R 6F RcR a a_RNZ N Q FDF bRbR
  29. 29. Swagger Spec: Cluster State Service
  30. 30. Swagger Spec: Daemon Scheduler
  31. 31. t2.small t2.small t2.small Blox: Daemon Scheduler t2.small t2.small t2.small scheduler cluster state service t2.small t2.small t2.small
  32. 32. Blox에 참여 하는 방법 • 4 NPUR ,( • :VaUbO ~ bR w Cb ER bR a j y ! blox.github.io
  33. 33. Apache MXNet 기반 딥러닝 프레임웍
  34. 34. Deep Learning AMI • 6개의 오픈 소스 기반 Deep Le arning Framework 지원 @KARa& 6NSSR& GR _S d& GUR N & G _PU& 6AG • j aR @NaU R_ R VO_N_f @ @KARa& AI 7 4 & 6H74& Pb7AA& 4 NP QN FPVR PR C NaS _Z S _ CfaU ,& C faU - http://bit.ly/deepami
  35. 35. Apache MXNet - 딥러닝 프레임워크 ~ • Z R_NaVcR fZO VP 1o • & CfaU & 6 & FPN N 6CH):CH t v • :CH j
  36. 36. 1 4.-5 ..5 1(.(5 1, 1 4.-5 ..5 1(.(5 1, Speedup(x) # GPUs BMZVMt 15( 9VKMXtQV V) Scalability on Multi-GPU • P2.16xlarge (8 Nvidia Tesla K80 - 16 GPUs) • Synchronous SGD (Stochastic Gradient Descent) 91% Efficiency 88% Efficiency • 16x P2.16xlarge by AWS CloudFormation • Mounted on Amazon EFS # GPUs
  37. 37. Apache MXNet - 공헌 방법 • 3 @L -E M BLLI) FP @L C A@L L L@ E M @LMI BLFE • F R /- l .@@I 2@ C A 3 • -E M F LC @FIE L@ o b • @ F@ 3 @L BLLI) ACLBM F FE FP @L L @@ F L@ @P FIE@ • .@@I 2@ C A k sx sx v r b • LB L@ D l m • 3 @L 3 @E : BLLI) FP @L C F @E R C @P BLFE • n S me v y Z _ I LB z g v v a S T • _ Z o b
  38. 38. PttX0%%OTuoV.UxVMt.Qo PttXZ0%%OQtPuJ.KoU%aIKSKPIZM%UxVMt-tPM- ZtrIQOPt-LoXM Gluon - 오픈소스 딥러닝 학습인터페이스 o • 4JF w o • R_N CfG _PU n w • @KARa @VP_ Sa 6 T VaVcR G XVa • Z R_NaVcR& FfZO VP _ fO_VQ w
  39. 39. AWS 관련 오픈소스 레포지터리 NcN& : & C C& EbOf& F k F7 CfaU 5 a - Nd P V Github.com/AWS 4JF UR & F,A& 6UN VPR 4JF o k Github.com/AWSLabs
  40. 40. AWS 관련 외부 개발자 오픈 소스 레포지터리 4JF y :VaUbO w! q h Github.com/donnemartin/awesome-aws
  41. 41. Amazon 관련 오픈 소스 레포지터리 • 4ZNg 2 o & & • Uaa 2))TVaUbO(P Z)NZNg • Uaa 2))TVaUbO(P Z)NZNg NO • • BA2 FBA • 4 ReN2 • Uaa 2))TVaUbO(P Z)N ReN
  42. 42. IV. 한국 AWS 개발자 지원 프로그램 AWS Support Program for Developer Community
  43. 43. 1. AWS 개발자 커뮤니티 지원 Community Hosting Support Program l / +
  44. 44. 2. AWS 개발자 해커톤 지원 +
  45. 45. 3. AWSKRUG (사용자 모임) 지원 • 4JF EH: • Uaa 2))ddd(Nd X_( _T • NPRO X D 4~ • Uaa 2))SO(P Z)T_ b )Nd X_bT • F NPX • Uaa 2)) NPX(Nd X_( _T • – • 4JF ER2 cR a • ) x z & – ~
  46. 46. Copyright 2017 SAMSUNG ELECTRONICS. ALL RIGHTS RESERVED ♥ ♥
  47. 47. Copyright 2017 SAMSUNG ELECTRONICS. ALL RIGHTS RESERVED Q&A 윤석찬 아마존웹서비스코리아, 테크에반젤리스트 KPIVVyuV1IUIaoV.KoU PttX0%%JQt.Ty%IwZSr-NMMLJIKS B M

×