Blox와 Apache MXNet을 중심으로
AWS에서의 오픈 소스 활용 및 전략
아마존 웹 서비스 | 윤석찬 테크 에반젤리스트
2017.10.26
4JF
y 4JF
o
5 e
@KARa
o ~ o
+
,
-
.
목차
i i
c h
e v i i
t Z
d
wuz
Q
Copyright 2017 SAMSUNG ELECTRONICS. ALL RIGHTS RESERVED
♥
아마존 웹 서비스의 특징
1. Primitives 2. Fully-managed 3. Innovative
v y w
I. 오픈 소스 기반 AWS 재료 서비스
AWS Primitives supporting Open Source Software
1. Amazon EC2 - 오픈 소스 OS 지원
• ERQUNa
• FHF V be
• HOb ab
• _RR5F7
• ARa5F7
• B R F N_V
4ZNg @NPUV R ZNTR 4@ w j !
2. Amazon Linux
• 4JFj ERQUNa
• – 4JF
• j t BF
•
• Uaa 2))Nd (NZNg (P Z)NZNg V be NZV)
• 4ZNg V be 7 PXR_
• 4JF j
• Uaa 2))Q P (Nd (NZNg (P Z)4ZNg 6E) NaR a)b R_
TbVQR)NZNg M V beMP aNV R_MVZNTR(UaZ
3. AWS EB- 오픈 소스 프레임웍 지원
• 4JF N aVP5RN aN X2
• 4JF r
y
• 4JF 5
• u+(
• EbOf& CfaU & C C& NcN& A QR F
• 75&
• u,(
4. AWS Marketplace 이용하기
r – BFF 4@ p j !
PttXZ0%%IwZ.IUIaoV.KoU%UIrSMtXTIKM
5. 오픈 소스 지원 서드파티 서비스
4JF j !
PttXZ0%%JQtVIUQ.KoU%PttXZ0%%K/.Qo
II. 오픈 소스 기반 관리형 AWS 서비스
AWS Fully-managed Services supporting Open Source Software
1. Amazon ECS (EC2 Container Service)
7 PXR_ y
• y
•
2. Amazon RDS (Relational Database Service)
• yu 75 E75 y
• 75 6,
• & &
• j
• – BFF
• @fFD 4b_ _N
• @N_VN75
• C aT_RFD
3. Amazon EMR (Elastic MapReduce)
• y
• NQ & F N_X& C_R a –
j
• – 4JF & 75
j
• @E
• NQ & ON R& VcR& CVT& C_R a & F N_X&
LR R V & L XRR R_& :N T VN& V X& bR
& @NU ba& B gVR& CVT& F & GRg
PttX0%%LoKZ.IwZ.IUIaoV.KoU%MUr%TItMZt%BMTMIZM7uQLM%MUr-rMTMIZM-KoUXoVMVtZ.PtUT
4. Amazon ElastiCache
•
• m 75
s
• BFF
• @RZPNPURQ ERQV
• ERQV j
• 4C ~ j
5. 기타 오픈 소스 기반 서비스
• 4ZNg N aVP RN_PU FR_cVPR2
• N aVP RN_PU& T aN U& VON N
• 4ZNg N aVPG_N P QV T FR_cVPR2
• @C :
• 4JF 6 QR6 ZZVa2
• :Va
• 4JF 7V_RPa _f R_cVPR2
• B R 74C y
• 4ZNg 6 bQFRN_PU2
• 4 NPUR bPR R p
III. AWS 오픈 소스 개발 공헌
Contributions on Open Source Softwares by AWS
AWS 직접 공헌 프로젝트 목록
• LQVux & 5rQvMrZ
• GMV
• 2XIKPM DoUKIt
• @oZtOrMCAL
• 5oKSMr
• 3oto
• 2XIKPM 8ILooX
• 2XIKPM 8QvM
• 2XIKPM 3QOtoX
• 2XIKPM OoaQM
• 2XIKPM 5rQTT
• 2XIKPM HMXXMTQ
V
• 2XIKPM @QO
• 4TouLMrI 8E6
• 2XIKPM LuKMVM
• 2XIKPM CoTr
• KuroUoRQ
• 6TIZtQKCMIrKP
• 43M4
• MGNMt
• MoZMZ
• 2XIKPM :oZPuI
AWS 오픈 소스 멤버쉽
Linux Foundation Silver Member
• b QV T NQcV _f ZRZOR_ S KR 3 V be b QNaV
• b QV T ZRZOR_ S aUR 6 _R S_N a_bPab_R VaVNaVcR
• b QV T ZRZOR_ S aUR B R 6 aNV R_ VaVNaVcR
• C NaV bZ ZRZOR_ S aUR 6 bQ ANaVcR 6 Z baV T b QNaV
ToDo Group 6 Z N VR P ZZVaaRQ a R b_PR
Alliance for Open Media i IVQR S _ZNa
OpenMPI P _aVbZ S _ UVTU R_S _ZN PR P Z baV T
AWS 주요 공헌 목록
Linux
• A4 N aVP ARad _X 4QN aR_
• 4 N b_ N i 4E@0. PUV Ra b _a
• 4JF UV_RQ V be P ZZVaaR_ 7NcVQ J QU b R , +0(+
Boto
• CfaU F7 i 4JF UV_RQ P_RNa _ @VaPU :N_ NNa , +0(.
Hadoop
• 5VT QNaN RP f aRZ _ WRPa i cR_ + P a_VObaV
Blox 기반 Docker 컨테이너 운영하기
아마존 웹 서비스 | 김상필 솔루션즈 아키텍트
Amazon EC2 Container Service (ECS)
y
4JF
Docker 컨테이너를 지원하는 컨테이너 관리 서비스
Amazon EC2 인스턴스의 관리형 클러스터에서
애플리케이션을 손쉽게 실행
Amazon ECS 구성 요소
클러스터
6,
~
작업 정의 (Task Definitions)
t
작업 (Task)
클러스터 관리 엔진
y
스케줄러
v
에이전트
6,
Blox - 오픈 소스 컨테이너 관리 도구
blox.github.io
5 e 4ZNg 6F
–
w v&
& y j
cluster-state-service
daemon-scheduler
ecs-cli
P b aR_ aNaR R_cVPR 4ZNg 6F
t
y 4C 2 p & & w –( t
l –(
QNRZ PURQb R_
r –(
j v
& ~ –(
o t &
v o –(
Amazon ECS 및 Blox 아키텍처
4 5 4 5
4L + 4L ,
b R_) PURQb R_
FPURQb R_
6 b aR_ FaNaR FR_cVPR
C NPRZR a TV R
cR a Fa_RNZ
Internet
ECS agent ECS agent ECS agent
6, V aN PR 6, V aN PR 6, V aN PR
Blox 구성하기
scheduler cluster state service
Blox 로컬 구성
FaR +2 TVa P R Uaa 2))TVaUbO(P Z)O e)O e(TVa
FaR -2 Q PXR_ P Z R b Q
FaR .2 aN_a b V T 5 e PN f
FaR ,2 QR f 6 bQ _ZNaV aRZ NaR a P SVTb_R 6F RcR a a_RNZ N Q FDF bRbR
Swagger Spec: Cluster State Service
Swagger Spec: Daemon Scheduler
t2.small t2.small t2.small
Blox: Daemon Scheduler
t2.small t2.small t2.small
scheduler cluster state service
t2.small t2.small t2.small
Blox에 참여 하는 방법
• 4 NPUR ,(
• :VaUbO ~
bR w
Cb ER bR a j
y
!
blox.github.io
Apache MXNet 기반 딥러닝 프레임웍
Deep Learning AMI
• 6개의 오픈 소스 기반 Deep Le
arning Framework 지원
@KARa& 6NSSR& GR _S d& GUR
N & G _PU& 6AG
• j
aR @NaU R_ R VO_N_f @
@KARa& AI 7 4
& 6H74& Pb7AA& 4 NP QN
FPVR PR C NaS _Z S _ CfaU ,& C
faU -
http://bit.ly/deepami
Apache MXNet - 딥러닝 프레임워크
~
• Z R_NaVcR fZO VP
1o
• & CfaU & 6 & FPN N
6CH):CH
t v
• :CH j
1
4.-5
..5
1(.(5
1,
1 4.-5 ..5 1(.(5 1,
Speedup(x)
# GPUs
BMZVMt 15( 9VKMXtQV V)
Scalability on Multi-GPU
• P2.16xlarge (8 Nvidia Tesla K80 - 16 GPUs)
• Synchronous SGD (Stochastic Gradient Descent)
91% Efficiency 88% Efficiency
• 16x P2.16xlarge by AWS CloudFormation
• Mounted on Amazon EFS
# GPUs
Apache MXNet - 공헌 방법
• 3 @L -E M BLLI) FP @L C A@L L L@ E M @LMI BLFE
• F R /- l .@@I 2@ C A 3
• -E M F LC @FIE L@ o b
• @ F@ 3 @L BLLI) ACLBM F FE FP @L L @@ F L@ @P FIE@
• .@@I 2@ C A k sx sx v r b
• LB L@ D l m
• 3 @L 3 @E : BLLI) FP @L C F @E R C @P BLFE
• n S me v y Z _ I LB z g v v a S T
• _ Z o b
PttX0%%OTuoV.UxVMt.Qo
PttXZ0%%OQtPuJ.KoU%aIKSKPIZM%UxVMt-tPM-
ZtrIQOPt-LoXM
Gluon - 오픈소스 딥러닝 학습인터페이스
o
• 4JF w o
• R_N CfG _PU n
w
• @KARa @VP_ Sa 6 T VaVcR
G XVa
• Z R_NaVcR& FfZO VP _ fO_VQ
w
AWS 관련 오픈소스 레포지터리
NcN& : & C C& EbOf& F k F7
CfaU 5 a - Nd P V
Github.com/AWS
4JF UR & F,A& 6UN VPR 4JF
o k
Github.com/AWSLabs
AWS 관련 외부 개발자 오픈 소스 레포지터리
4JF y :VaUbO w! q h
Github.com/donnemartin/awesome-aws
Amazon 관련 오픈 소스 레포지터리
• 4ZNg 2 o & &
• Uaa 2))TVaUbO(P Z)NZNg
• Uaa 2))TVaUbO(P Z)NZNg NO
•
• BA2 FBA
• 4 ReN2
• Uaa 2))TVaUbO(P Z)N ReN
IV. 한국 AWS 개발자 지원 프로그램
AWS Support Program for Developer Community
1. AWS 개발자 커뮤니티 지원
Community Hosting
Support Program
l / +
2. AWS 개발자 해커톤 지원
+
3. AWSKRUG (사용자 모임) 지원
• 4JF EH:
• Uaa 2))ddd(Nd X_( _T
• NPRO X D 4~
• Uaa 2))SO(P Z)T_ b )Nd X_bT
• F NPX
• Uaa 2)) NPX(Nd X_( _T
• –
• 4JF ER2 cR a
• ) x z
& –
~
Copyright 2017 SAMSUNG ELECTRONICS. ALL RIGHTS RESERVED
♥
♥
Copyright 2017 SAMSUNG ELECTRONICS. ALL RIGHTS RESERVED
Q&A
윤석찬
아마존웹서비스코리아, 테크에반젤리스트
KPIVVyuV1IUIaoV.KoU
PttX0%%JQt.Ty%IwZSr-NMMLJIKS
B M
AWS에서의 오픈 소스 활용 및 전략 - Blox와 MXNet을 중심으로 (윤석찬, AWS테크에반젤리스트)
AWS에서의 오픈 소스 활용 및 전략 - Blox와 MXNet을 중심으로 (윤석찬, AWS테크에반젤리스트)
AWS에서의 오픈 소스 활용 및 전략 - Blox와 MXNet을 중심으로 (윤석찬, AWS테크에반젤리스트)
AWS에서의 오픈 소스 활용 및 전략 - Blox와 MXNet을 중심으로 (윤석찬, AWS테크에반젤리스트)
AWS에서의 오픈 소스 활용 및 전략 - Blox와 MXNet을 중심으로 (윤석찬, AWS테크에반젤리스트)
AWS에서의 오픈 소스 활용 및 전략 - Blox와 MXNet을 중심으로 (윤석찬, AWS테크에반젤리스트)
AWS에서의 오픈 소스 활용 및 전략 - Blox와 MXNet을 중심으로 (윤석찬, AWS테크에반젤리스트)
AWS에서의 오픈 소스 활용 및 전략 - Blox와 MXNet을 중심으로 (윤석찬, AWS테크에반젤리스트)

AWS에서의 오픈 소스 활용 및 전략 - Blox와 MXNet을 중심으로 (윤석찬, AWS테크에반젤리스트)

  • 1.
    Blox와 Apache MXNet을중심으로 AWS에서의 오픈 소스 활용 및 전략 아마존 웹 서비스 | 윤석찬 테크 에반젤리스트 2017.10.26
  • 2.
    4JF y 4JF o 5 e @KARa o~ o + , - . 목차
  • 3.
    i i c h ev i i t Z d wuz Q
  • 4.
    Copyright 2017 SAMSUNGELECTRONICS. ALL RIGHTS RESERVED ♥
  • 5.
    아마존 웹 서비스의특징 1. Primitives 2. Fully-managed 3. Innovative v y w
  • 6.
    I. 오픈 소스기반 AWS 재료 서비스 AWS Primitives supporting Open Source Software
  • 7.
    1. Amazon EC2- 오픈 소스 OS 지원 • ERQUNa • FHF V be • HOb ab • _RR5F7 • ARa5F7 • B R F N_V 4ZNg @NPUV R ZNTR 4@ w j !
  • 8.
    2. Amazon Linux •4JFj ERQUNa • – 4JF • j t BF • • Uaa 2))Nd (NZNg (P Z)NZNg V be NZV) • 4ZNg V be 7 PXR_ • 4JF j • Uaa 2))Q P (Nd (NZNg (P Z)4ZNg 6E) NaR a)b R_ TbVQR)NZNg M V beMP aNV R_MVZNTR(UaZ
  • 9.
    3. AWS EB-오픈 소스 프레임웍 지원 • 4JF N aVP5RN aN X2 • 4JF r y • 4JF 5 • u+( • EbOf& CfaU & C C& NcN& A QR F • 75& • u,(
  • 10.
    4. AWS Marketplace이용하기 r – BFF 4@ p j ! PttXZ0%%IwZ.IUIaoV.KoU%UIrSMtXTIKM
  • 11.
    5. 오픈 소스지원 서드파티 서비스 4JF j ! PttXZ0%%JQtVIUQ.KoU%PttXZ0%%K/.Qo
  • 12.
    II. 오픈 소스기반 관리형 AWS 서비스 AWS Fully-managed Services supporting Open Source Software
  • 13.
    1. Amazon ECS(EC2 Container Service) 7 PXR_ y • y •
  • 14.
    2. Amazon RDS(Relational Database Service) • yu 75 E75 y • 75 6, • & & • j • – BFF • @fFD 4b_ _N • @N_VN75 • C aT_RFD
  • 15.
    3. Amazon EMR(Elastic MapReduce) • y • NQ & F N_X& C_R a – j • – 4JF & 75 j • @E • NQ & ON R& VcR& CVT& C_R a & F N_X& LR R V & L XRR R_& :N T VN& V X& bR & @NU ba& B gVR& CVT& F & GRg PttX0%%LoKZ.IwZ.IUIaoV.KoU%MUr%TItMZt%BMTMIZM7uQLM%MUr-rMTMIZM-KoUXoVMVtZ.PtUT
  • 16.
    4. Amazon ElastiCache • •m 75 s • BFF • @RZPNPURQ ERQV • ERQV j • 4C ~ j
  • 17.
    5. 기타 오픈소스 기반 서비스 • 4ZNg N aVP RN_PU FR_cVPR2 • N aVP RN_PU& T aN U& VON N • 4ZNg N aVPG_N P QV T FR_cVPR2 • @C : • 4JF 6 QR6 ZZVa2 • :Va • 4JF 7V_RPa _f R_cVPR2 • B R 74C y • 4ZNg 6 bQFRN_PU2 • 4 NPUR bPR R p
  • 18.
    III. AWS 오픈소스 개발 공헌 Contributions on Open Source Softwares by AWS
  • 19.
    AWS 직접 공헌프로젝트 목록 • LQVux & 5rQvMrZ • GMV • 2XIKPM DoUKIt • @oZtOrMCAL • 5oKSMr • 3oto • 2XIKPM 8ILooX • 2XIKPM 8QvM • 2XIKPM 3QOtoX • 2XIKPM OoaQM • 2XIKPM 5rQTT • 2XIKPM HMXXMTQ V • 2XIKPM @QO • 4TouLMrI 8E6 • 2XIKPM LuKMVM • 2XIKPM CoTr • KuroUoRQ • 6TIZtQKCMIrKP • 43M4 • MGNMt • MoZMZ • 2XIKPM :oZPuI
  • 20.
    AWS 오픈 소스멤버쉽 Linux Foundation Silver Member • b QV T NQcV _f ZRZOR_ S KR 3 V be b QNaV • b QV T ZRZOR_ S aUR 6 _R S_N a_bPab_R VaVNaVcR • b QV T ZRZOR_ S aUR B R 6 aNV R_ VaVNaVcR • C NaV bZ ZRZOR_ S aUR 6 bQ ANaVcR 6 Z baV T b QNaV ToDo Group 6 Z N VR P ZZVaaRQ a R b_PR Alliance for Open Media i IVQR S _ZNa OpenMPI P _aVbZ S _ UVTU R_S _ZN PR P Z baV T
  • 21.
    AWS 주요 공헌목록 Linux • A4 N aVP ARad _X 4QN aR_ • 4 N b_ N i 4E@0. PUV Ra b _a • 4JF UV_RQ V be P ZZVaaR_ 7NcVQ J QU b R , +0(+ Boto • CfaU F7 i 4JF UV_RQ P_RNa _ @VaPU :N_ NNa , +0(. Hadoop • 5VT QNaN RP f aRZ _ WRPa i cR_ + P a_VObaV
  • 22.
    Blox 기반 Docker컨테이너 운영하기 아마존 웹 서비스 | 김상필 솔루션즈 아키텍트
  • 23.
    Amazon EC2 ContainerService (ECS) y 4JF Docker 컨테이너를 지원하는 컨테이너 관리 서비스 Amazon EC2 인스턴스의 관리형 클러스터에서 애플리케이션을 손쉽게 실행
  • 24.
    Amazon ECS 구성요소 클러스터 6, ~ 작업 정의 (Task Definitions) t 작업 (Task) 클러스터 관리 엔진 y 스케줄러 v 에이전트 6,
  • 25.
    Blox - 오픈소스 컨테이너 관리 도구 blox.github.io 5 e 4ZNg 6F – w v& & y j cluster-state-service daemon-scheduler ecs-cli P b aR_ aNaR R_cVPR 4ZNg 6F t y 4C 2 p & & w –( t l –( QNRZ PURQb R_ r –( j v & ~ –( o t & v o –(
  • 26.
    Amazon ECS 및Blox 아키텍처 4 5 4 5 4L + 4L , b R_) PURQb R_ FPURQb R_ 6 b aR_ FaNaR FR_cVPR C NPRZR a TV R cR a Fa_RNZ Internet ECS agent ECS agent ECS agent 6, V aN PR 6, V aN PR 6, V aN PR
  • 27.
  • 28.
    Blox 로컬 구성 FaR+2 TVa P R Uaa 2))TVaUbO(P Z)O e)O e(TVa FaR -2 Q PXR_ P Z R b Q FaR .2 aN_a b V T 5 e PN f FaR ,2 QR f 6 bQ _ZNaV aRZ NaR a P SVTb_R 6F RcR a a_RNZ N Q FDF bRbR
  • 29.
    Swagger Spec: ClusterState Service
  • 30.
  • 31.
    t2.small t2.small t2.small Blox:Daemon Scheduler t2.small t2.small t2.small scheduler cluster state service t2.small t2.small t2.small
  • 32.
    Blox에 참여 하는방법 • 4 NPUR ,( • :VaUbO ~ bR w Cb ER bR a j y ! blox.github.io
  • 33.
    Apache MXNet 기반딥러닝 프레임웍
  • 34.
    Deep Learning AMI •6개의 오픈 소스 기반 Deep Le arning Framework 지원 @KARa& 6NSSR& GR _S d& GUR N & G _PU& 6AG • j aR @NaU R_ R VO_N_f @ @KARa& AI 7 4 & 6H74& Pb7AA& 4 NP QN FPVR PR C NaS _Z S _ CfaU ,& C faU - http://bit.ly/deepami
  • 35.
    Apache MXNet -딥러닝 프레임워크 ~ • Z R_NaVcR fZO VP 1o • & CfaU & 6 & FPN N 6CH):CH t v • :CH j
  • 36.
    1 4.-5 ..5 1(.(5 1, 1 4.-5 ..51(.(5 1, Speedup(x) # GPUs BMZVMt 15( 9VKMXtQV V) Scalability on Multi-GPU • P2.16xlarge (8 Nvidia Tesla K80 - 16 GPUs) • Synchronous SGD (Stochastic Gradient Descent) 91% Efficiency 88% Efficiency • 16x P2.16xlarge by AWS CloudFormation • Mounted on Amazon EFS # GPUs
  • 37.
    Apache MXNet -공헌 방법 • 3 @L -E M BLLI) FP @L C A@L L L@ E M @LMI BLFE • F R /- l .@@I 2@ C A 3 • -E M F LC @FIE L@ o b • @ F@ 3 @L BLLI) ACLBM F FE FP @L L @@ F L@ @P FIE@ • .@@I 2@ C A k sx sx v r b • LB L@ D l m • 3 @L 3 @E : BLLI) FP @L C F @E R C @P BLFE • n S me v y Z _ I LB z g v v a S T • _ Z o b
  • 38.
    PttX0%%OTuoV.UxVMt.Qo PttXZ0%%OQtPuJ.KoU%aIKSKPIZM%UxVMt-tPM- ZtrIQOPt-LoXM Gluon - 오픈소스딥러닝 학습인터페이스 o • 4JF w o • R_N CfG _PU n w • @KARa @VP_ Sa 6 T VaVcR G XVa • Z R_NaVcR& FfZO VP _ fO_VQ w
  • 39.
    AWS 관련 오픈소스레포지터리 NcN& : & C C& EbOf& F k F7 CfaU 5 a - Nd P V Github.com/AWS 4JF UR & F,A& 6UN VPR 4JF o k Github.com/AWSLabs
  • 40.
    AWS 관련 외부개발자 오픈 소스 레포지터리 4JF y :VaUbO w! q h Github.com/donnemartin/awesome-aws
  • 41.
    Amazon 관련 오픈소스 레포지터리 • 4ZNg 2 o & & • Uaa 2))TVaUbO(P Z)NZNg • Uaa 2))TVaUbO(P Z)NZNg NO • • BA2 FBA • 4 ReN2 • Uaa 2))TVaUbO(P Z)N ReN
  • 42.
    IV. 한국 AWS개발자 지원 프로그램 AWS Support Program for Developer Community
  • 43.
    1. AWS 개발자커뮤니티 지원 Community Hosting Support Program l / +
  • 44.
    2. AWS 개발자해커톤 지원 +
  • 45.
    3. AWSKRUG (사용자모임) 지원 • 4JF EH: • Uaa 2))ddd(Nd X_( _T • NPRO X D 4~ • Uaa 2))SO(P Z)T_ b )Nd X_bT • F NPX • Uaa 2)) NPX(Nd X_( _T • – • 4JF ER2 cR a • ) x z & – ~
  • 46.
    Copyright 2017 SAMSUNGELECTRONICS. ALL RIGHTS RESERVED ♥ ♥
  • 48.
    Copyright 2017 SAMSUNGELECTRONICS. ALL RIGHTS RESERVED Q&A 윤석찬 아마존웹서비스코리아, 테크에반젤리스트 KPIVVyuV1IUIaoV.KoU PttX0%%JQt.Ty%IwZSr-NMMLJIKS B M