찾아가는 AWS 세미나(구로,가산,판교) - 메가존과 함께하는 클라우드 컴퓨팅

2016.11.09
메가존과 함께하는
클라우드 컴퓨팅

메가존 Cloud Dept. History
§ 2012 AWS 국내 최초 파트너
§ 2014 AWS 국내 최초 Advanced Consulting Partner
§ 2014 AWS re:Invent에서 전 세계 9개 사 중 하나로
‘고객 헌신적인 파트너’ 선정
§ 2015 세계유일 AWS Certified Technical Support Program 제공
§ 2015 국내 최초 AWS Premier Consulting Partner (전 세계 46개)
§ 2015 국내 최초/유일 Enterprise Support Program
제공 → TAM (Technical Account Manager) 지원 가능
§ 2016 국내 최초 Marketing & Commerce Competency 선정
§ 2016 Partner of the year (올해의 파트너) 선정
§ 2016 Managed Service Partner 선정
국내 최초 AWS Premier Consulting 파트너

01. HPC란 무엇인가?
02. AWS 기반 HPC
03. HPC를 위한 AWS 구성
04. Windows HPC의 AWS 구성
05. Windows HPC 데모
INDEX

HPC = 고성능 컴퓨팅 = 슈퍼컴퓨터

HPC 정의
• 고성능 컴퓨팅은 고급 연산 문제를 풀기 위하여 수퍼컴퓨터 및
컴퓨터 클러스터를 사용하는 것
• 과학 연구와 연관된 고성능 컴퓨터의 이용을 일반적인 고성능
컴퓨팅의 정의로 봄
• HPC(고성능 컴퓨팅) 기능을 통해 과학자와 엔지니어는 높은
대역폭, 향상된 네트워킹, 고용량 컴퓨팅 파워가 필요한 애플리케
이션을 사용할 때의 복잡한 과학, 공학, 비즈니스 관련 문제를
해결 할 수 있음
• 빅데이터 시대의 도래로 빅데이터 분석을 위한 고성능 컴퓨터의
활용은 기초 과학 분야의 연구개발(R&D) 활동이나 금융, 물류,
나아가 의학, 교육 등 다양한 산업 부분으로 확대되고 있음

HPC 시장 동향
• ’14년 210억 달러 => ’19년에 310
억 달러(연평균 8.3%증가)로 HPC
시장 규모 확대(2015 IDC, 美 IT 리
서치 기업)
• ’15년 3,420억원 => ’20년에 4,783
억원으로 국내 HPC 시장 규모 확대
(연평균 5.58% 증가)
• Top500 Supercomputer의 85%가
x86 시스템으로 세계 서버 출하량의
99.1% 및 시장 수익의 82%를 차지
(2016 Garthner, 美 IT 리서치 기업)

유연한 가격 책정으로
저렴한 비용 절감
효율적인 클러스터
인프라 관리
무제한 확장성
보다 빠른 결과 도출
온 디맨드 병렬 클러스터
공동 작업률 향상
Why AWS for HPC?

유연한 클라우드 기반의 리소스
실제 수요
수요에 따른 리소스 할당
낭비 고객 불만족
실제 수요
예상된 수요
유연하지 않은 On-premise 환경
유연함의 이점
필요할때 필요한 만큼 생성하여 사용

사용한 만큼 지불 모델
원하는 서비스만 사용 가능한
다양한 가격정책
On-Premises
자본 비용 모델
높은 조기 자본과 지속적인
고비용의 유지비용
클라우드에서의 HPC의 비용 절감 효과
사용한 만큼만 과금

AWS HPC 장점
AWS의 HPC의 구성은 고객사의 특성에 따른 적합하고 최적화된 구성을 제공
네트워크 클러스터 구성 노드 간 20Gbps NIC 구성 지원
국내 리전 국내에 위치한 시설 (Seoul Region)을 이용한 낮은 Latency와 규제 준수
하이브리드 구성 AWS 와 IDC간의 하이브리드 구성 시, 10Gbps 전용선 연결을 통한 높은 Bandwidth 보장
다양한 컴퓨팅 환경 60여 개의 다양한 컴퓨팅 인스턴스 타입을 통한 최적 구성
템플릿 환경 제공 편리한 Windows HPC 환경 구성을 위한 최적화된 템플릿 활용(Infrastructure as a Code)
레퍼런스 대규모 컴퓨팅 리소스 공급 능력 및 레퍼런스 보유

해야할 작업들은 많지만….
많은 데이터와 한정된 시간…
많아지는 작업으로 부족한 컴퓨팅 자원
HPC Cluster를 구성하여 해결!!
온 디맨드 AWS 기반 HPC

Time: +00h
<10 cores
Elastic Capacity
(탄력적 용량)

Time: +24h
>1500 cores
Elastic Capacity
(탄력적 용량)

Time: +72h
<10 cores
Elastic Capacity
(탄력적 용량)

Time: +120h
>600 cores
Elastic Capacity
(탄력적 용량)

Amazon
Virtual Private
Cloud
(VPC)
Amazon
Simple Storage
Service
(S3)
Amazon
Elastic Block
Store
(EBS)
Amazon
Elastic Compute
Cloud
(EC2)
Amazon
CloudWatch
AWS
CloudFormation
Auto Scaling
AWS HPC 적용 서비스
AWS의 HPC환경을 구성하는 서비스들은 다음과 같습니다.

2006 2007 2008 2009 2010 2011 2012-2013 2014
m1.small
m1.large
m1.small
m2.2xlarge
m2.4xlarge
c1.xlarge
m1.xlarge
m1.large
m1.small
cc2.8xlarge
cc1.4xlarge
cg1.4xlarge
t1.micro
m2.xlarge
m2.2xlarge
m2.4xlarge
c1.medium
c1.xlarge
m1.xlarge
m1.large
m1.small
cr1.8xlarge
hs1.8xlarge
m3.xlarge
m3.2xlarge
hi1.4xlarge
m1.medium
cc2.8xlarge
cg1.4xlarge
t1.micro
m2.xlarge
m2.2xlarge
m2.4xlarge
c1.medium
c1.xlarge
m1.xlarge
m1.large
m1.small
cc1.4xlarge
cg1.4xlarge
t1.micro
m2.xlarge
m2.2xlarge
m2.4xlarge
c1.medium
c1.xlarge
m1.xlarge
m1.large
m1.small
t2.micro
t2.small
t2.medium
t1.micro
hs1.8xlarge
m3.xlarge
m3.2xlarge
hi1.4xlarge
m1.medium
cr1.8xlarge
cg1.4xlarge
m2.xlarge
m2.2xlarge
m2.4xlarge
c1.medium
c1.xlarge
m1.xlarge
m1.large
m1.small
c1.medium c1.medium
c1.xlarge
m1.xlarge m1.xlarge
m1.large
m1.small
현세대
이전세대
g2.2xlarge
hs1.xlarge
hs1.2xlarge
hs1.4xlarge
c3.large
c3.xlarge
c3.2xlarge
c3.4xlarge
c3.8xlarge
cc2.8xlarge m3.medium
m3.large
i2.large
i2.xlarge
i2.4xlarge
i2.8xlarge
r3.large
r3.xlarge
r3.2xlarge
r3.4xlarge
r3.8xlarge
m4.large
m4.xlarge
m4.2xlarge
d2.xlarge
d2.2xlarge
d2.4xlarge
d2.8xlarge
t2.micro
t2.small
t2.medium
t2.large
t1.micro
hs1.8xlarge
m3.xlarge
m3.2xlarge
cr1.8xlarge
cg1.4xlarge
m2.xlarge
m2.2xlarge
m2.4xlarge
c1.medium
c1.xlarge
m1.xlarge
m1.large
m1.small
X1 32xlarge
m4.4xlarge
m4.10xlarge
c4.xlarge
c4.2xlarge
c4.4xlarge
c4.8xlarge
g2.8xlarge
g2.2xlarge
hs1.xlarge
hs1.2xlarge
hs1.4xlarge
c3.large
c3.xlarge
c3.2xlarge
hi1.4xlarge c3.4xlarge
m1.medium c3.8xlarge
cc2.8xlarge m3.medium
m3.large
i2.large
i2.xlarge
i2.4xlarge
i2.8xlarge
r3.large
r3.xlarge
r3.2xlarge
r3.4xlarge
r3.8xlarge
2015~2016
고객의 업무 상황에 맞는 사양과 성능에 적합한 다양한 유형의
인스턴스를 제공
Amazon Elastic Compute Cloud

• 각 패밀리에 세대가 있고 명칭이
존재
• 현세대는 최신 CPU를 탑재하고
있고 성능면에서 유리
패밀리 이전세대 현세대
범용
General Purpose M1 M3/M4
버스트 가능 성능 T1 T2
컴퓨팅 최적화
Compute Optimized
C1
CC1, CC2
C3, C4
메모리 최적화
Memory Optimized
M2
CR1
X1
R3
스토리지I/O최적화
Storage Optimized HI1 I2
스토리지 밀도 최적화
Storage Optimized HS1 D2
GPU인스턴스
GPU CG1
P2
G2
Amazon Elastic Compute Cloud

특정 시간대에 많은 Core가 필요한 HPC 환경에 적합한 Spot 인스턴스에 대해 입찰을 통해 On-
Demand보다 통상 90%저렴 하게 사용하여 비용절감이 가능함
Spot 인스턴스 적용으로 비용 절감
On-Demand
장기 계약 없이
시간당 과금으로
사용한 만큼만
과금되는 구조
Spicky한 이벤트성
워크로드, 일반적인
온디맨드 모델
Reserved
1년 혹은 3년의 장기
계약으로 One-time
Fee가 포함되며이를
통해 Discount를받는
가격 모델
Spot
AWS가 보유한 Cap
acity중 사용하지 않
고 있는 부분에 대
해 입찰을통해
고객에게 최대90%
저렴하게 사용가능
HPC와 같은 워
크로드에 적합
3년 RI 적용 시
인스턴스에 따라
On-Demand 대비
76% 절감

Spot 인스턴스 적용으로 비용 절감 사례

Auto Scalinggroup
CloudWatch
Windows HPC JobManager
Auto Scaling & CloudWatch
Job에 따라 클러스터 노드가 자동으로 변경

• EC2 인스턴스를 위한 네트워크 연결 블록 스토리지 볼륨
• OS나 애플리케이션, 데이터 저장소 등 여러가지 용도로 활용
• Snapshot 기능으로 S3로 백업이나 디스크 암호화 기능을 제공
• 99.999%의 가용성을 보장
• Snapshot으로 임의의 AZ로 복원 가능
EC2
EBS
Amazon Elastic Block Store
AWS의 HPC의 효과적인 분석을 지원하는 다양한 저장볼륨 타입을 지원
Magnetic
General Purpose
(SSD)
Provisioned IOPS
(SSD)
Volume types

Amazon Simple Storage Service
HPC 클러스터에서 생성된 데이터를 동적/정적으로 S3(Simple Storage Service)에 저장
가용성
내구성: 99.999999999% 으로 설계됨
가용성: 99.99% 으로 설계됨
용 량 사실상 무제한적인 용량 제공
보 안
전송 중 암호화: HTTPS/TLS
저장 시 암호화: SSE, SSE-C, SSE-KMS
손쉬운 사용
스토리지 클래스: Standard, RRS, Glacier
생명주기 정책: archive, expiration
S3

요구되는 워크플로우에 따라 Windows HPC 클러스터를 손쉽게 구축하고 배포할 수 있음
AWS CloudFormation
• 코드로 정의하는 인프라
• 버전 관리/복제/업데이트와 통합
• JSON/YAML 포맷을 지원
• 템플릿(Templates)
• 스택(Stacks)
• 거의 모든 AWS 리소스를 지원
AWS
CloudFormation

• 인스턴스 간 통신 최적화
– 넓은 대역 (최대20Gbps Full Bisection)
– 낮은 레이턴시
– 높은PPS(packets per seconds)
• 용도
– HPC、Hadoop、MPP、DWH등、노드간 통신이
대량으로 발생하는 클러스터에 적합
– 확장 네트워킹과 같이 사용하는 것을 추천
• 제한
– 단일 AZ에서만 사용 가능
– 사용 가능한 인스턴스 타입에 제한 있음.
Full bisection bandwidth
http://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/placement-groups.html 48
Placement Groups
클러스터 구성 노드 간 20Gbps NIC 구성 지원

Hybrid or “burst” All-in AWS
Core infrastructure:
Users directory
Bastion host
On-premises
AWS
AWS Directory Service
AmazonEC2
Cluster infrastructure:
Head node
Computenode
Storage
AWS
AWS
On-premises/AWS
Amazon EC2
Amazon EC2
AmazonS3
Userworkstations On-premises Amazon WorkSpaces
HPC를 위한 AWS 구성
고객 상황에 따라 적절한 아키텍처를 선택하여 구축

AWS는 Windows Server를 사용하기 위한 다양한 기능 및 경험을 지원함
AWS의 HPC를 위한 Windows Server
Easy Licensing
OS $/Hr
BYOL
Optimized AWS S
oftware for Wind
ows
EC2Config, drivers
Experience
October 2008
Every use case
Every industry
OS Choice
2003R2
2008, 2008R2
2012, 2012R2
Microsoft Portfolio
SQL Server Sh
arePoint Excha
nge, Lync
Customize Systems
60+ EC2 instances
32, 64 bits
CPU, GPU

기존 IDC 구성과 AWS 클라우드 구성을 필요에 따라 혼용 할 수 있는 아키텍처
Windows HPC의 AWS 구성 > Hybrid
On-Premise
ClusterCoreWorkstations
Users
Head
HPC HPC
HPC HPC
Cluster
Head
Compute
Auto Scaling
AWS
리전
AWS VPC
Core
Bastion
Domain
Controller
S3 bucketCloud
Formation
alarmCloudWatch

AWS 클라우드에 HPC를 구성하여 주어진 시간내에 작업을 처리완료 할 수 있는 적합한 다중
클러스터 아키텍처
Windows HPC의 AWS 구성 > All-In AWS
Cluster
Head#1
Domain
Controller
Head#2
Remote Desktop
Gateway
NAT
ComputeCompute
Core
Head#3
Domain
Controller
NAT
Compute
Availability Zone #1 Availability Zone #2
Public subnet #1 10.0.0.0/24
Private subnet #1 10.0.10.0/24 Private subnet #2 10.0.11.0/24
Public subnet #2 10.0.1.0/24
S3
endpoints
bucket
CloudFormation
alarm
CloudWatch
Auto ScalingAuto Scaling Auto Scaling
리전

AWS에 Windows HPC 클러스터 설치
Domain
Controller
HPC Head Node
Domain Member SG
HPC Compute Node
HPC Cluster SG
Domain Controller SG
Virtual Private Cloud
Domain Controller Security Group1
1
Domain Forest에 Join하기 위해 필요한 서비스
포트 허용
대상 : Domain Member Security Group
3
HPC Cluster Security Group3
HPC Cluster간 작업 처리를 위한 포트 허용
대상 : HPC Cluster Security Group
2
Domain Member Security Group
Domain Controller의 제어를 받기 위한 포트 허용
대상 : Domain Controller Security Group
2
Security Groups 설정

Domain Controller 설정-1
Windows 2008 이상의 EC2 Instance 생성1
2 서버 역할 추가 - Active Directory Domain
Service, DNS Server

1
Active Directory Domain Controller로
승급
1
Domain Controller 설정-2
2
새 forest를 추가하여 HPC Cluster에 사용
할 도메인 설정
2

Head Node로 사용할 Windows 2008 이상의 EC2 인스턴스를
생성하여 DC의 Domain Forest에 Join
1
HPC Cluster Head Node 설정-1

Head 인스턴스에 도메인 관리자 로그인하여,
http://download.microsoft.com 에서 HPC Pack을 다운로드
2

받은 설치 파일을 실행하여, 새로운 기능 추가 및 Head Node 생성
☞ HPC Pack은 SQL Server를 필요로 하며, Local 또는 외부 SQL Server를 지정하지 않으면,
Local에 MS SQL Server Compact Edition이 자동으로 설치됩니다.
3

HPC Cluster Manager에서 위의 4가지 항목을 설정하여,
Head Node 사용 준비를 마침
4
Network 설정
사용자 계정 자격 증명
신규 Node 네이밍 규칙
Default Node 템플릿 지정

Compute Node로 사용할 Windows 2008 이상의 EC2 인스턴스를
생성 후 DC의 Domain Forest에 Join
1
HPC Cluster Compute Node 설정-1

Compute Node 추가 항목을 선택하여 HPC Pack 설치 후
Head Node의 HPC Cluster에 Join
2

Compute Node 추가 항목을 선택하여 HPC Pack 설치 후
Head Node의 HPC Cluster에 Join
3

AMI를 사용해 복제한 Compute Node 복사본들도 자동으로 도메인에 가입되도록 설정4
2. EC2 ServiceConfig Settings
Shutdown with Sysprep 으로 적용
<component name="Microsoft-Windows-UnattendedJoin" processorArchitecture="amd64"
publicKeyToken="31bf3856ad364e35"
language="neutral" versionScope="nonSxS" xmlns:wcm="http://schemas.microsoft.com/WMIConfig/2002/State"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<Identification>
<UnsecureJoin>false</UnsecureJoin>
<Credentials>
<Domain>DOMAIN</Domain>
<Password>PASSWORD</Password>
<Username>USERNAME</Username>
</Credentials>
<JoinDomain>hpc.local</JoinDomain>
</Identification>
</component>
1. C:Program FilesAmazonEc2ConfigServicesysprep2008.xml
<settings pass=“specialize”>에 다음 추가

준비된 원본 Instance의
AMI 생성
1
1 AMI를 활용한 Auto Scaling
Group 구성
2
2
Job 대기열 카운트를 CloudWatch
Custom Metric으로 수집
3
3
대기열 카운트를 기준으로
Auto Scaling 정책 수립
4
4
HPC Cluster Compute Node Auto Scaling 설정

A 증권사 분석을 하기 위한 HPC를 구성하여 Job 실행 후 인스턴스가 할당되는 실례
(MS HPC 2012.R2 HPC Pack Update 3 사용)
396 Cores

Windows HPC AWS CloudFormation Template
미리 작성된 템플릿으로 클러스터의 자동화 구축 가능
Amazon VPC
DC
RDGW
Core
Head
Compute Compute Compute Compute
Cluster
Compute Compute Compute Compute

찾아가는 AWS 세미나(구로,가산,판교) - 메가존과 함께하는 클라우드 컴퓨팅

More Related Content

What's hot

Viewers also liked

Similar to 찾아가는 AWS 세미나(구로,가산,판교) - 메가존과 함께하는 클라우드 컴퓨팅

More from Amazon Web Services Korea

찾아가는 AWS 세미나(구로,가산,판교) - 메가존과 함께하는 클라우드 컴퓨팅