I proposed this project to Korea Telecom and made it done successfully. This PT includes HPC part only(workload, monitoring, dynamic allocation and others have been excluded)
Grid Computing System(For Vip Customers Seminar) Korean
2. KT DSC에서의 Microsoft Window
Compute Cluster Server 2003의
도입 사례
김 성수, 수석 컨설턴트
컨설팅 서비스 사업부
마이크로소프트
3. 사례 소개
KT-Microsoft 공동 R&BD 협약
공동 연구 개발비 투자
WCCS 기반 ASP 서비스
기간: X 개월
목표 및 기대 효과
신규 수익 모델 발굴
자원 활용도 향상
서비스 기능 확장
신기술 적용
인프라 개선
4. 사례 소개
공동 연구 분야 소개
WCCS 기반 호스팅 및 ASP 서비스 주요 기능
렌더링
디지털 콘텐츠 인코딩
과학용 응용프로그램
기타 고성능 컴퓨팅
HPC를 이용한 ASP 서비스를 통해 시장 경쟁력을
신규 수익모델 발굴 확보하며, 이를 기반으로 신규 수익 창출에 기여하고자
함.
가변성능 유틸리티 웹 애플리케이션 호스팅
Dynamic
IDC 내 활용도가 낮은 저사양 서버군을 이용하여,
System
Dynamic 구성 환경을 구축하여 관리 노력을 절감하고
Center를 자원 활용의 극대화
시스템 동적 할당 및 해제
생산성을 극대화하며 기존 유휴 자원의 활용도를
위한 향상시키고자 함.
플랫폼 개발
전략 사업화의 기초
HPC 분야는 최근 들어 기업들의 관심이 증대되는
분야로, 초기 사업 참여를 통해 향후 전략 사업화의 애플리케이션 배포
기반을 마련하고 DSC분야는 IDC 내 자원관리를
용이하게 할 수 있는 인프라기술 개발한다.
시스템 사용 스케줄링
* HPC: High Performance Computing의 약어로, Grid computing과 동일한 개념으로 사용되고 있음.
스케줄링
관리 인프라의 개발 Architecture
Dynamic System Center
Dynamic System Center Framework
관리 노드 그리드컴퓨팅 노드
데이터센터 리소스 계층화
계정관리
Active Directory 데이터센터 중앙 관리
모니터링
모니터링
Data DB/FS
MOM
배포
시스템 사용 현황 파악
SMS/ADS
가변성능서버풀
5. 사례 소개
HPC 및 그리드 영역의 Driver와 Inhibitor
IDC, 2004
이기종 Virtualization이 약함
서버 통합의 효과
비즈니스 모델 활성화 부족
서버 및 자원 사용의 유연성
가격 및 라이센싱 정책 불확실
클러스터링(병렬) 애플리케이션
애플리케이션 다양성 부족
데이터 크기의 팽창
관리 툴, 표준 및 보안
부하의 불확실성 혹은 불균일성
데이터센터 운영과 서비스
비즈니스에 따른 특정 용도 사용
패러다임 변화가 필요
시스템 관리 기술의 발전
활용도 극대화
6. 사례 소개
HPC, 그리드 컴퓨팅 영역의 유형
유형 작동원리 특성비교
설명: 고성능 클러스터 컴퓨팅
Job 분배 애플리케이션 특성: Batch Job
조건: 병렬처리(MPI) Ready 되어야 하거나 사전 포팅 작업 필요
고성능 시스템 구성난이도: 중-하
컴퓨팅 자원활용도: 중-하
관리편의성: 상
부가가치: 상
설명: 웹 서버 풀의 활용도 및 유연성 극대화
애플리케이션 특성: 웹 애플리케이션 서버인 경우
서버 조건: 웹 애플리케이션 가능
풀(Pool)의 시스템 구성난이도: 중-하
가상화(1) 자원활용도: 상-중
Any 서버 관리편의성: 중
부가가치: 상-중
설명: 복수 개의 서버가 하나의 서버처럼 작동
애플리케이션 특성: 온라인, 웹이 아닌 경우(게임 사이트 등)
서버
조건: 정의된 애플리케이션에 대해서 구성
풀(Pool)의
시스템 구성난이도: 상
가상화(2)
자원활용도: 상-중
Any 서버 관리편의성: 중
부가가치: 상-중
서버 Pool 설명: 한 개의 서버에 복수개의 애플리케이션(웹 호스팅과 유사)
애플리케이션 특성: 온라인
고객 A 조건: 웹이 아니라면 가상서버사용, 혹은 복수개의 Instance
서버의 가상화
(Virtualization) 시스템 구성난이도: 중
고객 B 자원활용도: 상
관리편의성: 중
고객 C
부가가치: 중-하
7. 사례 소개
HPC 분야 동향: Top 500
Clusters
over
70%
요약
Industry 인더스트리 사용량 증가
usage
rising 기가 이더넷
클러스터 서버
X86 계열
GigE is x86 is
gaining leading
(50% of (Pentium
systems) 41%,
EM64T
16%,
Opteron
11%)
9. 사례 소개
공동 연구 개발 프로세스
요구기능
구성 기능 구조
전략모델 분석 적용
Dynamic System Center
Dynamic System Center
요구사항정의 기대효과분석 기술 분석 관리 노드 그리드컴퓨팅 노드
계정관리
모델정의 요건 재정의 설계 Review Active Directory
모니터링
Data DB/FS
과제도출 문제 분석 적용 및 구현 MOM
배포
SMS/ADS
적용 기술 및 가변성능서버풀
구현 범위 검토
신규 서비스 창출
경쟁력 제고 방안
비용 절감 효과
내부적 효과
외부적 효과
Microsoft
Solution Framework
10. 사례 소개
Dynamic System Center 개념도
관리 노드
HPC 구성 노드
전략적 관리
계정관리
Active Directory
관리자
보고
모니터링
Data DB/FS
MOM
Planning
고객
배포
SMS/ADS
서버풀 또는 Web Farm
11. 사례 소개
As-Is vs. To-Be
기존 호스팅
기존의 단순한 호스팅 방식은 구조적으로도 세분
화되어 있지 못하며 따라서 사용자에게 다양한
서비스 옵션을 제공하지 못합니다.
Dynamic System Center 호스팅 고성능컴퓨팅 가상화 가변성능
고객이 필요로 하는 서비스를 쉽게 제공할 수 있
는 기반을 가지고 있으므로 언제든지 사업화 및
동적
상품화가 가능합니다.
확장
Verification 성능모니터링 배포
테스트 경고 시스템정보수집
포팅 통계정보
스테이징 모니터링 배포
사용자정책 세션정보
시스템정책 세션관리
보안정책
정책 및 권한 세션관리
이력정보
통계정보
서비스 창출 기술조치정보
시스템 플래닝
12. 사례 소개
기대 효과 및 활용 가능한 비즈니스
구조 개선 효과 가능 신규 서비스(I)
자원과 관리 계층의 분리 고성능 컴퓨팅 호스팅
(%, 전년동월대비)
(%)
고성능 컴퓨팅 포팅 서비스
20 115
신기술 적용 용이 15
10 재고지수 증가율(좌)
110
105
5
통합 관리가 용이한 구조 ASP 서비스
0
100
-5
95
-10
재고율(우)
-15 90
관리 지식 및 프로세스 시스템화 대여 서비스
00.1 7 01.1 7 02.1 7 03.1 7 04.1 7 05.1 7
Financial 렌더링 디지털콘텐츠 과학계산 관리 패키지
관리 및 품질 개선 효과 Dynamic System Center 호스팅 가변성능 고성능컴퓨팅 가상화
고객이 필요로 하는 서비스를 쉽게 제공할 수
유연한 시스템 구성 변경 있는 기반을 가지고 있으므로 언제든지 사업화
동적
및 상품화가 가능합니다.
확장 Dyn a mica lly
자동 설치 및 배포
Verifica tion 성능모니터링 배포 On -Dema n d
자원 중앙관리 테스트 경고 시스템정보수집
포팅 통계정보
작업 자동화율 제고 스테이징 모니터링 배포
사용자정책 세션정보
서비스 품질 제고 시스템정책 세션관리
보안정책 가능 신규 서비스(II)
효율적 시스템 사용 정책 및 권한 세션관리
이력정보
인력 절감 효과 통계정보 동적 할당 서비스
서비스 창출 기술조치정보
시스템 플래닝 자원 모니터링 서비스
사업 강화 효과
통계 정보 서비스
합리적인 과금 제안 프리미엄 관리 서비스
경쟁력 제고 스케줄링 서비스
신규서비스 창출 용이 Verification 서비스
다양한 서비스 제안 시스템 플래닝 서비스
축적정보로 마케팅 강화 비즈니스 사례 참조: http://www.vcompute.com 세션 Fail-Over
13. 사례 소개
주요 기능 구현을 위한 소프트웨어 적용
Microsoft Compute Cluster Server 2003
고성능 컴퓨팅(HPC)
Cmd line
Windows Server 2003, Compute Cluster Ed.
Compute Cluster Pack
고성능 HW 지원(x64, Gigabit)
그리드 컴퓨팅 수용
MPI2 지원
클러스터 관리
관리 인프라 계층화 Job Scheduler
Windows-Based Hosting 3.5
구성 및 용도 동적 변경 Microsoft Provisioning System
Automated Deployment System
사용정보 축적 Microsoft Operations Manager
Central Manager
관리 자동화 Update Manager
Monitoring & Reporting
14. 사례 소개
HPC 작동 원리 및 적용 방안
Dynamic System Center
Dynamic System Center
관리 노드 그리드컴퓨팅 노드
계정관리
Active Directory
모니터링
헤드노드 Task 분배
Data DB/FS
MOM
배포
SMS
가변성능서버풀
Built-in 관리자를
사용편의성(외부 웹
Web Services
사용 등을 고려)과
Batch Job
일반 시스템 관리와
통합하기 위해 필요
기능 일부를 웹으로 Desktop App
개발 함.
Job
Job Mgr UI
내부사용자
Task Task Task Task Task Task
외부사용자
Task Task Task Task Task Task
Cmd line
Proc Proc Proc Proc Task Task Task Task
Parametric Sweep
Serial Application MPI Application Application Task flow
Internet
One Job One Job
웹을 통한 Job 관리 One Task Multiple Tasks
및 결과 확인
15. 사례 소개
기존 시스템 환경에의 적용 용이성
기업의 IT 환경
Systems
AD Windows Monitoring Management
DNS Update • MOM • SMS
DHCP • 3rd party
• 3rd party
Public
Network
Compute Node Compute Node Head Node
Admin / User Cons
Node Manager Node Manager
RIS(optional)
MPI MPI
Job Scheduler
Management Management
Management
Private NAT(optional)
Network
MPI
Network Compute Cluster
16. 사례 소개
HPC 노드 활용도 제고 방안
HPC 시스템
Shared Memory
Distributed Memory
관리 노드
HPC 구성 노드
Dedicated CCS 전략적 관리
계정관리
Active Directory
관리자
Non-Dedicated CCS 보고
모니터링
Data DB/FS
WCCS 구성을 헤드 노드가 관 Planning
MOM
리하므로, 평상시에는 다른 고객
배포
용도로 서버를 사용하다가 필
요 시나 정기적으로 고성능 SMS/ADS
컴퓨팅 수행 가능 서버풀 또는 Web Farm
17. 사례 소개
개발 및 테스트 시스템 환경
랙 시스템 테스트 서버풀
관리 시스템 구성 및 테스트 서버풀
CCS CCS 웹서버
WCCS 서버 구성은 헤드 노드를 포함하
여 8대로 구성
Web
관리 노드는 DNS, AD를 포함하며, 성능 CCS CCS 웹서버
수집과 시스템 준비 및 애플리케이션 Farm
배포를 수행하도록 구성
CCS CCS 웹서버
수집 데이터는 중앙 데이터베이스에서
보관 및 관리
WCCS에 사용 가능한 상용 애플리케이 CCS CCS 세션서버
션 탑재
AD/DNS MOM
배포서버
SMS SQL
클라이언트
클라이언트 용도:
관리노드
웹 Access Computing Node
부하발생
Terminal Client 신규할당서버
18. 사례 소개
서비스 시나리오 샘플
사용자 웹포탈 관리노드(할당,구성) 헤드노드 고객정보
서비스 신청
서비스 조건 Check
스케줄 Check
안내정보
구성정보변경
구성변경결과
Queuing
고객 서버 사용 & 계약 정보 수정
변경정보
Notification 작업처리결과
19. 사례 소개
웹 포탈 관리 화면 체계
관리자 로그인 및 시스템확인
초기 화면에서 시스템 현황 정보 확인
(노드, Application, Job, 사용자에
대한 요약 정보 확인)
시스템 사용율 정보 확인 노드 관리 Job 관리 사용자 관리
실행 중, 대기 중인 Job List 확인 ASP 서비스 사업자, 서비스 사용자
노드의 추가 / 제거
CPU, Memory 사용율 정보 확인 Job 생성, 수정, 취소, Rescheduling, 추가/수정/제거
노드의 상태 관리 (Pause, Resume)
Job 통계 정보 확인 사용자 접속 통계, Job 통계 확인
Application 관리 노드 추가 Job 생성 사용자 추가
해당 노드의 Network 부팅이 준비된 Application 선택 -> 노드개수 선택 -> (On-line 가입 이외의 신청 사항에
Application목록 및 등록 사업자 확인
상태에서 추가 버튼을 누르면 설치가 데이터 입력 또는 업로드 -> 대기 순서, 대해 관리자가 직접 추가)
Application 배포 서버 목록 확인
진행됨 예상 시간 확인 -> 우선순위 변경 -> 추가 -> [사업자|사용자] -> ID및
Application 사용 통계 확인
-> 노드관리 초기화면에서 해당 최종 정보 확인 -> Job 생성 개인정보 입력 -> 사용자 추가 완료
노드가 설치중임을 표시
Application 추가
Application 이미지 또는 설치 파일
노드 제거 Job 수정 사용자 정보 수정
Upload -> Application 목록 확인
(대기중인 Job만 수정 가능) 개인정보, 디스크 사용공간,
클러스터 구성원인 노드를 구성에서
Job 선택 -> Job 세부 정보 확인 -> Password 정보 수정
제거시킴 (DB에서만 제거됨)
Application 배포 입력데이터/출력정보/우선순위 변경
Application 선택 -> 배포될 노드
선택 -> 배포 진행 -> 완료 사용자 제거
Job Rescheduling DB 에서 사용자 정보 제거
Application 제거 (대기중인 Job만 수정 가능)
App 배포 현황 확인 -> 제거할 App 전체 Job Schedule 정보 확인 -> Job
선택 -> 제거할 노드 선택 -> 제거 선택 -> Job 실행 시간 변경
26. 사례 소개
주요 구현 기능 요약
영역 기능항목 구현
Com p u te Nod e 자동 설치 및 상태관리
CCP, 개발
(A p p rov e/ Resu me/ Pa u se)
클러스터 관리 C/ N 리소스 정보 표시 (CPU사양, 개수, Mem ory 사이즈 등) 개발
MOM,
시스템 모니터링 (사용중인 노드, 리소스 사용율 표시)
개발
A p p lica tion A p p lica tion 설치 이미지를 통한 자동 배포 SMS, 개발
관리 A p p lica tion 배포 현황 및 사용 통계 개발
WCCS기반 ASP J ob list 및 작업 처리 상태 등 job 정보 표시 CCP, 개발
서비스 플랫폼 J ob 추가, 실행, 취소, 재실행, 수정 기능 CCP, 개발
개발
J ob 관리 J ob Sch ed u lin g (우선순위 조정 및 예상 시간) 개발
작업 완료 통지 기능 (문자메시지, 메일) 개발
J ob 통계 기능 CCP, 개발
사용자 추가/ 제거/ 등록정보 변경 개발
사용자 관리
사용자 접속, 작업 통계 개발
사용자 포털 서비스 신청 및 사용 현황 조회 기능 CCP, 개발
기능 사용자 등록정보 수정 개발
27. 사례 소개
HPC 부문 연구 개발 내용 요약
기능 개요 관리 노드
Dynamic System Center
Dynamic System Center
그리드컴퓨팅 노드
계정관리
고성능 컴퓨팅 설비가 요구되는 Active Directory
응용프로그램을 수용하고 관련
모니터링
헤드노드
Task 분배
Data DB/FS
MOM
서비스의 제공을 위한 시스템 배포
시스템 및 스케줄링 상태 모니터링
SMS
가변성능서버풀
1 Web Services
Batch Job
개발 및 테스트
사용자
WCCS 구축 Desktop App
2
Job
Cluster/Resource Management JOB 수행 및 스케줄링
JOB Scheduling Job Mgr UI
Administration 기능 Task Task Task Task Task Task
Task Task Task Task Task Task
웹 기반 서비스 기본 업무 기능 추가 개발 Cmd line
Proc Proc Proc Proc Task Task Task Task
사용자 포털 기능 Parametric Sweep
Serial Application MPI Application Application Task flow
시스템 관리자 기능
One Job One Job
애플리케이션 탑재 및 테스트 One Task Multiple Tasks
렌더링 소프트웨어
공학용 소프트웨어
클러스터 관리
디지털 콘텐츠 변환 및 인코딩 JOB SCHEDULING
사용자 관리
및 TASK 처리
기타 Job 관리
28. 사례 소개
향후 활용 및 고도화 방안
디렉토리 Catalog(서비스레지스트리)
메타데이터 Repository Composite Services
Policies, Business Rule Data Access Services
Presentation
Infrastructure Service
Composition
Authentication
시스템 센터 구조 개선의 방향
Monitoring
운영관리
특정 플랫폼 및 벤더 기술에 독립적
트랜잭션
Discovery
Authorization
보안
Logging
Portal
Messaging
Integrity
UI
자원, 프로세스, 관리 계층 완전 분리
데이터 센터의 운용은 관리 비용을 줄이고 효
Encryption
Business Process
Web UI
비즈니스 프로세스 중심
율성을 제고 하기 위하여 중앙 관리를 지향 Synchronous Invocation Asynchronous Invocation
Service Logic
표준 기반
관리 기술의 시스템화(자동화) Business Workflow Business Components Business Entities
Data Access Component Service Agent
향후의 신기술 적용이 용이하며 변화에 유연하
도록 계층화 표준화
Dynamic System Center
Dynamic System Center
비즈니스 요구를 신속하게 적용 가능한 구조 관리 계층 그리드컴퓨팅 노드
고객에 다양한 서비스 제공이 가능한 구조
전략적 관리
계정관리
중앙관리
Active Directory
관리자
최신 기술 및 표준을 수용 가능한 구조
보고
모니터링
Data DB/FS 리소스 와 관리 계층의 완전 분리
MOM
Planning
시스템과 애플리케이션 중심으로부터 비즈니
고객
배포
이기종 환경 인프라 기술 축적
스 프로세스 중심으로 변화 SMS/ADS
가변성능서버풀
다양한 요구의 유연한 수용
모니터링 관리 정책 시스템화
수집서버
통합
System Center
System Center
(수작업)
관리 노드
Dynamic System Center
Dynamic System Center
그리드컴퓨팅 노드
관리
모니터링
시스템 설치 및 구성
동적 시스템 구성 및 관리
관리자
전략적 관리
계정관리
시스템 활용율 제고
Dynamic System
요청 Active Directory
정책관리 관리자
신규 서비스 창출
보고
Data DB/FS 모니터링
Data DB/FS
Center
신기술 적용 인프라 구축
MOM
고객 Planning
고객
배포
SMS/ADS
인프라 기술 축적 시스템화
가변성능서버풀
29. 사례 소개
질의 및 응답
참고 정보
HPC 사이트
http://www.microsoft.com/hpc
Grid: Non-Cluster Computing
http://www.alchemi.net
http://www.digipede.net
Mar. 2006
Microsoft Dynamic Systems
Microsoft Service Gateway Roadmap
Service
Transport
SOAP
Se
rvic
2007+
Service
Messaging eG
ate
wa
y Self-Managing
Service
Testing
Service
Broker 2006 - 2007
Service Dynamic Systems
Dispatcher
HTTP
HTTP
Dynamic Systems Initiative Wave 2
Client App
Licensing ► Capacity planning
SOAP
► Desired state management
Service
Firewall ► Service-oriented management
Web
Request Request
► Impact Analysis & Root Cause Analysis
Service
Gateway
2004 - 2005 ► Hypervisor-based virtualization
► Physical and virtual server provisioning
Service
Portal
COM+
Service
Dynamic Systems Initiative Wave 1
Service
Directory Integration
► State Monitoring of systems, applications
Service Web Service
Monitoring
BEA Integrator
► Models embed knowledge in applications
Service
Analytics
MQ Series /
MSMQ
Orchestration ► Patching across physical and virtual Common
Legacy Apps
environments Engineering
Mainframe
Databses
HTTP
Criteria
Service
TIBCO
Manager