[오픈소스컨설팅] About Storage Cloud

2,513 views

Published on

Software-defined storage is a marketing buzzword for promoting computer data storage technologies. Many storage H/W vendors are focusing on Storage Cloud in Software Defined Data Center. This document is that what is SDS and latest trend in Cloud Computing.

Published in: Technology
0 Comments
13 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,513
On SlideShare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
132
Comments
0
Likes
13
Embeds 0
No embeds

No notes for slide

[오픈소스컨설팅] About Storage Cloud

  1. 1. About Storage Cloud 주식회사 오픈 소스 컨설팅
  2. 2. Ⅰ 스토리지 클라우드 동향 Ⅱ 레드햇 스토리지 III 요약 2 - Internal Use Only -
  3. 3. Ⅰ 스토리지 클라우드 동향  전통적 엔터프라이즈 스토리지  멀티 노드 확장 아키텍처 전환  소프트웨어 정의 서비스 3 - Internal Use Only -
  4. 4. 1. 전통적 엔터프라이즈 스토리지 선택 고려 요소 부정적 측면 1 종속성(Vendor Lock-in) 3 응답 시간 비용(Cost) 2 성능 측면 확장성(Not Multi-Tenant) 처리량 IOPS(IO per Second) 저장 효율성 서비스 측면 중복 제거 서비스 가용성 비즈니스 연송성 데이터 마이그레이션 The InfoPro Storage Study 1H12 – 451 Research 1) CAPEX: 기업이 고정자산을 구매하거나, 유효수명이 당회계 년도를 초과하는 기존의 고정자산에 대한 투자에 돈이 사용될 때 발생 4 - Internal Use Only -
  5. 5. 2. 기존 방식의 스토리지 확장 업무 요구사항을 달성하기 위한 스토리지 용량 및 서비스 품질 수준(QoS) 정의 Data Controller Data Controller NIC NIC CPU CPU CPU CPU 32G Mem NIC NIC NIC NIC CPU CPU 32G Mem CPU CPU 5 - Internal Use Only -
  6. 6. 2. 기존 방식의 스토리지 확장 업무 요구사항을 달성하기 위한 스토리지 용량 및 서비스 품질 수준(QoS) 정의 업무 기능이 지속적으로 추가되어, 더 많은 스토리지가 필요 Data Controller Data Controller NIC NIC CPU CPU CPU CPU 32G Mem NIC NIC NIC CPU CPU CPU CPU 32G Mem NIC Data Controller Data Controller NIC NIC CPU CPU CPU CPU 32G Mem NIC NIC NIC NIC CPU CPU 32G Mem CPU CPU 6 - Internal Use Only -
  7. 7. 2. 기존 방식의 스토리지 확장 업무 요구사항을 달성하기 위한 스토리지 용량 및 서비스 품질 수준(QoS) 정의 업무 기능이 지속적으로 추가되어, 더 많은 스토리지가 필요 신규 서비스를 위한 새로운 업무 영역이 추가되어 다른 스토리지가 필요 Data Controller Data Controller NIC NIC CPU CPU CPU CPU 32G Mem NIC NIC NIC CPU CPU CPU CPU 32G Mem NIC Data Controller Data Controller NIC NIC NIC NIC NIC NIC NIC CPU CPU 32G Mem CPU CPU CPU 32G Mem CPU CPU CPU CPU Data Controller NIC CPU Data Controller NIC CPU CPU NIC CPU CPU 7 - Internal Use Only - NIC NIC 256G Mem NIC NIC CPU CPU CPU CPU CPU CPU NIC NIC 256G Mem
  8. 8. 3. IT 환경의 변화 모바일, 서비스 다양화 등으로 인한 데이터 트래픽이 기존에 비해 210X 증가 Web IT Enterprise IT Cloud IT 사용환경  Expert only  Everyone  내부전용(Silo)  Open API  구축형, Manual  종량제, 자동화  Service용(외부판매)  IOPS 예측 가능  IOPS 예측 불가  대용량 데이터  소용량 Data  Appliance HW  고집적화  표준화/통합화 HW/SW  Platform화  확장성 Data Traffic 210X ↑  License SW App에서 Network 이슈 없음 Network  교환망/전송망 중심 1990  System Network 중요  전용 Network 8 - Internal Use Only -  Open Source SW  IP망(Shared Network)  CDN 2000  Commodity HW  SDN 2010
  9. 9. 4. 데이터 격리 증가되는 업무 데이터의 동적 확장 문제 - 데이터 격리(Silo) 형태 데이터 관리가 어려워지고, 활용도(수집, 분석 등) 및 효율성 저하 9 - Internal Use Only -
  10. 10. 5. 멀티 테넌트 확장 아키텍처 솔루션 클라우드 전환 요구 사항 요구 사항 손쉬운 스토리지 확장 형태의 구조 저비용 하드웨어 스토리지 스토리지 노드 실패에 대비한 데이터 보장 다양한 종류의 스토리지 리소스 관리 이기종 스토리지 노드 지원 스토리지 풀에 대한 클라우드 오케스트레이션 스택 멀티 테넌트 환경으로의 전환 엔터프라이즈 기반 블록/파일/객체 지원 NIC NIC NIC NIC NIC NIC NIC NIC NIC NIC NIC NIC NIC NIC NIC NIC NIC NIC CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU MEM MEM MEM MEM MEM MEM MEM MEM MEM MEM MEM MEM MEM MEM MEM MEM MEM MEM High Bandwidth Backplane 10 - Internal Use Only -
  11. 11. 6. SDDC(Software Defined Data Center) IDC Definition A software-defined data center is „...a loosely coupled set of software components that seek to virtualize and federate datacenter-wide hardware resources such as storage, compute, and network resources.... The goal for a software-defined datacenter is to....make the datacenter available in the form of an integrated service....“ 출처: IDC‘s Worldwide Software-Based (Software-Defined) Storage Taxonomy, May. 2013“ 11 - Internal Use Only -
  12. 12. 7. SDS(Software Defined Storage) 스토리지 서비스 • • • • • 데이터 레이아웃 • 파일 기반 레이아웃(File-based Layout) • 객체 기반 레이아웃(Object-based Layout) • 블록 기반 레이아웃(Block-based Layout) 스케일링 • Scale-up • Scale-out • GEO-dispersed scale-out 서비스 통합 레이어(Orchestration Layer) 서비스 품질(Service Quality) 데이터 이동성 및 연계(Data Mobility and Federation) 메타 데이터 및 속성 관리(Metadata and Attribute Management) 데이터 인터페이스(Data Interface) 저장소 • • • • 내부 서버 기반 리소스(Internal Server-based Resource) 외부 디스크 스토리지 시스템(External Disk Storage System) 객체 플랫폼(Object Platform) 클라우드 기반 리소스(Cloud-based Resource) 구현 방법 • • • • • 물리적 어플라이언스 기반(Physical Appliance) 가상 어플라이언트 기반(Virtual 데이터 이동성 및 연계(Data Mobility and Federation) 메타 데이터 및 속성 관리(Metadata and Attribute Management) 데이터 인터페이스(Data Interface) 출처: IDC‘s Worldwide Software-Based (Software-Defined) Storage Taxonomy, May. 2013“ 12 - Internal Use Only -
  13. 13. 8. S/W 방식 스토리지 클라우드 File-based layout Object-based layout Openstack Storage Block-based layout NAS SAN 13 - Internal Use Only -
  14. 14. 9. Amazon S3 Amazon S3는 지정된 한 해 동안 99.999999999%의 객체 내구성을 제공하도록 설계된 객체 기반 스토리지. ACL, IAM을 통한 사용자/업체별 버킷 관리 NFS, CIFS, HTTP/REST Gateway OID (Object ID) Meta data: Created, ownership, size, data type, application API Zone-A Zone-B Attributes: QoS, SLO, Polices, Retention, Security Zone-C US-East(Virginia) SLO(Service Level Objective): SLA를 측정하는 척도로 가용성, 처리량, 응답시간, 품질 등이 있다. 14 - Internal Use Only -
  15. 15. 10. SWIFT 확장 구조 오브젝트를 보유하고 물리적인 단위로 구성시 Zone단위로 개별적인 디바이스를 컨트롤하는 구조 Auth Process Internet REST API Interface Proxy nodes zone zone Storage nodes Account Account Container Container Object Object Zone: servers, network, geography를 기준으로 분리 15 - Internal Use Only - 최초 사용자 Request를 받아 사용자를 인증 및 인가를 수행 적합한 사용자일 경우 Proxy Nodes 로 Request를 보완함. 오브젝트의 정보를 보유하며 사용자의 Request를 처리하는 단계 Proxy Nodes가 활용하는 오브젝트의 위치를 보유하고 있는 논리적 엔티티 의 물리적인 위치정보를 표현하는 메 타 데이터집합
  16. 16. II F 레드햇 스토리지 로드맵  레드햇 스토리지  레드햇 오픈 스택 16 - Internal Use Only -
  17. 17. 1. 레드햇 스토리지 레드햇 스토리지 기능 스케일 아웃 확장성 • Petabytes 단위 클러스터 • 데이터 분산을 위한 Geo-replication 비용 효과 • 저가의 x86 서버 활용 • 가상머신 환경에서 스토리지 용량 확보 유연성 • 물리서버, 가상화, 클라우드, 하이브리드 클라우드 환경에서 유연한 데이터 공유 • 파일과 오브젝트 접속 프로토콜 다양한 구성 환경 지원 • 물리서버, 가상화, 클라우드 환경에서 구성 가능 오픈 & 표준 기반 • NFS, CIFS, HTTP 17 - Internal Use Only -
  18. 18. 2. 레드햇 오픈 스택 레드햇 오픈스택 기능  클라우드 워크로드를 위한 클라우드 인프라기술 • 모듈화된 아키텍쳐 : Compute/Network/Storage/Authentication/Dashboard node • 대형 스케일 아웃 기반의 오픈소스 클라우드 플랫폼 • 오브젝트 스토리지 : 객체 분산 저장, 데이터 중복 • Restful 기반의 API : 자체 API, 아마존 EC2 호환 API • 비용절감, No vendor Lock-in, Private/Public Cloud 구현 18 - Internal Use Only -
  19. 19. 3. 레드햇 오픈스택 레드햇 오픈 스택 사례 110여개 이상 글로벌 사례 Source : https://www.openstack.org/user-stories 19 - Internal Use Only -
  20. 20. III 요약  정부 동향  스토리지 클라우드 구축 방향 20 - Internal Use Only -
  21. 21. 2. 스토리지 클라우드 구축 방향 특성 및 고려요소 적용전략 핵심성공요소 업계 동향 전략 소프트웨어 기반의 스토리지 클라우드 멀티 테넌트 기반의 확장형 선진 사례 분석 및 향후 TO-BE 도출 빅데이터 영역 확장 형태의 스토리지 지원 적용 솔루션 기능 검증 및 성능 검증 수행 전략 2 강력한 데이터 신뢰성 - 데이터 복제 사용자별 접근 권한 제어 1 SW 기반의 스토리지 제어 기업 내부의 클라우드 관리 시스템 연계 및 통합 전략 선진 사례 분석 아마존 웹 서비스, 오픈 스택 등의 파일/객체/블록 기반 스토리지 미국정부 – AWS상의 주요 스토리지 및 백업 요구에 대해 스토리지 클라우드 사용 3 동적 확장형 아키텍처 구조 클러스터 내 객체의 분산 저장을 통한 신뢰성 향상 전략 4 스토리지 클라우드 구축 거버넌스 미국 정부 AWS 사용: http://aws.amazon.com/ko/govcloud-us/ 21 - Internal Use Only - 스토리지 통합 관리 및 모니터링 서비스 추가
  22. 22. OPEN SHARE CONTRIBUTE ADOPT REUSE 22 - Internal Use Only -
  23. 23. OQ 별첨. SWIFT 스토리지 구조 23 - Internal Use Only -
  24. 24. 별첨. SWIFT 스토리지 구조 OpenStack Object Storage Service Interface Restful API Request Processing Authorization, Caching, Ring Building & Balancing, Data Replication Data Storage Local File System (XFS Recommended) • 객체지향 스토리지를 지향하는 서비스 요청-응답모델을 지원 • 아마존과의 인터페이스시 요청파라미터 및 요청Header의 변경을 통해 서비스 호환가능하도록 지원가능 • SWIFT는 Amazon Compatible한 인터페이스를 부분적 제공가능하고 유 연한 서비스 연동을 보장 • • • • • SWIFT의 핵심모듈로 모든 스토리지를 조정하는 컨트롤타워 프로세스 형식으로 스토리지 노드에 대한 밸런싱 및 데이터복제 권한 관리등을 지원함 해쉬링을 방법으로 하여 하위 스토리지노드에 대한 조정담당 Performance에 대한 Scale-Out을 지원 • 사용자의 요청(In,Out)에 대한 실질적 Object응답을 담당 • 상위의 Processing layer의 프로세스에 의해 응답을 하며 스토리지의 복 제 및 auditing의 대상이 됨 • 객체에 대한 스토리지의 분산 복제물을 3개의 replica를 통해 제공함 • 미러링을 비롯한 RAID구성이 따로 필요 없는 구조로 reliability를 보장 24 - Internal Use Only -
  25. 25. 별첨. SWIFT 스토리지 구조 API Set (Internal, External) : S3의 기본기능으로 제공 Management SWIFT Process virtual machine images Operation : 스토리지 시스템 운영/관리 photo storage email storage backup archiving and so on Authentication OSS : 기본인증에 서비스사용자단 과의 통합관리에 대한 고려필요 Metadata Terabytes or Petabytes : 자체 스토리지 메타기능제공 Interfaces Clustering (Commodity Server) : 필요에 따라 서비스의 요청에 응답하기 위한 기능으로 제공 REST API : 서비스 인터페이스로 서비스 개발자에게 제공됨 25 - Internal Use Only - BSS
  26. 26. 별첨. SWIFT 스토리지 구조 Auth Proxy Server 사용자의 인증 및 Request를 접수하여 결과값을 반환하는 프로세싱을 담당 Object request 실패에 따른 Fail-over조치 Ring 데이터의 논리적 위치와 물리적 저장 위치간의 매핑 제공 Proxy server가 참조하는 레퍼런스 특정한 Object의 Fail시 handoff device를 결정 Accounts Updaters Containers Auditors Replicators Objects 스토리지의 아키텍쳐를 견고하게 가져가는 Role을 담당 계정/컨테이너 /object의 정보변경에 따른 실패관리 정보유지를 통해 Consistent 상태관리 Push 방식의 복제프로세스 연계 Integrity체크 및 최신정보 유지 및 관리 결과적으로, 신뢰성 있는 아키텍쳐를 구성하는 중심 프로세스 26 - Internal Use Only -

×