Software-defined storage is a marketing buzzword for promoting computer data storage technologies. Many storage H/W vendors are focusing on Storage Cloud in Software Defined Data Center. This document is that what is SDS and latest trend in Cloud Computing.

1. About Storage Cloud
주식회사 오픈 소스 컨설팅

2. Ⅰ
스토리지 클라우드 동향
Ⅱ
레드햇 스토리지
III
요약
2
- Internal Use Only -

3. Ⅰ
스토리지 클라우드 동향

전통적 엔터프라이즈 스토리지

멀티 노드 확장 아키텍처 전환

소프트웨어 정의 서비스
3
- Internal Use Only -

4. 1. 전통적 엔터프라이즈 스토리지
선택 고려 요소
부정적 측면
1
종속성(Vendor Lock-in)
3
응답 시간
비용(Cost)
2
성능 측면
확장성(Not Multi-Tenant)
처리량
IOPS(IO per Second)
저장 효율성
서비스 측면
중복 제거
서비스 가용성
비즈니스 연송성
데이터 마이그레이션
The InfoPro Storage Study 1H12 – 451 Research
1) CAPEX: 기업이 고정자산을 구매하거나, 유효수명이 당회계 년도를 초과하는 기존의 고정자산에 대한 투자에 돈이 사용될 때 발생
4
- Internal Use Only -

5. 2. 기존 방식의 스토리지 확장
업무 요구사항을 달성하기 위한 스토리지 용량 및 서비스 품질 수준(QoS) 정의
Data Controller
Data Controller
NIC
NIC
CPU
CPU
CPU
CPU
32G
Mem
NIC
NIC
NIC
NIC
CPU
CPU
32G
Mem
CPU
CPU
5
- Internal Use Only -

6. 2. 기존 방식의 스토리지 확장
업무 요구사항을 달성하기 위한 스토리지 용량 및 서비스 품질 수준(QoS) 정의
업무 기능이 지속적으로 추가되어, 더 많은 스토리지가 필요
Data Controller
Data Controller
NIC
NIC
CPU
CPU
CPU
CPU
32G
Mem
NIC
NIC
NIC
CPU
CPU
CPU
CPU
32G
Mem
NIC
Data Controller
Data Controller
NIC
NIC
CPU
CPU
CPU
CPU
32G
Mem
NIC
NIC
NIC
NIC
CPU
CPU
32G
Mem
CPU
CPU
6
- Internal Use Only -

7. 2. 기존 방식의 스토리지 확장
업무 요구사항을 달성하기 위한 스토리지 용량 및 서비스 품질 수준(QoS) 정의
업무 기능이 지속적으로 추가되어, 더 많은 스토리지가 필요
신규 서비스를 위한 새로운 업무 영역이 추가되어 다른 스토리지가 필요
Data Controller
Data Controller
NIC
NIC
CPU
CPU
CPU
CPU
32G
Mem
NIC
NIC
NIC
CPU
CPU
CPU
CPU
32G
Mem
NIC
Data Controller
Data Controller
NIC
NIC
NIC
NIC
NIC
NIC
NIC
CPU
CPU
32G
Mem
CPU
CPU
CPU
32G
Mem
CPU
CPU
CPU
CPU
Data Controller
NIC
CPU
Data Controller
NIC
CPU
CPU
NIC
CPU
CPU
7
- Internal Use Only -
NIC
NIC
256G
Mem
NIC
NIC
CPU
CPU
CPU
CPU
CPU
CPU
NIC
NIC
256G
Mem

8. 3. IT 환경의 변화
모바일, 서비스 다양화 등으로 인한 데이터 트래픽이 기존에 비해 210X 증가
Web IT
Enterprise IT
Cloud IT
사용환경
 Expert only
 Everyone
 내부전용(Silo)
 Open API
 구축형, Manual
 종량제, 자동화
 Service용(외부판매)
 IOPS 예측 가능
 IOPS 예측 불가
 대용량 데이터
 소용량 Data
 Appliance HW
 고집적화
 표준화/통합화
HW/SW
 Platform화
 확장성
Data Traffic
210X ↑
 License SW
App에서 Network 이슈 없음
Network
 교환망/전송망 중심
1990
 System Network 중요
 전용 Network
8
- Internal Use Only -
 Open Source SW
 IP망(Shared Network)
 CDN
2000
 Commodity HW
 SDN
2010

9. 4. 데이터 격리
증가되는 업무 데이터의 동적 확장 문제 - 데이터 격리(Silo) 형태
데이터 관리가 어려워지고, 활용도(수집, 분석 등) 및 효율성 저하
9
- Internal Use Only -

10. 5. 멀티 테넌트 확장 아키텍처
솔루션
클라우드 전환
요구 사항
요구 사항
손쉬운 스토리지 확장 형태의 구조
저비용 하드웨어 스토리지
스토리지 노드 실패에 대비한 데이터 보장
다양한 종류의 스토리지 리소스 관리
이기종 스토리지 노드 지원
스토리지 풀에 대한 클라우드 오케스트레이션
스택
멀티 테넌트 환경으로의 전환
엔터프라이즈 기반 블록/파일/객체 지원
NIC
NIC
NIC
NIC
NIC
NIC
NIC
NIC
NIC
NIC
NIC
NIC
NIC
NIC
NIC
NIC
NIC
NIC
CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU
MEM
MEM
MEM
MEM
MEM
MEM
MEM
MEM
MEM
MEM
MEM
MEM
MEM
MEM
MEM
MEM
MEM
MEM
High Bandwidth Backplane
10
- Internal Use Only -

11. 6. SDDC(Software Defined Data Center)
IDC Definition
A software-defined data center is „...a loosely coupled set of software
components that seek to virtualize and federate datacenter-wide hardware
resources such as storage, compute, and network resources.... The goal for a
software-defined datacenter is to....make the datacenter available in the form of an
integrated service....“
출처: IDC‘s Worldwide Software-Based (Software-Defined) Storage Taxonomy, May. 2013“
11
- Internal Use Only -

12. 7. SDS(Software Defined Storage)
스토리지
서비스
•
•
•
•
•
데이터
레이아웃
• 파일 기반 레이아웃(File-based Layout)
• 객체 기반 레이아웃(Object-based Layout)
• 블록 기반 레이아웃(Block-based Layout)
스케일링
• Scale-up
• Scale-out
• GEO-dispersed scale-out
서비스 통합 레이어(Orchestration Layer)
서비스 품질(Service Quality)
데이터 이동성 및 연계(Data Mobility and Federation)
메타 데이터 및 속성 관리(Metadata and Attribute Management)
데이터 인터페이스(Data Interface)
저장소
•
•
•
•
내부 서버 기반 리소스(Internal Server-based Resource)
외부 디스크 스토리지 시스템(External Disk Storage System)
객체 플랫폼(Object Platform)
클라우드 기반 리소스(Cloud-based Resource)
구현 방법
•
•
•
•
•
물리적 어플라이언스 기반(Physical Appliance)
가상 어플라이언트 기반(Virtual
데이터 이동성 및 연계(Data Mobility and Federation)
메타 데이터 및 속성 관리(Metadata and Attribute Management)
데이터 인터페이스(Data Interface)
출처: IDC‘s Worldwide Software-Based (Software-Defined) Storage Taxonomy, May. 2013“
12
- Internal Use Only -

13. 8. S/W 방식 스토리지 클라우드
File-based layout
Object-based layout
Openstack Storage
Block-based layout
NAS
SAN
13
- Internal Use Only -

14. 9. Amazon S3
Amazon S3는 지정된 한 해 동안 99.999999999%의 객체 내구성을 제공하도록 설계된
객체 기반 스토리지. ACL, IAM을 통한 사용자/업체별 버킷 관리
NFS, CIFS, HTTP/REST
Gateway
OID (Object ID)
Meta data:
Created, ownership,
size, data type,
application
API
Zone-A
Zone-B
Attributes:
QoS, SLO, Polices,
Retention, Security
Zone-C
US-East(Virginia)
SLO(Service Level Objective): SLA를 측정하는 척도로 가용성, 처리량, 응답시간, 품질 등이 있다.
14
- Internal Use Only -

15. 10. SWIFT 확장 구조
오브젝트를 보유하고 물리적인 단위로 구성시 Zone단위로 개별적인 디바이스를
컨트롤하는 구조
Auth Process
Internet
REST API
Interface
Proxy nodes
zone
zone
Storage nodes
Account
Account
Container
Container
Object
Object
Zone: servers, network, geography를 기준으로 분리
15
- Internal Use Only -
최초 사용자 Request를 받아
사용자를 인증 및 인가를 수행
적합한 사용자일 경우 Proxy Nodes
로
Request를 보완함.
오브젝트의 정보를 보유하며
사용자의 Request를 처리하는 단계
Proxy Nodes가 활용하는 오브젝트의
위치를 보유하고 있는 논리적 엔티티
의 물리적인 위치정보를 표현하는 메
타 데이터집합

16. II F
레드햇 스토리지 로드맵

레드햇 스토리지

레드햇 오픈 스택
16
- Internal Use Only -

17. 1. 레드햇 스토리지
레드햇 스토리지 기능
스케일 아웃 확장성
• Petabytes 단위 클러스터
• 데이터 분산을 위한 Geo-replication
비용 효과
• 저가의 x86 서버 활용
• 가상머신 환경에서 스토리지 용량 확보
유연성
• 물리서버, 가상화, 클라우드, 하이브리드
클라우드 환경에서 유연한 데이터 공유
• 파일과 오브젝트 접속 프로토콜
다양한 구성 환경 지원
• 물리서버, 가상화, 클라우드 환경에서
구성 가능
오픈 & 표준 기반
• NFS, CIFS, HTTP
17
- Internal Use Only -

18. 2. 레드햇 오픈 스택
레드햇 오픈스택 기능

클라우드 워크로드를 위한 클라우드 인프라기술
•
모듈화된 아키텍쳐 : Compute/Network/Storage/Authentication/Dashboard node
•
대형 스케일 아웃 기반의 오픈소스 클라우드 플랫폼
•
오브젝트 스토리지 : 객체 분산 저장, 데이터 중복
•
Restful 기반의 API : 자체 API, 아마존 EC2 호환 API
•
비용절감, No vendor Lock-in, Private/Public Cloud 구현
18
- Internal Use Only -

19. 3. 레드햇 오픈스택
레드햇 오픈 스택 사례
110여개 이상 글로벌 사례
Source : https://www.openstack.org/user-stories
19
- Internal Use Only -

20. III
요약

정부 동향

스토리지 클라우드 구축 방향
20
- Internal Use Only -

21. 2. 스토리지 클라우드 구축 방향
특성 및 고려요소
적용전략
핵심성공요소
업계 동향
전략
소프트웨어 기반의 스토리지 클라우드
멀티 테넌트 기반의 확장형
선진 사례 분석 및
향후 TO-BE 도출
빅데이터 영역 확장 형태의 스토리지
지원
적용 솔루션 기능 검증 및 성능 검증
수행
전략
2
강력한 데이터 신뢰성 - 데이터 복제
사용자별 접근 권한 제어
1
SW 기반의
스토리지 제어
기업 내부의 클라우드 관리 시스템
연계 및 통합
전략
선진 사례 분석
아마존 웹 서비스, 오픈 스택 등의
파일/객체/블록 기반 스토리지
미국정부 – AWS상의 주요 스토리지 및
백업 요구에 대해 스토리지 클라우드
사용
3
동적 확장형
아키텍처 구조
클러스터 내 객체의 분산 저장을
통한 신뢰성 향상
전략
4
스토리지 클라우드
구축 거버넌스
미국 정부 AWS 사용: http://aws.amazon.com/ko/govcloud-us/
21
- Internal Use Only -
스토리지 통합 관리 및
모니터링 서비스 추가

22. OPEN
SHARE
CONTRIBUTE
ADOPT
REUSE
22
- Internal Use Only -

23. OQ
별첨. SWIFT 스토리지 구조
23
- Internal Use Only -

24. 별첨. SWIFT 스토리지 구조
OpenStack Object Storage
Service Interface
Restful API
Request Processing
Authorization, Caching, Ring Building &
Balancing, Data Replication
Data Storage
Local File System
(XFS Recommended)
• 객체지향 스토리지를 지향하는 서비스 요청-응답모델을 지원
• 아마존과의 인터페이스시 요청파라미터 및 요청Header의 변경을 통해
서비스 호환가능하도록 지원가능
• SWIFT는 Amazon Compatible한 인터페이스를 부분적 제공가능하고 유
연한 서비스 연동을 보장
•
•
•
•
•
SWIFT의 핵심모듈로 모든 스토리지를 조정하는 컨트롤타워
프로세스 형식으로 스토리지 노드에 대한 밸런싱 및 데이터복제
권한 관리등을 지원함
해쉬링을 방법으로 하여 하위 스토리지노드에 대한 조정담당
Performance에 대한 Scale-Out을 지원
• 사용자의 요청(In,Out)에 대한 실질적 Object응답을 담당
• 상위의 Processing layer의 프로세스에 의해 응답을 하며 스토리지의 복
제 및 auditing의 대상이 됨
• 객체에 대한 스토리지의 분산 복제물을 3개의 replica를 통해 제공함
• 미러링을 비롯한 RAID구성이 따로 필요 없는 구조로 reliability를 보장
24
- Internal Use Only -

25. 별첨. SWIFT 스토리지 구조
API Set (Internal,
External)
: S3의 기본기능으로 제공
Management
SWIFT
Process
virtual
machine
images
Operation
: 스토리지 시스템 운영/관리
photo storage
email storage
backup archiving
and so on
Authentication
OSS
: 기본인증에 서비스사용자단
과의 통합관리에 대한 고려필요
Metadata
Terabytes or Petabytes
: 자체 스토리지 메타기능제공
Interfaces
Clustering (Commodity Server)
: 필요에 따라 서비스의 요청에
응답하기 위한 기능으로 제공
REST API
: 서비스 인터페이스로 서비스
개발자에게 제공됨
25
- Internal Use Only -
BSS

26. 별첨. SWIFT 스토리지 구조
Auth
Proxy Server
사용자의 인증 및 Request를 접수하여
결과값을 반환하는 프로세싱을 담당
Object request 실패에 따른 Fail-over조치
Ring
데이터의 논리적 위치와 물리적 저장 위치간의 매핑 제공
Proxy server가 참조하는 레퍼런스
특정한 Object의 Fail시 handoff device를 결정
Accounts
Updaters
Containers
Auditors
Replicators
Objects
스토리지의 아키텍쳐를 견고하게 가져가는 Role을 담당
계정/컨테이너 /object의 정보변경에 따른 실패관리
정보유지를 통해 Consistent 상태관리
Push 방식의 복제프로세스 연계
Integrity체크 및 최신정보 유지 및 관리
결과적으로, 신뢰성 있는 아키텍쳐를 구성하는 중심 프로세스
26
- Internal Use Only -