pivot3, technical information

1. Pivot3 technical
Review
Smarter Infrastructure Solutions

2. Raid 1
전통적인 스토리지 형태는….
• 호스트의 성능은:
• RAID set에 포함된 디스크 수에 비례
• 성능은 해당 볼륨을 소유한 Controller의
성능에 제한
• 성능을 위해서는 특별한 RAID set을 구현해야함
• 쓰임에 따라 RAID set을 디자인하고
관리하여야함
• 용량을 충분히 사용하지 못함
• Volume변경과는 달리 RAID set의 변경은 즉시
변경이 어려움
Raid 1
Raid 5
Raid 6
Raid 1
Raid 5
SnapShot
Pool
Spares
Controller 1
R1 R1 R5R5
Vol 0 Vol 1 Vol 2 Vol 3
Controller 2
R6R6 R1R1
Vol 4 Vol 5 Vol 6 Vol 7

3. vSTAC Cluster
Pivot3는 …….
• Non RAID방식으로 기존
RAIDset위에 볼륨을 생성하는
방식이 아닌 전체 vPG에
볼륨을 바로 생성
• 해당 볼륨은 Online으로
보호레벨, 성능을 변경할 수
있음
• Node가 늘어나면 용량과
성능이 같이 증가
• 모든 관리는 Pivot3 vSTAC
Management Console에서
쉽게
vSTAC ClustervPG 1 vPG 2 vPG n
Node 1 Node 2 Node 3
VM VM VM
vPG 1 (All Flash)
APP
OS
APP
OS
APP
OS
Node 1 Node 2 Node 3
VM VM VM
vPG 2 (Hybrid)
APP
OS
APP
OS
APP
OS
DATA STORE 1 DATA STORE 2

4. 독창적인 Erasure Coding기반의 효율성
66%
75%
80%
83%
86% 88% 89%
90%
91% 92% 92%
93% 93%
94%
40%
50%
60%
70%
80%
90%
100%
3 4 5 6 7 8 9 10 11 12 13 14 15 16
STORAGE가용공간
노드
• 특허 받은 erasure coding 방식은 최대의 공간을
보장
•노드가 추가 될수록 스토리지의 공간 효율은
높아짐
• 전체 노드중 5개의 디스크 장애 또는 1노드+2개의
디스크 장애까지를 허용
High Storage Efficiency that increases with scale
리플리케이션 방식은 최고
50%까지의 공간을 사용할 수
있음
가용공간
Scale
Mirror50%
33%
16%
• 리플리케이션 방식은 가장 쉬우면서도
특별한 기술이 필요없음
• 노드가 늘어나더라도 가용공간의 효율은
증가되지 않음
• 디스크의 장애허용을 늘릴수록 가용공간은
급속히 감소함
기존 리플리케이션 방식
3중 미러
Five Drive Protection
차별점 #1
Pivot3
기타 제품

5. 볼륨 매니저
디스크 직접 액세스
하이퍼바이저를 통한 액세스
Hypervisor (ESXi)
HDD
Pivot3 vSTAC OS (VM)
Hyper-Converged
Infrastructure
•Pivot3 Close-to-the-metal methodology
• 하이퍼바이저를 통하지 않고 직접 디스크를
액세스하여 30-40%의 성능향상
• 물리 디스크를 직접 관리
Hypervisor
SSD
VM running
Software-defined storage
Disk access
through the
hypervisor
• 하이퍼 바이저를 통해 볼륨매니저에 액세스 하거나
• JBOD사용하더라도 하이퍼바이저 통해서 디스크 접근
• 물리디스크의 직접관리 불가
차별점 #2
HDD HDD
HDDSSD
직접
액세스
캐시관리자

6. Full-time Active/Active/Active
Pivot3 Global Active/Active/Active Conventional SAN: Active / Passive
Active / Passive Redundant Controllers
Storage
controller #0
Storage
controller #1
Passive
Active
Passive
Active
• VM은 Pivot3 cluster의 모든 컨트롤러에 액세스가
가능
• 노드가 추가될때 마다 컨트롤러의 성능+
가용성+Bandwidth이 선형적으로 증가
• True, optimized Global Active / Active.
• 보통 스토리지는 2개의 컨트롤러로 동작
• 각 컨트롤러는 서로간의 동작을 감시하면서 A-A
혹은 A-S로 동작
• 성능, 가용성, Bandwidth은 고정됨
Node #1
HDD HDD HDD
Node #n
HDD HDD HDD
Node #2
HDD HDD HDD
컨트롤러
컨트롤러
컨트롤러
∑ (IOPs)Global Active / Active =>
차별점 #3

7. Global Virtual Drive Sparing
Pivot3 Virtual Global Sparing Conventional sparing system
Appliance #1
HDD
Spare
HDD
• 전통방식의 스페어는 각 노드마다 하나씩의
스페어를 할당하여 디스크 장애에 대비함
• HDD 전체 성능은 디스크수-스페어수 (ex 900 IOPS)
• HDD장애시 해당 노드의 모든 HDD가 리빌딩에 참여하여
정상적인 성능을 낼 수 없음
• 각 노드마다 스페어 디스크를 미리 지정하지 않고
전체 노드에 스페어 공간을 가상으로 배정
• Pivot3 클러스터에 하나의 디스크 공간만큼만
소비됨
• HDD의 장애가 발생 하더라도 성능의 저하 없이
복구되며 수동작업은 전혀 불필요
• HDD장애시 모든 노드의 HDD가 작업을 나눠서
조금씩 리빌딩에 참여 성능의 저하가 없음
HDD HDD
Appliance #2
HDD
Spare
HDD
HDD HDD
Appliance #n
HDD
Spare
HDD
HDD HDD
Pivot3 Re-positioning
차별점 #4
Appliance #1
HDD HDD HDD HDD
Virtual sparing
Appliance #n
HDD HDD HDD HDD
Virtual sparing
Appliance #2
HDD HDD HDD HDD
Virtual sparing

8. Spare disk
1. Read D1
2. Read D3
3. Read D4
4. Read P
5. Read D5
6. Read D6
7. Read D7
8. calculate D2=P1xD1xD3xD4xD5xD6xD7
9. Write D2N
10. X1,000,000
Virtual Spare
1. Read D2,D12…
2. Write D2N
3. Write D12N
4. …..
5. X100,000
No CPU action
D2N
D2N D12N
CPU Disk
CPU Disk
D1 D2 D3 D4 P1 D5 D6 D7
Replace vs Rebuild
D1 D2 D3 D4 P9 D5 D6 D7 D8
D11 D12 D13 P14 D14 D15 D16 D17 D18

9. HDD 응답 시간
HDD1 Drive 2 HDD3
사전예측 디스크 장애처리
•대부분의 HDD는 완전히 장애가 나기보다, 먼저 느려지거나 배드 섹터가 발생
•느려진 디스크는 전체 성능에도 영향을 줌
•Pivot3 는 디스크의 완전 장애가 나기전에 미리 스페어조치를 수행함
Cluster
HDD7
Appliance #3
Virtual Global
spare
HDD4
HDD1
HDD8
HDD5
HDD2
HDD9
HDD6
HDD3
Virtual sparing
STEP 2
Global Spare에 재배치를 미리 수행
* 성능저하 발생을 사전 방지
2. 사전 데이터 복제STEP 1
HDD의 응답시간을 항상 감시,
느려진 HDD를 검출
HDD장애 발생 전 사전예측
1. 장애사전검출 STEP 3
HDD교체 시에도 전혀 성능의
저하가 발생하지 않음
3. HDD교체 후 리빌딩 불필요
Cluster
HDD7
HDD4
HDD1
HDD8
HDD5
HDD9
HDD6
HDD3NewHDD2
HDD1 HDD2 HDD3
Virtual sparing
Virtual sparing
Virtual sparing Virtual sparing
Virtual sparing
Virtual sparing
Virtual sparing
Virtual sparing
차별점 #5

10. #1 Node
ElastiCache – 메모리 데이터 캐싱
ElastiCache 특허
• 각 노드당Up 64GB의 메모리를
데이터 캐시로 사용
• vPG내의 메모리는 동시에 사용됨
• vPG 최대 캐시1TB
• 동적 read/write cache
• cold cache data to HDDs
#3 Node#2 Node
ElastiCache
Memory
FlashCache
SSD
HDD
ElastiCache
Memory
FlashCache
SSD
HDD
ElastiCache
Memory
FlashCache
SSD
HDD
Acknowledgement
APP
OS
차별점 #6

11. Node 1 Node 2 Node 3
VM VM VM
vPG (Hybrid)
APP
OS
APP
OS
APP
OS
ElastiCache 의 쓰기 최적화
• Write cache의 내려쓰기에 최적화
• IO type 과 부하 종류에 따라 내려쓰기수행
• 특허 받은 스마트 캐시
• 크고 무거운 데이터는 캐시에 유지
• 자주 쓰지 않는 데이터는 디스크에 내려쓰기
• 캐시가 허용하는 한 최대한 데이터를
유지하여 읽기 캐시로 사용
Benefits
• 높은 IOPs 빠른 레이턴시
• High performing Hybrid nodes at a better TCO
Regular flusher
frequency
Flushing
rate
Accelerated
flusher frequency
IO rate
Low cache
utilization
Cache
High Random
AccessCache

12. Flexible Deployment Options
Node 1 Node 2 Node 3
Data
Only
vPG
VM
APP
OSVM
APP
OS
VM
APP
OS
VM
APP
OSVM
APP
OS
VM
APP
OS
VM
APP
OSVM
APP
OS
VM
APP
OS
Node 4
Only the drive types/sizes need to be the same
스토리지의 증설은:
• CPU 성능, 개수에 무관
• 메모리 용량에 무관
• 필요에 따라 증설
모델 All-flash HCI Watch Data
Compute
Latency
용량
어떠한 요구에도 대응할 수 있는 유연한
모델 선택의 자유
All-flash : 가장 빠른 응답시간
HCI : 일반적인 가상화, VDI
Watch : 많은 용량이 요구되는 서비스
Data : 기존환경에 용량만 증설

13. Hybrid / Watch /DATA
12 X 3.5 in drives
Sizes range from:
1 TB = 12 TB Node
2 TB = 24 TB Node
4 TB = 48 TB Node
6 TB = 72 TB Node
8 TB = 96 TB Node
Watch/ DATA
1cpu, 2PCIslot
Data
No ESX
Dual 400
GB SSDs
10GB
Copper or
SFP+
10GB,
Copper or
SFP+
Power
supplies
750W
1
2 3
4
5
1- SSD cache
2- Full x16 PCI-e bay
& x8
3- low profile X8 &
X1 PCI-e slots
4- onboard USB for
usb SSD
5- Dual SD cards for
ESX install

14. vSTAC HCI/Watch
10 Gb
SFP+
10 Gb
SFP+
Mellanox
10G/40/56Gbps
1 Gb
BT
1 Gb
BT
10 Gb
BT
10 Gb
BTBT
HCI,Watch
PCIeDaughter Card

15. 보장레벨 및 용량 Pivot3 Level
(Proprietary Architecture)
Data / System Protection
EC1
RAID 1E
• 1 disk or 1 appliance failure
RAID 5E
EC3
RAID 1P • 3 simultaneous disk
failures or
• 1 disk + 1 appliance
failure
RAID 6P
RAID 6E
EC5 RAID 6X
• 5 simultaneous disk
failures or
• 2 disk + 1 appliance
failure
Pivot3 Level
Single
Data / System Protection
RAID 1 1 disk failure
RAID 5 1 disk failure
RAID 6 2 simultaneous disk failures

16. 감사합니다
문의
HCI@cdit.co.kr
02)3442-5588