1. PROPOSAL DEPLOY SAN at VINADATA
STEP by STEP
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 1 of 16
2. Contents
1. PHASE 1: Kích hoạt hệ thống SAN tại Cộng Hòa ............................................................... 3
1.1 Thiết bị hiện tại ............................................................................................................ 3
1.2 Mục tiêu ....................................................................................................................... 3
1.3 Danh mục cần đầu tư: .................................................................................................. 3
1.4 Mô hình đấu nối: .......................................................................................................... 4
2. PHASE 2: Disaster Recovery Site ....................................................................................... 5
2.1 Mục tiêu: ...................................................................................................................... 5
2.2 Mô hình kết nối ............................................................................................................ 5
2.2.1 Cơ chế hoạt động ................................................................................................. 6
2.2.2 Diễn giải kết nối .................................................................................................... 6
2.2.3 Chức năng MirrorView .......................................................................................... 7
Một số tình huống phục hồi ................................................................................................. 8
2.3 Lợi ích của giải pháp...................................................................................................11
2.4 Danh mục cần đầu tư .................................................................................................11
3. PHASE 3: NÂNG CẤP HỆ THỐNG BACKUP ....................................................................12
3.1 Mô hình Serverless Backup ........................................................................................12
3.2 Danh mục cần đầu tư .................................................................................................13
4. PHASE 4: Tăng cường Security – Monitor – Multi Connecting...........................................13
4.1 Security.......................................................................................................................13
4.2 Monitoring ...................................................................................................................14
4.3 Multi VSAN – IVR........................................................................................................15
4.4 Danh mục cần đầu tư ..................................................................................................15
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 2 of 16
3. 1. PHASE 1: Kích hoạt hệ thống SAN tại Cộng Hòa
1.1 Thiết bị hiện tại
01 Storage EMC CX3-40c:
Dung lượng: FC HDD: 15 x 146Gb (10K rpm)
FC HDD: 15 x 146Gb (15K rpm)
SATAII HDD: 3 x 15 x 500Gb
02 Cisco MDS 9509
02 SAN Switch McDATA DS4700
01 Tape Library Quantum PX502 38 slot + 10 Tape LTO-3 (400Gb)
01 Software EMC Networker + license cho Autochanger Module, license cho 15 connection,
license cho OS Linux
1.2 Mục tiêu
_ Đưa hệ thống SAN vào hoạt động, có thể đáp ứng các nhu cầu SAN tại Site Cộng Hòa.
_ Đưa hệ thống backup tape library vào họat động, trước mắt đáp ứng nhu cầu backup data
cho VINADATA ‘s Office
1.3 Danh mục cần đầu tư:
Gía
STT Loại tài sản Số lượng Thành tiền
Description (Price
(No) (Sort of facilities) (Quantity) (Total USD)
USD)
Kết nối các port Management hệ
thống SAN, Tape Library, MDS
9509, Networker Server
1 Switch Cisco 24 port http://www.overstock.com/Electro 01 ~ 4000
nics/Cisco-Catalyst-3560-Gigabit-
Ethernet-
Switch/2628347/product.html
3 HDD; Support PCI-E Dùng làm
2 Server Server Backup (Control Tape 01 ~ 3000
Library) và SAN Management.
http://www.shopping.com/xPP-
3 FC HBA LPe1150 network_adapters-- 01 ~ 800
ietf_ip_over_fc
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 3 of 16
4. 1.4 Mô hình đấu nối:
Tape Library
PX502
HP Chassis Blade
Server
VSAN 1
ISL between
02 MDS
MDS 9509
Networker Server
(Control Tape Library)
EMC CLARiiON
CX3-40c
_ Dùng 02 MDS 9509 để làm core của mạng SAN tận dụng được các function và
performance của MDS 9509.
_ Reserved 02 SAN Switch DS4700 cho các nhu cầu kết nối Site to Site với các khách hàng
khác.
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 4 of 16
5. 2. PHASE 2: Disaster Recovery Site
2.1 Mục tiêu:
_ Tăng cường tính an toàn về mặt data và Service
_ Thêm 1 offer Disaster Recovery Site + Backup cho khách hàng
_ Data của Khách hàng có thể đặt server tại Công Hòa, backup ra Tape, Replicate data trên
SAN tại site Điện Biên Phủ. Và ngược lại
_ Ngoài việc offer cho khách hàng dịch vụ redundancy về Data, ta có thể offer thêm redundancy
service (2 hệ thống Mail Server đặt tại 02 site, 1 Active 1 Stanby với 02 hệ thống Database
được replicate giữa 02 site).
2.2 Mô hình kết nối
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 5 of 16
6. 2.2.1 Cơ chế hoạt động
Giải pháp kết nối và DR được xây dựng dựa trên việc kéo dài mạng SAN thông qua
Black Fiber (FC Single Mode) - với 02 SAN Switch DS-4700 tại mỗi site làm core – từ
Production Site (20bis Cộng Hòa) và Disaster Recovery Site (381 Điện Biên Phủ) kết
hợp với giải pháp nhân bản dữ liệu đối xứng sử dụng phần mềm MirroView/S chạy trên hệ
thống CLARiiON CX3 của EMC. Đường cáp quang sử dụng là 02 đường Dark Fibre với tốc
độ 2Gb/s.
Hai cổng trên hai thiết bị lưu trữ CX3-40c và CX3-40 trên hai SP (Storage Processor) sẽ
được zoning trong cùng một zone, hai thiết bị lưu trữ sẽ cùng trên một domain.
Kết nối từ lưu trữ đến patch panel sẽ sử dụng cáp multi mode chuẩn LC-LC.
Phần mềm nhân bản đồng bộ MirrorView/S sẽ được cài đặt trên cả 2 site đảm bảo đồng bộ
dữ liệu giữa hai trung tâm cũng như phục vụ cho giải pháp phục hồi thảm họa (Disarter
Recovery).
Bên cạnh đó, với mô hình được thiết kế ở trên, trung tâm dữ liệu chính của VINADATA tại
đường Cộng Hòa sẽ sử dụng 02 Director MDS 9509 của Cisco để phân chia mạng SAN
kết nối của các server (thuộc các project khác nhau) tại Production Site thành các VSAN,
các MDS như đã biết sẽ đóng vai trò là các Core Switch. Giữa các Switch sẽ sử dụng kết
nối ISL (Inter Switch Links).Trong tương lai, trung tâm dữ liệu chính tại đường Cộng Hòa
của VINADATA sẽ có thêm rất nhiều SAN Switch với rất nhiều cổng kêt nối, việc sử dụng
VSAN sẽ làm cho mô hình quản trị rõ ràng tách bạch, giúp cho việc quản lý trở nên dễ dàng
hơn, bảo mật hơn
2.2.2 Diễn giải kết nối
Kết nối 02 hệ thống CX3 thông qua 02 đường Dark Fiber sẽ được join vào cùng 1
domain, Mirror View Zone làm nhiệm vụ đường replicate/mirror data giữa 02 site.
Tại DR Site các server sẽ được configure Zoning với các LUN trên CX3-40 thông qua SAN
switch DS-4700 hoặc iSCSI Router (iSCSI SAN). Đảm bảo mỗi server connect đến CX3-40
với 04 path
Tại Production Site các server kết nối đến CX3-40c thông qua MDS 9509 phân ra thành
nhiều VSAN khác nhau để quản trị rõ ràng cũng như thêm phần bảo mật.
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 6 of 16
7. 2.2.3 Chức năng MirrorView
Sau khi thiết lập mối quan hệ nhân bản dữ liệu giữa hai hệ thống CLARiiON,
MirrorView/S sẽ đảm bảo bảo vệ toàn bộ dữ liệu của hệ thống thứ nhất.
Sau lần synchronize đầu tiên, toàn bộ dữ liệu trên hệ thống CX3-40C tại trung tâm chính
cần được bảo vệ sẽ được MirrorView nhân bản sang hệ thống CX3-40C dự phòng.
Source Target
1 2
Limited distance
4 3
Lệnh ghi được ghi vào cache của CLARiiON tại trung tâm chính
Lệnh ghi được chuyển qua đường kết nối FC và ghi vào cache của hệ
thống CLARiiON tại trung tâm dự phòng
CLARiiON dự phòng ghi nhận là đã ghi xong dữ liệu
CLARiiON chính ghi nhận với ứng dụng là đã ghi xong dữ liệu
Như vậy, trong trường hợp bình thường, toàn bộ dữ liệu cần bảo vệ ở trung tâm chính sẽ được
nhân bản sang trung tâm dự phòng
Trong trường hợp đường kết nối bị đứt, CLARiiON sẽ lưu trữ một bảng chứa các block đã bị
thay đổi kể từ khi đường kết nối bị đứt. Khi đường kết nối hoạt động trở lại, các block bị thay
đổi sẽ được copy sang hệ thống dự phòng.
Hệ thống hoạt động hoàn toàn ở mức thiết bị lưu trữ và không phụ thuộc vào máy chủ, hệ
điều hành và ứng dụng và cũng không đòi hỏi sự sẵn có của các hệ thống này vẫn bảo vệ
được dữ liệu.
CLARiiON là sản phẩm duy nhất của dòng tầm trung cho đồng bộ dữ liệu từ trung tâm dự
phòng về trung tâm chính theo cơ chế incremental, rút ngắn quá trình đồng bộ dữ liệu (xuống
còn khoảng vài chục phút tới vài giờ thay vì hàng ngày nếu phải đồng bộ 100% dữ liệu)
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 7 of 16
8. Một số tình huống phục hồi
Ổ đĩa tại trung tâm dữ liệu chính lỗi
Nếu ổ đĩa chứa dữ liệu tại trung tâm dữ liệu chính bị lỗi, các lệnh I/O sẽ bị từ chối cho đến khi ổ
đĩa đó được phục hồi lại. Trong quá trình này, người dùng có thể nâng cấp ổ đĩa tại trung tâm
dự phòng thành ổ đĩa chính và chuyển các lệnh I/O đến ổ đĩa này. Các truy xuất vẫn được thực
hiện bằng máy chủ ở trung tâm chính thông qua đường cáp quang tới ổ đĩa ở trung tâm dự
phòng. Điều này giúp biến bản sao ở trung tâm dự phòng thành một bản sao ánh xạ (mirror)
thực sự.
Bộ xử lý lưu trữ (SP) điều khiển các ổ đĩa chính lỗi
Nếu bộ xử lý lưu trữ quản lý một ổ đĩa bị lỗi, thì MirrorView sẽ chuyển quyền quản lý sang bộ
xử lý lưu trữ khác cùng trên một dãy đĩa. Khi lỗi này xảy ra trên hệ thống lưu trữ chính, một
message được gửi đến hệ thống lưu trữ dự phòng để hệ thống lưu trữ dự phòng cũng sẽ
chuyển quyền quản lý ổ đĩa nhân bản sang bộ xử lý lưu trữ tương ứng. Nếu dữ liệu tại trung
tâm dự phòng bị gián đoạn, dữ liệu từ Write Intent Log được dùng để đồng bộ lại khi hệ thống
làm việc bình thường.
Trước khi bộ xử lý lưu trữ gặp lỗi: Cả hai ổ cứng logic (LUN) trên hai dãy đĩa đều được điều
khiển bởi Bộ xử lý lưu trữ A (SP A)
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 8 of 16
9. Khi xảy ra lỗi với bộ xử lý lưu trữ A: Các ổ đĩa được chuyển sang quản lý bởi bộ xử lý lưu trữ B
(SP B)
Hệ thống lưu trữ chính bị lỗi
Nếu hệ thống lưu trữ chính chứa ổ đĩa chính bị lỗi, các lệnh đọc ghi của máy chủ (I/O) được
ngừng lại cho đến khi hệ thống lưu trữ được phục hồi. Cũng giống như ổ đĩa logic (LUN) chính
bị lỗi, người sử dụng có thể chọn cách nâng cấp hệ thống lưu trữ dự phòng lên thành hệ thống
chính và chuyển các lệnh đọc ghi của máy chủ sang hệ thống này.
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 9 of 16
10. Trước khi hệ thống lưu trữ chính gặp lỗi: Ổ đĩa chính (trên dãy đĩa CLARiiON chính) có Mirror
ID là X
Sau khi có lỗi đối với hệ thống lưu trữ chính: Ổ đĩa chính vừa được nâng quyền (trên dãy đĩa
dự phòng CLARiiON ) có Mirror ID là Y
Trung tâm dự phòng có lỗi và cách phục hồi
Khi trung tâm dự phòng gặp lỗi đương nhiên sẽ giảm khả năng dư thừa dự phòng hoặc không
thể truy cập dữ liệu từ trung tâm chính đến trung tâm dự phòng.
Ổ đĩa dự phòng (LUN) lỗi
Nếu ổ đĩa vật lý dự phòng tại trung tâm dự phòng bị lỗi, người quản trị có thể chọn hoặc sửa ổ
đĩa đó hoặc gỡ bỏ ra khỏi mỗi quan hệ với các ổ đĩa Mirror khác. Nếu ổ đĩa được phục hồi, nó
phải được đồng bộ lại. Nếu ổ đĩa khác được chọn làm ổ đĩa dự phòng, ổ đĩa đó phải được
đồng bộ hoàn toàn.
Bộ xử lý lưu trữ (SP) điều khiển các ổ đĩa dự phòng lỗi
Nếu bộ xử lý điều khiển một ổ đĩa tại trung tâm dự phòng gặp lỗi, hệ thống sẽ dừng lại cho đến
khi bộ xử lý đó được phục hồi. Khi bộ xử lý được phục hồi, dữ liệu nhân bản sẽ tự động đồng
bộ.
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 10 of 16
11. 2.3 Lợi ích của giải pháp
Ngoài những lợi ích đã trình bày ở trên, thì còn có lợi ích về mặt đầu tư thiết bị. Nếu như
chúng ta muốn sử dụng MDS 9509 dùng làm core kết nối site to site, chúng ta cần đầu tư thêm
software va hardware cho MDS:
_ License Extension SAN: Price: $10.000 x 2.
http://www.pcconnection.com/IPA/Shop/Product/Detail.htm?sku=8078486
_ Module support transceiver Longwave 10km (DS-X9124): Price: €14,429 x 2
http://www.pcwb.ie/catalogue/item/CISMDS06
2.4 Danh mục cần đầu tư
Số lượng Gía
STT Loại tài sản Thành tiền
Description (Quantity (Price
(No) (Sort of facilities) (Total USD)
USD) USD)
Cable single mode
1 FC Cable 06 65 390
LC-LC duplex 30m
Cable single mode
2 FC Cable 04 40 160
LC-LC duplex 8m
Cable Multi mode
3 50/125 SC-LC duplex FC Cable 15 40 600
8m
Cable Multi mode
4 50/125 SC-LC duplex FC Cable 4 50 200
16m
Cable Multi mode
6 50/125 SC-SC duplex FC Cable 12 40 480
8m
Module Long Wave Long Wave Optic KIT-10Km
7 (DSED-LWKT10) www.peppm.org/Products/emc 04 240 960
hardware/price.pdf
MIRRORVIEW SYNC CX3-40
License Mirror View/S http://computer.pwgsc.gc.ca/ht
8 02 15000 30000
(MVS34) docs/storage/sannas/vendors/
emc/san1b.pdf
_ Tư vấn thiết kế DR
_ Cài đặt Mirror View tại 02
site
_ Cấu hình đồng bộ dữ liệu
9 Service 10000
_ Training 02 ngày
_ Maintenance System 02
tháng
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 11 of 16
12. 3. PHASE 3: NÂNG CẤP HỆ THỐNG BACKUP
Hiện tại chúng ta có:
_Tape Library PX502 (1 Drive – 36 slot – 10 tape)
_ EMC Networker (phần mềm Backup) + License cho PX502 + License cho việc backup
từ môi trường Linux + License cho 15 client
_ MDS 9509
Với những component như thế này chúng ta dễ dàng cung cấp các gói dịch vụ backup
_ IP Backup: Giải pháp backup: từ Local Disk ra Tape cho 15 client khác nhau. Tuy
nhiên tốc độ sẽ chậm (Trung bình 1GB / 1 client / 16 minute)
_ Storage Backup: Clone LUN hoặc Snapshot LUN bên trong CX
Hạn chế: Không có license cho việc backup database online (Vấn đề này có thể giải quyết khi
khách hàng có nhu cầu)
Việc backup LUN phải làm thủ công, không có license cho việc lập Schedule không
monitor được quá trình
3.1 Mô hình Serverless Backup
MDS 9509 với Storage Service module (SSM) sẽ hỗ trợ tính năng serverless Backup để
nâng cao hiệu suất cho Tape Library: Sử dụng cho nhiều khách hàng khác nhau, tốc độ backup
cao hơn.
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 12 of 16
13. 3.2 Danh mục cần đầu tư
Product Description Price / Unit Quantity
(USD)
MDS-SSM-32U 2Gb 32-Port FC Stg Sol Mod UPG (Storage Service 40.000 1
Module) gắn trên MDS 9509
http://storagemojo.com/storagemojos-pricing-
guide/emc-price-list/
NETWORKER Module powersnap (của Networker) cho phép đặt lịch 3.000 1
POWERSNAP đối với Snapview trong CX
MODULE 1TB
CAPACITY ( 456-
http://www.pcuniverse.com/product.asp?pid=3658183
005-405 )
Service Configure – Deploy SSM 15000
4. PHASE 4: Tăng cường Security – Monitor – Multi Connecting
Như đã giới thiệu về MDS 9509 là dòng sản phẩm Medium Director với điểm mạnh là Multi
VSAN và IVR – Inter VSAN Routing. Giúp tăng phần bảo mật dữ liệu, an toàn về hoạt động, và
nâng cao performance.
Nếu như không sử dụng 02 tính năng này thì MDS cũng giống như các SAN Switch
bình thường khác.
4.1 Security
Enhanced security features:
– LUN zoning
_ Read-only zones
FC Port security
VSAN-based access control
Fibre Channel Security Protocol (FC-SP) authentication
Advanced traffic engineering—quality of service (QoS)
IP security (IPsec) protocol for iSCSI and FCIP using the MPS-14/2 module or Cisco MDS 9216i switch
IPsec & IKE for IPv4
IKE digital certificates
Extended credits using the MPS-14/2 module or the Cisco MDS 9216i Switch
Enhanced VSAN routing—inter-VSAN routing (IVR) over Fibre Channel
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 13 of 16
14. IVR Network Address Translation (NAT) over Fibre Channel
Zone-based traffic prioritizing
Zone-based FC QoS
Extended BB_Credits
Fibre Channel write acceleration
SCSI flow statistics
FCIP encryption
Fabric binding for Fibre Channel
SAN device virtualization
Ingress port limiting
4.2 Monitoring
Centralized, Multiple physical fabric management
• Fabric discovery services
• Continuous MDS health and event monitoring
• Long term historical Fibre Channel performance monitoring and reporting
• Custom performance reports and charting for hotspot analysis
• Historical Performance Monitoring
• Performance prediction
• Performance threshold monitoring
• Fabric Manager Web Client for operational view
• Fabric Manager server proxy services
• Server performance summary report
• Configurable RRD collection parameters
• Data collection auto update
• Event forwarding
• Filtering by user-defined groups
• Custom Reports Enhancements
• Fabric Analysis Report
• Threshold Configuration Flexibility
• Web-based operational view
• Roaming User Profiles
• Traffic Analyzer for SCSI Flow Statistics
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 14 of 16
15. 4.3 Multi VSAN – IVR
Inter VSAN Routing
Sharing Resources Across VSANs
• Allows a device that is located in one VSAN to communicate with a device that is
located in another VSAN. IVR supports routing between all interop mode VSANs
• Allows sharing of centralized resources such as tape and disks across VSANs –
without merging separate fabrics (VSANs).
• Transparent to third-party switches
• Enables blade-per-VSAN architecture for blade servers
4.4 Danh mục cần đầu tư
Product Description Price / Unit Quantity
(USD)
MDS-FMS- License cho Fabric management 15.000 1
9500 http://www.neutronexpress.com/prod.cfm/635586/CL
ARION_DISK_ARRAYS/MDSFMS9500/SERVER
MDS-ENT-9500 ENTERPRISE LICCENSE KEY 9500 (Include IVR) 14.500 2
http://pc.pcconnection.com/1/1/71616-emc-enterprise-
license-key-9500-mds-ent-9500.html
File Name : Proposal SAN STEP by STEP.doc Author : Phạm Hồng Phước
Date : 21-Oct-2008 Page 15 of 16