Knowledge Sharing

1. Storage 101
Taka Wang
2018.06.07

2. Protocol (通訊協定)
機器間訊息交換的規範
例如規定都
用
台語溝通，都
用
美式英
文
溝通等

3. Parallel vs Serial Interfaces
‣ SATA = Serial ATA
‣ PATA = Parallel ATA
‣ SAS = Serial Attached SCSI
‣ Serial SCSI

4. 硬碟 (Hard disk drive)
Source Source
‣logical block 由
一
個或數個 physical sector 組成
‣為何有 block 這個抽象概念？
➡作業系統 (OS) 可以操作的地址有限，
用
戶
的概念
取代數
人
頭

5. SAMSUNG
SSD (solid-state drive)
Source
Controller
Cache (DDR)
NAND
NAND Die
Block
Page
Cell
一
個write IO的動作，會寫到
一
頁
或
多
頁
，不能直接操作 CELL

6. SSD
Source

7. Source
SATA3
6.0Gb/s (600MB/s)
PCIE x4 3.0
31.52Gb/s (3.94GB/s = 3940 MB/s)

8. Distributed Storage Interface Type
看起來像分享資料夾
很多
人
都可以共
用
同
一
個資料夾
看起來像顆硬碟
你可以格式化它
Block device不是共享的
容器有唯
一
的編號
容器可以擺任何東
西
(ex. 電影)

9. Distributed Storage Interface Type
Source

10. Source
RADOS (Reliable Autonomic Distributed Object Store)
A reliable, autonomic, distributed object store comprised of self-healing, self-managing,
intelligent storage nodes
LIBRADOS
A library allowing
apps to directly
access RADOS,
with support for C,
C++, Java, Python,
Ruby, and PHP.
RADOSGW (RGW)
(Object gateway)
A bucket-based
REST gateway,
compatible with S3
and Swift.
RBD
(Raw Block Device)
A reliable and fully-
distributed block
device, with a Linux
kernel client and a
QEMU/KVM driver
CEPH FS
(File System)
A POSIX-compilant
distributed
fi
le system
HOST/VM Client
APP
APP
ISCSI Target
HTTP NAS (NFS, CIFS)
SAN (iSCSI)
libRBD libCEPHFS
ISCSI GW
CEPH
block File
Object

11. Ceph on ARM

12. Ceph Appliance Mars 200/400
Source

13. https://www.youtube.com/watch?v=4rY3yrE2ysQ

14. xyxSCSI

15. ‣SCSI (Small Computer Systems Interface)
‣SAS (Serial Attached SCSI)
‣iSCSI (Internet Small Computer Systems
Interface)
都叫xyzSCSI，意義大不同

16. SCSI vs IDE
1970+
1986
2003
• SCSI 具有應
用
範圍廣、多任務、頻寬
大
、
CPU佔
用
率低，以及熱插拔等優點
• 完全通過獨立的
高
速的SCSI卡來控制data 的
讀寫操作，CPU就不必浪費時間進
行
等待
• 透過 SCSI Command Set (protocol) 溝通
• 昂貴

17. Comparison IDE/ATA vs SCSI
Feature IDE/ATA SCSI
Connectivity Market Internal Storage Internal and External Storage
Speed (MB/sec) 100/133/150 320
Hot Pluggable No Yes
Expandability Easier to set up
Very good but very expensive to
set up
Cost/Performance Good High cost/Fast transfer speed

18. SAS (Serial Attached SCSI)
• SAS (Serial Attached SCSI)
用
來取代 Parallel SCSI (SCSI-3)
• SAS 同樣使
用
SCSI command set (protocol)
• SATA介
面
的硬碟可以插到SAS的插槽，但 SAS介
面
的硬碟不能插到 SATA 插槽

19. iSCSI (是一種通訊協定，ex. 台語)
•
又
稱為 IP-SAN
• 透過 TCP/IP (網路) 與 SCSI command set (通訊協定)
• Cable 就是網路線，但最好有搭配專屬的網路卡，不要跟 LAN 打架，會吃
一
些 CPU (IP header)
• 連接裝置數沒有上限 (SCSI-3 的上限是15台）
• 對主機
而
言
，看起來就像 local attached disk
• 主要競爭對
手
：光纖通道 (
fi
ber channel)
• 也是
一
種 protocol，傳遞媒介可以是光纖 (optical)，也可以是銅線，也可以跑 SCSI
command，包在 FC frame 中，主流是16GFC，
目
前已經有32GFC的交換機產品。

20. iSCSI
iSCSI initiators
iSCSI target (software)
iSCSI LUN1
iSCSI LUN2
(logical unit number)
發起者
對象

21. Summary
‣ SCSI (Small Computer Systems Interface)
‣ 介
面
：各種針腳的 SCSI 頭與專
用
線
‣ 通訊協定: SCSI command set
‣ SAS (Serial Attached SCSI)
‣ 介
面
：SAS 插頭與專
用
線 (SAS 插頭 可以插 SATA 硬碟)
‣ 通訊協定: SCSI command set
‣ iSCSI (Internet Small Computer Systems Interface)
‣ 介
面
：走網路 (網路卡與網路線)
‣ 通訊協定: SCSI command set over TCP/IP

22. DAS vs NAS vs SAN

23. ‣DAS (Directly Attached Storage)
‣NAS (Network Attached Storage)
‣SAN (Storage Area Network)
硬碟跟主機怎麼接才是重點
與有無 RAID 沒關係
接法

24. DAS (Directly Attached Storage)
可以是 SCSI 線，LAN，SAS，光纖
隨
身
碟也可以視為 DAS (雖然USB頻寬有限)
他看起來就是我的
一
部分
就像直接插在排線上
一
般
而
言
，速度最快
它跟我在同
一
個 rack上

25. Source

26. NAS (Network Attached Storage)
他看起來就是網路上某台電腦分享的
資料夾 (File)
而
不是網路上的 storage device
NSF (Network File System)
CIFS ( Common internet
fi
le system)

27. NAS (Network Attached Storage)
他看起來就是網路上某台電腦分享的
資料夾 (File)
而
不是網路上的 storage device
可以
用
這樣類比
區網上可以有
一
台網路印表機 (印表機有IP)
但也可以是
小
明電腦上接了
一
台印表機，然後分享出來 (印表
機本
身
沒IP，IP是
小
明區網上的電腦)
NSF (Network File System)
CIFS ( Common internet
fi
le system)

28. NAS 不一定要 RAID
RAID
ZFS (copy-on-write)
FreeBSD
NAS

29. SAN (storage area network)
Fibre channel
SAN Switch

30. SAN vs NAS
SAN NAS
Block level data access File level data access
Fiber channel is the primary media used
with SAN (單獨的
高
速通道). (也可以跑在網
路上，
fi
bre channel over Ethernet (FCoE)，
或使
用
iSCSI protocol)
Ethernet is the primary media used use
NAS
SCSI is the main I/O protocol
NFS/CIFS is used as the main I/O protocol
in NAS
SAN storage appears to the computer as its
own storage
NAS appears as a shared folder to the
computer
It can have excellent speeds and
performance when used with
fi
ber channel
media
It can sometimes worsen the performances,
it the network is being used for other things
as well(which normally is the case)

31. Unified Storage
Source

32. Appendix

33. Comparison between local disks and
networked consolidated storage
Source