Try to install OS on a ceph storage

1. 在 Ceph 上 安裝作業系統的可能性
101502551 資工 3B 蔣彥亭
2014 / 10 / 20

2. 2
Ceph 簡介
● Ceph 是一個具有高彈性、高可擴充性、高安全
性的叢集 (Cluster) 儲存平台。
● 支援 Object Storage, Block Storage, File
Storage

3. 3
構想
●
利用 Ceph 的優勢 ( 高可擴充性、高安全
性 ...) ，將平時使用的作業系統環境建置於上
面 ...
一定很酷！

4. 4
Ceph 基本概念
ref: https://www.ibm.com/developerworks/cn/linux/l-ceph/

5. 5
如何利用？
●
將 OS 放置再 Ceph 上面，利用 Ceph 導出的 Block
Device 開機 ...
●
但是這有本質上的錯誤，有點類似 Diskless System 的
概念，在載入 Linux Kernel 之前無法掛載
RBD( Ceph's RADOS Block Devices)
●
解法：利用 iPXE 透過 iSCSI 開機

6. 6
整體配置
● Ceph Cluster x1
● iSCSI Server x1 (RBD Mapped)
● DHCP Server x1

7. 7
安裝流程
● 1. 建置 Ceph Cluster
● 2. 建置一台 iSCSI Target ，並在上面安裝 Ceph
Client
● 3. iSCSI Target 本身掛載 Ceph RBD ，並在其中
建立 Chroot 環境 (Debian Base OS 可採用
debootstrap 工具 ) ，
● 4. 配置 PXE Server ，使其回應 Client 端的請求

8. 8
整體總結
● iPXE 設定網路 ( 透過 DHCP)
● iPXE 登入 iSCSI LUN 將其映射成 Local Disk
● 讀取 MBR 並開始開機流程，讀取
kernel 、 initrd 等

9. 9
優劣評估
● 優點： Ceph 本身的機制，避免了 Cluster 本身
SPOF(Single point of failure) 的問題，並且有
Ceph 保證的安全性，確保在部份 OSD 毀損的
情況下，資料的完整性
● 缺點：採用 iSCSI 導致 SPOF 的問題，也就是
iSCSI 伺服器單點的故障，會導致無法開機的情
形

10. 10
另一種可能性 ?!
● PXE v.s. NBD – Network Block Device
● PXE v.s. NFS – Network File System

11. 11
參考資料
● Arch Linux Diskless Guide:
– https://wiki.archlinux.org/index.php/Diskless_system
● Ubuntu Linux Diskless Guide:
– https://help.ubuntu.com/community/DisklessUbuntuHowto
● NBD:
– http://etbe.coker.com.au/2009/08/23/nbd-pxe-booting-debian
● Diskless iSCSI Boot:
– http://backreference.org/2013/12/23/diskless-iscsi-boot-with-
●