Cycloudのメインリージョンのストレージ構成が、何を解決したく現在の構成になったのかを、これまで構築してきたプライベートクラウドの歴史と共に紐解いていきます。

1. Cycloudの
ストレージ紹介と歴史
2023/06/07
知念洋樹
1

2. アジェンダ 1. DCを中心にCycloudを紹介
2. メインリージョンのストレージを紹介
3. プライベートクラウドのストレージ変化
4. 今後のプライベートクラウド ストレージ
5. さいごに
2

3. 知念 洋樹 Hiroki Chinen
● 担当：HW・Storageの選定、構築、運用
○ PureStorageの管理人
○ DCチームリーダー
● 人生の目標
○ 世界を股に掛けるエンジニアになる
● 趣味
○ ドライブ
○ アマチュア無線(JJ1PZY)、BCL
● 一言
○ 電波の話しできる方いらっしゃいますか？
○ 痩せたい(目標: -15kg)
○ 新しい車物色中
3
自己紹介

4. 1 ｜ DCを中心にCycloudを紹介
4

5. Cycloud とは
CAグループに対して提供しているサービスの総称
● プライベートクラウド
● オブジェクトストレージ
● マネージドKubernetes
● マネージドDB
● GPU as a Service
● etc…
5

6. CycloudのDCの数
Computeリージョン GPUリージョン NWリージョン
3 1 2
6

7. CycloudのDC規模
Computeリージョン GPUリージョン NWリージョン
3 1 2
vCPU: 60k core+
Storage: 1.7PB+
Rack: 100+
GPU: 170+
Rack: 9
Capacity: 180Gbps
AS24284
7

8. 2 ｜ メインリージョンのストレージを紹介
8

9. メインリージョンの紹介
2017年オープン
Region名: TKY02
vCPU: 30k Core
Storage: 1PB
Rack: 17
9

10. メインリージョンの紹介 -コンセプト-
Diskless Hypervisorを導入しストレージを集約
広帯域 50GbE(2x 25GbE)でHypervisorを接続
10

11. メインリージョンの紹介 -ストレージ-
適材適所で利用してもらうため4種類のタイプを用意
● VMのRootボリューム用 (Cinder-Boot)
● 冗長あり多目的用 (Cinder-Ceph)
● 冗長なし超高速IO用 (Cinder-Single)
● 冗長有りコールドデータ用 (Cinder-Archive)
11

12. 3 ｜ プライベートクラウドのストレージ変化
12

13. プライベートクラウドの歴史
本格的にプライベートクラウドを作ってきて3世代目
TKY00
(2011〜2020)
TKY01
(2014〜)
TKY02
(2017〜)
13

14. プライベートクラウドの歴史 -TKY00-
VMのDiskイメージ
● Hypervisorの腹持ちHDD
(4x 600GB HDD RAID10)
● インスタンスサイズによる固定サイズ
Additionalディスク
● Ameba EBS (永久Beta, VMと直接iSCSI接続, HAあり)
オブジェクトストレージ
● OpenStack Swiftを無料で提供 (3TB HDD Array)
14

15. プライベートクラウドの歴史 -TKY00-
問題点
● Hypervisorの故障 == VMデータロスト
● 必要な計算リソースとデータ容量のミスマッチ
● HDD故障による交換頻度が多い
● 高IOPS要件に耐えられない
良い点
● シンプルな構成のため故障範囲の特定が容易
● ストレージ障害時の影響範囲が小さい
15

16. プライベートクラウドの歴史 -TKY01-
VMのDiskイメージ
● Hypervisorの腹持ちHDD
(4x 1.2TB HDD/SSD RAID10)
● インスタンスサイズによる固定サイズ
Additionalディスク
● Cinder-hdd (35x 3TB RAID6, LVMで分割して提供, 冗長有り)
● Cinder-ssd (1.6TB NVMe, LVMで分割して提供, 冗長なし)
オブジェクトストレージ
● なし
16

17. プライベートクラウドの歴史 -TKY01-
問題点
● Hypervisorの故障 == VMデータロスト
● 必要な計算リソースとデータ容量のミスマッチ
● HDD故障による交換頻度が多い
● SSDの故障 == データロスト
● 共有ストレージ障害時の影響範囲が大きい
良い点
● シンプルな構成のため故障範囲の特定が容易
17

18. プライベートクラウドの歴史 -TKY02-
VMのDiskイメージ
● Cinder-boot (PureStorageをAvtiveClusterで利用)
● サイズ：21GB〜75GB
Additionalディスク
● Cinder-single (3.2TB NVMe, LVMで分割して提供, 冗長なし)
● Cinder-ceph (3.2TB NVMe, Ceph RBD, 冗長あり)
● Cinder-archive (12x 10TB RAID5, LVMで分割して提供, 冗長有り)
オブジェクトストレージ
● Cephを利用
18

19. プライベートクラウドの歴史 -TKY02-
問題点
● SSDの故障 == データロスト
● 共有ストレージ障害時の影響範囲が大きい
良い点
● hypervisorが故障してもVMロストしない
● hypervisorが故障しづらくなった
19

20. 4 ｜ 今後のプライベートクラウド ストレージ
20

21. 今後のプライベートクラウドストレージ
考慮すべき箇所の変化
21
いままで
● VMベース
● OpenStack Cinder
Driverの利用
これから
● Containerベース
● Kubernetes CSI Driver
の利用

22. 22
5 ｜ さいごに

23. 23
さいごに
● 質問等ありましたら、いつでもお声がけください！
● 一緒に働く仲間はいつでも募集中です！
● 最後まで楽しまれてください！！