datacenter storage

1. 新基建时代的
数据中心与存储
张广彬（狒哥）

2. E企研究院是针对数据中心、云计算、5G、
AIoT 等科技领域的最新技术和应用的信息
交流平台，秉持技术、应用、商业三合一的
发展理念，致力于数据中心、云计算、
AIoT 新产品新技术的引导、技术创新与品
牌打造，从而提高创新成果的产权化和产业
化水平。
“数字中国万里行”在2018年率先发
起对全国新基建进程的实地考察活动，
现已成为了解中国各地产业环境，各
行业数字化进程的大型活动平台。
面向ToB企业级市场的在线技术知识
分享平台，覆盖数据中心、云计算、
AI、物联网等IT技能教育技术品类，
包括服务器、存储、网络、超融合、
云计算的基础架构、应用分享、开发
平台等品类。

3. 2018中国北方区超大规模数据中心之旅
行程上万里，深入8个超大规模数据中心
最大：两个单园区服务器装机量 10 万+
最省：年均PUE低至 1.09
最快：开工到交付 7～6 个月
最稳：国内企业首批 三点布局 园区
国内服务器买家 前5
服务器总装机量 500000+
两个规划总装机量 1000000
总占地面积近 5000 亩
建成&在建机房楼 32 座
已安装机架 34000+
* 部分数据中心参数不全，未纳入统计

4. 数字中国万里行与超大规模数据中心
2018中国超大规模云数据中心考察报告
输入：2018数据中心

5. 2019数据中心之旅遍及四大经济区
考察15+运营商、第三方、云计算及金融数据中心
成都太保
重庆腾讯
贵阳农信
阿里张北
农行稻香湖
百度阳泉
万国外高桥
上海宝信
上证金桥
移动南方基地
华为东莞
深圳平安
京东宿迁
神威太湖之光
黑龙江移动
内蒙古移动

6. 腾讯天津数据中心
华为云廊坊数据中心
字节跳动怀来数据中心
阿里云张北冬奥云数据中心
中国联通呼和浩特云数据中心
中国移动宁夏中卫数据中心
京东云华东数据中心
百度云计算（阳泉）中心
中国移动（哈尔滨）数据中心
中国移动（呼和浩特）数据中心
腾讯重庆云计算数据中心
中国移动南方基地
华为云东莞松山湖数据中心
宝信上海罗泾数据中心
万国数据上海数据中心（1～8号）
嘉旭福美定兴数据中心
中国农行北京数据中心
太平洋保险成都数据中心
贵州农信观山湖数据中心
平安科技观澜数据中心
上海证券交易所金桥数据中心
通联金融科技1号数据中心
南方电网数据中心
超大规模与金融数据中心

7. 数据基础设施的类型与规模
边缘数据中心
为极致效率优化
超大规模/云数据中心
企业/托管数据中心
标准机型、有限优化
受限空间内的局部优化

8. 超大规模数据中心与基建投资
Ø 597
Ø 219
Ø 111
Ø 52
Ø 70%
2020年60%的服务器卖给云服务商

9. 10万台服务器的数据中心：10,0000 × 12 × 20 TB = 24 EB
希捷公司成立以来出货存储总容量：3 ZB +
2020年创建或复制的数据：64.2 ZB，不到 2% 会保留到 2021 年
超大规模数据中心与存储
Units shipped in
million
Y/Y growth Exabytes Y/Y growth
SSDs 333.120 +20.8% 207.39 +50.4%
HDDs 259.810 -18% 1,018.32 +13%

10. 三大经济区仍是必争之地
公司名称 数量（万台） 区域 落地城市
腾讯 >100
华北区域
怀来
中国电信 >100 呼和浩特
中国移动 >60 呼和浩特
中国联通 >50 呼和浩特
阿里巴巴 >30 张北
阿里巴巴 >30 乌兰察布
苹果 >10 乌兰察布
阿里巴巴 >30
华东区域
南通
腾讯 >30 仪征
阿里巴巴 >30
华南区域
河源
腾讯 >100 清远
中国电信 >100
西南区域
贵阳
中国移动 >100 贵阳
中国联通 >100 贵阳
腾讯 >10 贵阳
苹果 >10 贵阳
亚马逊 >20 西北区域 中卫
数据来源：
杭州云之鼎
RMR DCMap
E企研究院

11. 3060：碳达峰与碳中和
节能/低碳
开源
（可再生能源）
节流
（降低非必要的用量）
冷
源
（
自
然
冷
）
配
电
（
提
高
效
率
）
IT
负
载
（
节
约
使
用
）
风
力
发
电
太
阳
能
发
电
水
力
发
电
……
……

12. 存储与数据中心节能
大容量
• 使用大容量的存储设备（硬盘、SSD）
• 降低单位容量的耗电量
• 高密度
分层级
• SSD与HDD配合使用
• 冷存储，更节能
• 单AZ
高可用
• 三副本/3 AZ，或更多
• 单AZ
• EC提高容量利用率

13. 感谢聆听！

14. JBOD的横向扩容
21英寸 机柜 19英寸
3 服务器节点（并排） 2
5 硬盘（横置） 4

15. 回归纵向扩容
A/C Power Cable
Chain
SAS Cable
Chain
30 HDD/2U
20 HDD/1U
88 HDD/4U
100+HDD/4U
19英寸，纵向排列
上维护更彻底
结构简化
有效密度更高

16. 全闪存与JBOF
CPU SSD CPU SSD CPU SSD
CPU SSD CPU SSD CPU SSD
CPU SSD CPU SSD CPU SSD
CPU SSD CPU SSD CPU SSD
CPU SSD CPU SSD CPU SSD
CPU SSD CPU SSD CPU SSD
CPU SSD CPU SSD CPU SSD
CPU SSD CPU SSD CPU SSD
紧耦合架构
• 提高 CPU 和 SSD 的利用率
• 降低存储开销
• 简化的可扩展性
• 更高的性能
• 提高硬件的灵活性
• 理想的容量利用率
• 美国 Cloud/hyperscale 客户在发展 JBOF 上更为积极
• 1U 为主，从上维护转向前维护
CPU CPU CPU CPU CPU CPU
SSD SSD SSD SSD SSD SSD
SSD SSD SSD SSD SSD SSD
CPU CPU CPU CPU CPU CPU
CPU CPU CPU CPU CPU CPU
CPU CPU CPU CPU CPU CPU
CPU CPU CPU CPU CPU CPU
CPU CPU CPU CPU CPU CPU
解耦架构
Network
Compute
Storage
Compute
Storage

17. cQ3 2020 - Enterprise
Shipments
§ SAS = 1,354Ku, +15.9% Q/Q ↑
§ SATA = 4,062Ku, -37.9% Q/Q 
§ PCIe = 6,237Ku, -1.9% Q/Q 
容量：平均容量即将突破 2TB
性能：SATA 停止发展，接口带宽受限，IOPS/GB 降低
成本：产量和容量都有利于 NVMe
PCIe/NVMe 已成为 SSD 主流

18. PCIe：从4.0到5.0
PCIe
Specification
Data Rate(Gb/s)
(Encoding)
x16 B/W
per dirn**
Year
1.0 2.5 (8b/10b) 32 Gb/s 2003
2.0 5.0 (8b/10b) 64 Gb/s 2007
3.0 8.0 (128b/130b) 126 Gb/s 2010
4.0 16.0 (128b/130b) 252 Gb/s 2017
5.0 32.0 (128b/130b) 504 Gb/s 2019
6.0 (WIP) 64.0 (PAM-4, FLIT) 1024 Gb/s
(~1Tb/s)
2021*
* - Projected
** - bandwidth after encoding overhead
高速网络：
• 200G（PCIe 4.0）
• 400G（PCIe 5.0）
• 800G（PCIe 6.0）
高速存储：
• SSD 换代 PCIe 4.0
加速器……

19. 外观（类型） 卡（AIC/CEM） 盘（U.2/U.3） 条（M.2）
接口 PCIe SATA/SAS/PCIe SATA/PCIe
PCIe x4, x8, x16 x4/2x2 x4/x2
主要规格 半高半长(HHHL)、全高半长(FHHL) （2.5英寸）厚15mm/7mm 2260/2280/22110
性能潜力 中高 中 中低
容量 中高 中（2.5英寸）高（3.5英寸） 低
维护性 差 好 差
供电/能耗 高 中 低
适用性 任何服务器 背板支持 板载M.2插槽或转接卡
优势应用场景 高性能、大容量 驱动器仓位，前端维护 空间受限、hyperscale
PCIe/NVMe SSD的物理形态

20. EDSFF：Enterprise & Datacenter SSD Form Factor
为1U设备竖插使用：
E1.L：EDSFF 1U Short
E1.S：EDSFF 1U Long
M.2自身的局限：
体积小
连接不可靠
……
M.2 Carrier的局限：
过于复杂
不利散热
……

21. Yosemite V3
Concept Project Olympus Design
E1.S 25mm
双路1U
单路刀片
Blade
25mm E1.S Latch
Chassis
E1.S：计算型服务器

22. E1.S：计算存储均衡型服务器
10× U.2 SSD 24× E1.S 15mm
32× E1.S 9.5mm

23. E1.L 9.5mm
E1.L 18mm
高密存储平台：E1.L

24. Click to edit Master title style
Source: Forward Insights, Q1’20
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
2017 2018 2019 2020 2023 2024
PCIe Form Factor (Units)
M.2 2.5" AIC
2021
EDSFF
2022
Other
0
2014 2024
5
10
15
20
25
30
35
Million
Units
Data Center / Enterprise PCIe SSD Units
AIC
2.5"
M.2
ESDFF
Other
2015 2016 2017 2018 2019 2020 2021 2022 2023

25. Click to edit Master title style
28/36x
EXP
28/32x
NPM
SAS3 $ / Lane ~ = ~ NVMe-SW $ / Lane
2 x4 or 1 x8 SAS3
To
Up to 24 x1 SAS3
Expander
1 x8 or 1 x16 Gen3
To
24 x1 or 16 x1 Gen3
NVMe-PM
~ $ ~

26. 新基建背后的需求驱动

27. 超大型IDC的选址逻辑

28. 1 数据中心系列考察活动
2 新基建背后的需求驱动
3 超大型IDC的选址逻辑
4 浅析资源型玩家
5 预制模块化的轻重缓急
6 间接蒸发制冷
7 迎接液冷时代

29. 数据中心系列考察活动

30. 浅析资源型玩家

31. 预制模块化的轻重缓急

32. 制冷架构的演变

33. 迎接液冷时代

34. 超大规模数据中心的量化标准
2013年1月《关于数据中心建设布局的指导意见》：
• 超大型数据中心 ≥ 10000个标准机架
• 标准机架为换算单位：2.5千瓦/机架（总功率＞25MW）
2018年：单园区突破10万台服务器
• 腾讯天津：1300×8kW + 3500×6.5kW
• 华为云廊坊：4500×8KW
• 联通呼和浩特：8000×4.4KW
• 字节跳动怀来：6000×7.2kW
• 百度阳泉：6000×8.8KW
2020年：单园区10～30万台服务器
• 阿里超级基地：10万台服务器（5栋机房楼）
• 腾讯T-Base：16000×7.2kW（8平层或4+4）
基础设施投资
12%
电费
43%
水费
1%
房屋租金
6%
运营费用
8%
资金成本
11%
毛利润
19%

35. 全局性：
• 业务全球（全国）分布
• 分为多个区域
局部性：
• 一个区域覆盖一个主要城市及周边
• 每个区域（Region）由一至多个可
用区（Available Zone，AZ）组成
• 一个可用区通常对应一个数据中心
园区
灵活性 vs. 可靠性：
• 每区域多AZ：AWS
• 每区域三AZ：阿里云
• 每区域一到多AZ：微软、腾讯云
云计算：全局性与局部性

37. Click to edit Master title style

38. Click to edit Master title style
30 HDD/2U
1× Atom
18 HDD/1U
1× Atom/Xeon-D
72 HDD/4U
2× Xeon-D
更强计算能力
匹配更多HDD

39. Click to edit Master title style
高密度计算节点
SAS Switch
高密度磁盘存储
SAS fabric SAS fabric
计算/存储资源池化
SAS Switch
CPU
HBA
CPU
节点A
CPU
HBA
CPU
节点B
SATA HDD
JBOD
SATA SSD
JBOD
SAS HDD
JBOD
管理端口 集群
调度
中心
资源分配释放请求
动态下发配置
1× 计算节点 + 8× JBOD

40. Click to edit Master title style
• Edit Master text styles
– Second level
• Third level
– Fourth level
M.2

41. Click to edit Master title style
• Edit Master text styles
– Second level
• Third level
– Fourth level
24× U.2@1U
15× U.2 or 30× M.2/1U
1U全闪存储服务器
48× M.2 22110
上维护更彻底
M.2

42. Click to edit Master title style
40mmExternal MiniSAS HD
4x4
External MiniSAS HD
4x4
16 Storage Carriers
1GbE RJ45
4× M.2 22110
前维护
每次至少下线 4 个 M.2