本文档详细探讨了Ceph的性能优化，包括硬件选型、系统调整、参数调整及性能测试等方面。重点介绍了SSD与SATA的结合使用及其配置参数，并提供了性能监控和分析工具的相关信息。最后，文档还提到了一些实际的性能测试方法和常用的优化参数。

1. Ceph性能优化
杨冠军

2. 硬件选型
• SATA盘：
• ⼤大容量量：4T / 8T
• ⾼高带宽：每个约200MB/s
• SSD盘：
• ⾼高IOPS，低延时
• 容量量较⼩小：800G
• ⽐比率：
• 结合实际需求，SSD / SATA⽐比率为：1 / 3

3. 系统调整
• kernel threads限制
• /proc/sys/kernel/pid_max
• 磁盘调度算法
• SATA：“deadline”
• SSD：“noop”
• 磁盘的read ahead调整
• /sys/block/sd[x]/queue/read_ahead_kb

4. CRUSH规划
• Class
• SATA
• SSD
• Roles
• 数据分布
• 数据均衡
• 故障隔离

5. 参数调整
• 参数个数：1400+
# ceph daemon osd.0 config show | grep "_" | wc –l
1425
• 参数分类：57
• 常⽤用优化：Client端，OSD端，MDS端

6. OSD参数
• FileStore
• journal
• xfs
• BlueStore
• db / wal分离
• 参数优化

7. 性能测试
• 测试⼯工具：
• Ceph⾃自动：rados bench <seconds> write|seq|rand
• 外部⼯工具：dd，fio
• 测试⽅方法：
• 实际使⽤用模式测试
• 避免系统cache影响
• BandWidth，IOPS，Latency

8. Ceph软件栈
• Client
• Enternet
• Messenger
• ObjectStore
• BlueStore
• Disk

9. IO Path和分析⼯工具
• Client
• 性能监控：BandWidth，IOPS，Latency，CPU，内存
• ⽹网络
• iperf，sar
• OSD
• Bluestore：ceph osd perf，ceph daemonperf等
• cpu：htop，perf
• Disk
• iostat：%util, rw/s, await等
• iotop

10. OSD性能分析
• ceph osd perf
• ceph daemon <osd> perf dump
• ceph daemon <osd> dump_historic_ops
• ceph daemon <osd> dump_ops_in_flight
• ceph daemonperf <osd>
• 监控历史

11. Q&A