Ceph Based Large Scale Application Case and Technology in Financial Industry - Wang Gang
•
0 likes•121 views
Cephalocon APAC 2018 March 22-23, 2018 - Beijing, China Wang Gang, Yuancore Cloud Technology Co-Founder/ R&D General Manager Lan Dongping, PingAn Technology Storage Lead
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Ceph Based Large Scale Application Case and Technology in Financial Industry - Wang Gang
Similar to Ceph Based Large Scale Application Case and Technology in Financial Industry - Wang Gang (20)
Ceph Based Large Scale Application Case and Technology in Financial Industry - Wang Gang
- 1. 基于 Ceph 的金融行业 大规模应用案例技术分享 深圳元核云技术有限公司 呈 2018·03
- 3. RADOS 大型金融企业 Ceph 应用需求概述 1 、单 OSD 承载上千万或过亿的 Object 负担过重。 2 、海量小对象的 Backflling 效率低， IO 争用较高。 支撑海量小文件 Backflling 控制粒度较粗，不能精确控 制到实际发生的流量，而导致要么效率 较为低下，要么对用户 IO 相互争用较 高。 Backfiiing 智能化流量控制 目前通过一系列心跳检测机制来判断 OSD 是否异常，但是往往一些我们可以 主动告知并就能进行快速断定的场景， 也需要心跳进行检测，效率低下。 OSD 异常快速诊断 RGW 运维 Bucket 维度数据可以按照实践周期进行 分级存储，以进一步节约成本。例如 3 副本 ->EC-> 磁带 分级归档 可以基于 Bucket 维度灵活的选择多个 数据资源池进行数据存储，实现基于 Pool 维度进行扩容，可以减少因大量数 据迁移带来的 IO 损耗。 灵活扩容 需要部署 3 个数据中心，要保证同城 100 公里以内两个数据中心能做到双 活，异地 1000 公里以上的两个数据中 心做到灾备，并能够做到多数据中心服 务自动路由。 两地三中心 统一管理，统一运维。金融行业的分支机 构较多，一般全国都存在近 40 个分中心、 多个总中心分级存储模式，需要统一进行 管理。 多数据中心，多集群统一管理 一键式自动化部署，全方位系统监控，多 维度异常报警，多管理员权限管理。 自动化部署、全方位监控报警 硬件损坏能够准确的智能化识别，根据现 有集群情况，自动将问题 OSD 踢出集群， 自动数据均衡。运维管理人员只需要知晓 异常，定期换盘。 硬件异常无人值守自动化处理
- 4. 海量小文件合并存储 种子管理池 （目标 OID ） 对象合并器 索引管理器 控制全 局唯一 控制生 命周期 控制异 常回放 控制整 体事务 计算索 引信息 用完放 回种子 管理池 控制索 引大小 与 Bucke tInde x 合并 RGW
- 6. OSD 异常快速诊断 MON 合并阈值（ 4MB ） OSD OSD Doctor 坏道 缓慢 故障 标记 Down 加入 OUT 队列 OUT 处理引擎
- 7. 90 天 OSD REQUEST 对象存储 - 分级归档 Object Object index EC 磁带 30 天 RGW 归档支持 归档守 护进程
- 8. 对象存储 - 灵活扩容 Bucket Pooi A Pooi B Pooi C ……
- 9. 50K M 1000K M 同城 - 双活 异地 - 容灾 双活 ： 提供数据安全同步保证，牺牲性能。可以保证任何时刻两地数据中心数据服务一致性。 灾备 ： 提供数据安全异步保证，性能基本无损耗，网络不是瓶颈，可以保证分钟级别完成同步。 对象存储 - 两地三中心
- 10. 磁盘突然发生故障 OSD Doctor 检测故障 并确诊 提交到 Mon Mon Mark Down ， 并提交到 OUT 引擎队 列 自动发现、自动隔离 OUT 引擎接收任务 检测集群状态是否达标 通知 Mon ，执行 OSD 的 OUT 操作 统一管理、依次 OUT Qos 基础策略 （时间、流量） 恢复时，会根据硬盘 IO 利用率动态调整 数据恢复完成 业务至上、闲时恢复 运维管理 - 无人值守
- 13. 元核云弹性的块存储（ EBS ）元核云分布式对象存储（ OBS ） KVM KVM KVM KVM 平安金融云平台 KVM KVM KVM KVM KVM 虚拟化 RBD 海量非结构化数据 S3 平安非结构化数据管理平台 平安集团 Ceph 应用现状 KVM KVM KVM KVM
- 14. 数据中心部署规模 5 个 1000+ 40PB+ 裸容量节点数据中心 观澜 深圳核心数据中心 张江 外高桥宝山 上海灾备数据中心 廊坊 北京互联网数据中心
- 16. OBS 业务量情况 千万次 次上传 / 日 OBS 近亿次 次下载 / 日 OBS TB 级 增量 / 日 EBS 万级 数量 EBS KVM OBS
- 17. 运营情况 4 年 稳定运营时间（ 2014~2018 ） 1.5 人 运营人员 3 个月 集中一次换盘