Downloaded 103 times
Uploaded by美团点评技术团队
美团技术沙龙04 美团下一代分布式存储系统
美团云的下一代分布式存储系统旨在通过集中化元数据存储、高可用性设计和高并发网络架构来解决现有存储系统的瓶颈。新架构将支持多版本存储、数据去重和在线恢复功能，并计划实现与AWS S3的兼容性。技术展望包括冷存储成本控制和跨区域备份能力，以提升存储效率和降低成本。
美团技术沙龙04 美团下一代分布式存储系统
- 1.
- 2. 自我介绍 • 美团云高级技术专家 ✤ 美团云存储团队TechLeader ✤阿里巴巴OceanBase团队UpdateServer模块TechLeader ✤ 百度Pyramid ✤ 北京邮电大学 ✤ 研究方向：分布式存储、高可用、数据库
- 3. 目录 • 美团云存储现状 • 新一代系统架构 •新一代技术亮点 • 技术展望
- 4. 美团云存储现状 • 集群规模 • PB级数据量，数亿个对象 •日均新增数据量数TB • 服务近百个业务线
- 5. 对象存储 图片处理 视频编辑回源鉴权 CDNCDN SDK /Rest API 美团云存储生态
- 6.
- 7.
- 8.
- 9. 美团云存储现状 • Swift的发展瓶颈 • 无中心化设计 •一致性Hash • 最终一致性模型 • 没有将对象聚合存储 • Python项目性能和可维护性
- 10. 目录 • 美团云存储现状 • 新一代系统架构 •新一代技术亮点 • 技术展望
- 11. 新一代系统架构 • 新一代存储系统架构亮点 • 跨机房强一致与高可用 •集中化元数据存储 • 高并发网络框架 • 纠删码存储与在线恢复 • 多版本存储 • 数据去重 • 备份级别控制
- 12. 新一代系统架构 • S3对象存储系统特点 • 用户指定对象名字（Key） •一次写入多次读取 • 对象元数据修改 • 小对象与大对象并存 • Http协议接口 • AWS已成为事实标准
- 13. 新一代系统架构 • 技术选型 • 定制机型：带缓存Raid卡、SMR硬盘、单路CPU、万兆网卡 •集中化元数据管理与调度，OceanBase：海量、高可用、ACID事务、MySQL兼容 • GoLang开发代理与调度节点 • C开发存储节点 • 基于libev的并发网络框架 • 基于多数派应答的跨机房强一致同步
- 14.
- 15. 目录 • 美团云存储现状 • 新一代系统架构 •新一代技术亮点 • 技术展望
- 16. 新一代技术亮点 • 存储节点设计 • 物理存储单位：Partition •对象存储单位：Record • Group Commit • Record索引 • 数据只追加不修改 • EC实时恢复
- 17. 新一代技术亮点 • 元数据设计 • Name表与ID表分离，元数据分布式缓存 •Bucket与Object多版本管理 • Object去重与引用计数 • Sharding表设计 • EC与碎片整理 • SchedServer选主 • 对象Meta存储
- 18. 新一代技术亮点 • OceanBase设计 • 基线数据与修改增量分离存储 •Raft一致性日志同步 • 去中心化选主 • 多版本并发 • 30w TPS处理能力 ) (
- 19. 新一代技术亮点 • 并发网络框架 • 借鉴阿里libeasy设计思路 •多epoll_wait线程 • 跨语言序列化协议
- 20. 新一代技术亮点 • 跨机房高可用设计 • 本地写优化 •多数派投票 • 冻结与恢复
- 21. 目录 • 美团云存储现状 • 新一代系统架构 •新一代技术亮点 • 技术展望
- 22. 技术展望 • 更全面的AWS-S3接口兼容 • GoLang并发网络框架 •冷存储成本控制 • 定制硬件、冗余度更低的EC、冷数据关机... • 多Region与跨Region备份 • …
- 23.