Download as PDF, PPTX
Uploaded by美团点评技术团队
美团点评沙龙012-从零到千万量级的实时物流平台架构实践
美团配送自15年开始发展到现在一年多时间，订单从0到几百万单；这个高速发展的速度，对技术提出了高并发、高可用、高性能等很多的挑战，特别是O2O行业的即时性，使上面的挑战相较于一般的交易系统更加突出。本次分享将为大家介绍美团配送履约团队应对上面的挑战整个架构升级的优化历程。
![[DL輪読会]Learning Task Informed Abstractions](https://cdn.slidesharecdn.com/ss_thumbnails/20210709akuzawa-210709021836-thumbnail.jpg?width=640&height=640&fit=bounds)
美团点评沙龙012-从零到千万量级的实时物流平台架构实践
- 1.
- 2. 2 个⼈人简介 16/9/23 2011年中科大 研究生毕业 2011.3 2013.72014.11 现在 阿里巴巴 人人网 新美大 基础架构部 1：评论中心架构研发 2：广告平台架构研发 3：数据库中间件研发与 维护 新美⼤大餐饮平台—配送事业部 物流事业部 1：物流平台建设 2：淘宝物流整合 打通 配送事业部 1：外卖订单中心架构研 发 2：配送平台架构研发
- 3. 3 目录 16/9/23 • 配送业务发展历程 • 技术架构演进介绍 • 系统稳定性面临的挑战 • 我们的解决之道
- 4. 4 配送业务概述 16/9/23 ⽤用户 商家 骑⼿手 平台 • 四方利益 • 三条业务线 ü 自营 ü 加盟 ü 众包
- 5. 5 配送业务发展历程 16/9/23 2015.112015.4 2016.3 2016.62016.8 ? 30W 100W 200W 300W 1000W 配送MVP 众包崛起 城市扩张 增加供给
- 6. 6 目录 16/9/23 • 配送业务发展历程 • 技术架构演进介绍 • 系统稳定性面临的挑战 • 我们的解决之道
- 7. 7 配送业务流程下的技术应用概览 16/9/23 商家展示 下单 接单 下运单 派单 确认 取餐/送达 平均配送时长 动态定价 送达时间预测 动态定价 爆单 动态配送费 运单中心 运力调配 调度控制台 调度引擎 结算记账 风控策略 实时轨迹跟踪 路径规划 C B R 数据收集平 台 离线/在线数据计算 挖掘平台 特征抽取与机器学 习模型训练 特征数据服务
- 8. 8 业务驱动架构升级 16/9/23 MVP 阶段 快速发 展阶段 做精做 深阶段 需求逐步积累，系统复杂度增加 团队扩张 稳定性要求提升 业务发展： 架构升级指导原则： 按照业务发展阶段选择合适的架 构设计 制定长期的架构升级路线，逐步 实施，小步迭代
- 9. 9 配送架构演进-MVP阶段 16/9/23 • 业务复杂度低，快 速验证业务 • 团队人员较少 • 需求稳定性差 业务特点： • 系统层面解决有无 问题 • 快速搭建验证业务 的最小系统 架构设计：
- 10. 10 配送架构演进-配送1.0 16/9/23 存 储 层 开放平台 API 外卖商家 站长/运营 运单服务 人员服务 资金服务 服 务 层 接 入 层 管理Web DB Tair 骑手APP • 简单分层 • 2周内搭建出可用版本
- 11. 11 配送架构演进-快速发展阶段 16/9/23 • 需求迭代速度快，业务越来越 复杂 • 团队扩张，细分小团队 • 对系统稳定性要求越来越高 业务特点： • 拆分：按业务拆分模块 • 复用：抽取公共模块、业务 服务和基础服务分离、组件 化 • 解耦：消息中间件等 • 容量相关架构升级 架构设计： • 一个模块功能越来越多，越来越难维护 • 多个团队在一个模块上面开发影响效率 • 业务规模变大，对系统稳定性要求变高 • 缓存 • DB等
- 12. 12 配送架构演进-演进2.0 16/9/23 存 储 层 开放平台 外卖商家 服 务 层 接 入 层 骑手APP API 站长/运营 调 度 管 理 人 员 管 理 结 算 管 理 数 据 管 理 … 交易 服务 运 单 服 务 人 员 服 务 结 算 服 务 调 度 引 擎 商 家 服 务 … 运 单 服 务 人 员 服 务 结 算 服 务 商 家 服 务 …管理 服务 分布式 缓存 DB ES 人员组织信 息缓存集群 LBS缓存集 群 资金缓存集 群 运单库 资金库 … 基础 服务 LBS服务 消息服务 天气服务 延迟队列 … • 业务垂直拆分 • 交易服务和管理服务拆开 • 公共基础服务抽取 • 分布式缓存：按业务拆分 • DB：按业务拆分 • 搜索引擎 运单集群
- 13. 13 配送架构演进-做精做深阶段 16/9/23 • 按业务域粒度划分服务越来越 臃肿 • 某些功能有平台化需求 • 对稳定性要求更高 业务特点： • 大系统小做 • 业务模块分层 • 自动化运维 • 容量相关架构升级 架构设计： • 数据资源 • 计算资源 • 高频、核心模块拆分独立服务 • 业务服务层 + 基础业务服务层 • 配送服务应急平台
- 14. 配送架构演进-演进3.0 16/9/23 存 储 层 外卖商家 业务服 务层 接入层 骑手APP 站长/运营 分布式 缓存 DB ES 人员组织信 息缓存集群 LBS缓存集 群 资金缓存集 群 资金库 基础服务 运单集群 运单组合 服务 人员组合 服务 天平系统 定价服务 基础业 务服务 运单基础 服务 骑手基础 服务 … 运单库 归 档 Track库 … • 服务层拆分： 基础业务服务层、业务服务层 • 大系统小做： 高频、核心模块单独成服务 单一服务职责 • DB：散库散表 / 归档 • 计算瓶颈：分布式计算服务 分布式计算服务 特征数据服务
- 15. 配送架构演进-演进3.0之散库散表 16/9/23 背景： 目标：为了支撑更高的单量(500w) 解决方法：分库分表 • 日运单：150W+ • 主库写QPS：1.1K+ • 主库读QPS：10K+ • 单表规模：1.5亿+
- 16. 难点分析： • 查询场景多且复杂 • 众包和专送两种配送业务模式 • 管理端存在复合及关联查询 • 数据一致性问题 配送架构演进-演进3.0之散库散表 拆表原则： • 维度越少越好 • 支撑各个场景查询
- 17. 商家 52 34 1 骑手 站点 区域 主键 配送架构演进-演进3.0之散库散表 维度选择？
- 18. 如何划分维度？ bm_package hash 路由表 分表1 分表2 分表3 … 分表1 分表2 分表3 … bm_waybill hash 路由表 分表1 分表2 分表3 … 分表1 分表2 分表3 … id city id 专送or众包 众包表 专送 众包 配送架构演进-演进3.0之散库散表
- 19. 路由表如果解决数据均匀问题？ • 热点城市单独一张表 • 非热点数据通过订单分布数据手动指定 配送架构演进-演进3.0之散库散表
- 20.
- 21. 如何解决管理端复杂查询？ 分表数据源 Databus binlog binlog binlog binlog 汇总数据源 Elasticsearch 配送架构演进-演进3.0之散库散表 数据异构： • 索引异构 • 数据异构
- 22. 22 架构设计总结-设计原则 16/9/23 设计原则 指导原则 拆分原则 实现原则 部署原则 • 一切以稳定为中心 • 不过度设计 • 架构尽可能简单、清晰 • 按业务域拆分系统 • 按功能场景拆分系统 • 根据非功能需求拆分系统 • 服务抽象化 • 低耦合 • 服务可治理 • 服务可回滚 • 集群容错，避免单点 • 多机房部署
- 23. 23 目录 16/9/23 • 配送业务发展历程 • 技术架构演进介绍 • 系统稳定性面临的挑战 • 我们的解决之道
- 24. 24 挑战 16/9/23 • 业务产品迭代快 • 业务发展迅猛 • 业务尖峰明细 • 业务时效性强 • 系统复杂性高 39个APP版本, 平均两个礼拜一个版本 一秒内派出200单
- 25. 25 目录 16/9/23 • 配送业务发展历程 • 技术架构演进介绍 • 系统稳定性面临的挑战 • 我们的解决之道
- 26. 26 解决之道 16/9/23 1.架构设计 2.容量规划 3.核心链路梳理 1.监控体系建设 1.回滚 2.流控 3.降级 1.casestudy 2.完善sop 3.完善监控报警 4.完善工具 主动防范 事前预警 事中处理 事后总结 稳定性
- 27. 27 主动防范-容量规划 16/9/23 • 静态容量预估 • 监控容量指标 • 为扩容、降级 提供依据 • 分析依赖关系 • SLA制定 • 选取容量指标 • 压测 容量 评测 SLA 趋势 预测 容量 管理
- 28. 28 主动防范-核⼼心链路梳理 16/9/23 核心链路梳理 关键点 Ø 区分核心流程和非核心流程 Ø 依赖关系梳理 • 跨业务域调用尽量异步 • 同步调用要设置超时时间 • 异步调用要设置队列长度 • 非核心功能尽量异步、可降级 • 非核心流程可降级
- 29. 29 事前预警-监控体系建设 16/9/23 一、全面性 4层监控体系建设 业务 服务监控 基础组件监控 硬件监控 业务指标监控：运单环比情况监控 服务监控：业务服务接口性能、JVM等 基础组件监控：DB、缓存、消息中间件等 硬件监控：CPU、网络、链接、IO等
- 30. 30 事前预警-监控体系建设 16/9/23 二、准确性 (1)个性化OVS设置 (2)业务监控 根据统计值来预测阈值 三、及时性 按不同报警等级选择不同的报警通道：短信 --> 大象 --> 邮件 • cpu.busy 60% • net.bytes.in 40M …
- 31. 31 事中处理 16/9/23 Ø 回滚 线上问题90%是因为上线导致，所以首先要判断回滚是否可以解决问题 安全隐藏 安全隐藏
- 32. 32 事中处理 16/9/23 Ø 降级 使系统临时承担更大的流量压力 具体策略： • 关闭影响性能非关键业务功能 • 屏蔽非关键业务的入口 • 页面静态化 • 使用缓存数据牺牲数据一致性 • 放弃后端的补偿机制以减少调用链时间等
- 33. 33 事中处理 16/9/23 Ø 流控 人工流控 配送平台 外卖平台 骑手 按业务线降级 骑手限流 • 按类型 • 按城市 • 按区域 • 按骑手尾号
- 34. 34 事中处理 16/9/23 Ø 流控 自动流控 – 智能爆单 天气 运力 时段 爆 单 引 擎 外 卖 商 家 提高起送价 商家下活动 商家置修
- 35. 35 事后总结 16/9/23 Ø CaseStudy 5W2H(What、Who、Where、When、Why、How、How much) Ø 完善SOP 标准化操作流程，缩短故障时间 标准化上线流程，避免故障发生 Ø 完善工具 工欲善其事，必先利其器
- 36.