How to achieve high availability from application to hardware.

1. ⾼高可⽤用架构
——从上层应⽤用到底层硬件
娄振林林

2. Outline
• 何为⾼高可⽤用
• 应⽤用层⾯面
• 硬件层⾯面

3. – wikipedia
“High availability is a characteristic of a system,
which aims to ensure an agreed level of
operational performance, usually uptime, for a
higher than normal period.”
⾼高可⽤用

4. ⾼高可⽤用
• 单点
• 冗余
• 服务多副本
• 存储多副本
• failover -> 少量量时间的不不可⽤用(10s级、分钟级)
• 故障检测
• ⾃自动切换

5. ⾼高可⽤用
• 故障检测
• ICMP检测 -> ⽹网络可达
• Port检测 -> 应⽤用进程可达
• 服务检测 -> 服务可⽤用

6. DNS
LVS LVS
LVS Group 1
LVS LVS
LVS Group N
Reverse Proxy
API Cluster
Moa Cluster
Storage
Redis MySQL HBase
陌
陌
架
构

7. 接⼊入层
• LVS + Keepalived
LVS
Keepaliived
……

8. 接⼊入层
• LVS冗余
• VRRP(Virtual Router Redundancy Protocol)
• VIP漂移
LVS 主 LVS 备
Keepaliived
VRRP
Keepaliived
VIP
LVS 主 LVS 备
Keepaliived Keepaliived
VIP

9. 接⼊入层
• 吞吐量量达到单台LVS上限？
• ⽹网卡流量量、CPU……

10. 接⼊入层
• DNS轮询
• ⼀一个域名 => 多个IP
DNS
LVS Group1 LVS Group2
VIP1 VIP2

11. 反向代理理层
• 七层负载均衡
• 更更细粒度的流量量分发
• 模块化

12. API集群
• 服务冗余部署，依赖反向代理理层做failover

13. MOA集群
• 服务冗余部署
• 宕机：服务注册中⼼心（MomoKeeper）
• 慢：MOA-Watcher

14. 存储层
• Replication
• 主从⾃自动切换

15. Redis
• 主从
• sentinel: https://moji.wemomo.com/article/2832
• 集群⽅方案：
• Redis Cluster
• Codis

16. MySQL
• 主从
• MHA：解决主挂的情况
• 从挂：
• 类似sentinel
• MMM、PXC
• Proxy

17. HBase
• 分布式存储系统
• ⾼高可⽤用保证：
• zookeeper存储元数据，多个HMaster避免单点
• 数据存放在底层的分布式⽂文件系统，保证多副本及
failover

18. 机房⽹网络架构
接⼊交换机
汇聚交换机
……
……
……
Internet
汇聚交换机 汇聚交换机
接⼊交换机 接⼊交换机
核⼼交换机

19. ⽹网卡⾼高可⽤用
• bonding
• 多块⽹网卡 => ⼀一块虚拟⽹网卡
• 流量量分发
• 轮询、主备、hash、⼴广播......

20. 链路路⾼高可⽤用
• LACP
• Link Aggregation Control Protocol，链路路汇聚控制
协议
• STP
• Spanning Tree Protocol，⽣生成树协议

21. 核⼼心交换机⾼高可⽤用
• 提供⽹网络层功能
• VRRP，ECMP….
• 思科核⼼心交换机
• HSRP(Hot Standby Router Protocol)

22. 机架⾼高可⽤用
• 服务不不能部署在同⼀一个机架
• 存储的⼀一对主从不不能部署在同⼀一个机架

23. 机房⾼高可⽤用
• 数据源跨机房复制
• 服务跨机房访问
• ⽤用户接⼊入调度

24. Thank you