Downloaded 124 times
Uploaded byFeng Yu
高级服务器设计和实现3
本文件讨论了高级服务器设计与实现，涵盖架构、工具、负载均衡、健康监控及性能优化等多个主题。它强调利用多核处理器和服务器集群来提高性能和可用性，建议采用异步IO和内存管理等最佳实践。文中还列举了一系列工具和技术，以帮助保障系统的高效运行。
高级服务器设计和实现3
- 1. 高级服务器设计和实现 3 —— 架构、手段与工具箱 余锋(mryufeng@gmail.com) 2008-06-08
- 2.
- 3. 工程文件 • ACE 的mpc • Gnu autoconf
- 4. 内核应用 • Tux • Lvs •Iptable
- 5. 内核模块 • 内核模块 • 用户空间程序 •Netlink • Tcpsplice
- 6. 测试工具 • Tsung • Loadrunner •Luasocket
- 7.
- 8.
- 9. 常用工具 • Wireshark • Hping2 •Socat • Nc • Strace • Systemtap • Lsof • webbench
- 10. 测试 • Xunit 单元测试 •覆盖测试 • 压力测试
- 11. 除测试之外的手段 • 代码 Profile •外部程序驱动
- 12. 硬件配置 • 多核 32核？ • 64 位机器 • 大内存 • 快速 IO
- 13. 健康监控 • SNMP • CSV •HTML • DUMP
- 14. 负载均衡（ Load Balance） • 基于特定服务器软件的负载均衡 • 基于 DNS 的负载均衡 • 反向代理负载均衡 • 基于 NAT 的负载均衡技术
- 15. 操作系统微调 • SystemTap • 协议栈微调 •内存子系统微调
- 16. 进程流水线 • Cgi 思路 •Fastcgi 思路 • 形成 pipe line • 容易整合各种语言实现的系统
- 17. 多路变换成单路 • Ajp13 思路 •极大简化服务端编程
- 18. 集群，提高可用性 • 硬件 o BigIP F5 o NetScaler • 软件 o Haproxy o LVS
- 19.
- 20. TIPS1 • 操作系统采用 Linux2.6.x 内核，不仅因为它的高性能，更因为它大开源（这并不是说 其他的 UNIX 或者是 BSD 衍生物不开源）给程序设计带来的便利，我们甚至可以把服 务做到内核空间。 • 多路复用采用 epoll 的“电平触发” (Level Triggered) 模式，必要时可以采用“边缘 触发” (Edge Triggered) ，但要注意防止数据停滞。 • 为避免数据拷贝可以采用 sendfile 系统调用发送小文件，或者是文件的小部分，注意避 免 sendfile 因磁盘 IO 而导致的阻塞。 • 如果服务操作设计大量磁盘 IO 操作，应选用 Linux 内核提供的异步 IO 机制，其对应的 用户空间库为 libaio ，注意：这里提到异步 IO 库并非目前 glibc 中附带的异步 IO 实现。 • 如果同时有多个数据需要传输，采用 writev/readv 来减少系统调用所带来的上下文切 换开销，如果数据要写到网络套接字文件描述符，这也能在一定程度上防止网络上出现 比较小帧，为此，还可以有选择地开启 TCP_CORK 选项。 • 实现自己的内存管理，比如说缓存数据，复用常用数据结构等。 • 用多线程替代多进程，线程库当然选择 nptl 。 • 避免进程 / 线程间非必要的同步，保持互斥区的短小。
- 21. TIPS2 • 目前 SMP系统和多核心 CPU 比较常见，如果还是仅采用单进程（线程）的多 路复用模型，那么同一时间将只有一个 CPU 为这个进程（线程）服务，并不能 充分发挥 CPU 的计算能力，所以需要至少 CPU （ CPU 核心）数目个进程（线 程）来分担系统负担。有一个变通的解决方案：不用修改源码，在服务器上运 行两个服务程序的实例，当然这个时候服务端口应该是不同的，然后在其前端 放置负载均衡器将流量和连接平均分配到两个服务端口，可以简单的通过 DNAT 来实现负载均衡。其实，这个时候我们已经把多 CPU 或者是多核系统看 成了多个系统组成 • 为了提高服务器的性能，单纯的依靠提高单个服务器的处理能力似乎不能奏效 ，况且配置越高的服务器花销也就越高，为此人们经常采用服务器集群的方式 ，通过把计算尽可能地分配到相对比较廉价的机器上单独完成，籍此来提升服 务器的整体性能，事实证明，这种体系结构不仅是切实可行的，而且还能提高 服务器的可用性，容错能力也较强。在网络服务器方面， Linux 内核中的由国 人章文嵩先生设计的 IP 层负载均衡解决方案 LVS 比较有名，还有就是工作于 应用层的 haproxy 和刚刚起步的 l7sw 。
- 22.
- 23.