1. 软件２０１１年第３２卷第１期：４６～５３页 ｓｏｆｔｗａｒｅ 国际ＩＴ传媒品牌
基于云计算平台的移动ＩＰＴＶ系统设计及负载均衡技术研究★
苗 秀１ 俞俊生２ 刘绍华３陈晓东４
（北京邮电大学电子工程学院北京１００８７６）
摘要 对现有的云计算平台进行分析和总结，结合移动州的特点，基于Ｅｕｃａｌｙｐｔｕｓ开源云计算平台，提出并设计了一个应
用于移动ＩＰｌ＇ｖ场景的云计算系统，并对其负载均衡技术予以改进．实验仿真结果表明改进后系统比原有系统的调度算法有明显
优势，并更加适合云计算平台，并适合移动ＩＰＴＶ服务的发展．
关键词 云计算；移动ＩＰＴＶ；负载均衡
中图分类号ＴＰ３９３．０ 文献标识码Ａ ｄｏｉ：ｌＯ．３９６９（ｉ．ｉｓｓｎ．１００３－６９７０．２０１１．０１．０１２
Ｄｅｓｉｇｎ ａｎｄ Ｌｏａｄ Ｂａｌａｎｃｉｎｇ ｏｆ Ｍｏｂｉｌｅ ＩＰＴＶ Ｂａｓｅｄ ｏｎ
Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ Ｐｌａｔｆｏｒｍ
ＭＩＡＯ Ｘｉｕｌ ＹＵ Ｊｕｎ．ｓｈｅｎ９２ ＬＩＵ Ｓｈａｏ．ｈｕａ３ ＣＨＥＮ Ｘｉａｏ－ｄｏｎ９４
（＆ｈｏｏｌ ｏｆＥｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｆｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＰｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃｍｉｏｎｓ，Ｂｅｒｉｎｇ １００８７６，Ｃｈｉｎａ）
［Ａｂｓｔｒａｃｔ ｌ Ｔｈｅ印ｍ ｏｆｔｂｌｓ ｐａｐｅｒ ｉｓ细｜ｌｖｅ Ｉｔ ｂｒｉｅｆａｎａｌｙ出ａｎｄ ｓｕｍｍａｒｙ ｏｆｃｕｒｒｅｎｔ ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ｓｙｓｔｅｍ，ａｎｄ ｄｅｓｌｐ－Ｍｏｂｉｌｅ Ｉｎ、，ｂａｓｅｄ Ｏｉｌ ｏｐｅｎ
ＳＯｌｌｒｃｅ Ｃｏｕｌｄ Ｃｏｍｐｕｔｉｎｇ ｐｌａｔｆｏｒｍ－－－Ｅｕｃａｌｙｐｔｕｓ，ａｎｄ ｉｍｐｒｏｖｅ ｔｈｅ ｌｏａｄ ｂａｌａｎｃｉｎｇ ｓｃｈｅｄｕｌｉｎｇ ａｌｇｏｒｉｔｈｍ．Ｔｈｅ ｓｉｍｕｌａｔｉｏｎ ｒｅｓｕｌｔ ｓｈｏｗｓ ｔｈａｔ ｉｔ ｂ ｍｏｒｅ ｅｆｆｅｃｔｉｖｅ
ｌｂａｎ ｏ确匹腿－ｓｃｈｅｄｕｌｉｎｇ ａｌｇｏｒｉｔｈｍ，ａｎｄ Ｉｔ ｉｓ ａｐｐｒｏｐｒｉａｔｅ ｆｏｒ Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｍｏｂｉｌｅ ＩＰｌⅣ．
［Ｋｅｙ ｗｏｒｄｓｌ Ｃｌｏｕｄ Ｃｏｍｐｕｉｎｇ；Ｍｏｂｉｌｅ Ｉｒｎｒ；Ｌｏａｄ Ｂｓｈｍｃｔｎｇ
因而对计算能力的需求远远超出自身ＩＴ架构的计算能力，这时
０ 引言 就需要不断加大系统硬件投入来实现系统的町扩展性。在这种
情况下，为了节省成本和实现系统的可扩展性，“云计算”的
近年来，随着大规模存储、高性能工作站以及宽带网络等 概念被提出来。
技术突飞猛进的发展与进步，互联网上传输的信息不再仅仅是 云计算是一种商业计算模型，它将计算任务分布在大量计
文本和图像，各种各样的多媒体通信服务从技术上和经济上均 算机构成的资源池上，使用户能够按需获取计算力、存储空间
成为可能。多媒体通信可以集成视频、音频、文本及图像为一 和信息服务ｌＩＩ。
体，为用户提供更为丰富的体验，因而得到越来越广泛的应用。 云计算的思想可追溯到２０世纪６０年代，Ｊｏｈｎ ＭｃＣａｒｄｌｙ曾
流媒体技术实现了声音、影像或动画等媒体由音视频服务器向 经提到“计算迟早有一天会变成一种公用基础设施”，这就意
用户计算机的连续且实时传送，用户不必等到整个文件全部下 味着计算能力町以作为一种商品进行流通，就像煤气、水电一
载完毕即可观看到媒体，从而满足了实时交互的需要。诸如 样取用方便、费用低廉。云计算最大的不同在于它是通过互联
ＩＰｌＶ（ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｔｅｌｅｖｉｓｉｏｎ）、远程教育、视频会议、可 网进行传输的。从晟根本的意义来说，云计算就是数据、应用
视电话等以流媒体技术为核心的应用逐渐发展为因特网应用的 和服务存储在云端，充分利用数据中心强大的计算能力，实现
主流。 用户业务系统的自适应性。２００７年ｌＯ月ＩＢＭ和Ｇｏｏｇｌｅ宣布在
同时，随着新的应用和节目数量的指数型增长，流媒体在 云计算领域的合作后，云计算已经吸引了众多人的父注，并迅
无线上的应用也开始出现，并更受关注，因为人们可以随时随 速成为产业界和学术界研究的热点１２１。
地享受流媒体节目．而且。随着移动通信技术的发展，高数据
率和ＱｏＳ保证等特征使其能商业化并且支持流媒体应用，例如 １相关工作
移动ＩＰｌＶ、视频游戏服务等。
然而，由于互联网时代信息与数据的快速增长。无论是科 １．１云计算平台
学、工程还是商业计算领域均需要处理大规模甚至海量的数据，
万方数据

2. 软件２０１１年第３２卷第１期 苗秀等：基于云计算平台的移动ＩＰＴＶ系统的设计及负载均衡技术的研究
目前，Ｇｏｏｇｌｅ、Ａｍａｚｏｎ、Ｍｉｃｒｏｓｏｆｌ、ＩＢＭ、Ｓｕｎ等公司均 器结点的利用率达到最大。以下是几种负载均衡调度算法：
提出了云计算基础设施或云计算平台，对于云计算的研究均有 （１）轮询调度算法（Ｒｏｕｎｄ．Ｒｏｂｉｎ Ｓｃｈｅｄｕｌｉｎｇ）：
一定的参考价值，但因其比较商业化，很多技术都未公开。同 假设所有服务器处理性能相同，将外部请求按顺序轮流分
时，开源组织和学术界也纷纷提出了一些云计算系统或平台方 配到集群中的服务器上，算法简单但不适用于服务器组中处理
案。 性能不一的情况。
（１）Ｇｏｏｇｌｅ应用程序引擎 （２）加权轮询调度算法（Ｗｅｉｇｈｔｅｄ Ｒｏｕｎｄ．Ｒｏｂｉｎ
Ｇｏｏｇｌｅｌ３】的应用程序引擎是一个由Ｐｙｔｈｏｎ应用服务器群、 Ｓｃｈｅｄｕｌｉｎｇ）：
Ｂｉｇｔａｂｌｅ数据库及ＧＦＳ（Ｇｏｏｇｌｅ Ｆｉｌｅ Ｓｙｓｔｅｍ）数据存储服务、 为保证处理能力强的服务器处理更多的访问流量，用相应
ＭａｐＲｅｄｕｃｅ程序设计模式、Ｃｈｕｂｂｙ分布式锁机制等组成的平 的权值表示服务器的处理性能，将请求数目按权值的比例分配
台，可为开发者提供一体化的、可自动升级的在线应用服务。 给各服务器。调度器可以自动问询服务器的负载情况，并动态
（２）Ａｍａｚｏｎ的ＡＷＳ 地调整其权值。
Ａｍａｚｏｎ是最早提供云计算服务的公司之一，目前Ａｍａｚｏｎ （３）最小连接调度算法（Ｌｅａｓｔ．Ｃｏｎｎｅｃｔｉｏｎ Ｓｃｈｅｄｕｌｉｎｇ）：
的云计算服务主要包括：弹性计算云ＥＣ２、简单数据库服务 通过“最少连接”调度算法动态地将网络请求调度到已建
Ｓｉｍｐｌｅ ＤＢ、简单队列服务ＳＱＳ、弹性ＭａｐＲｅｄｕｃｅ服务、内容 立的链接数最少的服务器上。但是，当各个服务器的处理能力
推送服务ＣｌｏｕｄＦｒｕｎｔ、电子商务服务ＤｅｖＰａｙ和ＦＰＳ等。 不同时，该算法并不理想。
ｇｉｒｌａｚｏｎ弹性计算云，是美国Ａｍａｚｏｎ公司推出的一项提供 （４）加权最小连接调度算法（Ｗｅｉｇｈｔｅｄ Ｌｅａｓｔ Ｃｏｎｎｅｃｔｉｏｎ
弹性计算能力的Ｗｅｂ服务。此平台建立在公司内部的大规模计 Ｓｃｈｅｄｕｌｉｎｇ）－
算机、服务器集群上，平台为用户提供网络界面操作在“云端” 用相应的权值表示各个服务器的处理性能，具有较高权值
运行的各个虚拟机实例（ｉｎｓｔａｎｃｅ）。用户只需为自己所使用的计 的服务器将承受较大比例的活动连接负载。调度器可以自动问
算平台实例付费，运行结束后计费也随之结束１５１。 询服务器的负载情况，并动态地调整其权值ｌＩ孙。
（３）Ｍｉｃｒｏｓｏｆｔ的Ａｚｕｒｅ云平台 然而，传统的负载均衡算法针对的是任务大小是相等的情
Ａｚｕｒｅ［６］是微软公司推出的依托于微软数据中心云服务平 况，且均衡只对连接数或者接入的任务数进行均衡，而对于云
台。它是由一个公共平台上的多种不同服务组成的。主要包括 计算平台这显然是不够的，因为在云计算平台下，任务的大小
微软的云服务操作系统以及－二组为开发人员提供的接ｕ服务。 并不固定，而且有时任务之间会相差较大，需要考虑的不仅仅
同时Ａｚｕｒｅ平台支持多个Ｉｎｔｅｒｎｅｔ协议，主要包括Ｈ１’ｒＰ、ＲＥＳＴ、 是服务器端的性能之间的平衡，还需要考虑任务的大小的不均
ＳＯＡＰ和ＸＭＬ，从而为用户提供一个开放、标准以及能够瓦操 衡，进而提出下面的双向加权轮询算法。
作的环境。Ａｚｕｒｅ的不同之处在于：Ａｚｕｒｅ平台除能够提供其自
主的Ａｚｕｒｅ托管服务外，它也是为运行于本地工作站和企业服 ２基于云计算平台的移动ＩＰＴＶ系统设计
务器而设计的。这使得测试应用变得方便，支持企业应用既能
运行于公司的内部网也能运行于外部环境。 ２．１云计算分类
（４）开源云计算系统
知名的Ｈａｄｏｏｐ的开源云计算系统模仿并实现了Ｇｏｏｇｌｅ云 按照服务类型云计算大致可以分为三类：基础设施即服务
计算的主要技术。Ｈａｄｏｏｐｌ７Ｊ是Ａｐａｃｈｅ开源组织的一个分布式计 （１ａａＳ），平台即服务（ＰａａＳ）和软件即服务（ＳａａＳ），如图ｌ
算框架、可以在大量廉价的硬件设备组成的集群上运行应用程 所示。
序，为使用程序提供了一组稳定可靠的接口，旨在构建一个具 ， 一
有高可靠性和良好扩展性的分布式系统。
铀
专用
此外，国内外很多开源云计算平台项目也都提出了较完整
一
的体系结构设计，比较成熟的包括Ｅｕｃａｌｙｐｔｕｓｔ８Ｉ、ＡｂｉＣｌｏｕｄｌ９Ｉ、
蜘Ｉ Ｅｎｌｌｉｎｅ
ＭｏｎｇｏＤＢ！ｏ ０１、ＥＣＰ！川、ＮｉｍｂｕｓＩ‘２Ｉ等项目。
６００９ｌｅ ｈｐｐ
Ｅ；； －ｉｃｒｏｓｏｆｔ●Ｉｎｄｏｗｓ Ａｚｕｒｅ
１．２负载均衡
若采用集群技术搭建高性能的服务器，各服务器彼此之间
的系统资源利用率经常存在很大差距。导致各服务器不能均匀
、、Ｈ＿▲—－＿ ＿迫－ ｝
通用一
妊一哆燃 一务？务？黧
～软？平，黧 ．务ａ
承担用户发出的请求，即有的服务器很忙，而有的服务器则很
圈１云计算的服务类型
闲，最终导致集群整体性能大大下降。要解决该问题，必须依
赖有效的负载均衡算法，有效的负载均衡算法町将用户请求合
理地分配给后台各个服务器，使各服务器比较均衡地承担任务， 基础设施即服务（１ａａＳ）将硬件设备等基础资源封装成服
进而提高集群系统的处理能力和服务质量。冈此，应该将集群 务，供用户使用，在此环境中，用户相当于在使用裸机和磁盘．
技术和有效的负载均衡技术结合起来建立商性能的网络服务来 并叮以使其运行各种操作系统，如Ａｍａｚｏｎ的弹性计算云ＥＣ２
满足日益增长的用户需求。 和简单存储服务Ｓ３。
负载均衡技术的核心就是调度算法，即将各个子任务比较 平台即服务（ＰａａＳ）对资源的抽象更进一步，提供用户应
均衡的分布到不同的服务器结点上并行计算．从而使各服务 用程序的运行环境。且系统自身负责资源的动态扩展和容错管
４７
万方数据

3. 软件２０１ｉ年第３２卷第１期 苗秀等：基于云计算平台的移动ＩＰＴＶ系统的设计及负载均衡技术的研究
理，如Ｇｏｏｇｌｅ Ａｐｐ Ｅｎｇｉｎｅ和Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ａｚｕｒｅ。 口向移动ＩＰｌＶ服务以提出相关请求，用户访问接口以Ｗｅｂ
软件即服务（ＳａａＳ）针对性更强，将某些特定应用软件工 Ｓｅｒｖｉｃｅｓ的方式提供访问接口，获取用户请求，并提供服务目录
程封装成服务，如Ｓａｌｅｓｆｏｒｃｅ公司提供的在线客户关系管理 ——用户可以访问的服务清单。
ＣＲＭ（Ｃｌｉｅｎｔ Ｒｅｌａｔｉｏｎｓｈｉｐ Ｍａｎａｇｅｍｅｎｔ）服务Ⅲ。 在逻辑上，本系统分为以下三层：
２．２ Ｅｕｃａｌｙｐｔｕｓ介绍
第一层：移动ＩＰＴＶ云控制器
Ｅｕｃａｌｙｐｔｕｓ是加利福尼亚大学的Ｄａｎｉｅｌ Ｎｕｒｍｉ等人实现的， 移动ｌＰｌｖ云控制器在云的最Ｅ层，负责资源管理、任务
是一个用于实现云计算的开源软件基础设施。Ｅｕｃａｌｙｐｔｕｓ是 管理、用户管理和安全管理等工作。
Ａｍａｚｏｎ ＥＣ２的一个开源实现，它与ＥＣ２的商业服务接Ｕ兼容。 （１）资源管理方面，主要负责使外部能够相对均匀地使用
Ｅｕｃａｌｙｐｔｕｓ是一个面向研究社区的软件框架，它不同于其他的 云资源节点，定时检测节点的故障，并屏蔽故障，且对资源的
基础设施即服务（ＩａａＳ）云计算系统，能够在已有的常用资源 利用情况进行监视和统计。
上进行部署，并采用模块化的设计，它的组件可以进行替换和 资源分配方面，通过与各个移动ＩＰｌｖ集群控制器进行交
升级，为研究人员提供了一个进行云计算研究的很好的平台。 互并询问，并对资源的利用情况进行实时监控，形成一个简单
Ｅｕｃａｌｙｐｔｕｓ实现的基础设施即服务（ＩａａＳ）的特别之处在于， 系统资源状态（Ｓｙｓｔｅｍ Ｒｅｓｏｕｒｃｅ Ｓｔａｔｅ，ＳＲＳ）列表，并通过服务
它便于在研究环境中进行安装和维护，以便于修改、实验和扩 等级协议（Ｓｅｒｖｉｃｅ．Ｌｅｖｅｌ Ａｇｒｅｅｍｅｎｔｓ。ＳＬＡｓ）来评估用户请求的
展Ｉ”。将多种计算资源聚集到一个单一的资源池会加大云计算 可实现性，当有新用户接入或有预留服务的请求时，便会根据
系统的设计难度，且很少有开源的软件包能够安装和部署在多 相应规则进行分配资源或拒绝请求。
个计算集群上并使它们相互协作和配合执行任务，因此， 当用户请求到达时，系统资源状态（ＳＲＳ）根据用户级别，
Ｅｕｃａｌｙｐｔｕｓ是ＩａａＳ中一个比较独特的例子，也是未来的多集群 做出对允许进入控制的决定，从而更新系统资源状态（ＳＲＳ），
开源设计的先驱，因而更有利于移动ＩＰｌ＇ｖ服务的应用的开发 用于利用率的监视和统计。
【射。 在虚拟机的创建阶段，发出ＳＲＳ中的资源预留的请求、虚
２．３系统设计 拟机创建的请求，随后查询ＳＲＳ中知否有资源保证，如若不满
足，提示错误并反转。
基于Ｅｕｃａｌｙｐｔｕｓ开源云计算平台，并结合移动ＩＰｌＶ的特 随后，ＳＲＳ追踪资源分配的状态，且可根据需要改变运行
点，设计了一个应用于移动ＩＰＴｖ服务的云计算系统，把 资源预留权限。
Ｅｕｃａｌｙｐｔｕｓ的基础设施即服务（ＩａａＳ）改进为移动ｉＦｒｖ平台即 ＳＬＡ的应用是由符合一定条件的事件（例如网络性能的变
服务（ＰａａＳ）如图２所示。 化、定时器到期）触发的，并能评估且改变请求（例如如果请
求不能被满足就拒绝此请求），或公布系统状态的改变（例如
有时间限制的分配机制）。
在ＳＲＳ中，通过公式化和应用ＳＬＡ（ｓｅｒｖｉｃｅ．１ｅｖｅｌ
ａｇｒｅｅｍｅｎｔｓ），错误的发生的可能性就可以被量化。而且，通过
接入控制和运行时间相互协调，可保证资源不会被过量使用。
对待资源的可用性上保持保守的观点，以降低服务失败的可能
性。
（２）任务管理方面，主要负责分配用户提交的备类型的任
务请求，例如进行用户任务镜像（Ｉｍａｇｅ）的部署和管理、各类
型任务的调度、发送执行通知、任务牛命周期的管理等。
用户任务镜像（Ｉｍａｇｅ）的部署和管理方面，不同请求对应
不同种类的镜像，通过对资源状态的分析，对现有镜像任务和
新建的镜像任务进行管理和部署。
各类型任务的调度方面，移动∥Ⅳ云控制器通过对资源
的掌控。对各个类型的请求任务进行相对合理的调度。
发送执行通知方面，移动ＩＰｌｖ云控制器将收集的任务，
通过严格调度，下发给下级的移动ＩＰＴＶ集群控制器。
任务生命周期的管理方面，若请求任务已经结束，例如用
户自动关闭任务、租用期限已经截止等．那么就释放闲置资源，
可用于再次分配。注：注册用户信息并不释放。
（３）用户管理方面，主要负责用户交互接口的提供、注册
用户的管理和身份识别、创建各类型服务的执行环境、并按一
定规则进行计费。
圈２ ｒｇ嗣ｊ ＷＴＶ云计算系统
用户交互接口主要以Ｗｅｂ Ｓｅｆｖｉｃ，ｅｓ的方式给用户提供可访
移动设备，如手机、ＰＤＡ、平板电脑等，通过用户交互接．。闯的接口和服务目录等，通过获取用户请求的ｓｏＡＰ信息来获
万方数据

4. 软件２０１ １年第３２卷第１期 苗秀等：基于云计算平台的移动ＩＰＴｖ系统的设计及负载均衡技术的研究
取用户需求，其中的ＳＯＡＰ接口均与Ａｍａｚｏｎ的ＥＣ２兼容，更 控制器来托管实例。
有利于日后的扩展性。 当集群挖制接收到“ｄｅｓｃｆｉｂｅＲｅｓｏｕｒｃｅｓ”请求。即收到了一
接入移动ＩＰＴＶ云的用户均需要注册至少一个合法账户， 系列的资源特性（内核、内存、硬盘等）‘的实例需求描述。有
移动ＩＰＴＶ云控制器则负责保存诸多账户信息以及其相关配置， 了这个描述信息，集群控制器可以计算出同一时刻可以运行在
例如最近几次访问的用户所在地理区域信息，所需服务，访问 节点控制器上特定类型的实例的数量，并报告给云控制器．
列表等。
从使用方式上划分，可以提供两种计费模型：按需计费模 第三层：移动ＩＰＴｖ节点控制器
型和预留计费模型。其中按需计费模型，用户不需要提前支付 移动ＩＰＴＶ节点控制器是真止运行虚拟机的节点，每个节
任何费用，当用户需要接入移动ｌＰＴＶ云时就可以直接使用， 点都有一个虚拟机管理器，目前Ｅｕｃａｌｙｐｔｕｓ支持的虚拟机管理
使用完毕后按小时付费即可。而预留计费模型是首先对所需移 器有Ｘｅｎ和ＫＶＭ。
动ＩＰＴｖ服务进行预订，并为预订的服务预先支付一定的费用， 节点控制器在每个节点上均运行，上层可在节点上托管虚
云控制器便会为用户预留相应的资源。 拟机实例。一个节点控制器可查询并控制此节点上的系统软件
从服务类型上划分，可以提供以下四种服务类型： 等（如主机操作系统和管理器），即可响应上层集群控制器的
小型服务：提供单核１．６ＧＨｚ的ＣＰＵ，１．７５ＧＢ的内存，２２５ＧＢ 查询和控制。
的存储宅间 一个节点控制器需要查询本节点的物理资源——内核数
中级服务：提供双核１．６ＧＨｚ的ＣＰＵ，３．５０ＧＢ的内存，４９０ＧＢ 量、内存大小、可用的磁盘空间等，还需要记录此节点上的虚
的存储守间。 拟机实例的状态，因为尽管一个节点控制器与其所控制的实例
高级服务：提供四核１．６ＧＨｚ的ＣＰＵ，７．００ＧＢ的内存， 是保持联系的，实例仍有可能通过节点控制器以外的其他机制
１０００ＧＢ的存储空间。 被开启或终止。收集到以上的信息传递给集群控制器来响应
超级服务：提供八核１．６ＧＨｚ的ＣＰＵ，１４．００ＧＢ的内存， “ｄｅｓｃｒｉｂｅＲｅｓｏｕｒｃｅｓ”和“ｄｃｓｃｒｉｂｅｌｎｓｔａｎｃｅｓ”的请求。集群控制
２０４０ＧＢ的存储宅间。 器通过查询一个节点上的节点控制器的“ｒｕｎｌｎｓｔａｎｃｅ”和
（４）安全管理方面，主要负责保障移动ＩＰｌ＇ｖ云系统的整 “ｔｅｒｍｉｎａｔｅｌｎｓｔａｎｃｅ”来控制虚拟机实例。
体安全，例如身份认证、授权访问、综合防护以及安全审计等。 若要启动一个实例，节点控制器町以在本地节点复制实例
身份认证方面，以注册用户的方式。保存注册用户信息， 的镜像文件（ｋｅｒｎｅｌ，ｒｏｏｔ文件，和内存虚拟镜像），也可从远
以便提供移动ＩＰｌｖ定制服务。 程镜像库中复制。或从本地缓存中复制，而后在虚拟网络覆盖
授权访问方面，根据注册用户的级别和服务类型，授予不 范围内创建一个新的终端，然后命令管理器启动实例。需要停
同的权限和提供相应的服务。 止实例的时候，节点控制器命令管理器来终止虚拟机，拆除虚
综合防护方面，提供相应的保护措施，保护用户账户安全。 拟网络终端，清理与该实例（在实例终止之后，ｒｏｏｔ文件系统
安全审计方面。负责对系统安伞的监测、控制、处理和审 是不保存的）相关的文件【¨Ｊ。
计。所有的安全保密服务功能、网络中的所有层次都与审计跟
踪系统有关。 ３负载均衡调度算法改进
第二层：移动ＩＰｌｒｖ集群控制器 由于基于Ｅｕｃａｌｙｐｔｕｓ云计算平台的负载均衡策略只是传统
此层是一个承．卜启Ｆ的前端节点，其上层是移动ＩＩｒＩＶ云 的简单的轮询，对于任务大小差别不大的情况下是比较合适的，
控制器，下层是移动ＩｆｒＩ．ｖ节点控制器。云中可以有多个集群 对于任务种类较多的移动ＩｆｒＩ＇Ｖ显然是不适用的，因为在云计
控制器，每个集群控制器下可以有多个节点控制器。集群控制 算平台下，任务的大小并不固定，而且有时任务之间会相差较
器同时具有网络控制及调度的作用。 大，需要考虑的不仅仅是服务器端的性能之间的平衡，还需要
移动ＩＰｌ＇ｖ集群控制器通常在一个集群的前端节点上运行， 考虑任务的大小的不均衡，进而提出双向加权轮询算法．
也可运行在任意一个叮以通过网络连接到移动ＩＰｌＶ节点控制 ３．１传统轮询算法
器和云控制器的节点七。
移动ＩＰＴｖ集群控制器的内部操作有；运行实例 传统的轮询调度算法的原理是每一次把来自用户的请求轮
（ｒｕｎｌｎｓｔａｎｃｅｓ）、描述实例（ｄｅｓｃｒｉｂｅｌｎｓｔａｎｃｅｓ）、终止实例 流分配给内部的服务器，从ｌ开始。直到Ｎ（内部服务器个数），
（ｔｅｒｍｉｎａｔｅｌｎｓｔａｎｓ）、描述资源（ｄｅｓｃｒｉｂｅＲｅｓｏｕｒｃｅｓ）等。分别 然后开始循环。算法的优点是其简洁性，无需记录当前所有连
用于对用户请求实例的运行、描述、中、终止，以及对节点资 接的状态，所以是一种无状态调度。
源的描述。 轮询调度算法流程：
移动ｌＰＴＶ集群控制器丰要有以下三个功能： 假设有一组服务器Ｎ台，Ｓ＝｛Ｓ１，ｓ２，ｓ３，．．．砌ｌ，一个指示
（１）给指定的节点控制器发送实例运行请求 变鼍ｉ表示上一次选择的服务器ＩＤ。变量ｉ被初始化为Ｎ．１。
（２）控制实例虚拟网络覆盖 其算法如下。
（３）收集或撤告一组节点控制器的信息
当一个集群控制器收到一组要运行的实例时，集群控制器
通过处理节点控制器的“ｄｅｓｃｒｉｂｅＲｅｓｏｕｒｃｅ”操作．并通过调度
算法发送“ｒｕｍｎｓｔａｎｃｃｓ”命令来给具有足够空闲资源的节点
４９
万方数据

5. 软件２０１１年第３２卷第１期 苗秀等：基于云计算平台的移动ＩＰＴＶ系统的设计及负载均衡技术的研究
３．２改进调度算法
Ｅｕｃａｌｙｐｔｕｓ开源云计算平台的资源调度算法使用的是基本
的轮询调度，即把请求轮流分配到节点上，优点是算法简单，
适合于服务器组中的所有服务器都有相同的软硬件配置并且平
均服务请求相对均衡的情况。但当服务器节点处理性能不一时，
会造成各节点负载不均衡的情况，可以利用加权轮询算法解决。
（２）任务加权
又因为云计算平台下，请求任务分级，即请求任务量大小不一，
传统的轮询调度，用于每个要分配的任务都近似相等的情
又一次造成节点负载不均衡，为解决这个问题，可以在任务上
况，但在云计算平台下，移动ＩＰＴＶ的任务不尽相同，如果还
进行加权，即提出双向加权轮询算法，具体如下：
是使用传统的负载均衡算法，甚至是已经进行硬件加权的负载
每个节点的任务负载可以用分配在节点上的总任务量与效
均衡算法，也势必会造成节点的负载不均衡。
率之比描述。而总任务量与效率之比为处理时间，即节点上的
解决这个问题的方法是，在请求任务上进行加权，是其在
负载与处理时间成正比。
相同节点硬件性能的基础上，即使任务量不同，节点处理任务
节点负载虻耋盖孽望；箜量；处理时间
嫂翠
的时间尽量接近。
（１）硬件加权
假设有一组服务器Ｎ台，Ｓ＝｛ＳＩ，Ｓ２，Ｓ３，．．砌｝，设有四种任
对于移动∥Ⅳ服务来说，硬件的ＣＰＵ、内存、硬盘、带 务Ｍ＝｛Ｍ１，Ｍ２，Ｍ３，Ｍ４｝，权值分别为Ｐ＝｛Ｐ１，Ｐ２，Ｐ３，Ｐ４｝，
宽四个参数极其重要，但由于每个节点的硬件性能不一定完全 ｃｉｊ为Ｓｉ上处理第Ｊ种任务的数量，Ｍ为待分配的任务．其算
相同，若直接轮询调度，势必造成节点负载的不均衡。 法如下：
通过对每个节点的硬件性能进行分析，选择合理的权值，
使其在相同任务量的基础上，节点处理任务时间尽量接近。
假设有一组服务器Ｎ台，Ｓ＝｛Ｓｌ，ｓ２，ｓ３…砌｝，Ｗ（Ｓｉ）表
示服务器Ｓｉ的权值，一个指示变量ｉ表示上一次选择的服务器
Ｄ。指示变量ＣＷ表示当前调度权值，ｍａｘ（Ｓ）表示集合Ｓ中
所有服务器的最大权值，ｇｃｄ（Ｓ）表示集合Ｓ中所有服务器权
值的最大公约数。变量ｉ被初始化为．１，ｃｗ初始化为零。其算
法如下：
万方数据

6. 软件２０１１年第３２卷第１期 苗秀等：基于云计算平台的移动ＩＰＴｖ系统的设计及负载均衡技术的研究
４仿真和结论
４．１仿真工具
ＣｌｏｕｄＳｉｍ是由澳大利亚墨尔本大学Ｒａｊｋｕｍａｒ Ｂｕｙｙａ教授
领导开发的，它的首要目标是在云基础设施（软件、硬件、服
务）上对不同应用和服务模型的调度和分配策略的性能进行量
化和比较，从而达到控制云计算资源使用的目的。基于云计算
仿真器．用户能够反复测试其服务，可以在部署服务之前调节
性能瓶颈，且无需耗费大量资金，这些优点给用户的开发带来
（３）双向加权 了极大的便利。
综合考虑以上两种情况，采用一种既在节点硬件性能上加 本文适用该仿真工具模拟云计算环境，得出数据，且使用
权，又在任务Ｅ加权的双向加权方法，使其即使在节点性能不 Ｍａｔｌａｂ作图工具，得结果如下ｌ
同、每个任务量不同的基础上也能使每个节点处理任务时间尽 ４．２仿真结果
量接近，即达到真正意义上的负载均衡。
（１）１６０个任务时
假设有一组服务器Ｎ台．ｓ＝ｆｓｌ，ｓ２，ｓ３．．．．Ｓｎｌ，Ｗ（Ｓｉ）表
随机产生１６０个不同权值的任务．分别使用简单轮询算法、
示服务器Ｓｉ的权值，且处理能力越强，权值越高。设有四种任
硬件加权、任务加权和双向加权的对比结果如图３所示：
务Ｍ＝｛Ｍｌ，Ｍ２。Ｍ３，Ｍ４｝，根据任务复杂程度，权值分别为
Ｐ＝｛Ｐｌ。Ｐ２。Ｐ３，Ｐ４｝．任务越复杂，权值越高。其算法如下ｌ
５ｌ
万方数据

7. 软件２０１１年第３２卷第１期 苗秀等：基于云计算平台的移动ＩＩｙｌｖ系统的设计及负载均衡技术的研究
图３任务数为１６０时各负载均衡算法完成任务时间情况
图５任务数为１６００时各负载均衡算法完成任务时间情况
由上图可知，当云计算服务器同时接收１６０个随机产生的
不同权值的任务时，双向加权的标准差最小，硬件加权次之， 由卜图可知，当云计算服务器同时接收１６００个随机产生的
即各个服务器的任务负载差别不大。简单轮询和任务加权都很 不同权值的任务时，双向加权的标准差最小，且比１６０任务时
高，说明各个服务器已有明娃的不均衡。 更加明显，硬件加权次之，即各个服务器的任务负载差别不大。
对简单轮询算法、硬件加权、任务加权和双向加权的标准 简单轮询和任务加权都很高，说明各个服务器已有明显的不均
差和均值的横向进行对比，如图４所示： 衡。
对简单轮询算法、硬件加权、任务加权和双向加权的标准
差和均值的横向进行对比，如图６所示：
图４任务敦为１６０时各负载均衡算法完成任务时间的标准差和均值情况
图６任务数为１６００时各负载均衡算法完成任务时间的标准差和均值情况
由上图可知，双向加权的标准差最小，可知其负载均衡的
效果是最好的，硬件加权次之。完成任务时间的均值代表了整 由上图可知，双向加权的标准差最小，可知其负载均衡的
个云计算服务体系的平均完成时间，即可代表系统效率，上图
效果是最好的，硬件加权次之。上图还表明硬件加权和双向加
表明硬件加权和双向加权的效率都可以保证很高。
权的效率都可以保证很高，且随任务数增加，双向加权的效率
（２）１６００个任务时
有增大的趋势。
随任务数量的增加，任务增加到１６００时，分别使用简单轮
（３）１６０００个任务时
询算法、硬件加权、任务加权和双向加权的对比结果如图５所 随任务数量的增加，任务增加到１６０００时。分别使用简单
示：
轮询算法、硬件加权、任务加权和双向加权的对比结果图７所
刁Ｋ：
万方数据

8. 软件２０１ｉ年第３２卷第１期 苗秀等：基于云计算平台的移动ＩＰＴｖ系统的设计及负载均衡技术的研究
图７任务数为１６０００时各负载均衡算法完成任务时问情况
圈９随任务数增加各负载均衡算法完成任务时间的标准差对比情况
由上图可知，当云计算服务器同时接收１６０００个随机产生
硬件加权的标准差虽然不会线性增长，但是波动性很大，
的不同权值的任务时，双向加权的标准差最小，且比１６００任务
且波动的范围也很大，表明其系统的稳定性不高，可能会造成
时更加明显，硬件加权次之，即各个服务器的任务负载差别不
短期的负载不均衡：双向加权的标准差一直很稳定，且只在很
大。简单轮询和任务加权都很高，说明各个服务器已有明显的
小的范围内波动。即可表明其稳定性，双向加权调度算法可以
不均衡。
做到真正负载均衡．
对简单轮询算法、硬件加权、任务加权和双向加权的标准
差和均值的横向进行对比，如下图８所示：
参考文献
ｆｌ】刘鹏．云计算［Ｍ】．北京：电子工业出版社．２０１０：ｌ－１８５
【２】张建勋ｔ古志民，郑超．云计算研究进展综述【Ｊ１．计算机应用研究．２０１０
年，０２：４２９－４３３
【３】Ｇｏｏｇｌｅ．６００９ｌｅ Ｅｎｇｉｎｅ［ＥＢ／ＯＬ］．［２００ｓ］．ｈａｐ：／／ａｐｐｅｎｇｉｎｅ．ｇｏｏｇｌｅ．ｃｏｒｎ／
ＥＣ２［ＥＢ／ＯＬ］．［２０１０］．ｈｔＩｐ：Ｈａｗｓ．ｍｎ．ｃｏｍ／ｅｃ２／
Ａｐｐ
【４】Ａｍａｚｏｎ．Ａｍａｚｏｎ
１５】吴吉义，平玲娣，潘雪增，等．云计算：从概念到平台们．电信科学，
２００９年．１２．－２３－２９
【６】Ｍｉｃｒｏｓｏｆｔ．Ｗｉｎｄｏｗｓ ａｚｕｒｃ［ＥＢ／ＯＬ］．［２０１０】．
ｈａｐ：｜ｎＮＶ州．ｒｍｃｒｏｓｏｆｌ．ｃｏｍ／ｗｉｎｄｏｗｓａｚｕｒｅ／
【７】Ａｐａｃｈｅ．Ｈａｄｏｏｐ［ＥＢ／ＯＬ］．［２０ｔｏ］．ｈａｐ：／／ｈａｄｏｏｐ．ａｐａｃｈｅ．ｏｒｇ／
【８】Ｅｕｃａｌｙｐｔｕｓ Ｓｙｓｔｅｍｓ，Ｉｎｃ．Ｅｕｃａｌｙｐｔｕ＃［ＥＢ／ＯＬ］．［２０ＬＯ］．
ｈａｐ：／／ｗｗｗ．ｅｕｃａｌｙｐｔｕｓ．ｃｏｒｎ／
【９】Ａｂｉｑｕｏ．Ａｂｉｑｕｏ Ｄｏｃｕｍｅｎｔａｔｉｏｎ Ｈｏｍｅ［ＥＢ／ＯＬ］．［２０１０］．
图８任务数为１６０００时各负载均衡算法完成任务时间的标准差和均值情况 ｈａｐ：／／ａｂｉｃｌｏｕｄ．ｏｒｇ／
【１０］１０９ｃｎ，Ｉｎｃ．ＭＯＮＧＯ ＤＯＣＳ【ＥＢ／ＯＬ］．［２０１０］．ｈａｐ：／／ｗｗｗ．ｍｏｎｇｏｄｂ．吲
由卜图町知，双向加权的标准差最小．可知其负载均衡的 【ｌ ｌ】Ｅｎｏｍａｌｙ Ｉｎｃ．Ｅｎｏｍａｌｙ ＥＣＰ Ｓｅｒｖｉｃ２［ＥＢ／ＯＬ］．［２０ｔｏ］．
效果是最好的．硬件加权次之。上图还表明硬件加权和双向加 ｈａｐ：／／ｗｗｗ．ｅｎｏｎｍｌｙ．ｃｏｍ／
权的效率都町以保证很高。 【１２】Ｕｎｉｖｅｒｓｉｔｙ ｏｆＣｈｉｃａｇｏ．Ｎｉｍｂｕｓ［ＥＢ／ＯＬ］．［２０ｌｏ】．
各种调度算法随任务数量增加，服务器完成任务时间的标 ｈａｐ：／／ｗｗｗ．ｎｉｍｂｕｓｐｒｏｊｅｃｔ．ｏｒｇ／
【１３】ｗｅｎｓｏｎｇ．Ｌｏａｄ Ｂａｌａｎｃｉｎｇ ｏｆ
准差如图９所示：
ＬＶＳ［ＥＢ／ＯＬ］．［２００８］．ｈｔｔｐ：／／ｗｗｗ．１ｉｎｕｘｖｉｒｔｕａｌ船．ｒｖｅｒ．ｏ叫
由图９可知，随着任务数的不断增加，简单轮询和任务加
【１４】Ｄａｎｉｅｌ Ｎｕｒｍｉ．Ｒｉｃｈ Ｗｏｌｓｋｉ，Ｃｈｒｉｓ Ｃａ７．ｃｇｏｒｃｚｙｋ．Ｔｈｅ Ｅｕｃａｌｙｐｔｕｓ
权的标准筹都是几乎是线性增长的，表明其系统的各个服务器
Ｏｐｅｎ－ＳＯＵｒＣｅ Ｃｌｏｕｄ－ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍ［Ｊ］．Ｃｌｕｓｔｅｒ Ｃｏｍｐｕｔｉｎｇ ａｎｄ ｔｈｅ
之间差别会越来越大ｌ
Ｇｒｉｄ，２００９．ＣＣＧＲＩＤ＇０９．９ｔｈ ＩＥＥＦ．，／ＡＣＭ Ｉａｔｃｍａｌｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ，
２００９．１２：１２４．１３Ｉ．
作者简介：苗秀（１９驺一）．女。硕士研究生．主要研究领域为计算机网络・
５３
万方数据

9. 基于云计算平台的移动IPTV系统设计及负载均衡技术研究
作者： 苗秀， 俞俊生， 刘绍华， 陈晓东， MIAO Xiu， YU Jun-sheng， LIU Shao-hua， CHEN
Xiao-dong
作者单位： 北京邮电大学,电子工程学院,北京,100876
刊名： 软件
英文刊名： COMPUTER ENGINEERING & SOFTWARE
年，卷(期)： 2011,32(1)
参考文献(14条)
1.Daniel Nurmi;Rich Wolski;Chris Grzegorczyk The Eucalyptus Open-source Cloud-computing System 2009
2.wensong Load Balancing of LVS 2008
3.University of Chicago Nimbus 2010
4.Enomaly Inc Enomaly ECP Service 2010
5.10gen,Inc MONGO DOCS 2010
6.Abiquo Abiquo Documentation Home 2010
7.Eucalyptus Systems,Inc Eucalyptus 2010
8.Apache Hadoop 2010
9.Microsoft Windows azure 2010
10.吴吉义;平玲娣;潘雪增 云计算:从概念到平台[期刊论文]-电信科学 2009(12)
11.Amazon Amazon EC2 2010
12.Google App Engine 2008
13.张建勋;古志民;郑超 云计算研究进展综述[期刊论文]-计算机应用研究 2010(02)
14.刘鹏 云计算 2010
本文链接：http://d.g.wanfangdata.com.cn/Periodical_ranj201101012.aspx