20100717 hadoop cmri

2,019 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
2,019
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
29
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

20100717 hadoop cmri

  1. 1. 中国移动研究院的云计算与Hadoop中国移动研究院的云计算与Hadoop 相关研发工作 中国移动研究院 王旭
  2. 2. 云计算市场发展预测 云计算/2009 2008云计算处于最高期望点,预计2云计算处于最高期望点,预计2-5年内成 仅美国主要云计算服务商托管的大中型网 为主流应用 -(Gartner09新技术预测) 站数月增长率达9% 站数月增长率达9% 年全球云计算服务市场将由2008年的 年全球云计算服务市场将由“2009年全球云计算服务市场将由 年的464亿美元增长至 年的 亿美元增长至563亿美元,增幅为21.3%” 亿美元增长至 亿美元, 亿美元 增幅为21.3%” 的财富1000强企业将使用云计算服务” 强企业将使用云计算服务“到2012年, 80%的财富1000强企业将使用云计算服务 到 年 80%的财富 到 年将增长至1501亿美元 年将增长至 亿美元”“到2013年将增长至1501亿美元 - Gartner 内部资料 注意保密 2/21
  3. 3. 标准化和开源活动开源社区 用户 Hadoop:开源的并行计算基础架构、开 放的社区 云应用 Xen、KVM:开源虚拟机 云平台运行环境与能力组件 Eucalyptus & OpenNebula:开源虚拟 IaaS接口 化管理系统; 虚拟机 虚拟 云存储服务重点行业组织 (Hypervisor) 机调 度与 DMTF: 系统管理相关标准化:虚拟机 物理计算资 物理存储资 其他物理资 管理 f 管理、虚拟机镜像格式等;OCSI工作 源 源 源 组 SNIA: 网络存储工业联盟、CDMI云存 储规范 其他相关的行业组织 OGF OCCI: CSA: OCC: 其他新组织: CCIF, 规范 IaaS 用户接口 云安全规范 云平台互操 Cloud Manifesto 目前提供一 作与云平台 传统组织:ISO, TGG: 个纲领性文 评估 IETF, Open Group, 数据中心建设的绿色节能 件 OASIS 内部资料 注意保密 3/21
  4. 4. 殊途同归的业界云计算成功实践:提供完整的云计算系统栈,形成企业核心竞争力微软Azure:从Windows/VM入手,提供计算和存储平台Windows Azure;将SQLServer改造为SQL Azure;研发PlatformAppFabricGoogle GAE:从GFS/BigTable入手,结合JVM/Python/Jetty,整合Google应用接口Amazon AWS:从S3/Xen入手,提供SDB/ SQS/ RDS/ EMR等增值平台Vmware :从VMM入手,收购SpringSource、RabbitMQ、Zimbra,研发vCloudOracle :从DB入手,收购Xen提供商、Sun,获得计算、存储、VMM技术Cisco :从网络设备入手,收购服务器厂商,研发网络虚拟化产品,并联合VMWARE、EMC在计算虚拟化、存储方面的优势,提供整合方案 内部资料 注意保密 4/21
  5. 5. 大云研发历程 中国移动启动“大云” “大云”研发计划,打造公司云计算核心竞争力 “大云”计划是中国移动研究院为打造中国移动云计算基础设施而实施 的关键技术研究及原型系统开发计划 目标 为满足中国移动IT支撑系统 中国移动IT支撑系统高性能、低成本、可扩展、高可靠性的IT计算 和存储的需要 为满足中国移动提供互联网业务和服务 互联网业务和服务的需要 本次会议上将确定大云研 用闲置资源搭 建 设 256 节 点 发布大 搭建1024 搭建 发布大云1.0成 发布大云 成究方向 建 第 一 个 分 析工 集群 和 分析 工 云 0.5 节点集群 果 平台 Hadoop平台 具 2007.3 2007.7 2008.3 2008.10 2008.12 2009.8 2009.12 2010.5 并行数据挖掘工具开发 与应用试验 云计算技术路标、引入策略、 云计算技术路标、引入策略、 总体解决方案研究、 总体解决方案研究、产品研 研究Hadoop等 研究 等 开源架构/关键 开源架构 关键 系统改进、 系统改进、完善与试验 发、应用试验、产业链培育、 应用试验、产业链培育、 云计算关键技术 技术研究 商务模式研究 系统评估 内部资料 注意保密 5/21
  6. 6. 建设1024节点规模的大规模实验室实验室建设• 年 月完成了大规模运算实验室一期工程的 2008年9月完成了大规模运算实验室一期工程的 建设,配置了256台PC服务器,初步建立了大 建设,配置了 服务器, 台 服务器 规模运算平台研发和试验环境• 年 月完成了大规模实验室二期扩容工程 2009年12月完成了大规模实验室二期扩容工程 建设实验室环境 实验室部署• 节点: 节点:1036个服务器;5208个CPU核,10T内 个服务器; 个服务器 个 核 内 存;2.8P硬盘 硬盘• 交换机: 个万兆 千兆兼容以太网交换机, 个万兆/千兆兼容以太网交换机 交换机:9个万兆 千兆兼容以太网交换机,树 形结构互联• 软件: 软件:Centos Linux 5.3,kernel 2.6.18, gcc , 等 4.1.2, jdk1.6, hadoop-0.20等• 部署的应用:数据挖掘,弹性计算平台BC-EC, 部署的应用:数据挖掘,弹性计算平台 , 结构化海量数据管理平台HugeTable,搜索引 结构化海量数据管理平台 , 擎,云存储 内部资料 注意保密 6/21
  7. 7. 大云技术架构 云计算应用层网管系统 业务支撑 管理信息 mSpaces IDC 。。。 系统 系统 • 中国移动内部的新型IT支撑系统 中国移动内部的新型 支撑系统 等互联网应用 • IDC, mSpaces, email等互联网应用 数据挖掘 云存储中间件 弹性计算 搜索引擎核 云计算能力层 BC-PDM BC-NAS BC-EC BC-MSE 数据挖掘工具库: • 数据挖掘工具库:挖掘应用的算法工具 系 统 云存储中间件: • 云存储中间件:提供海量对象存储能力 管 并行程序设计和开发环境 理 MapReduce 分 • 弹性计算:提供灵活的虚拟机出租服务 弹性计算: 布 平 CloudSecurity CloudSecurity 台 GlobalLock GlobalLock 式 搜索引擎核: • 搜索引擎核: 提供基本的搜索引擎能力/ CloudMaster 并 安 结构化海量数据管理 全 发 云计算平台层 HugeTable 控 管 制 理 海量数据分布式 对象存储系统 : 并行程序框架 • MapReduce:MapReduce并行程序框架 / 文件系统 / oNest • HugeTable:结构化数据存储 : HyperDFS • HyperDFS:海量数据的分布式文件系统 : 开源的Linux操作系统 开源的 操作系统 • CloudMaster: 云计算平台系统管理 基于Xen的虚拟机 基于 的虚拟机 虚拟化资源层 构建在海量同质化的PC与不可靠硬盘上 • 构建在海量同质化的 与不可靠硬盘上 使用开源的Xen提供计算资源的虚拟化 • 使用开源的 提供计算资源的虚拟化 运行于开源的Linux系统之上 • 运行于开源的 系统之上 内部资料 注意保密 7/21
  8. 8. 大云弹性计算系统(BC-EC)BC-EC:根据用户的需求灵活提供不同配置的X86虚拟服务器。主要特点:1. 可为用户提供X86虚拟服务器,并根据用户申请提供不同的CPU、内存、硬盘空间配置2. 支持用户自服务,并可按实际使用量计费3. 方便快捷的的系统部署和应用恢复4. 强大的系统监控功能5. 安全管理和防护 应用1 应用2 应用3 应用4资源管理 统一管理 按需分配 动态调度 负载均衡 逻辑 资源资源抽象 虚拟处理器 虚拟网络 虚拟存储 物理 资源 内部资料 注意保密 8/21
  9. 9. 并行计算执行环境(MapReduce/HyperDFS)MapReduce/HyperDFS:用于解决海量非结构化数据存储和处理的并行编程环境,在开源HadoopMapReduce/HyperDFS:基础上开发,并针对电信业务高可靠性要求进行了改进和优化。 用户程序 自动并行化:系统自动进行作业并行 • 自动并行化 (JobClient) 提交作业 化处理,简化编程难度MapReduce JobTracker 自动可靠处理:系统自动处理节点/任 • 自动可靠处理 务的故障检测和恢复 灵活扩展:节点可以灵活加入和退出, • 灵活扩展 TaskTracker 中间结 TaskTracker 输出数 系统自动感知节点状态并进行处理 果 高性能:计算任务将被调度至数据所 • 高性能 (MapTask) (ReduceTask) 据 在的节点,减少网络开销,提升执行 1 TaskTracker 中间结 2 (MapTask) 果 输出数 性能 3 TaskTracker TaskTracker (ReduceTask) 据 中间结 (MapTask) 果 数据高度可靠:数据具有多个副本, • 数据高度可靠 保证数据可靠性 系统高可用性:通过多个元数据服务 • 系统高可用性HyperDFS 器实时同步,实现系统高可用性 磁盘故障自动发现与处理:监测节点 • 磁盘故障自动发现与处理 磁盘性能与错误,部分磁盘故障情况 下,自动退服故障硬盘,不影响节点 可用性 内部资料 注意保密 在线更换磁盘:在线更换发生故障的 • 在线更换磁盘 9/21 磁盘,不影响节点服务连续性。
  10. 10. 并行结构化数据处理系统(HugeTable)HugeTable:是一套管理海量结构化数据的低成本数据存储和管理系统。支持对数据实施快速索引查询/统计、多表扫描查询/统计的可扩展的海量结构化数据存储和管理系统。 主要特点 • 可靠性:通过数据冗余提供高可靠性 可靠性: • 大容量: 大容量:支持PB级别的数据存储能力 • 低成本: 低成本:基于PC架构,不需要外接 • 高性能: 高性能:TB级数据量下秒级别的索引 查询能力、快速数据加载、高速数据 并行扫描能力 • 丰富接口支持:提供标准的 丰富接口支持: JDBC/ODBC/SQL接口;提供键值对 访问接口和MapReduce接口 • 强大的管理功能:基于Web的管理系 强大的管理功能: 统,支持数据、性能、故障、配置、 日志管理功能 内部资料 注意保密 10/21
  11. 11. 并行数据挖掘系统(BC-PDM)BC-PDM:支持SaaS应用模式的海量并行数据挖掘系统 适用于经营分析、用户行为研究、 应用模式的海量并行数据挖掘系统,BC-PDM:支持SaaS应用模式的海量并行数据挖掘系统,适用于经营分析、用户行为研究、精准营销、气象/精准营销、气象/水文等领域的数据分析和处理 应用 各种数据处理、挖掘应用 主要特点 • 丰富的数据ETL操作:支持数据清 丰富的数据ETL操作: 操作 洗、集成、转换、计算等31种ETL Web GUI/ 操作 工作流引擎 • 可定制的数据挖掘算法:支持分类 可定制的数据挖掘算法: 、聚类、关联分析等共12种算法, 广 域 并可根据需求定制开发算法 网 • 多格式支持:支持定长、不定长、 多格式支持: 数据传输及装 数据管理及探 并行数 用户权限管 CSV格式数据的装载及导出 载导出 索 据操作 理 • 支持SaaS服务模式:可在互联网 支持SaaS服务模式 服务模式: HyperDFS HugeTable MapReduce 上通过浏览器使用该服务 … 任 务 数据分割 子任 务 M1 M2 • 方便的图形化界面:采用Web 2.0 方便的图形化界面: 技术,通过图标的托、拉、拽方便 任务分解 Mi M2 地生成数据分析逻辑 block2 block3 R1 R2 Rj block1 block1 block1 block2 block3 block2 block3 M1 Rj R2 内部资料 注意保密 R1 Mi 11/21
  12. 12. 对象文件存储系统(BC-NAS)BC-NAS:是通过键值查找数据文件的存储模式。适用于企业NAS数据备份 数据备份、BC-NAS:是通过键值查找数据文件的存储模式。适用于企业NAS数据备份、互联网相 邮件等海量小文件的数据存储。册、邮件等海量小文件的数据存储。 主要特点 • 高度可扩展性:采用基于环的数据冗 高度可扩展性: 余调度策略,系统性能随节点规模线 性增长。 • 索引、数据及状态信息分离,便于部 署及横向扩展。 • 以桶为单位的对象数据管理模式,结 构简单管理方便。 • 提供多种访问接口:支持FTP接口、 提供多种访问接口: SOAP/REST接口、标准文件系统接 口、客户端访问接口等 • 强大的管理功能:提供针对用户的计 强大的管理功能: 费、空间配额功能;节点失效监控及 空间管理;文件内容管理 内部资料 注意保密 12/21
  13. 13. HDFS性能与可扩展性 聚合带宽 并发写入性能:20MB/s/节点 并发本地读取(MapReduce典型情况):200MB/s/ 节点 并发随机读写性能:110MB/s/节点 系统可扩展性: 16-200节点规模内近似线性扩展 写聚合带宽 vs 节点规模 读聚合带宽 vs 节点数量 120 4000 90000 3500 1400 100 80000 平均节点带宽(MB/s)平均节点带宽(MB/s) 1200 总聚合带宽(MB/s) 3000 70000 总聚合带宽(MB/s) 80 1000 60000 2500 60 2000 800 50000 40000 1500 600 40 30000 1000 400 20 20000 500 200 10000 0 0 0 0 31 63 108 169 31 63 108 169 节点数量 节点数量 平均节点带宽 理论节点带宽(/3) 总体聚合带宽 平均节点带宽 理论节点带宽 总聚合带宽 内部资料 注意保密 13/21
  14. 14. 参与Hadoop开源社区Improve the availability of HDFS NameNode Hadoop Summit’09 HDFS-839/HDFS-893: Zhiguo Luo: Parallel Data Discussing the design with Dhruba from Facebook on improve Backup Mining in Telco Node in trunk Hadoop World NYC 09Submitted some bug report/fix and Proposed Feng Cao: Hadoop Basedsome suggestion Data Mining Platform for the Telecom Industry hdfs: #4742: Mistake delete replica in hadoop 0.18.1 Hadoop in Beijing 09 #5230: Bugfix for dnAddress resolve (rarely occurred, for Bill Huang: China Mobile’s NNC actually) research and trial #5728: IndexOutOfBoundsException of FSEditlog on Cloud Computing #5729: FSEditLog.open should stop going on if cannot Meng Xu: BC-PDM and its open any directory Applications in Telecom #5730: if only one mkdir fail, SecondaryNameNode should not exit #5778: Correct the description of refreshNode command Mapreduce #3674: dynamic heartbeat interval for the locality-aware task scheduling #5474,DiskChecker$DiskErrorException when reduce > reduce‘ #5475: Split Information errors when input data volumn is trivial: 内部资料 注意保密
  15. 15. NameNode Cluster http://github.com/gnawux/hadoop-cmri [code] http://gnawux.info/hadoop/2010/01/pratice-of-namenode-cluster-for-hdfs-ha/ http://gnawux.info/hadoop/2010/05/namenode-cluster-code-github/ 内部资料 注意保密
  16. 16. HDFS Stress Test http://code.google.com/p/hadoop-test/ http://gnawux.info/hadoop/2010/01/a-simple-hdfs-performance-test-tool/ 内部资料 注意保密
  17. 17. 谢谢关注

×