Big Data World Forum

1,342 views
1,155 views

Published on

Big Data World Forum (BDWF http://www.bigdatawf.com/) is specially designed for data-driven decision makers, managers, and data practitioners, who are shaping the future of the big data.

0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,342
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
44
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Big Data World Forum

  1. 1. © 版权所有 2010 EMC Corporation。保留所有权利。 1
  2. 2. 大数据,大机遇 陶波博士 EMC中国研发中心首席技术官© 版权所有 2010 EMC Corporation。保留所有权利。 2
  3. 3. 要实现阶段性变革、革命性变 革,需要时机、技术、人才…的 独特融合,以及对我们行业进行 重大变革的运气。这种事情不会 常常发生。 Steve Jobs,1995 年© 版权所有 2011 EMC Corporation。保留所有权利。 3
  4. 4. 大数据是一场革命性变革 个人计算机 互联网 大数据© 版权所有 2011 EMC Corporation。保留所有权利。 4
  5. 5. !!! !!! “大数据无关乎大小, 而关乎自由度” !!! — Techcrunch 这是 !!! 大数据 “发现:‘大数据’比卷 !!! 更卓绝” “大数据! 它真实 存在,实时提供, 时代... — Gartner 并且正在改变您的 “总数据: 比大数 世界” 据更‘大’” — IDB !!! !!! — 451 Group !!!© 版权所有 2011 EMC Corporation。保留所有权利。 5
  6. 6. EMC 大数据“堆栈”4 协作 执行 EMC Documentum xCP ?3 实时 分析 EMC Greenplum + Hadoop + Chorus2 结构化与 非结构化1 PB 规模 存储 EMC Isilon + Atmos© 版权所有 2011 EMC Corporation。保留所有权利。 6
  7. 7. 大数据正在改变企业存储 EB 大数 据源 基于文件:年复合增长率 60.7% 基于数据块:年复合增长率 21.8% 至 2012 年,销售的总存储容量的 80% 将用于基于文件的数据 来源:IDC© 版权所有 2011 EMC Corporation。保留所有权利。 7
  8. 8. 大数据要求: 容量和性能具有极大的可扩 展性。© 版权所有 2011 EMC Corporation。保留所有权利。 8
  9. 9. 纵向扩展的体系结构不适合大数据 服务器 可扩展性 性能 网络 管理 可用性 成本 存储© 版权所有 2011 EMC Corporation。保留所有权利。 9
  10. 10. 体系结构转变 — 为大数据横向扩展 服务器 可扩展性 性能 网络 管理 可用性 成本 存储© 版权所有 2011 EMC Corporation。保留所有权利。 10
  11. 11. Isilon:横向扩展 NAS 创新巨大的可扩展性单个文件系统中超过 15 PB无可比拟的性能高达 85 GB/s 的吞吐量和高于 1.2M 的 IOPS应用程序与工作流整合业界领先的可靠性和自我修复能力 应用程序 性能管理简便 可扩展性© 版权所有 2011 EMC Corporation。保留所有权利。 11
  12. 12. 核心创新...为客户提供价值Isilon 的 OneFS 横向扩展操作系统 单一文件系统,单卷...高达 15 PB 以上 原始存储利用率超过 80% 最高的性能,完全对称的群集 易于管理和扩展 多层单一文件系统/单群集 跨所有产品的单个统一平台© 版权所有 2011 EMC Corporation。保留所有权利。 12
  13. 13. File Striping: Writing a File© 版权所有 2011 EMC Corporation。保留所有权利。 13
  14. 14. Isilon 解决方案适用于... 企业 IT 扩展工作 企业共享基础架构 高性能计算 行业解决方案 流 • 大规模主目录 • 私有云 • 媒体和娱乐 • 定量财务 • 大规模文件归档 • 第 3 层服务器虚拟化 • 生命科学 • 地震处理 • 灾难恢复与业务连续性 • 存储整合 • Internet 与 Web 2.0 • 研究与分析 • EDA 与软件开发 • 生命信息学© 版权所有 2011 EMC Corporation。保留所有权利。 14
  15. 15. 技术的聚合使大树据分析成为现实 聚合 Web (亦即“云”) 网络 创新 X86 虚拟化 存储 时间© 版权所有 2011 EMC Corporation。保留所有权利。 15
  16. 16. 我们还需要什么?© 版权所有 2011 EMC Corporation。保留所有权利。 16
  17. 17. 我们需要... 数据科学家 创新 社区 和 完整的大数据分析堆栈© 版权所有 2011 EMC Corporation。保留所有权利。 17
  18. 18. © 版权所有 2011 EMC Corporation。保留所有权利。 18
  19. 19. EMC HADOOP 非结构化。 实时。 企业就绪。© 版权所有 2011 EMC Corporation。保留所有权利。 19
  20. 20. Greenplum HD 产品系列• Greenplum HD 社区版: – 经认证的满堆栈,100% 开源 – 虚拟机装置 – 所有核心功能开发反过来又有助于 Apache Hadoop• Greenplum HD 企业版: – 与众不同、混合分布、具有高级功能 – 集成、经测试、加固型 – 与 Hadoop、HBase、HDFS API 百分百兼容• Greenplum HD Data Computing Appliance: – 优化装置配置 – 消除复杂性,简化部署和管理 – 与 Greenplum Database 无缝集成© 版权所有 2011 EMC Corporation。保留所有权利。 20
  21. 21. Greenplum HD 技术创新 可插拔 I/O 实时处理 容错 • Isilon OneFS • 低延迟读/写操作 • 消除名称节点的单点 • 实时数据交互和分析 故障 • Atmos 处理 • 作业跟踪器及其他关 • Cassandra 键组件 • 与 Cassandra 和 • MapR MapR 集成 • 提高效率和性能© 版权所有 2011 EMC Corporation。保留所有权利。 21
  22. 22. GREENPLUM HD DATA COMPUTING APPLIANCE 与 Greenplum Database Apache Hadoop 强强联合© 版权所有 2011 EMC Corporation。保留所有权利。 22
  23. 23. Greenplum Chorus: 首创企业数据云平台• 主要功能 – 自我服务式生成数据库 – 数据服务 – 合作分析• Chorus 部署在VMware云计算平台和 Greenplum数据库上• Chorus极大地加速从数据中提取信息的过 程© 版权所有 2011 EMC Corporation。保留所有权利。 23
  24. 24. © 版权所有 2011 EMC Corporation。保留所有权利。 24
  25. 25. 自我服务可以快速开始一个新的项目 自我服务可以快速开始一个新的项目 o 生成数据库服务器 , 单节点或多节点 o 生成数据库服务器 , 单节点或多节点 o 生成沙盒用于分析. o 生成沙盒用于分析. o 方便地导入数据. o 方便地导入数据.© 版权所有 2011 EMC Corporation。保留所有权利。 25
  26. 26. 创建合作环境对大数据做深度分析 创建合作环境对大数据做深度分析 o 创立项目工作空间 共享文档,数据和工作流程. o 创立项目工作空间 共享文档,数据和工作流程. o 在沙盒中实施工作流程和管理相关变更. o 在沙盒中实施工作流程和管理相关变更. o 控制数据的权限. o 控制数据的权限. o 从in-database analytics functions中导入函数 o 从in-database analytics functions中导入函数© 版权所有 2011 EMC Corporation。保留所有权利。 26
  27. 27. EDC 成功实例: T-Mobile Enterprise Data Cloud 100 TB EDW 1 Petabyte EDCCustomer Challenges EDC: Greenplum Database + Chorus – 100TB Teradata EDW focused on operational – Extracted data from EDW and others source systems reporting and financial consolidation to quickly assemble new analytic mart – EDW is single source of truth, under heavy – Generated a social graph from call detail records and subscriber data governance and control – Within 2 weeks uncovered behavior where – Unable to support all of the critical initiatives around “connected” subscribers where 7X more likely to data surrounding the business churn than average user – Customer loyalty and churn the #1 business initiative – Deployed1PB production EDC with GP to power their analytic initiatives from the CEO on down © 版权所有 2011 EMC Corporation。保留所有权利。 27
  28. 28. 构建完整的大数据分析堆栈 分析工具集 (业务分析、BI、统计等) Greenplum Chorus 针对数据的企业协作平台 Greenplum Data Computing Appliance 专用于大数据分析 Greenplum Database Greenplum HD 企业版与社区版 Hadoop 企业版与社区版 世界上可扩展性最强的 MPP 数据库平台 针对非结构化数据的企业分析平台© 版权所有 2011 EMC Corporation。保留所有权利。 28
  29. 29. 表彰大数据创新者 www.DataHeroAwards.com© 版权所有 2011 EMC Corporation。保留所有权利。 29
  30. 30. “数据英雄奖”得主Silver Spring Networks — 能源类© 版权所有 2011 EMC Corporation。保留所有权利。 30
  31. 31. “数据英雄奖”得主Vivek Kundra,美国首席信息官 — 远见奖© 版权所有 2011 EMC Corporation。保留所有权利。 31
  32. 32. 大数据 = 大机遇© 版权所有 2011 EMC Corporation。保留所有权利。 32
  33. 33. 了解详实EMC Greenplum 数据计算应用装置 (DCA) 的实际性能和功能:请访问 www.bigdatafw.com下载ESG 白皮书,«ESG实验室验证报告‐EMC Greenplum 数据计算应用装置 »© 版权所有 2011 EMC Corporation。保留所有权利。 33
  34. 34. 谢谢大家© 版权所有 2011 EMC Corporation。保留所有权利。 34
  35. 35. © 版权所有 2011 EMC Corporation。保留所有权利。 35

×