Your SlideShare is downloading. ×
  • Like
Big Data World Forum
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Now you can save presentations on your phone or tablet

Available for both IPhone and Android

Text the download link to your phone

Standard text messaging rates apply

Big Data World Forum

  • 1,002 views
Published

Big Data World Forum (BDWF http://www.bigdatawf.com/) is specially designed for data-driven decision makers, managers, and data practitioners, who are shaping the future of the big data.

Big Data World Forum (BDWF http://www.bigdatawf.com/) is specially designed for data-driven decision makers, managers, and data practitioners, who are shaping the future of the big data.

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
1,002
On SlideShare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
40
Comments
0
Likes
2

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. © 版权所有 2010 EMC Corporation。保留所有权利。 1
  • 2. 大数据,大机遇 陶波博士 EMC中国研发中心首席技术官© 版权所有 2010 EMC Corporation。保留所有权利。 2
  • 3. 要实现阶段性变革、革命性变 革,需要时机、技术、人才…的 独特融合,以及对我们行业进行 重大变革的运气。这种事情不会 常常发生。 Steve Jobs,1995 年© 版权所有 2011 EMC Corporation。保留所有权利。 3
  • 4. 大数据是一场革命性变革 个人计算机 互联网 大数据© 版权所有 2011 EMC Corporation。保留所有权利。 4
  • 5. !!! !!! “大数据无关乎大小, 而关乎自由度” !!! — Techcrunch 这是 !!! 大数据 “发现:‘大数据’比卷 !!! 更卓绝” “大数据! 它真实 存在,实时提供, 时代... — Gartner 并且正在改变您的 “总数据: 比大数 世界” 据更‘大’” — IDB !!! !!! — 451 Group !!!© 版权所有 2011 EMC Corporation。保留所有权利。 5
  • 6. EMC 大数据“堆栈”4 协作 执行 EMC Documentum xCP ?3 实时 分析 EMC Greenplum + Hadoop + Chorus2 结构化与 非结构化1 PB 规模 存储 EMC Isilon + Atmos© 版权所有 2011 EMC Corporation。保留所有权利。 6
  • 7. 大数据正在改变企业存储 EB 大数 据源 基于文件:年复合增长率 60.7% 基于数据块:年复合增长率 21.8% 至 2012 年,销售的总存储容量的 80% 将用于基于文件的数据 来源:IDC© 版权所有 2011 EMC Corporation。保留所有权利。 7
  • 8. 大数据要求: 容量和性能具有极大的可扩 展性。© 版权所有 2011 EMC Corporation。保留所有权利。 8
  • 9. 纵向扩展的体系结构不适合大数据 服务器 可扩展性 性能 网络 管理 可用性 成本 存储© 版权所有 2011 EMC Corporation。保留所有权利。 9
  • 10. 体系结构转变 — 为大数据横向扩展 服务器 可扩展性 性能 网络 管理 可用性 成本 存储© 版权所有 2011 EMC Corporation。保留所有权利。 10
  • 11. Isilon:横向扩展 NAS 创新巨大的可扩展性单个文件系统中超过 15 PB无可比拟的性能高达 85 GB/s 的吞吐量和高于 1.2M 的 IOPS应用程序与工作流整合业界领先的可靠性和自我修复能力 应用程序 性能管理简便 可扩展性© 版权所有 2011 EMC Corporation。保留所有权利。 11
  • 12. 核心创新...为客户提供价值Isilon 的 OneFS 横向扩展操作系统 单一文件系统,单卷...高达 15 PB 以上 原始存储利用率超过 80% 最高的性能,完全对称的群集 易于管理和扩展 多层单一文件系统/单群集 跨所有产品的单个统一平台© 版权所有 2011 EMC Corporation。保留所有权利。 12
  • 13. File Striping: Writing a File© 版权所有 2011 EMC Corporation。保留所有权利。 13
  • 14. Isilon 解决方案适用于... 企业 IT 扩展工作 企业共享基础架构 高性能计算 行业解决方案 流 • 大规模主目录 • 私有云 • 媒体和娱乐 • 定量财务 • 大规模文件归档 • 第 3 层服务器虚拟化 • 生命科学 • 地震处理 • 灾难恢复与业务连续性 • 存储整合 • Internet 与 Web 2.0 • 研究与分析 • EDA 与软件开发 • 生命信息学© 版权所有 2011 EMC Corporation。保留所有权利。 14
  • 15. 技术的聚合使大树据分析成为现实 聚合 Web (亦即“云”) 网络 创新 X86 虚拟化 存储 时间© 版权所有 2011 EMC Corporation。保留所有权利。 15
  • 16. 我们还需要什么?© 版权所有 2011 EMC Corporation。保留所有权利。 16
  • 17. 我们需要... 数据科学家 创新 社区 和 完整的大数据分析堆栈© 版权所有 2011 EMC Corporation。保留所有权利。 17
  • 18. © 版权所有 2011 EMC Corporation。保留所有权利。 18
  • 19. EMC HADOOP 非结构化。 实时。 企业就绪。© 版权所有 2011 EMC Corporation。保留所有权利。 19
  • 20. Greenplum HD 产品系列• Greenplum HD 社区版: – 经认证的满堆栈,100% 开源 – 虚拟机装置 – 所有核心功能开发反过来又有助于 Apache Hadoop• Greenplum HD 企业版: – 与众不同、混合分布、具有高级功能 – 集成、经测试、加固型 – 与 Hadoop、HBase、HDFS API 百分百兼容• Greenplum HD Data Computing Appliance: – 优化装置配置 – 消除复杂性,简化部署和管理 – 与 Greenplum Database 无缝集成© 版权所有 2011 EMC Corporation。保留所有权利。 20
  • 21. Greenplum HD 技术创新 可插拔 I/O 实时处理 容错 • Isilon OneFS • 低延迟读/写操作 • 消除名称节点的单点 • 实时数据交互和分析 故障 • Atmos 处理 • 作业跟踪器及其他关 • Cassandra 键组件 • 与 Cassandra 和 • MapR MapR 集成 • 提高效率和性能© 版权所有 2011 EMC Corporation。保留所有权利。 21
  • 22. GREENPLUM HD DATA COMPUTING APPLIANCE 与 Greenplum Database Apache Hadoop 强强联合© 版权所有 2011 EMC Corporation。保留所有权利。 22
  • 23. Greenplum Chorus: 首创企业数据云平台• 主要功能 – 自我服务式生成数据库 – 数据服务 – 合作分析• Chorus 部署在VMware云计算平台和 Greenplum数据库上• Chorus极大地加速从数据中提取信息的过 程© 版权所有 2011 EMC Corporation。保留所有权利。 23
  • 24. © 版权所有 2011 EMC Corporation。保留所有权利。 24
  • 25. 自我服务可以快速开始一个新的项目 自我服务可以快速开始一个新的项目 o 生成数据库服务器 , 单节点或多节点 o 生成数据库服务器 , 单节点或多节点 o 生成沙盒用于分析. o 生成沙盒用于分析. o 方便地导入数据. o 方便地导入数据.© 版权所有 2011 EMC Corporation。保留所有权利。 25
  • 26. 创建合作环境对大数据做深度分析 创建合作环境对大数据做深度分析 o 创立项目工作空间 共享文档,数据和工作流程. o 创立项目工作空间 共享文档,数据和工作流程. o 在沙盒中实施工作流程和管理相关变更. o 在沙盒中实施工作流程和管理相关变更. o 控制数据的权限. o 控制数据的权限. o 从in-database analytics functions中导入函数 o 从in-database analytics functions中导入函数© 版权所有 2011 EMC Corporation。保留所有权利。 26
  • 27. EDC 成功实例: T-Mobile Enterprise Data Cloud 100 TB EDW 1 Petabyte EDCCustomer Challenges EDC: Greenplum Database + Chorus – 100TB Teradata EDW focused on operational – Extracted data from EDW and others source systems reporting and financial consolidation to quickly assemble new analytic mart – EDW is single source of truth, under heavy – Generated a social graph from call detail records and subscriber data governance and control – Within 2 weeks uncovered behavior where – Unable to support all of the critical initiatives around “connected” subscribers where 7X more likely to data surrounding the business churn than average user – Customer loyalty and churn the #1 business initiative – Deployed1PB production EDC with GP to power their analytic initiatives from the CEO on down © 版权所有 2011 EMC Corporation。保留所有权利。 27
  • 28. 构建完整的大数据分析堆栈 分析工具集 (业务分析、BI、统计等) Greenplum Chorus 针对数据的企业协作平台 Greenplum Data Computing Appliance 专用于大数据分析 Greenplum Database Greenplum HD 企业版与社区版 Hadoop 企业版与社区版 世界上可扩展性最强的 MPP 数据库平台 针对非结构化数据的企业分析平台© 版权所有 2011 EMC Corporation。保留所有权利。 28
  • 29. 表彰大数据创新者 www.DataHeroAwards.com© 版权所有 2011 EMC Corporation。保留所有权利。 29
  • 30. “数据英雄奖”得主Silver Spring Networks — 能源类© 版权所有 2011 EMC Corporation。保留所有权利。 30
  • 31. “数据英雄奖”得主Vivek Kundra,美国首席信息官 — 远见奖© 版权所有 2011 EMC Corporation。保留所有权利。 31
  • 32. 大数据 = 大机遇© 版权所有 2011 EMC Corporation。保留所有权利。 32
  • 33. 了解详实EMC Greenplum 数据计算应用装置 (DCA) 的实际性能和功能:请访问 www.bigdatafw.com下载ESG 白皮书,«ESG实验室验证报告‐EMC Greenplum 数据计算应用装置 »© 版权所有 2011 EMC Corporation。保留所有权利。 33
  • 34. 谢谢大家© 版权所有 2011 EMC Corporation。保留所有权利。 34
  • 35. © 版权所有 2011 EMC Corporation。保留所有权利。 35