Greenplum: A Bigdata Platform
•
0 likes•659 views
Greenplum is leading MPP database technology for OLAP and ad-hoc workload. With more than 10 years R&D, Greenplum now become a bigdata platform, using it, you could do OLAP, Mixed workload, advanced analytics, machine learning, Text analysis, GIS/Geospatial analysis, Grapth analysis over various dataset no matter it is managed by Greenplum, Hadoop, S3, Gemfire, Database etc.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Greenplum: A Bigdata Platform
Similar to Greenplum: A Bigdata Platform (20)
Greenplum: A Bigdata Platform
- 1. © Copyright 2017 Pivotal Software, Inc. All rights Reserved. Version 1.0 Version 1.0 September 2017 Pivotal Presentation Kit COLLECTION 5
- 2. Cover w/ Image Pivotal Greenplum 5 新⼀代大数据平台 姚延栋 yyao@pivotal.io
- 4. BOSH KUBO
- 6. 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions 完善的 SQL ⽀持 TEXT GISBI Regression Classification Clustering Graph PXF External TableUDT/UDA Image SQL 1992/1998/2003/2008
- 11. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化
- 12. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 HStore 各种数据源：Hadoop、S3、数据库、⽂件
- 13. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储
- 14. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储
- 15. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA强⼤的灵活性、可扩展
- 16. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA
- 17. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA 完善的 SQL ⽀持SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 SQL回来了？不，从来没离开我们
- 18. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 完善的 SQL ⽀持
- 19. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA 完善的 SQL ⽀持SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 TEXT GISBI Regression Classification Clustering Graph Image 完善的标准⽀持：SQL、JDBC、ODBC 集成数据平台
- 20. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA 完善的 SQL ⽀持SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 TEXT GISBI Regression Classification Clustering Graph Image SQL回来了？不，从来没离开我们 混合负载
- 21. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA 完善的 SQL ⽀持SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 TEXT GISBI Regression Classification Clustering Graph Image 完善的标准⽀持：SQL、JDBC、ODBC 开放源代码 集成数据平台：BI、⽂本、GIS、图、图像、流式、HTAP
- 22. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA 完善的 SQL ⽀持SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 TEXT GISBI Regression Classification Clustering Graph Image 完善的标准⽀持：SQL、JDBC、ODBC 集成数据平台：BI、⽂本、GIS、图、图像、流式、HTAP
- 23. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA 完善的 SQL ⽀持SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 TEXT GISBI Regression Classification Clustering Graph Image 完善的标准⽀持：SQL、JDBC、ODBC 集成数据平台：BI、⽂本、GIS、图、图像、流式 开放源代码、其持续⼤⼒投⼊ 敏捷⽅法学：快速迭代、持续发布、质量内建
- 24. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA 完善的 SQL ⽀持SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 TEXT GISBI Regression Classification Clustering Graph Image 完善的标准⽀持：SQL、JDBC、ODBC 集成数据平台：BI、⽂本、GIS、图、图像、流式 开放源代码、其持续⼤⼒投⼊
- 25. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA 完善的 SQL ⽀持SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 TEXT GISBI Regression Classification Clustering Graph Image 完善的标准⽀持：SQL、JDBC、ODBC 集成数据平台：BI、⽂本、GIS、图、图像、流式 开放源代码、其持续⼤⼒投⼊ 敏捷⽅法学：快速迭代、持续发布、质量内建 企业级稳定性、成熟⽣态系统
- 26. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA 完善的 SQL ⽀持SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 TEXT GISBI Regression Classification Clustering Graph Image 完善的标准⽀持：SQL、JDBC、ODBC 集成数据平台：BI、⽂本、GIS、图、图像、流式 开放源代码、其持续⼤⼒投⼊ 敏捷⽅法学：快速迭代、持续发布、质量内建
- 27. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 各种数据源：Hadoop、S3、数据库、⽂件 各种数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA 完善的 SQL ⽀持SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 TEXT GISBI Regression Classification Clustering Graph Image 完善的标准⽀持：SQL、JDBC、ODBC 集成数据平台：BI、⽂本、GIS、图、图像、流式 开放源代码、其持续⼤⼒投⼊ 敏捷⽅法学：快速迭代、持续发布、质量内建 企业级稳定性、成熟⽣态系统
- 28. ⼀次打包，到处运⾏：裸机、私有云、公有云 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 任意数据源：Hadoop、S3、数据库、⽂件 任意数据格式：结构化、半结构化、⾮结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions PXF External TableUDT/UDA 完善的 SQL ⽀持SQL 1992/1998/2003/2008 强⼤的灵活性、可扩展 TEXT GISBI Regression Classification Clustering Graph Image 完善的标准⽀持：SQL、JDBC、ODBC 集成数据平台：BI、⽂本、GIS、图、图像、流式 开放源代码、其持续⼤⼒投⼊ 敏捷⽅法学：快速迭代、持续发布、质量内建 企业级稳定性、成熟⽣态系统
- 29. 结构化数据 ⽂本数据 图数据 GIS数据 图像数据 半结构化 ⾼可⽤优化器 资源管理并⾏执⾏ 数据分布 线性扩展 ⾼速加载多态存储 Extensions 完善的 SQL ⽀持 TEXT GISBI Regression Classification Clustering Graph PXF External TableUDT/UDA Image SQL 1992/1998/2003/2008
- 30. Greenplum 5.x • 更新内核：升级为 PostgreSQL 8.3，3355 个提交，⼤量重构 和清理 • 更稳定：引⼊heap表校验码，即时报警防⽌错误数据蔓延； Lazy XID 避免冲突 • 更快：⼤量性能改进点，譬如Analyze、ORCA优化器、备份 和恢复、异步调度器、聚集内存消耗降低 • 全新半结构化数据⽀持：JSON、Hstore • 全新：资源管理器
- 31. Greenplum 5 资源管理器: 资源组 vs. 资源队列 特性 资源组 资源队列 并发控制 事务级别 语句级别 死锁 no yes CPU 管理 基于比例, cgroup 基于优先级 CPU 空闲利用率 yes 部分 精细内存限制 yes no 组内共享内存 yes no 动态修改资源配置 yes some 排队 无slot或者内存配额时 无slot时 管理 DDL和 Utility, 管理超级用户查询 yes no Segment级别监控管理 yes no
- 32. 展望 - 持续内核升级 - 灾难恢复 - 流式数据加载 - HTAP，短查询、更⼤并发 - 监控和管理
- 34. © Copyright 2017 Pivotal Software, Inc. All rights Reserved. Version 1.0 Version 1.0 September 2017 Pivotal Presentation Kit COLLECTION 5v5
- 35. Key Initiatives & Focus Areas Thoughts • Query Performance & Optimizer Continued Steady Improvement • Cluster Management for Cloud Native Deployment • Hyper Focus on Data Protection, Backup, DR • Mixed Workload, Short Query Performance • Monitoring & Instrumentation • PostgreSQL Merging • External Data Access