Your SlideShare is downloading. ×
Sequoia db 技术概述_sacc
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Sequoia db 技术概述_sacc

63
views

Published on

巨杉数据库技术简介

巨杉数据库技术简介

Published in: Technology

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
63
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. SequoiaDB - 企业级 NoSQL 技 介术简 2013/09/01
  • 2. 提纲 公司 介简 企业级 NoSQL 与其他 NoSQL 的区别 系型数据 的缺点和局限性传统关 库 SequoiaDB 相 于 数据 的对 传统 库 优势 Hadoop 与 SequoiaDB 的 密整合紧
  • 3. 公司 介:企简 业级 NoSQL • 核心 件 品:新型软 产 NOSQL 分布式大数据库 ( 未使用任何开 源数据 引擎和代库 码 ) , 由前 IBM DB2 深研 成 在北美完资 发 员 成原型 和内核 。设计 开发 • SequoiaDB V1.0 布于发 2013 年 4 月,主要向政府、 信、金电 融、 力和互 网等 有海量 数据的行 提供大数据解决电 联 拥 业务 业 方案,主要客 已包括国内知名 行、 信及互 网企 。户 银 电 联 业 • 云 算与大数据的系 集成,部署,以及提供 咨 服计 统 顾问 询 务 http://sequoiadb.com/index.html 3
  • 4. 公司里程碑: • 2011 年 3 月,在北美完成 SequoiaDB 原型 及其内核设计 开发 • 2012 年 8 月,公司及广州研 中心正式成立发 • 2013 年 4 月, SequoiaDB 1.0 版正式推出 • 2013 年 4 月,国内某大网 生 商使用络设备 产 SequoiaDB 开发 内部云平台系统 • 2013 年 5 月,国内某大 行使用银 SequoiaDB 行 款系开发 业贷 统 • 2013 年 5 月,与 IBM 正式 成合作 伴 系,达 伙 关 捆绑 IBM 大数 据解决方案,参与省 信公司大数据方案级电 评测 • 2013 年 7 月,与当地政府合作,成 政府云平台数据为 库 • 2013 年 7 月,与 Cloudera 正式 成合作 伴 系达 伙 关 • 2013 年 9 月, SequoiaDB 推出 1.5 版本
  • 5. 2 核心技术团队 • IBM DB2 北美实验室全球最高顾问小组成员之一(全球仅 15 人) • IBM DB2 资深研发成员,负责编写 DB2 内核代码 • IBM 北美实验室大数据平台架构师,负责设计 IBM 下一代数 据平台架构
  • 6. 提纲 系型数据 的缺点和局限性传统关 库 企业级 NoSQL 与其他 NoSQL 的区别 SequoiaDB 相 于 数据 的对 传统 库 优势 公司 介简 Hadoop 与 SequoiaDB 的 密整合紧
  • 7. 数据库平台新的趋势:传统关系型数据库不能 满足这一趋势 大数据 关系连接 人际关系 高并发 灵活数据类型 数据云
  • 8. 数据量成几何数级增加
  • 9. 仅支持垂直扩张,成本昂贵仅支持垂直扩张,成本昂贵 单节点最大吞吐量为瓶颈单节点最大吞吐量为瓶颈 关系型数据模型僵化关系型数据模型僵化 单节点架构无法支持 海量数据的扩张 单节点架构无法支持 海量数据的扩张 关系型数据库的局限性 海量数据瓶颈海量数据瓶颈 数据模型僵化数据模型僵化 性能瓶颈性能瓶颈 高成本高成本
  • 10. 性能瓶颈:关系型数据库仅支持垂直扩张
  • 11. 关系数据库模型复杂
  • 12. 提纲 SequoiaDB 相 于 数据 的对 传统 库 优势 企业级 NoSQL 与 源开 NoSQL 的区别 系型数据 的缺点和局限性传统关 库 公司 介简 Hadoop 与 SequoiaDB 的 密整合紧
  • 13. 企业级 24x7 技术支持 面向企业级定制功能 企业级 24x7 技术支持 面向企业级定制功能 分布式存储与高并发 访问带来性能的飞跃 分布式存储与高并发 访问带来性能的飞跃 Schemaless 带来开发的敏捷Schemaless 带来开发的敏捷 分布式架构 + 非结构化存储 = 水平扩张 分布式架构 + 非结构化存储 = 水平扩张 SequoiaDB 巨杉分布式数据库特点 海量数据海量数据 敏捷开发敏捷开发 高性能高性能 企业级 NoSql企业级 NoSql
  • 14. 20122012 RDBMSRDBMS NoSQLNoSQL OLAP/BIOLAP/BI HadoopHadoop 20002000 RDBMSRDBMS OLAP/BIOLAP/BI 19901990 RDBMSRDBMS Operational Data Datawarehouse 数据库的发展
  • 15. 应用程序应用程序 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 App ServerApp Server 协调节点协调节点 协调节点协调节点 协调节点协调节点 编目节点编目节点 协调节点:与应用程序直接通讯,向数据节点请求数 据并转发给应用程序 编目节点:存储分布式数据库的元数据信息,一般来 说推荐部署在至少三台逻辑节点中 数据节点:存储分布式数据库的用户数据。多台数据 节点组成一个复制组,在复制组中数据冗余多份。一 般一个复制组推荐至少包含三个数据节点 巨杉分布式数据库架构 编目节点编目节点 编目节点编目节点
  • 16. 应用程序应用程序 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 App ServerApp Server App ServerApp Server App ServerApp Server 协调节点协调节点 协调节点协调节点 协调节点协调节点 编目节点编目节点 巨杉分布式数据库架构 编目节点编目节点 编目节点编目节点 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 通过动态 增加复制 组 数量 达到水平 扩张的目 的
  • 17. 主数据节 点 主数据节 点 从数据节 点 从数据节 点 从数据节 点 从数据节 点 应用 程序 应用 程序 只读 读、写操作 只读 异步日志复制 HA 高可用性 复制组中的冗余机制提供了 1 )高可用性,实现数据的永远在 线 2 )读写分离,保障数据在高负荷 下的响应速度
  • 18. 主数据节 点 主数据节 点 从数据节 点 从数据节 点 从数据节 点 从数据节 点 应用 程序 应用 程序 只读 只读 异步日志复制 HA 高可用性
  • 19. 主数据节 点 主数据节 点 主数据节 点 主数据节 点 从数据节 点 从数据节 点 应用 程序 应用 程序 自动选主 HA 高可用性 主节点掉电后,从节点之间会自动 选举出新的主节点
  • 20. 节点恢复节点恢复 主数据节 点 主数据节 点 从数据节 点 从数据节 点 应用 程序 应用 程序 读、写操作 只读 异步日志复制 HA 高可用性 节点恢复同步
  • 21. Schemaless=Agile 大幅减少开发周期和维护难度。 复杂的关系模型 直观的嵌套模型
  • 22. 提纲 企业级 NoSQL 与其他 NoSQL 的区别 SequoiaDB 相 于 数据 的对 传统 库 优势 系型数据 的缺点和局限性传统关 库 公司 介简 Hadoop 与 SequoiaDB 的 密整合紧
  • 23. 企业级 NoSQL 与 源开 NoSQL 的区别 • SequoiaDB 定位 企为 业级 NoSQL ,目 客 群 大中型企标 户 为传统 业 ,及中小型互 网企 。联 业 • 行 有 多企 需求并没有在已有的文档型传统 业 许 业级 NoSQL 品中得产 到很好的 足,例如事物,满 SQL 支持,和 Hadoop 系 的整合等等统 • 我国人口 多,很多 用 生的海量数据是欧美其他国家所无法比众 应 产 拟 的, 于 理海量数据的这对 处 NoSQL 数据 会 生不少定制化的需求库 产 , 于大多基于北美的对 NoSQL 品 是无法兼 的, 源数据 引产 这 顾 开 库 擎的定制化改 不 需要 强的研 力,同 也只有原来引擎的动 仅仅 较 发实 时 研 才能完全 。 是 什么发团队 驾驭 这 为 SequoiaDB 未使用任何 源数开 据 引擎和代 的原因之一。库 码 http://sequoiadb.com/article_3.html
  • 24. 我 提供了 多独特的企 功能们 许 业级 SequoiaDB MongoDB HBase RDBMS ( Ora cle,DB2) 事务 有 无 无 有 SQL 语法 有 无 无 有 分布式 有 有 有 无 性能 高 中 高 低 多索引 有 有 无 有 数据压缩 有 无 有 有 增删改查 有 有 无更新 有 数据索引分离 有 无 无 有 数据模型 JSON 对象 JSON 对象 K/V 关系结构 • 活的数据类型灵 • 化的数据模型简 设计 • 易于 人 使用开发 员 • 支持 SQL 与事 功能,务 • 近企 用 的需要贴 业级 户
  • 25. SequoiaDB = 企业级 NoSql SequoiaDB MongoDB HBase CouchDB 企业级功能 丰富 中等 少 少 企业级软件 debug, trace 完善 完善 无 无 与 Hadoop 的 集成 高 低 高 低 数据访问性能 高 中 中 低 企业级高可用 好 较好 一般 一般 面向用户 企业 + 互联网 互联网 + 企业 互联网 + 企业 互联网 技术支持 24x7 企业技 术支持 社区 社区 社区 企业级管理工 具 完整 少 少 少 处理业务类型 在线应用 + 分 析 在线应用 分析 在线应用 开发语言 C++ C++ JAVA Erlang
  • 26. 提纲 Hadoop 与 SequoiaDB 的 密整合紧 SequoiaDB 相 于 数据 的对 传统 库 优势 系型数据 的缺点和局限性传统关 库 公司 介简 企业级 NoSQL 与其他 NoSQL 的区别
  • 27. SequoiaDB = 大数据分析 + 在线应用的结合 hadoop (hbase) 只能做离线批处理分析 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点
  • 28. Hadoop + SequoiaDB = 实时分析 + 批处理分析 HDFS 分布式存储引擎 HDFS 分布式存储引擎 Hive 查询引擎 Hive 查询引擎 MapReduce 分布式计算框架 MapReduce 分布式计算框架 SequoiaDBSequoiaDB Pig 执行引擎 Pig 执行引擎 SequoiaDB SQL 执行引擎SequoiaDB SQL 执行引擎
  • 29. Hadoop (Hbase ) = 仅批处理分析 HDFS 分布式存储引擎 HDFS 分布式存储引擎 Hive 查询引擎 Hive 查询引擎 MapReduce 分布式计算框架 MapReduce 分布式计算框架 HBaseHBase Pig 执行引擎 Pig 执行引擎
  • 30. SequoiaDB 与 HBase 的功能 比对 SequoiaDB HBase 与第三方 BI 工具整合 强 弱 事务 有 无 SQL 支持 有 无 多索引 有 无 数据装载工具 有 无 综合性能 高 低 接口 JDBC + API API
  • 31. 技 合作 伴术 伙
  • 32. 提问