SequoiaDB - 企业级 NoSQL
技 介术简
2013/09/01
提纲
公司 介简
企业级 NoSQL 与其他 NoSQL 的区别
系型数据 的缺点和局限性传统关 库
SequoiaDB 相 于 数据 的对 传统 库 优势
Hadoop 与 SequoiaDB 的 密整合紧
公司 介:企简 业级 NoSQL
• 核心 件 品:新型软 产 NOSQL 分布式大数据库 ( 未使用任何开
源数据 引擎和代库 码 ) , 由前 IBM DB2 深研 成 在北美完资 发 员
成原型 和内核 。设计 开发
• SequoiaD...
公司里程碑:
• 2011 年 3 月,在北美完成 SequoiaDB 原型 及其内核设计 开发
• 2012 年 8 月,公司及广州研 中心正式成立发
• 2013 年 4 月, SequoiaDB 1.0 版正式推出
• 2013 年 4 ...
2
核心技术团队
• IBM DB2 北美实验室全球最高顾问小组成员之一(全球仅 15
人)
• IBM DB2 资深研发成员,负责编写 DB2 内核代码
• IBM 北美实验室大数据平台架构师,负责设计 IBM 下一代数
据平台架构
提纲
系型数据 的缺点和局限性传统关 库
企业级 NoSQL 与其他 NoSQL 的区别
SequoiaDB 相 于 数据 的对 传统 库 优势
公司 介简
Hadoop 与 SequoiaDB 的 密整合紧
数据库平台新的趋势:传统关系型数据库不能
满足这一趋势
大数据 关系连接 人际关系
高并发 灵活数据类型 数据云
数据量成几何数级增加
仅支持垂直扩张,成本昂贵仅支持垂直扩张,成本昂贵
单节点最大吞吐量为瓶颈单节点最大吞吐量为瓶颈
关系型数据模型僵化关系型数据模型僵化
单节点架构无法支持
海量数据的扩张
单节点架构无法支持
海量数据的扩张
关系型数据库的局限性
海量数据瓶颈海量...
性能瓶颈:关系型数据库仅支持垂直扩张
关系数据库模型复杂
提纲
SequoiaDB 相 于 数据 的对 传统 库 优势
企业级 NoSQL 与 源开 NoSQL 的区别
系型数据 的缺点和局限性传统关 库
公司 介简
Hadoop 与 SequoiaDB 的 密整合紧
企业级 24x7 技术支持
面向企业级定制功能
企业级 24x7 技术支持
面向企业级定制功能
分布式存储与高并发
访问带来性能的飞跃
分布式存储与高并发
访问带来性能的飞跃
Schemaless 带来开发的敏捷Schemaless 带来开发的...
20122012
RDBMSRDBMS
NoSQLNoSQL
OLAP/BIOLAP/BI
HadoopHadoop
20002000
RDBMSRDBMS
OLAP/BIOLAP/BI
19901990
RDBMSRDBMS
Operatio...
应用程序应用程序
从数据节点从数据节点
主数据节点主数据节点
从数据节点从数据节点
App ServerApp Server
协调节点协调节点 协调节点协调节点 协调节点协调节点
编目节点编目节点
协调节点:与应用程序直接通讯,向数据节点请求数...
应用程序应用程序
从数据节点从数据节点
主数据节点主数据节点
从数据节点从数据节点
App ServerApp Server App ServerApp Server App ServerApp Server
协调节点协调节点 协调节点协调节点...
主数据节
点
主数据节
点
从数据节
点
从数据节
点
从数据节
点
从数据节
点
应用
程序
应用
程序
只读
读、写操作
只读
异步日志复制
HA 高可用性 复制组中的冗余机制提供了
1 )高可用性,实现数据的永远在
线
2 )读写分离,保...
主数据节
点
主数据节
点
从数据节
点
从数据节
点
从数据节
点
从数据节
点
应用
程序
应用
程序
只读
只读
异步日志复制
HA 高可用性
主数据节
点
主数据节
点
主数据节
点
主数据节
点
从数据节
点
从数据节
点
应用
程序
应用
程序
自动选主
HA 高可用性 主节点掉电后,从节点之间会自动
选举出新的主节点
节点恢复节点恢复
主数据节
点
主数据节
点
从数据节
点
从数据节
点
应用
程序
应用
程序
读、写操作
只读
异步日志复制
HA 高可用性
节点恢复同步
Schemaless=Agile
大幅减少开发周期和维护难度。
复杂的关系模型 直观的嵌套模型
提纲
企业级 NoSQL 与其他 NoSQL 的区别
SequoiaDB 相 于 数据 的对 传统 库 优势
系型数据 的缺点和局限性传统关 库
公司 介简
Hadoop 与 SequoiaDB 的 密整合紧
企业级 NoSQL 与 源开 NoSQL 的区别
• SequoiaDB 定位 企为 业级 NoSQL ,目 客 群 大中型企标 户 为传统 业
,及中小型互 网企 。联 业
• 行 有 多企 需求并没有在已有的文档型传统 业 许 业级 NoS...
我 提供了 多独特的企 功能们 许 业级
SequoiaDB MongoDB HBase RDBMS ( Ora
cle,DB2)
事务 有 无 无 有
SQL 语法 有 无 无 有
分布式 有 有 有 无
性能 高 中 高 低
多索引 有 有...
SequoiaDB = 企业级 NoSql
SequoiaDB MongoDB HBase CouchDB
企业级功能 丰富 中等 少 少
企业级软件
debug, trace
完善 完善 无 无
与 Hadoop 的
集成
高 低 高 低
数...
提纲
Hadoop 与 SequoiaDB 的 密整合紧
SequoiaDB 相 于 数据 的对 传统 库 优势
系型数据 的缺点和局限性传统关 库
公司 介简
企业级 NoSQL 与其他 NoSQL 的区别
SequoiaDB = 大数据分析 + 在线应用的结合
hadoop (hbase) 只能做离线批处理分析
从数据节点从数据节点
主数据节点主数据节点
从数据节点从数据节点
从数据节点从数据节点
主数据节点主数据节点
从数据节点从数据节点
从数...
Hadoop + SequoiaDB = 实时分析 + 批处理分析
HDFS
分布式存储引擎
HDFS
分布式存储引擎
Hive
查询引擎
Hive
查询引擎
MapReduce
分布式计算框架
MapReduce
分布式计算框架
Sequoi...
Hadoop (Hbase ) = 仅批处理分析
HDFS
分布式存储引擎
HDFS
分布式存储引擎
Hive
查询引擎
Hive
查询引擎
MapReduce
分布式计算框架
MapReduce
分布式计算框架
HBaseHBase
Pig
...
SequoiaDB 与 HBase 的功能 比对
SequoiaDB HBase
与第三方 BI 工具整合 强 弱
事务 有 无
SQL 支持 有 无
多索引 有 无
数据装载工具 有 无
综合性能 高 低
接口 JDBC + API API
技 合作 伴术 伙
提问
Upcoming SlideShare
Loading in...5
×

Sequoia db 技术概述_sacc

103
-1

Published on

巨杉数据库技术简介

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
103
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Sequoia db 技术概述_sacc

  1. 1. SequoiaDB - 企业级 NoSQL 技 介术简 2013/09/01
  2. 2. 提纲 公司 介简 企业级 NoSQL 与其他 NoSQL 的区别 系型数据 的缺点和局限性传统关 库 SequoiaDB 相 于 数据 的对 传统 库 优势 Hadoop 与 SequoiaDB 的 密整合紧
  3. 3. 公司 介:企简 业级 NoSQL • 核心 件 品:新型软 产 NOSQL 分布式大数据库 ( 未使用任何开 源数据 引擎和代库 码 ) , 由前 IBM DB2 深研 成 在北美完资 发 员 成原型 和内核 。设计 开发 • SequoiaDB V1.0 布于发 2013 年 4 月,主要向政府、 信、金电 融、 力和互 网等 有海量 数据的行 提供大数据解决电 联 拥 业务 业 方案,主要客 已包括国内知名 行、 信及互 网企 。户 银 电 联 业 • 云 算与大数据的系 集成,部署,以及提供 咨 服计 统 顾问 询 务 http://sequoiadb.com/index.html 3
  4. 4. 公司里程碑: • 2011 年 3 月,在北美完成 SequoiaDB 原型 及其内核设计 开发 • 2012 年 8 月,公司及广州研 中心正式成立发 • 2013 年 4 月, SequoiaDB 1.0 版正式推出 • 2013 年 4 月,国内某大网 生 商使用络设备 产 SequoiaDB 开发 内部云平台系统 • 2013 年 5 月,国内某大 行使用银 SequoiaDB 行 款系开发 业贷 统 • 2013 年 5 月,与 IBM 正式 成合作 伴 系,达 伙 关 捆绑 IBM 大数 据解决方案,参与省 信公司大数据方案级电 评测 • 2013 年 7 月,与当地政府合作,成 政府云平台数据为 库 • 2013 年 7 月,与 Cloudera 正式 成合作 伴 系达 伙 关 • 2013 年 9 月, SequoiaDB 推出 1.5 版本
  5. 5. 2 核心技术团队 • IBM DB2 北美实验室全球最高顾问小组成员之一(全球仅 15 人) • IBM DB2 资深研发成员,负责编写 DB2 内核代码 • IBM 北美实验室大数据平台架构师,负责设计 IBM 下一代数 据平台架构
  6. 6. 提纲 系型数据 的缺点和局限性传统关 库 企业级 NoSQL 与其他 NoSQL 的区别 SequoiaDB 相 于 数据 的对 传统 库 优势 公司 介简 Hadoop 与 SequoiaDB 的 密整合紧
  7. 7. 数据库平台新的趋势:传统关系型数据库不能 满足这一趋势 大数据 关系连接 人际关系 高并发 灵活数据类型 数据云
  8. 8. 数据量成几何数级增加
  9. 9. 仅支持垂直扩张,成本昂贵仅支持垂直扩张,成本昂贵 单节点最大吞吐量为瓶颈单节点最大吞吐量为瓶颈 关系型数据模型僵化关系型数据模型僵化 单节点架构无法支持 海量数据的扩张 单节点架构无法支持 海量数据的扩张 关系型数据库的局限性 海量数据瓶颈海量数据瓶颈 数据模型僵化数据模型僵化 性能瓶颈性能瓶颈 高成本高成本
  10. 10. 性能瓶颈:关系型数据库仅支持垂直扩张
  11. 11. 关系数据库模型复杂
  12. 12. 提纲 SequoiaDB 相 于 数据 的对 传统 库 优势 企业级 NoSQL 与 源开 NoSQL 的区别 系型数据 的缺点和局限性传统关 库 公司 介简 Hadoop 与 SequoiaDB 的 密整合紧
  13. 13. 企业级 24x7 技术支持 面向企业级定制功能 企业级 24x7 技术支持 面向企业级定制功能 分布式存储与高并发 访问带来性能的飞跃 分布式存储与高并发 访问带来性能的飞跃 Schemaless 带来开发的敏捷Schemaless 带来开发的敏捷 分布式架构 + 非结构化存储 = 水平扩张 分布式架构 + 非结构化存储 = 水平扩张 SequoiaDB 巨杉分布式数据库特点 海量数据海量数据 敏捷开发敏捷开发 高性能高性能 企业级 NoSql企业级 NoSql
  14. 14. 20122012 RDBMSRDBMS NoSQLNoSQL OLAP/BIOLAP/BI HadoopHadoop 20002000 RDBMSRDBMS OLAP/BIOLAP/BI 19901990 RDBMSRDBMS Operational Data Datawarehouse 数据库的发展
  15. 15. 应用程序应用程序 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 App ServerApp Server 协调节点协调节点 协调节点协调节点 协调节点协调节点 编目节点编目节点 协调节点:与应用程序直接通讯,向数据节点请求数 据并转发给应用程序 编目节点:存储分布式数据库的元数据信息,一般来 说推荐部署在至少三台逻辑节点中 数据节点:存储分布式数据库的用户数据。多台数据 节点组成一个复制组,在复制组中数据冗余多份。一 般一个复制组推荐至少包含三个数据节点 巨杉分布式数据库架构 编目节点编目节点 编目节点编目节点
  16. 16. 应用程序应用程序 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 App ServerApp Server App ServerApp Server App ServerApp Server 协调节点协调节点 协调节点协调节点 协调节点协调节点 编目节点编目节点 巨杉分布式数据库架构 编目节点编目节点 编目节点编目节点 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 通过动态 增加复制 组 数量 达到水平 扩张的目 的
  17. 17. 主数据节 点 主数据节 点 从数据节 点 从数据节 点 从数据节 点 从数据节 点 应用 程序 应用 程序 只读 读、写操作 只读 异步日志复制 HA 高可用性 复制组中的冗余机制提供了 1 )高可用性,实现数据的永远在 线 2 )读写分离,保障数据在高负荷 下的响应速度
  18. 18. 主数据节 点 主数据节 点 从数据节 点 从数据节 点 从数据节 点 从数据节 点 应用 程序 应用 程序 只读 只读 异步日志复制 HA 高可用性
  19. 19. 主数据节 点 主数据节 点 主数据节 点 主数据节 点 从数据节 点 从数据节 点 应用 程序 应用 程序 自动选主 HA 高可用性 主节点掉电后,从节点之间会自动 选举出新的主节点
  20. 20. 节点恢复节点恢复 主数据节 点 主数据节 点 从数据节 点 从数据节 点 应用 程序 应用 程序 读、写操作 只读 异步日志复制 HA 高可用性 节点恢复同步
  21. 21. Schemaless=Agile 大幅减少开发周期和维护难度。 复杂的关系模型 直观的嵌套模型
  22. 22. 提纲 企业级 NoSQL 与其他 NoSQL 的区别 SequoiaDB 相 于 数据 的对 传统 库 优势 系型数据 的缺点和局限性传统关 库 公司 介简 Hadoop 与 SequoiaDB 的 密整合紧
  23. 23. 企业级 NoSQL 与 源开 NoSQL 的区别 • SequoiaDB 定位 企为 业级 NoSQL ,目 客 群 大中型企标 户 为传统 业 ,及中小型互 网企 。联 业 • 行 有 多企 需求并没有在已有的文档型传统 业 许 业级 NoSQL 品中得产 到很好的 足,例如事物,满 SQL 支持,和 Hadoop 系 的整合等等统 • 我国人口 多,很多 用 生的海量数据是欧美其他国家所无法比众 应 产 拟 的, 于 理海量数据的这对 处 NoSQL 数据 会 生不少定制化的需求库 产 , 于大多基于北美的对 NoSQL 品 是无法兼 的, 源数据 引产 这 顾 开 库 擎的定制化改 不 需要 强的研 力,同 也只有原来引擎的动 仅仅 较 发实 时 研 才能完全 。 是 什么发团队 驾驭 这 为 SequoiaDB 未使用任何 源数开 据 引擎和代 的原因之一。库 码 http://sequoiadb.com/article_3.html
  24. 24. 我 提供了 多独特的企 功能们 许 业级 SequoiaDB MongoDB HBase RDBMS ( Ora cle,DB2) 事务 有 无 无 有 SQL 语法 有 无 无 有 分布式 有 有 有 无 性能 高 中 高 低 多索引 有 有 无 有 数据压缩 有 无 有 有 增删改查 有 有 无更新 有 数据索引分离 有 无 无 有 数据模型 JSON 对象 JSON 对象 K/V 关系结构 • 活的数据类型灵 • 化的数据模型简 设计 • 易于 人 使用开发 员 • 支持 SQL 与事 功能,务 • 近企 用 的需要贴 业级 户
  25. 25. SequoiaDB = 企业级 NoSql SequoiaDB MongoDB HBase CouchDB 企业级功能 丰富 中等 少 少 企业级软件 debug, trace 完善 完善 无 无 与 Hadoop 的 集成 高 低 高 低 数据访问性能 高 中 中 低 企业级高可用 好 较好 一般 一般 面向用户 企业 + 互联网 互联网 + 企业 互联网 + 企业 互联网 技术支持 24x7 企业技 术支持 社区 社区 社区 企业级管理工 具 完整 少 少 少 处理业务类型 在线应用 + 分 析 在线应用 分析 在线应用 开发语言 C++ C++ JAVA Erlang
  26. 26. 提纲 Hadoop 与 SequoiaDB 的 密整合紧 SequoiaDB 相 于 数据 的对 传统 库 优势 系型数据 的缺点和局限性传统关 库 公司 介简 企业级 NoSQL 与其他 NoSQL 的区别
  27. 27. SequoiaDB = 大数据分析 + 在线应用的结合 hadoop (hbase) 只能做离线批处理分析 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点 从数据节点从数据节点 主数据节点主数据节点 从数据节点从数据节点
  28. 28. Hadoop + SequoiaDB = 实时分析 + 批处理分析 HDFS 分布式存储引擎 HDFS 分布式存储引擎 Hive 查询引擎 Hive 查询引擎 MapReduce 分布式计算框架 MapReduce 分布式计算框架 SequoiaDBSequoiaDB Pig 执行引擎 Pig 执行引擎 SequoiaDB SQL 执行引擎SequoiaDB SQL 执行引擎
  29. 29. Hadoop (Hbase ) = 仅批处理分析 HDFS 分布式存储引擎 HDFS 分布式存储引擎 Hive 查询引擎 Hive 查询引擎 MapReduce 分布式计算框架 MapReduce 分布式计算框架 HBaseHBase Pig 执行引擎 Pig 执行引擎
  30. 30. SequoiaDB 与 HBase 的功能 比对 SequoiaDB HBase 与第三方 BI 工具整合 强 弱 事务 有 无 SQL 支持 有 无 多索引 有 无 数据装载工具 有 无 综合性能 高 低 接口 JDBC + API API
  31. 31. 技 合作 伴术 伙
  32. 32. 提问
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×