SlideShare a Scribd company logo
1 of 16
Download to read offline
MySQL Cluster
    -基础


      简朝阳
    2010.06.24
个人简介
简朝阳 (sky000)
MySQL / Oracle DBA


http://isky000.com
http://twitter.com/sky000
mysqler@googlegroups.com
主题

●   架构介绍
●   关键概念
●   基础特性
●   Q&A
架构预览 -   架构图
架构预览 - SQL Node

    mysqld 进程
    一个完整的 MySQL Server 程序,同时可以使用其他存储引擎

    互相无通信
    与 Manage Node 通信
    汇报自身状态信息,取得各节点状态信息以及 Data Node 的连接信
    息
    与 data Node 通信
    与数据节点进行交互进行数据存取操作
架构预览 - Data Node

    ndbd 进程
    ndbcluster 存储引擎进程,管理节点上所有数据和日志

    互相有通信
    各存储引擎节点之间数据同步,根据管理节点指令进行 HA 维护

    与 Manage Node 通信
    汇报自身状态信息,取得各节点状态信息以及 SQL Node 的连接信息

    与 SQL Node 通信
    与 SQL 节点进行交互,接受数据存取操作指令
架构预览 - Manage Node

    mgmd 进程
    负责整个集群(包括 SQL Node 和 Data Node )的基础协调工作,维护集群
    配置信息,维护管理集群日志,管理指令分发
    一般单节点,可以集群化
    可以在多个物理主机上部署管理程序,但必须保证所有管理节点配置完全一致

    与 Data Node 通信
    息负调度,管理各个 Data Node ,进行配置分发,获取状态信息

    与 SQL Node 通信
    对各个 SQL Node 维护状态信息,进行配置分发
关键概念
    Node
    一个 ndbd 线程,一个 mysqld 线程,一个 mgmd 线程,就是一个 Node

    Node Group
    数据互为冗余的一组 Node

    Partition
    数据按照某个 Key 被进行水平拆分成多份后的一份,拆分规则可以由 MySQL Cluster 自行完成,也可以通过手工
    指定。每个 Partition 数据仅仅只会存放在一个 Node 上(冗余备份除外)

    Replica
    数据被水平拆分成多份后,在冗余机制的保证下,每份数据会有冗余,成为多份,互为冗余的每份被称为 Replica

    CheckPoint
    LCP (local checkpoint): 仅仅只保证单个 Node 上的数据被 flush 到磁盘,各个节点之间并发进行
    GCP (global checkpoint): 保证整个集群所有节点的数据被 flush 到磁盘,一般是事务在所有节点都完成等,且每个
     节点的 redo 都已经 flush 到磁盘之后发生
关键概念 -   图示
功能特性
    In Memory
    所有的 Index 全部在内存中, MySQL 5.1 以前的 Cluster 所有的 Data 都在内存中,之后的未被索引的字段可
    以不在内存中,但是索引了的字段也需要在内存中

    SQL 与 存储引擎分离
    mysqld 和存储引擎可以在不同的物理主机上,可以根据二者对硬件要求的差异定制硬件,如 mysqld 主要消耗
     CPU ,而 ndbcluster 主要消耗 IO

     高可用
    由于数据在同一个 Node Group 中的多个 Node 上会有冗余拷贝,所以单个节点失效后,对系统不会有任何影
    响,而且是完全透明,就如同磁盘 raid 一样,数据拷贝的数量,也可以灵活设定

     可扩展
    SQL Node 可以通过增加 Node 让处理能力呈线性增长, Data Node 也可以达到相同的效果

     在线热备
    NDB Cluster 存储引擎模前支持在线热备份,可以方便的进行在线备份操作
功能特性 -   高可用
功能特性 -   高可用
功能特性 -   高可用
功能特性 -   高可用
功能特性 -   高可用
The End



         Q&A

   http://iSky000.com
mysqler@googlegroups.com

More Related Content

What's hot

云计算环境中Ssd在cassandra测试的性能表现
云计算环境中Ssd在cassandra测试的性能表现 云计算环境中Ssd在cassandra测试的性能表现
云计算环境中Ssd在cassandra测试的性能表现 july19850903
 
Shadow_Hunter Rootkit windows7 xcon2011 Scott
Shadow_Hunter Rootkit windows7 xcon2011 Scott Shadow_Hunter Rootkit windows7 xcon2011 Scott
Shadow_Hunter Rootkit windows7 xcon2011 Scott Sc0tt
 
Rethink db&tokudb调研测试报告
Rethink db&tokudb调研测试报告Rethink db&tokudb调研测试报告
Rethink db&tokudb调研测试报告Feng Yu
 
Rethinkdb and tokudb research
Rethinkdb and tokudb research Rethinkdb and tokudb research
Rethinkdb and tokudb research mysqlops
 
Rethink db&tokudb调研测试报告
Rethink db&tokudb调研测试报告Rethink db&tokudb调研测试报告
Rethink db&tokudb调研测试报告iammutex
 
MongoDB介绍
MongoDB介绍MongoDB介绍
MongoDB介绍popeast
 
nodejs在微博前端开发中的应用
nodejs在微博前端开发中的应用nodejs在微博前端开发中的应用
nodejs在微博前端开发中的应用dong yuwei
 
Redis 常见使用模式分析
Redis 常见使用模式分析Redis 常见使用模式分析
Redis 常见使用模式分析vincent253
 
Windows 10 install mysql 8.0.16
Windows 10 install mysql 8.0.16Windows 10 install mysql 8.0.16
Windows 10 install mysql 8.0.16songwenxuan2020
 
[译]No sql生态系统
[译]No sql生态系统[译]No sql生态系统
[译]No sql生态系统iammutex
 

What's hot (11)

云计算环境中Ssd在cassandra测试的性能表现
云计算环境中Ssd在cassandra测试的性能表现 云计算环境中Ssd在cassandra测试的性能表现
云计算环境中Ssd在cassandra测试的性能表现
 
Shadow_Hunter Rootkit windows7 xcon2011 Scott
Shadow_Hunter Rootkit windows7 xcon2011 Scott Shadow_Hunter Rootkit windows7 xcon2011 Scott
Shadow_Hunter Rootkit windows7 xcon2011 Scott
 
Rethink db&tokudb调研测试报告
Rethink db&tokudb调研测试报告Rethink db&tokudb调研测试报告
Rethink db&tokudb调研测试报告
 
Rethinkdb and tokudb research
Rethinkdb and tokudb research Rethinkdb and tokudb research
Rethinkdb and tokudb research
 
Rethink db&tokudb调研测试报告
Rethink db&tokudb调研测试报告Rethink db&tokudb调研测试报告
Rethink db&tokudb调研测试报告
 
MongoDB介绍
MongoDB介绍MongoDB介绍
MongoDB介绍
 
MySQL-Proxy
MySQL-ProxyMySQL-Proxy
MySQL-Proxy
 
nodejs在微博前端开发中的应用
nodejs在微博前端开发中的应用nodejs在微博前端开发中的应用
nodejs在微博前端开发中的应用
 
Redis 常见使用模式分析
Redis 常见使用模式分析Redis 常见使用模式分析
Redis 常见使用模式分析
 
Windows 10 install mysql 8.0.16
Windows 10 install mysql 8.0.16Windows 10 install mysql 8.0.16
Windows 10 install mysql 8.0.16
 
[译]No sql生态系统
[译]No sql生态系统[译]No sql生态系统
[译]No sql生态系统
 

Similar to My sql cluster 基础

百度分布式数据实践与进展
百度分布式数据实践与进展百度分布式数据实践与进展
百度分布式数据实践与进展yp_fangdong
 
MySQL 6.0 下的cluster + replicate - 20080220
MySQL 6.0 下的cluster + replicate - 20080220MySQL 6.0 下的cluster + replicate - 20080220
MySQL 6.0 下的cluster + replicate - 20080220Jinrong Ye
 
王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计YANGL *
 
NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析iammutex
 
Heartbeat+my sql+drbd构建高可用mysql方案
Heartbeat+my sql+drbd构建高可用mysql方案Heartbeat+my sql+drbd构建高可用mysql方案
Heartbeat+my sql+drbd构建高可用mysql方案cao jincheng
 
8 集群
8 集群8 集群
8 集群hik_lhz
 
Taobao数据库这5年
Taobao数据库这5年Taobao数据库这5年
Taobao数据库这5年yp_fangdong
 
淘宝Java中间件之路 it168
淘宝Java中间件之路 it168淘宝Java中间件之路 it168
淘宝Java中间件之路 it168vanadies10
 
2011 06-12-lamp-mysql-顾春江
2011 06-12-lamp-mysql-顾春江2011 06-12-lamp-mysql-顾春江
2011 06-12-lamp-mysql-顾春江thinkinlamp
 
2011 06-12-lamp-mysql
2011 06-12-lamp-mysql2011 06-12-lamp-mysql
2011 06-12-lamp-mysqlpwesh
 
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境dbabc
 
SQL Server 2000 高可用性群集构建
SQL Server 2000 高可用性群集构建SQL Server 2000 高可用性群集构建
SQL Server 2000 高可用性群集构建bigqiang zou
 
浅谈伪分布式数据库架构
浅谈伪分布式数据库架构浅谈伪分布式数据库架构
浅谈伪分布式数据库架构mysqlops
 
深入学习Mongo db
深入学习Mongo db深入学习Mongo db
深入学习Mongo dbLucien Li
 
新时代的分析型云数据库 Greenplum
新时代的分析型云数据库 Greenplum新时代的分析型云数据库 Greenplum
新时代的分析型云数据库 Greenplum锐 张
 
Mongo db 簡介
Mongo db 簡介Mongo db 簡介
Mongo db 簡介昱劭 劉
 
分布式存储与TDDL
分布式存储与TDDL分布式存储与TDDL
分布式存储与TDDLmysqlops
 

Similar to My sql cluster 基础 (20)

百度分布式数据实践与进展
百度分布式数据实践与进展百度分布式数据实践与进展
百度分布式数据实践与进展
 
Mysql集群
Mysql集群Mysql集群
Mysql集群
 
MySQL 6.0 下的cluster + replicate - 20080220
MySQL 6.0 下的cluster + replicate - 20080220MySQL 6.0 下的cluster + replicate - 20080220
MySQL 6.0 下的cluster + replicate - 20080220
 
王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计
 
NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析
 
Heartbeat+my sql+drbd构建高可用mysql方案
Heartbeat+my sql+drbd构建高可用mysql方案Heartbeat+my sql+drbd构建高可用mysql方案
Heartbeat+my sql+drbd构建高可用mysql方案
 
8 集群
8 集群8 集群
8 集群
 
Taobao数据库这5年
Taobao数据库这5年Taobao数据库这5年
Taobao数据库这5年
 
淘宝Java中间件之路 it168
淘宝Java中间件之路 it168淘宝Java中间件之路 it168
淘宝Java中间件之路 it168
 
2011 06-12-lamp-mysql-顾春江
2011 06-12-lamp-mysql-顾春江2011 06-12-lamp-mysql-顾春江
2011 06-12-lamp-mysql-顾春江
 
2011 06-12-lamp-mysql
2011 06-12-lamp-mysql2011 06-12-lamp-mysql
2011 06-12-lamp-mysql
 
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
Dbabc.net 利用heartbeat + drbd搭建my sql高可用环境
 
Mongo db 特性
Mongo db 特性Mongo db 特性
Mongo db 特性
 
SQL Server 2000 高可用性群集构建
SQL Server 2000 高可用性群集构建SQL Server 2000 高可用性群集构建
SQL Server 2000 高可用性群集构建
 
Why use MySQL
Why use MySQLWhy use MySQL
Why use MySQL
 
浅谈伪分布式数据库架构
浅谈伪分布式数据库架构浅谈伪分布式数据库架构
浅谈伪分布式数据库架构
 
深入学习Mongo db
深入学习Mongo db深入学习Mongo db
深入学习Mongo db
 
新时代的分析型云数据库 Greenplum
新时代的分析型云数据库 Greenplum新时代的分析型云数据库 Greenplum
新时代的分析型云数据库 Greenplum
 
Mongo db 簡介
Mongo db 簡介Mongo db 簡介
Mongo db 簡介
 
分布式存储与TDDL
分布式存储与TDDL分布式存储与TDDL
分布式存储与TDDL
 

More from Sky Jian

Oracle my sql-or-nosql
Oracle my sql-or-nosqlOracle my sql-or-nosql
Oracle my sql-or-nosqlSky Jian
 
MySQL Tuning For CPU Bottleneck
MySQL Tuning For CPU BottleneckMySQL Tuning For CPU Bottleneck
MySQL Tuning For CPU BottleneckSky Jian
 
MySQL性能调优最佳实践
MySQL性能调优最佳实践MySQL性能调优最佳实践
MySQL性能调优最佳实践Sky Jian
 
浅谈 MySQL 性能调优
浅谈 MySQL 性能调优浅谈 MySQL 性能调优
浅谈 MySQL 性能调优Sky Jian
 
浅谈数据库优化
浅谈数据库优化浅谈数据库优化
浅谈数据库优化Sky Jian
 
基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展Sky Jian
 
基于 MySQL 的B2C电商系统前端数据层架构
基于 MySQL 的B2C电商系统前端数据层架构基于 MySQL 的B2C电商系统前端数据层架构
基于 MySQL 的B2C电商系统前端数据层架构Sky Jian
 
高可用可扩展数据层 - MySQL架构实践
高可用可扩展数据层 - MySQL架构实践高可用可扩展数据层 - MySQL架构实践
高可用可扩展数据层 - MySQL架构实践Sky Jian
 
MySQL Explain
MySQL Explain MySQL Explain
MySQL Explain Sky Jian
 
高可用可扩展数据库架构方案探讨
高可用可扩展数据库架构方案探讨高可用可扩展数据库架构方案探讨
高可用可扩展数据库架构方案探讨Sky Jian
 
Life Of A Dirty Page Inno Db Disk Io
Life Of A Dirty Page Inno Db Disk IoLife Of A Dirty Page Inno Db Disk Io
Life Of A Dirty Page Inno Db Disk IoSky Jian
 
My Sql Performance In A Cloud
My Sql Performance In A CloudMy Sql Performance In A Cloud
My Sql Performance In A CloudSky Jian
 
Oracle Data Buffer Cache
Oracle Data Buffer CacheOracle Data Buffer Cache
Oracle Data Buffer CacheSky Jian
 

More from Sky Jian (13)

Oracle my sql-or-nosql
Oracle my sql-or-nosqlOracle my sql-or-nosql
Oracle my sql-or-nosql
 
MySQL Tuning For CPU Bottleneck
MySQL Tuning For CPU BottleneckMySQL Tuning For CPU Bottleneck
MySQL Tuning For CPU Bottleneck
 
MySQL性能调优最佳实践
MySQL性能调优最佳实践MySQL性能调优最佳实践
MySQL性能调优最佳实践
 
浅谈 MySQL 性能调优
浅谈 MySQL 性能调优浅谈 MySQL 性能调优
浅谈 MySQL 性能调优
 
浅谈数据库优化
浅谈数据库优化浅谈数据库优化
浅谈数据库优化
 
基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展
 
基于 MySQL 的B2C电商系统前端数据层架构
基于 MySQL 的B2C电商系统前端数据层架构基于 MySQL 的B2C电商系统前端数据层架构
基于 MySQL 的B2C电商系统前端数据层架构
 
高可用可扩展数据层 - MySQL架构实践
高可用可扩展数据层 - MySQL架构实践高可用可扩展数据层 - MySQL架构实践
高可用可扩展数据层 - MySQL架构实践
 
MySQL Explain
MySQL Explain MySQL Explain
MySQL Explain
 
高可用可扩展数据库架构方案探讨
高可用可扩展数据库架构方案探讨高可用可扩展数据库架构方案探讨
高可用可扩展数据库架构方案探讨
 
Life Of A Dirty Page Inno Db Disk Io
Life Of A Dirty Page Inno Db Disk IoLife Of A Dirty Page Inno Db Disk Io
Life Of A Dirty Page Inno Db Disk Io
 
My Sql Performance In A Cloud
My Sql Performance In A CloudMy Sql Performance In A Cloud
My Sql Performance In A Cloud
 
Oracle Data Buffer Cache
Oracle Data Buffer CacheOracle Data Buffer Cache
Oracle Data Buffer Cache
 

My sql cluster 基础

  • 1. MySQL Cluster -基础 简朝阳 2010.06.24
  • 2. 个人简介 简朝阳 (sky000) MySQL / Oracle DBA http://isky000.com http://twitter.com/sky000 mysqler@googlegroups.com
  • 3. 主题 ● 架构介绍 ● 关键概念 ● 基础特性 ● Q&A
  • 4. 架构预览 - 架构图
  • 5. 架构预览 - SQL Node  mysqld 进程 一个完整的 MySQL Server 程序,同时可以使用其他存储引擎  互相无通信  与 Manage Node 通信 汇报自身状态信息,取得各节点状态信息以及 Data Node 的连接信 息  与 data Node 通信 与数据节点进行交互进行数据存取操作
  • 6. 架构预览 - Data Node  ndbd 进程 ndbcluster 存储引擎进程,管理节点上所有数据和日志  互相有通信 各存储引擎节点之间数据同步,根据管理节点指令进行 HA 维护  与 Manage Node 通信 汇报自身状态信息,取得各节点状态信息以及 SQL Node 的连接信息  与 SQL Node 通信 与 SQL 节点进行交互,接受数据存取操作指令
  • 7. 架构预览 - Manage Node  mgmd 进程 负责整个集群(包括 SQL Node 和 Data Node )的基础协调工作,维护集群 配置信息,维护管理集群日志,管理指令分发  一般单节点,可以集群化 可以在多个物理主机上部署管理程序,但必须保证所有管理节点配置完全一致  与 Data Node 通信 息负调度,管理各个 Data Node ,进行配置分发,获取状态信息  与 SQL Node 通信 对各个 SQL Node 维护状态信息,进行配置分发
  • 8. 关键概念  Node 一个 ndbd 线程,一个 mysqld 线程,一个 mgmd 线程,就是一个 Node  Node Group 数据互为冗余的一组 Node  Partition 数据按照某个 Key 被进行水平拆分成多份后的一份,拆分规则可以由 MySQL Cluster 自行完成,也可以通过手工 指定。每个 Partition 数据仅仅只会存放在一个 Node 上(冗余备份除外)  Replica 数据被水平拆分成多份后,在冗余机制的保证下,每份数据会有冗余,成为多份,互为冗余的每份被称为 Replica  CheckPoint LCP (local checkpoint): 仅仅只保证单个 Node 上的数据被 flush 到磁盘,各个节点之间并发进行 GCP (global checkpoint): 保证整个集群所有节点的数据被 flush 到磁盘,一般是事务在所有节点都完成等,且每个 节点的 redo 都已经 flush 到磁盘之后发生
  • 9. 关键概念 - 图示
  • 10. 功能特性  In Memory 所有的 Index 全部在内存中, MySQL 5.1 以前的 Cluster 所有的 Data 都在内存中,之后的未被索引的字段可 以不在内存中,但是索引了的字段也需要在内存中  SQL 与 存储引擎分离 mysqld 和存储引擎可以在不同的物理主机上,可以根据二者对硬件要求的差异定制硬件,如 mysqld 主要消耗 CPU ,而 ndbcluster 主要消耗 IO  高可用 由于数据在同一个 Node Group 中的多个 Node 上会有冗余拷贝,所以单个节点失效后,对系统不会有任何影 响,而且是完全透明,就如同磁盘 raid 一样,数据拷贝的数量,也可以灵活设定  可扩展 SQL Node 可以通过增加 Node 让处理能力呈线性增长, Data Node 也可以达到相同的效果  在线热备 NDB Cluster 存储引擎模前支持在线热备份,可以方便的进行在线备份操作
  • 11. 功能特性 - 高可用
  • 12. 功能特性 - 高可用
  • 13. 功能特性 - 高可用
  • 14. 功能特性 - 高可用
  • 15. 功能特性 - 高可用
  • 16. The End Q&A http://iSky000.com mysqler@googlegroups.com