MySQL Cluster 7.4で楽しむスケールアウト @DB Tech Showcase 2015/06

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

MySQL Cluster 7.4MySQL Cluster 7.4 でで
楽しむスケールアウト楽しむスケールアウト
奥野幹也
Twitter: @nippondanji
mikiya (dot) okuno (at) gmail (dot...

免責事項
● 本プレゼンテーションにおいて示されている見
解は、私自身の見解であって、オラクル・コー
ポレーションの見解を必ずしも反映したもので
はありません。ご了承ください。

自己紹介
●
MySQL サポートエンジニア
– 日々のしごと
● トラブルシューティング全般
●
Q&A 回答
● パフォーマンスチューニング
など
●
ライフワーク
– 自由なソフトウェアの普及
● オープンソースではない
●
ブログ
– ...

MySQL Cluster
とは

MySQL の姉妹製品
並列分散型データベース
●
MySQL のストレージエンジンとして使える。
– CREATE TABLE table_name (…) ENGINE=NDB;
– トランザクション対応
●
並列分散型のデータベース
– ...

ノードの種類
● データノード
– MySQL Cluster の心臓部
– データとトランザクションを司る
– HA 機能内蔵
●
SQL ノード /API ノード
– NDB ストレージエンジンを搭載した MySQL サーバ
– NDB A...

動作イメージ
・・・管理ノード
データノード群
MGM API
SQL ノード
(mysqld)
SQL ノード
(mysqld)
アプリケーション
1
アプリケーション
2
アプリケーション
3
アプリケーション
4 ・・・
mceamche...

動作イメージその 2

動作イメージその 3
●
SBC x 7 で構成し
たデモマシン
●
BBB x 6
●
RsapberryPi x 1
●
ノード構成
– SQL x 2
– データ x 4
ポータブル
MySQL Cluster!!

現実はデモ環境とは違う
●
MySQL Cluster は大規模向けなので、実際にはデータセ
ンター内のラックに収まってるサーバー上で動いてるのが普
通です。

シェアードナッシング
＝ No SPOF!!
ノードグループ 1
データノード 1
データノード 2
フラグメント 1
プライマリ
フラグメント 3
セカンダリ
フラグメント 1
セカンダリ
フラグメント 3
プライマリ
ノードグループ 2
デ...

ノード障害に耐える
ノードグループ 1
データノード 1
データノード 2
dead dead
フラグメント 1
プライマリ
フラグメント 3
プライマリ
ノードグループ 2
データノード 3
データノード 4
フラグメント 2
プライマリ
フ...

複数障害でも異なる
ノードグループなら大丈夫
ノードグループ 1
データノード 1
データノード 2
dead dead
フラグメント 1
プライマリ
フラグメント 3
プライマリ
ノードグループ 2
データノード 3
データノード 4
dea...

ノードグループ内のノードが
全滅すると停止
ノードグループ 1
データノード 1
データノード 2
dead dead
dead dead
ノードグループ 2
データノード 3
データノード 4
フラグメント 2
プライマリ
フラグメント 4
...

MySQL Cluster の
トポロジー

ノード構成の要件
●
全ての種類のノードを含めて最大 255 ノードまで。
● データノード
– 最大 48 ノード
– HA のためにレプリカ（複製）を構成
●
通常はレプリカ数 2
●
SQL ノード
– 可用性を考えれば 2 ノード以上
...

アービトレーション（調停）
● ネットワークパーティション発生時の解決法
– ネットワークパーティションはスプリットブレインとも言う
● ネットワークの問題によって、動作可能な複数のクラス
ターに分断された状態
● アービトレーターへ最初に到達...

アービトレーターの要件
● アービトレーターになれるノード
– デフォルトでは管理ノードがアービトレーター
– SQL ノードもアービトレーターになれる
– データノードはアービトレーターになれない
● データノードと同じホストで同居不可
– ...

最小構成
●
ホストは 3 台
– （データノード＋ SQL ノード） x2
– 管理ノード x1
データノード
ホスト 1
SQL ノード
データノード
ホスト 2
SQL ノード
ホスト 3
管理ノード

準最小構成
●
データノードと SQL ノード
を同居させない構成
– CPU リソースに余裕
が増える
●
SQL ノードと管理ノードが
同居
– 管理ノードのリソース
消費は無視できる程
度
– 管理ノードの冗長化
はお好みで
データノード...

中規模構成
● 台数を増やしてデータ容量と処理能力を稼ぐ！！
– スケールアウト
データノード
ホスト 1
SQL ノード
データノード
ホスト 2
SQL ノード
ホスト 5 ホスト 6
管理ノード管理ノード
データノード
ホスト 3
デー...

大規模構成
データ
ノード
SQL ノード
管理ノード
データ
ノード
データ
ノード
データ
ノード
データ
ノード
データ
ノード
データ
ノード
データ
ノード
データ
ノード
データ
ノード
データ
ノード
データ
ノード
データ
ノー...

マシン選定時のポイント
● データノード
– CPU パワー大、メモリ大
– ノードを増やすときの判断基準
● データ容量を稼ぎたい
● 同時アクセス数を増やしたい
– ノードを増やすことで処理能力が向上
●
SQL ノード
– CPU パワー...

データノードによる最適化
●
Engine Condition Pushdown
– WHERE 句の条件をデータノードへ送信
– データノード側でデータをフィルタリング
– テーブルスキャンなどの大量のデータを扱うクエリが高速
化
●
Joi...

アプリケーションと
SQL ノードの接続方式
データ
SQL
データ
SQL
Java
アプリケーション
Connector/J
Connector/J のロードバランスを利用
データ
SQL
データ
SQL
アプリアプリ
アプリと SQL ...

MySQL Cluster
レプリケーション

レプリケーション動作イメージ
データノード群
SQL ノード
（バイナリログ生成）通常の
SQL
ノード
通常の
SQL
ノード
通常の
SQL ノード
binlog
injector
thread
バイナリログ
スレーブへ
mceamched...

レプリケーションの仕組み
●
通常の MySQL サーバーのレプリケーションとほぼ同じ
– バイナリログ生成の仕組みが異なる
– Binlog Injector Thread がデータノードから更新データ
を受信してまとめる
– フォーマットは...

遠隔地レプリケーション
●
MySQL Cluster → MySQL Cluster
● 主にディザスタリカバリの用途で利用
データデータ
データデータ
SQL SQL SQL
マスター
データデータ
データデータ
SQL SQL S...

参照系のスケールアウト
スレーブ
INNODBINNODB
スレーブ
INNODBINNODB
スレーブ
INNODBINNODB
更新
参照アプリケーション
データデータ
データデータ
SQL SQL SQL
マスター
参照
● 参照系パ...

SQL + NoSQL
=
死角無し！！

MySQL Cluster の NoSQL
●
NDB API
– MySQL Cluster のネイティブ API
– 爆速
●
ClusterJ/ClusterJPA
– Java のラッパー
– O/R マッパーっぽい使い方が可能
●
m...

NoSQL API を使うことの
メリット・デメリット
● メリット
– パフォーマンス、パフォーマンス、パフォーマンス！！！
●
NDB API>memcached>>>SQL
– 永続化可能
– SQL と同じデータにアクセスが可能
●
S...

組み合わせは自由
●
SQL
– トランザクション処理
●
NoSQL
– シンプルな参照・更新
– ハイパフォーマンス
●
InnoDB によるスケールアウト
– 複雑な参照系クエリのスケールアウト
– レポーティングやランキング等
●
遠隔...

組み合わせ利用イメージ
INNODBINNODB
INNODBINNODB
INNODBINNODB
アプリケーション群
データデータ
データデータ
SQL SQL SQL
mem
cache
mem
cache
データデータ
データデ...

NoSQL だけの製品と
比べた場合のメリット
● データの不整合を起こさないための仕組みがある
– リレーショナルモデル
– トランザクション
– アプリケーションがクラッシュしたときの対処が容易
– データの不整合が起きにくい
●
MySQ...

MySQL Cluster 7.4
登場！！

新機能ダイジェスト
●
SQL ノードは MySQL 5.6 ベース
– 7.3 と同じ
● パフォーマンスの大幅な向上
● レプリケーションにおける競合検出の強化
● フラグメントの監視
● データノード再起動の高速化と進捗のモ
ニタリング

パフォーマンスの大幅な向上
●
Sysbench RO … +50%
●
Sysbench RW … +40%
●
DBT2 … 2.5M QPS
●
NDB API … 200M QPS
http://dev.mysql.com/tech-...

レプリケーションにおける
競合検出の強化
● 競合検出時に採取する情報が拡充
– 以前のバージョン：主キーの値のみ
– 7.4 ：任意のカラムのデータ
● 新しい競合検出方式が追加
– マスター・マスター構成において、プライマリのロールを指
定...

フラグメントごとの監視
● メモリ使用量
– どのテーブルあるいはフラグメントがメモリをたくさん消費
しているか
– ndbinfo.memory_per_fragment
●
オペレーション
– どのテーブルあるいはフラグメントにアクセスが集...

データノード再起動高速化
●
7.3 と比べて 5 倍高速！！
– メモリ初期化処理の並列化
– LCP の並列度向上
●
再起動の進捗を取得
– ndbinfo.restart_info
– ノードを再起動すると、現在のステータスと、それぞれ...

まとめ
●
MySQL Cluster の特徴
– シェアードナッシングアーキテクチャー
– 高可用性
– スケールアウト
– SQL + NoSQL
●
7.3 から 7.4 へは正常進化
– 大きな機能追加はなし
– パフォーマンスが大きく...

宣伝：書籍紹介その 1
●
MySQL Cluster 構築・運用バイブル
– 第 1 章 MySQL Cluster のコンセプト
– 第 2 章インストール
– 第 3 章基本操作
– 第 4 章 MySQL Cluster を用いた開...

宣伝：書籍紹介その 2
●
理論から学ぶデータベース実践入門
– どうやってリレーショナルデータベースを使いこなすか！
● リレーショナルモデル基礎編
– SQL とリレーショナルモデル
– 述語論理とリレーショナルモデル
– 正規化 1: ...

Q&Aご静聴ありがとうございました。

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

「今そこにある危機」を捉える～ pg_stat_statements... by Uptime Technologi... 5648 views
HoloLensで作る言霊発射装置 by Masaki Yamamoto 28362 views
What's New in MySQL 5.7 Optimizer @... by Mikiya Okuno 17306 views
データモデルについて知っておくべき7つのこと〜NoSQLに手を出す前に〜 by Mikiya Okuno 131049 views

View on Slideshare

1 of 46 Ad

View on Slideshare

1 of 46 Ad