2015/06/26 JPUG/MyNA合同勉強会

1. Handlerさんコンニチワ
主にInnoDB memcached PluginとNDB memcached Engineの違
いについて
2015/06/26
yoku0825
MyNA・JPUG合同DB勉強会

2. MySQLはこんな
こともできるん
だ、と思ったら
1/59

3. さすが変態
(c)tmtms
元ネタ
2/59

4. 褒め⾔葉です
（たぶん）
3/59

5. ＼こんにちは／
yoku0825＠とある企業のDBA
オラクれない-
ポスグれない-
マイエスキューエる-
家に帰ると
妻の夫-
せがれの⽗-
ムスメの⽗-
Twitter: @yoku0825
Blog: ⽇々の覚書
MyNA ML: ⽇本MySQLユーザ会
4/59

6. とある企業(未承諾広告※)
5/59

7. GMOメディアでは
SQLもNoSQLも⼤
好きなエンジニア
を募集しています
6/59

8. CMおし
まい
7/59

9. MySQL
de NoSQL
8/59

10. HandlerSocket
は有名ですよね
9/59

11. MySQL de NoSQLのパターン
mysqldがMySQLプロトコル以外の何かをしゃべる1.
MySQLがNoSQLデータベースをバックエンドに持っている2.
MySQLがJSON/BLOB/TEXT型にJSONを⼊出⼒する関数を
持っている
3.
MySQLがデータ型としてJSONを持っている4.
MySQLプロトコルでSQL以外の何かを語り掛けても結果が
戻ってくる (new!!)
5.
MySQLじゃない何かがMySQLプロトコルじゃない何かをし
ゃべってMySQLじゃないところからデータを引っ張ってく
る (えっ)
6.
10/59

12. 1. mysqldがMySQLプロトコル以外の何かをしゃべる
HandlerSocket Plugin
InnoDB Memcached Plugin
memcachedプロトコルはasciiもbinaryも–
daemon̲memcached̲option=”-B ..”で渡してやればいけそう
-
MySQL HTTP Plugin
daemon pluginの類
11/59

13. 補⾜(daemon plugin)
MySQL 5.1から使える
mysqldの中にもう1つ(じゃなくてもいいけど)バックグラウ
ンド(じゃなくてもいいけど)スレッドを⽣やす
派⽣したスレッドはMySQLの動作にそれほど縛られずに
mysqldの構造体もろもろに⼿が出せる
3306以外のポートをLISTENしたり-
本当にバックグラウンド処理っぽく動いてもいい-
12/59

14. さすが
変態
13/59

15. 2. MySQLがNoSQLデータベースをバックエンドに持っ
ている
MySQL Cluster(NDBCLUSTER)
Mroonga(Groonga)
CONNECT(ODBC, CSV, JSON, XML, ..)
Cassandra, LevelDB, S3
Storage Engine Pluginの類
14/59

16. PostgreSQLにしゃべりかけるストレージエンジンもあり
ましたよ︖ :)
NoSQLじゃなくてSQLだと思うけど。
my-post-engine?: a postgres-engine for MySQL
15/59

17. さすが
変態
16/59

18. 3. MySQLがJSON/BLOB/TEXT型にJSONを⼊出⼒する
関数を持っている
MariaDBのDynamic Column
MySQL JSON UDF
FacebookMySQLのDocstore
MySQL 5.7はJSON型がどうこうというより、JSON UDFで
SQLっぽく出し⼊れ可能にして、Generated Columnでイン
デックスを張れるようにしているのが⼤きい。
17/59

19. 5. MySQLプロトコルでSQL以外の何かを語り掛けても結
果が戻ってくる
Query Rewrite Plugin (From 5.7)
HANDLERステートメント
18/59

20. さすが
変態
19/59

21. 6. MySQLじゃない何かがMySQLプロトコルじゃない何
かをしゃべってMySQLじゃないところからデータを引っ
張ってくる
daemon protocol backend
InnoDB
memcached
Plugin
mysqld memcached InnoDB
NDB memcached
Engine
memcached memcached NDB
mod̲ndb httpd http NDB
openldap slapd LDAP NDB
Native NDB API ndbmtd NDB NDB
MySQL ClusterでNoSQLって⾔ったら基本これ。
20/59

22. さすが
変態
21/59

23. MySQLの仕組み
22/59

24. MySQLの仕組み
アプリケーション
ライブラリー
–↓ここからmysqld↓–
Connector
SQL Parser
Optimizer
Executor
Handler
Storage Engine
23/59

25. 分類はテキ
トーです
24/59

26. たとえばSELECTしてみる
25/59

27. Connector
UNIX Socket, TCP SocketをLISTEN
メインスレッドが担当
mysqld̲main関数の中⾝のことを⾔っているつもり-
接続があったらclone
認証その他はcloneされたスレッドがやる-
26/59

28. Parser
MySQLプロトコルのコマンド(COM̲SHUTDOWNとか
COM̲PINGとか)も解析
COM̲QUERYならSQLとしてパース
クエリーキャッシュを叩くのはコイツ
ジェネラルログを吐くのもコイツ
27/59

29. Optimizer
1テーブルだけでもJOINクラス
統計情報は(Handlerレイヤー通さず)ストレージエンジンの
infoメソッドを直接たたいてるっぽい。
28/59

30. Executor
WHEREやORDER BYがインデックス(=ストレージエンジン
)だけで解決できなかった時はExecutorがやる(Using
where; Using filesort; Using temporary;)
ストレージエンジンだけで解決できる場合は
handler::ha̲index̲nextすればいいだけ
-
ストレージエンジンから戻された結果に対してsql/filesort.cc的なこ
とをやったりする。
-
スローログを吐くのはコイツ。
29/59

31. Handler
ストレージエンジンを抽象化するためのレイヤー
HANDLERステートメントはParserからいきなりここを叩く
Executorから透過的
30/59

32. Storage Engine
Handlerクラスを継承して作る。
handlertonってなんか 飯度拉豚(ﾊﾝﾄﾞﾗｰﾄﾝ) って感じでお
なかがすいた
Handlerレイヤーに公開するAPIさえ実装してあれば、それ
以外は⾃由。
31/59

33. Handler(とそれより上)は
APIを提供するだけで
実際にデータを格納しない-
実際にトランザクションを提供しない-
それらはストレージエンジンのレイヤーで実装されている
32/59

34. というわ
けで
33/59

35. MySQL de NoSQLのいいところ
トランザクションで保護されるかどうかとか、それはちゃん
とストレージエンジンを選べば気にしなくていい
ストレージエンジンを間違えると死ぬ
34/59

36. 再掲
35/59

37. HandlerSocket
daemon plugin
Handlerレイヤーのちょっと上あたりを叩く
もともとの設計思想は 「通信量の削減」(=非MySQLプロトコルの利⽤)と
「パーサー, オプティマイザーのCPUコストの削減」が狙いだったらしい。
-
「memcachedプロトコルしゃべるようにすればよかった」って松信さん
が嘆いていたらしい。
-
36/59

38. InnoDB Memcached Plugin
daemon plugin
InnoDB API(の、結構下の部分)を直接叩く
Handler APIでなくInnoDB APIを叩くのでInnoDB専⽤-
37/59

39. MySQL HTTP Plugin
daemon plugin
ちゃんと(?) Parserから通しているので、HandlerSocketや
InnoDB memcached PluginのようにパースのCPUコストをか
っ⾶ばすとかそういうつもりはなさそう
38/59

40. HANDLERステートメント
Optimizerを通さずに直接Handlerレイヤーを叩くための ステー
トメント
MySQL :: MySQL 5.6 Reference Manual :: 13.2.4 HANDLER Syntax-
さすが変態
39/59

41. クエリーキャッシュ
パースしてすぐに結果を返す
こうやって並べてみるとアグレッシブだなこいつ
40/59

42. NDBCLUSTER
MySQLプロトコルの上に乗ったSQLをパースして、NDB APIに
変換してくれる変換器
NDBはそれ⾃体で独⽴したトランザクション対応の分散データストア-
41/59

43. memcached NDB Engine
MySQL何の関係もない
NDB APIをしゃべれるmemcached
mod̲ndb? 知らない⼦ですね
42/59

44. Mroonga
Groongaもそれ⾃体で独⽴したデータベースサーバー
Groonga-serverはgqtp, http(nginxでラップ), memcachedプロトコル
あたりもしゃべれる
-
ラッパーモードにより更に変態度が上がる
転置索引部分はGroonga API、データ部分は他のエンジンのHandlerを使
う
-
43/59

45. CONNECTストレージエンジン
ストレージエンジンの中に更にプラガブルストレージエンジンの
層を作っちゃったみたいな
44/59

46. Cassandra, LevelDB, S3, Postgres ストレージエンジ
ン
理屈はNDBCLUSTERやCONNECTと⼀緒で、MySQLプロト
コルを他のAPIに変換する器としてのmysqld
これ系は最近かなり廃れている（と思う）
45/59

47. redisストレージエンジン
本当はredis daemon pluginも作って、「ほら、redisプロ
トコルでしゃべりかけるとredis-serverからデータを引いて
返してくれるMySQL︕︕１」とかやりたかった。
いかにも変態っぽいでしょ︖ :)-
redisプロトコルをしゃべるdaemon pluginがつらくて挫
折。
ストレージエンジンはスケルトン(Exampleストレージエンジン)があ
るので割と書きやすい。
-
yoku0825/bogus̲redis̲storage̲engine
46/59

48. partitionストレージエンジン
mysql56> show pluginsG
..
*************************** 42. row ***************************
Name: partition
Status: ACTIVE
Type: STORAGE ENGINE
Library: NULL
License: GPL
..
ha̲partitionクラスが物理的には別のテーブルであるパーテ
ィションを透過的に扱ってくれる。
47/59

49. PERFORMANCE̲SCHEMAストレージエンジン
mysql56> show pluginsG
..
*************************** 10. row ***************************
Name: PERFORMANCE_SCHEMA
Status: ACTIVE
Type: STORAGE ENGINE
Library: NULL
License: GPL
..
カウンターの更新はHandler使ってないので、SELECTでア
クセスするためのインターフェイス以外にあんまり思いつか
ない。。
48/59

50. Binlogストレージエンジン
( ﾟдﾟ) えっ
mysql56> SHOW PLUGINSG
*************************** 1. row ***************************
Name: binlog
Status: ACTIVE
Type: STORAGE ENGINE
Library: NULL
License: GPL
..
49/59

51. Binlogストレージエンジン
ちゃんとhandlertonを持ってる
Breakpoint 1, binlog_init (p=0x147bcc0) at /home/yoku0825/mysql-5.6.25/sql/binlo
g.cc:887
(gdb) p *hton
$4 = {
state = SHOW_OPTION_YES,
db_type = DB_TYPE_BINLOG,
slot = 2,
savepoint_offset = 0,
close_connection = 0x895db0 <binlog_close_connection(handlerton*, THD*)>,
savepoint_set = 0x89bed0 <binlog_savepoint_set(handlerton*, THD*, void*)>,
savepoint_rollback = 0x89cb60 <binlog_savepoint_rollback(handlerton*, THD*, vo
id*)>,
savepoint_rollback_can_release_mdl = 0x8944a0 <binlog_savepoint_rollback_can_r
elease_mdl(handlerton*, THD*)>,
savepoint_release = 0,
commit = 0x892590 <binlog_commit(handlerton*, THD*, bool)>,
rollback = 0x8a27a0 <binlog_rollback(handlerton*, THD*, bool)>,
prepare = 0x892580 <binlog_prepare(handlerton*, THD*, bool)>,
50/59

52. Binlogストレージエンジン
おそらく、2相コミットをフツーのXAと同じAPIで処理した
かったから
ha̲binlogクラスは存在しない(フツーのHandlerレイヤーを通ったマ
ッピングじゃない)
-
sql/handler.ccの中にちょこちょこいるくらい。-
innodb̲support̲xaを切るとバイナリーログのシリアル性
が損なわれるかもよ、というのもそれなら頷ける
MySQL :: MySQL 5.6 Reference Manual :: 14.11 InnoDB
Startup Options and System Variables
-
51/59

53. MySQLプロトコル
でSQL以外の何か
を語り掛けても結
果が戻ってくる
52/59

54. Query Rewrite Plugin
Parserの⼿前を取るPre-parse Query Rewriteと
Parserの後ろ(Optimizerの⼿前)を取るPost-parse Query
Rewriteがある
53/59

55. クエリーリライト
mysqlコマンドラインクライアントを起動してるのに、うっ
かりlsとか叩いちゃったことありませんか︖
mysql57> ls;
+--------------+
| Tables_in_d1 |
+--------------+
| t1 |
+--------------+
1 row in set, 1 warning (0.01 sec)
mysql57> SHOW WARNINGS;
+-------+------+----------------------------------------------------------------
---+
| Level | Code | Messag
e |
+-------+------+----------------------------------------------------------------
---+
| Note | 1105 | Query 'ls' rewritten to 'SHOW TABLES' by plugin: rewrite_exampl
e. |
+-------+------+----------------------------------------------------------------
---+
1 row in set (0.00 sec)
54/59

56. クエリーリライト
catとかお好きですか︖
mysql57> cat t1;
+-----+-------+
| num | val |
+-----+-------+
| 1 | one |
| 2 | two |
| 3 | three |
+-----+-------+
3 rows in set, 1 warning (0.02 sec)
55/59

57. クエリーリライト
サーバーサイドで書き換えているので、クライアントを選ばな
い。
56/59

58. 夢は無限
⼤
57/59

59. さすが
変態
58/59

60. Questions
and/or
Suggestions?
59/59