MySQL Query Replayer: Use Packet Analysis to Acquire and Reproduce MySQL-Executed Queries
•
0 likes•871 views
Tomoaki Otsuka LINE / DB1 Team LINEのデータベース室では、安全かつ効率的にデータベースを運用するために、様々なツールを活用、開発しています。今回はその一つとして開発しているMQR(MySQL Query Re-player)を紹介します。 MQRはハードウェアのスペック変更やメジャーバージョンアップによるパフォーマンスへの影響の検証を目的とし、稼働中のMySQL及びアプリケーションに変更を加えずに実行中のクエリを取得し対象のMySQLでそのクエリを再現するツールです。MySQLのClient/Serverプロトコルの解説を交え、ネットワークパケットからMySQLで実行されたクエリを取得し、対象サーバで再現するまでの課題と対策について話します。
Recommended
More Related Content
Similar to MySQL Query Replayer: Use Packet Analysis to Acquire and Reproduce MySQL-Executed Queries
Similar to MySQL Query Replayer: Use Packet Analysis to Acquire and Reproduce MySQL-Executed Queries (20)
More from LINE Corporation
More from LINE Corporation (20)
Recently uploaded
Recently uploaded (10)
MySQL Query Replayer: Use Packet Analysis to Acquire and Reproduce MySQL-Executed Queries
- 2. tom__bo ● IT Service Center - Database Engineer ● 2018年新卒 ● Twitter: @tom__bo ● Blog: http://tombo2.hatenablog.com
- 3. MQRとは パフォーマンス調査のために検証用にMySQLで実行される 全てのクエリを取得/再現するためのツール ・HWの交換(SSD -> NVMe SSD)・MySQLのメジャーバージョンアップ 5.6.x -> 5.7.y -> 8.0.z SSD -> SSD (NVMe)
- 4. 実行された全てのクエリを取るには？ ● general_log = on ● slow_log = on, long_query_time = 0 ● performance_schema.events_statements_history_long テーブル ● ProxySQL等のプロキシサーバー
- 5. 実行された全てのクエリを取るには？ ● general_log = on -> I/Oへの負荷が心配 ● slow_log = on, long_query_time = 0 -> I/Oへの負荷が心配 ● performance_schema.events_statements_history_long テーブル -> MySQL < 5.6.3 は取れない ● ProxySQL等のプロキシサーバー -> サーバ構成の変更必須
- 7. MySQLのclient/server プロトコル * https://dev.mysql.com/doc/dev/mysql-server/latest/page_protocol_connection_lifecycle.html ● Connection State(Phase) ・コネクションの確立 ・flagの交換 ● Command State(Phase) ・各種コマンドの実行 ・これの内クエリだけ見れば良い ● Replication Mode ・レプリケーション用
- 8. MySQLのclient/server プロトコル * https://dev.mysql.com/doc/internals/en/command-phase.html ● “Header“ + “Command-Information“ ● Packet Length (3 byte) ● Sequence ID (1) ● Command Type (1) ● Information for each Command-type (N) ● プロトコル上はメッセージは全て平文で送られている ・・・ ・・・
- 9. MySQL-Packet-Deserializer ● MySQLプロトコルのパケットを抽出, Goの構造体にデシリアライズ ● COM_QUERY ● COM_STMT_PREPARE ● COM_STMT_EXECUTE ● 他... ● 理論上 MySQL >= 4.1 のパケットを解析可能 https://github.com/tom--bo/mysql-packet-deserializer
- 10. MQRの開発 ● Phase 1 : ● Read クエリの取得・再現 ● 実用性の検証 ● Phase 2 : ● すべてのクエリの取得・再現 ● 公開！？
- 11. MQRの概要 ● Observer ・パケット解析 ・Redisに送信 ● Applyer ・Redisから持ってきて適用 ・コネクションごとの順序を保持 ● Redis ・キューとして利用 ・コネクションごとにSorted Set Phase1: 参照系クエリのみを再現
- 18. MQRのモード ● 現状と限界 ・ QPSまで再現可能 (QPS < 20k) ・ AP側で実行すれば1ホストで20k ・ Productionと同等の コネクション数の再現が可能 ・ Observerのパケットのソースを pcapファイルにすることも可能 Phase1: 参照系クエリのみを再現
- 19. MQRの展望 ● 全てのクエリを取得 ・Query, Prepared statementが 取れれば全て再現可能 ● 時間同期 ・Replayer, Target MySQLの OS時刻をN秒遅らせる ・その間に適用準備&適用 ・スタート時のデータ同期が課題 Phase 2: 全てのクエリを再現 What’s next?
- 20. まとめ ● MQR: MySQL-Query-Replayerを開発 ● 本番環境のMySQLで実行されるクエリを パケットキャプチャにより再現するツール ● 現在は参照系のクエリのみ再現可能 ● 参照系のクエリのみで20k QPSまでリアルタイムに再現可能 ● 近日公開 !?