サーバーが完膚なきまでに死んでもMySQLのデータを失わないための表技

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

サーバーが完膚なきまでに死んでも
MySQLのデータを失わないための表
技
それでも失ったら申し訳ない
2018/03/10
yoku0825
PHPerKaigi 2018

この話をしようと思った理由
みなさんはお題箱というサービスをご存知ですか？
俺はよく知りません（）
Peing -質問箱- と別のものだということだけ知っています
1/88

この話をしようと思った理由
1月6日 19時頃にサーバ会社様（ConoHa様）にて発生
した障害が原因で、お題箱のデータベースサーバのシス
テムが破損してしまい、本日までサービスが稼働できな
い状況になっておりました。
サーバ会社の担当者様のご...

この話をしようと思った理由
1月6日 19時頃にサーバ会社様（ConoHa様）にて発生
した障害が原因で、お題箱のデータベースサーバのシ
ステムが破損してしまい、本日までサービスが稼働でき
ない状況になっておりました。
サーバ会社の担当者様...

( ´-｀).oO（
yoku0825は激怒した
yoku0825にはサービスがわからぬ
yoku0825はDBAである
ALTER TABLEをし、と遊んで暮らしてきた
けれどもデータベース障害に対しては、
人一倍に敏感であった
4/88

このデータベース
サーバがMySQLの
ことなのかどうか知
らないんですが
5/88

思ったん
です
6/88

( ´-｀).oO（
yoku0825は激怒はしていないけど寂しくなった
もしお題箱の使っているデータベースがMySQLで
そのバックアップが正しく設計されていれば
こんな悲劇は起こらなかったかも知れない
7/88

(｀･ω･) ｷﾘｯ
くどいようだけどお題箱のデータベースが
MySQLかどうかは知らない
8/88

「サーバーが完膚なきまで
に死んでもMySQLのデー
タを失わないための表技」
はじまりまじまり
9/88

ちなみにPHP出て
きません(･∀･)ゞ
PHPerKaigi #とは何だったのか
10/88

＼こんにちわ／
yoku0825＠とある企業のDBA
オラクれない‐
ポスグれない‐
マイエスキューエる‐
生息域
Twitter: @yoku0825‐
Blog: 日々の覚書‐
MyNA ML: 日本MySQLユーザ会‐
MySQL Cas...

はなすこと
ハードウェア障害とかでマスターがブートできないケース
ストレージ障害とかでファイルが救出できないケース
うっかりオペミスでデータをロールバックしないといけない
ケース
をカバーするためのバックアップとリストア手法
12/88

はなさないこと
ダウンタイムを短くするための冗長構成
バックアップ手法の優劣
リカバリーを速くする手段や方法
技術的な詳細
黒魔術
13/88

おしながき
バックアップのリストアの基本的な考え方1.
バックアップ手法のおさらい2.
複数のバックアップ手法を組み合わせて運用する3.
日々のバックアップにまつわるタスク4.
どこがどう壊れた時にどうリストアするか5.
ぼくがかんがえたさいき...

おしながき
バックアップのリストアの基本的な考え方1.
バックアップ手法のおさらい2.
複数のバックアップ手法を組み合わせて運用する3.
日々のバックアップにまつわるタスク4.
どこがどう壊れた時にどうリストアするか5.
ぼくがかんがえたさいき...

バックアップのリストアの基本的な考え方
mysqld --initialize して以来、こんなクエリーを突っ込んだ
MySQLがあるじゃろ？
最新の SELECT * FROM t1 は (1), (2), (3), (4), (5)‐
16...

バックアップのリストアの基本的な考え方
新しく空っぽのMySQLを用意して、最初のクエリーから最後の
クエリーまで過不足なく正しい順番で適用するじゃろ？
INSERT INTO t1 VALUES (1)‐
17/88

バックアップのリストアの基本的な考え方
新しく空っぽのMySQLを用意して、最初のクエリーから最後の
クエリーまで過不足なく正しい順番で適用するじゃろ？
INSERT INTO t1 VALUES (2)‐
18/88

バックアップのリストアの基本的な考え方
新しく空っぽのMySQLを用意して、最初のクエリーから最後の
クエリーまで過不足なく正しい順番で適用するじゃろ？
INSERT INTO t1 VALUES (3)‐
19/88

バックアップのリストアの基本的な考え方
新しく空っぽのMySQLを用意して、最初のクエリーから最後の
クエリーまで過不足なく正しい順番で適用するじゃろ？
DELETE FROM t1 WHERE id = 1‐
20/88

バックアップのリストアの基本的な考え方
新しく空っぽのMySQLを用意して、最初のクエリーから最後の
クエリーまで過不足なく正しい順番で適用するじゃろ？
INSERT INTO t1 VALUES (1)‐
21/88

中略
22/88

バックアップのリストアの基本的な考え方
最後まで適用し終えれば、またデータは (1), (2), (3), (4),
(5) に戻るんじゃ
23/88

バックアップのリストアの基本的な考え方
全ての更新履歴があればそれを全て正しくリプレイするこ
とで最後のデータが手に入る
リプレイを任意の場所で停止することで、任意の時点のデー
タの切断面を取り出すことができる
データの切断面をスナップショ...

バックアップのリストアの基本的な考え方
リプレイした時に実行結果が異なる関数を使っている場合
は正しくリプレイできないので、バックアップとして信頼
することができない
有名なのは NOW() はいいけど SYSDATE() はダメとか ...

おしながき
バックアップのリストアの基本的な考え方1.
バックアップ手法のおさらい2.
複数のバックアップ手法を組み合わせて運用する3.
日々のバックアップにまつわるタスク4.
どこがどう壊れた時にどうリストアするか5.
ぼくがかんがえたさいき...

バックアップ手法のおさらい
フルバックアップ
mysqldを停止させた状態でdatadir(/var/lib/mysql など)の丸ごと
コピー（コールドバックアップ && 物理バックアップ）
‐
mysqldump --single-tran...

バックアップ手法のおさらい
フルバックアップ
その時点のデータの切断面（スナップショット）を作成する‐
経過はかっ飛ばしてその時点のデータだけを取り出すのでここからデ
ータを遡ることはできない
‐
リプレイの手間を省けるのでバイナリーログを使...

バックアップ手法のおさらい
フルバックアップ
29/88

バックアップ手法のおさらい
バイナリーログバックアップ
crondでキックするなら rsync, scp, etc.‐
デーモン化してリアルタイムに mysqlbinlog -R --stop-never --raw‐
レプリケーションスレーブ...

バックアップ手法のおさらい
バイナリーログバックアップ
さっきの図で言うところのブロックを1つずつ記録したものがバイナ
リーログの「イベント」
厳密には「1行または1クエリーが1イベント」で「BEGIN, COMMITでそれぞれ1
イベント」な...

バックアップ手法のおさらい
バイナリーログバックアップ
32/88

バックアップ手法のおさらい
差分バックアップ
xtrabackupならできる‐
mysqldumpはテーブル構成による‐
無理してやることない‐
33/88

バックアップ手法のおさらい
物理バックアップ
MySQLがデータの格納に使っているファイルをそのまま複製する方
法
同じCPUアーキテクチャー, 同じバージョン, 同じコンフィグでリストア推奨
‐
mysqldを停止してから /var/lib/...

バックアップ手法のおさらい
論理バックアップ
ファイル構造に依存せずにSQLでデータを取ってくる（要は全部のテ
ーブルに SELECT * FROM .. を繰り返す）
なのでバージョンをまたいだりコンフィグが変わっている場合でもリストアができ...

バックアップ手法のおさらい
バイナリーログバックアップ
バイナリーログファイルには既に「直列化された（＝正しい順番で並
んだ）」バイナリーログイベントが並んでいる
‐
なので出力されたバイナリーログファイルを抜け漏れなくちゃんと回
収してやれば...

おしながき
バックアップのリストアの基本的な考え方1.
バックアップ手法のおさらい2.
複数のバックアップ手法を組み合わせて運用する3.
日々のバックアップにまつわるタスク4.
どこがどう壊れた時にどうリストアするか5.
ぼくがかんがえたさいき...

バックアップ手法の組み合わせ
フルバックアップ vs バイナリーログバックアップ
データを失わない、という文脈で大事になるのはバイナリーログバックア
ップ
‐
マスターが完膚なきまでに壊れてバイナリーログを取り出せなくなった時
に、どれだけ他の...

バックアップ手法の組み合わせ
フルバックアップ vs バイナリーログバックアップの間隔
フルバックアップはリストアにかかる時間の短縮に重要
本当はバックアップとリストアにかかる時間を測って妥協できるポイントを探すの
が良いんだろうけれど、よくわ...

バックアップ手法の組み合わせ
バックアップ、マスターから取るか？スレーブから取る
か？
コールドバックアップの場合はスレーブ一択（のはず）‐
mysqldump の場合、どっちから取るかで --master-data または --
dump-...

向き先を合わせる話の前に
4つ目のクエリーの時点で取ったフルバックアップに、6つ目の
クエリーの履歴からリプレイしちゃうと…？
あるいは1つ目のクエリーの履歴からリプレイしちゃうと…？
繋ぎ間違えるとデータは正しくリストアできない
41/88

向き先を合わせる #とは
マスターのバイナリーログとスレーブのバイナリーログ
バイナリーログのイベントはバイナリーログのファイル名とポジショ
ンで識別される
‐
が、これらはマスターとスレーブで完全に独立している‐
つまり、マスターのポジション...

向き先を合わせる #とは
マスターではこんな感じ
$ mysqlbinlog mysql-bin.008547 --start-position=70540318 | less
# at 70540318
#180301 16:27:14 se...

向き先を合わせる #とは
でもスレーブだと全然違うファイル名とポジションに書かれ
ている
$ mysqlbinlog mysql-bin.014800 | less
# at 216401979
#180301 16:27:14 server ...

＼(^o^)／な
んてこったい
45/88

mysqldumpのマスターとスレーブの打ち分け
gitd_mode= OFFの場合
体感ではマスターで mysqldump --master-data のパターンが多い気
がしますよ
‐
フルバックアップ元コマンド例バイナリーログコピー元...

Thank you @mita2 ！
47/88

mysqldumpのマスターとスレーブの打ち分け
gitd_mode= ONの場合
全ての組み合わせで特にオプションなく取得できる‐
リストアする時にdatadirを初期化しておく
厳密には gtid_executed が吹っ飛べばいいので R...

マスターとスレーブのバイナリーログ with GTID
gtid_mode=ON になっている場合、
マスターで更新がコミットされるたびにGlobal
Transaction IDがマスターのバイナリーログに埋め込まれ
スレーブも自分が実行した...

マスターとスレーブのバイナリーログ with GTID
ただし4つ目のクエリー時点のスナップショットに対して8番目
の更新履歴しかないバイナリーログを食わせるとかするのはダメ
少し余裕をもって過去のものから食わせる
50/88

GTIDは
いいぞ
51/88

余談
でもGTID有効にすると sql_slave_skip_counter が使えなくな
るでしょう？
それを使わなきゃいけない時は既にデータが壊れてるんだからおとなしく
メンテ入れて戻した方が後々幸せデース
52/88

おしながき
バックアップのリストアの基本的な考え方1.
バックアップ手法のおさらい2.
複数のバックアップ手法を組み合わせて運用する3.
日々のバックアップにまつわるタスク4.
どこがどう壊れた時にどうリストアするか5.
ぼくがかんがえたさいき...

日々のバックアップにまつわるタスク
バックアップはちゃんと取れているか
取ったつもりのバックアップがちゃんと取れていないとかなしい‐
tar: ibdata1: file changed as we read it とか注意‐
標準エラー出力、...

日々のバックアップにまつわるタスク
バックアップは「正しいか」
コールドバックアップのベリファイは難しい…
コールドバックアップとは「別に」 mysqldump もたまにとるとか
OPTIMIZE TABLE, CHECK TABLE を定期...

日々のバックアップにまつわるタスク
スナップショット（フルバックアップ）は厳密にいつのも
の？
mysqldump は mysqldump プロセスが起動してちょっとの時点のスナ
ップショットを、 xtrabackup は xtrabackup...

日々のバックアップにまつわるタスク
コンフィグファイルのバックアップ
データ的には変わってないけれどアプリケーションが受け取る結果セ
ットの見え方が変わったりして復旧出来てないように見えることがあ
る
特に skip_character_set...

おしながき
バックアップのリストアの基本的な考え方1.
バックアップ手法のおさらい2.
複数のバックアップ手法を組み合わせて運用する3.
日々のバックアップにまつわるタスク4.
どこがどう壊れた時にどうリストアするか5.
ぼくがかんがえたさいき...

どこがどう壊れた時にどうリストアするか
単純なクラッシュ（＝最新のデータにリストアできればい
い）とデータの復元が必要（＝過去のスナップショットをリ
ストアする）な場合とで大別できると思う
前者はレプリケーションスレーブがあると圧倒的に楽‐
5...

どこがどう壊れた時にどうリストアするか
最新のデータにリストアできればいい場合
マスターが起動スレーブリストア
できるない不要(*1)
できないない最新のフルバックアップ +
バイナリーログ
できるある不要(*1)、またはスレー...

どこがどう壊れた時にどうリストアするか
マスターのパラメーターが「ちゃんとクラッシュセーフに設
定してある」とは
テーブルはInnoDBのみ（MyISAMはどう頑張ってもクラッシュアン
セーフ）
‐
skip_innodb_doublewrit...

どこがどう壊れた時にどうリストアするか
データの復元（＝最新以外の場所にリストア）の場合
スレーブの有無に関わらず、リストアする時点から見て最新のフルバ
ックアップとそれ以降のバイナリーログ
‐
マスターのOSが起動できない、ストレージ障害のケ...

おしながき
バックアップのリストアの基本的な考え方1.
バックアップ手法のおさらい2.
複数のバックアップ手法を組み合わせて運用する3.
日々のバックアップにまつわるタスク4.
どこがどう壊れた時にどうリストアするか5.
ぼくがかんがえたさいき...

ぼくがかんがえた最強の略
ここまでの話を踏まえて
フルバックアップはほどほどで良い（リカバリーを速くす
る手段や方法は話さないので）
バイナリーログのバックアップはリアルタイムで
それぞれマスターサーバーの外部に保管する
しかし色々マスター...

ほどほどのフルバックアップ
$ mysqldump --all-databases --single-transaction
--routines --triggers --events
--master-info=2 --hex-blob...

ほどほどのフルバックアップ
デイリーで mysqldump
--all-databases で全データベースのダンプを指定
--single-transaction (InnoDBのみの場合はこれでOK) ま
たは --lock-all-tab...

ほどほどのフルバックアップ
非UTF-8な環境の場合、 --hex-blob をつけておくとリスト
ア時に文字が壊れる心配がない
ただしダンプファイルのサイズは大きくなる‐
--quick は内部的なバッファの使い方のフラグ
ONにすると「クラ...

ほどほどのフルバックアップ
圧縮
gzipが嫌になるまではgzipでいいと思う‐
ダンプファイルがでかくなってきて(体感では > 100GB )圧縮率を稼
ぎたくなってきたらpzstd
‐
更に圧縮率を稼ぎたくなって、CPUが16スレッド以上と...

ほどほどのフルバックアップ
外部への書き込み
自作サーバーなら外付けHDDへのリダイレクトとかでもいい‐
一度ローカルのファイルシステムに吐き出してから転送した方が楽な
こともあるけど、マスターに容量の余裕がない場合はストリームしち
ゃうのがや...

リアルタイムのバイナリーログバックアップ
これが考えどころ
たどり着いた結論だけ言うと mysqlbinlog --stop-never --
raw --read-from-remote-server を別サーバー(t2.microく
らいで...

リアルタイムのバイナリーログバックアップ
壊れたところ最新のデータ最新のバイナリーログ
マスターないのでリストア binlog保管場所(*)
binlog保管場所マスターにあるマスター
マスターとbinlog保管場所
の二重障害
ない...

リアルタイムのバイナリーログバックアップ
mysqlbinlog --read-from-remote-server --stop-never --raw
--result-file=/path/to/binlog/directory
--...

リアルタイムのバイナリーログバックアップ
実運用にはこれをもうちょっとラップして、自動で ${追尾
を開始するバイナリーログファイル名} を計算したり、多少
通信が途切れてもリトライするようにはしてある
${追尾を開始するバイナリーログファイル...

リアルタイムのバイナリーログバックアップ
binlog保管場所から外部への転送はcronで非同期に。二重障
害時の最大ロスト幅がcronの間隔になる
Prodではそれ以外に log_slave_updates なバックアップサーバーが
いるし
...

リアルタイムのバイナリーログバックアップ
完全に1台運用なら /var/lib/mysql のバイナリーログを直
接外部転送してもいいんじゃ？（別のディスクに一度書く
必要はないんじゃ？）
cronで回すと落ちた時にその間隔分（起動できなくな...

リストア
gtid_mode= OFF でポジションベースで指定する時
最新のデータまで進める場合には最後の --stop-position はつけな
い
‐
$ mysqld --initialize-insecure
$ mysql -ur...

リストア
gtid_mode= ON の時
少し余裕を持った過去のぶんのバイナリーログから用意しておくこと‐
最新のデータまで進める場合には最後の --exclude-gtids はつけな
い
‐
$ mysqld --initialize-i...

mysqldumpからのリストアトラブルあるある
リストア後、ユーザーアカウントが作られていないような気
がする / ログインできない / SHOW GRANTS がおかしい
mysqldump からのリストアは mysql スキーマのテーブル...

mysqldumpからのリストアトラブルあるある
トリガーとかストアドがどっかいった
バックアップ取る時に --triggers とか --routines とか --events
忘れたでしょ！
‐
ついでに言うならその時mysqldump...

mysqldumpからのリストアトラブルあるある
5.7.18までの mysqldump は mysql.gtid_executed テーブル
をバックアップしてしまってリストア後に不正なGTIDを掴
まされる
5.7.19とそれ以降にアップデ...

オススメのmysqldのオプション(1)
[mysqld]
# マスターはスレーブがいなくてもバイナリーログ出力オプション必
須。
# スレーブにも出力させておくとバイナリーログ回収先の選択肢が増え
る
log_bin
log_slave_up...

オススメのmysqldのオプション(2)
[mysqld]
# GTIDは有効に
enforce_gtid_consistency
gtid_mode = ON
# 信頼性を犠牲にして性能を稼ぐオプションは使わない
innodb_flush_l...

バックアップFAQ
バイナリーログはローテーションさせてからバックアップ（特に
OSコマンドで複製する時）するべきなのでは
最後のイベントが書きかけだった場合、単に mysqlbinlog でデコードする
時にそのイベントが無視されるだけなので...

バックアップFAQ
コールドバックアップの時、バイナリーログのポジションってど
うやって記録するの
マスターから取る（ことがあるとは思えないけど）なら「次回起動時にバ
イナリーログが必ずスイッチする」ので取ったバックアップが抱えている
バイナリ...

Questions
コンテナーでバイナリーログのストリームバックアップしてるっ
て話だったけど、ストリームがちゃんと動いてるかどうかの監視
ってどうしてるの？
プロセスが止まってないかと、コンテナを再起動すると最後に掴んでいた
バイナリーログの...

Questions
ストリームでコピーしたバイナリーログが正しくコピーできてる
かどうかの検証ってどうするの？
バイナリーログはイベント単位でチェックサムを持っているので、壊れて
いるところは mysqlbinlog コマンドに食わせた時にエラ...

Questions
物理バックアップが正しく取れているかどうかってどうやって判
断するの？
InnoDBのブロック破損はそのブロックに触って初めてわかるので、コマン
ドレベルからの判断は難しいですが、代わりにバックアップサーバーで定
期的に O...

Thank
you!!
88/88

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1042022 views
Storytelling For The Web: Integrate... by Chiara Aliotta 954721 views
Artificial Intelligence, Data and C... by OECD Directorate ... 880306 views
How to Leverage AI to Boost Employe... by SocialHRCamp 370586 views
2024 State of Marketing Report – by... by Marius Sescu 210442 views
Everything You Need To Know About C... by Expeed Software 229923 views

View on Slideshare

1 of 89 Ad

View on Slideshare

1 of 89 Ad