1台から500台までのMySQL運用(YAPC::Asia編)

1台から500台までの MySQL運用(YAPC::Asia2012編) 長野雅広 (kazeburo)

Me• 長野雅広• @kazeburo• CPAN:KAZEBURO• Operations Engineer Site Reliability, 運用系小姑, NHN Japan

perlの話

Recent CPAN modules • Apache::BumpyLife • Twiggy::Prefork • Module::Install::ShareFile • App::LoadWatcher • File::RotateLogs • Plack::Middleware::AxsLog • Proclet • DBIx::DSN::Resolver [new!]

Proclet minimalistic supervisoruse Proclet::Declare;env( PLACK_ENV => development, LM_COLOR => 1,);service(web, plackup -p 9413 app.psgi);service(memcached, qw!/usr/bin/memcached -p 11211!);service(worker, sub { MyWorker->run });worker( worker => 2 );run;

proclet foreman for perl% cat Procfileworker: ./bin/workerweb: plackup web.psgi% proclet start --color

1台から500台までの MySQL運用

MySQL Beginners Talks http://www.slideshare.net/kazeburo/1500mysql-mysql-beginners 491 users

MySQL Beginners Talks 振り返り 1

MySQL Begineersで話した 5つのMySQL運用ポイント• MySQL 5.1 or 5.5 InnoDB Plugin• my.cnfの共通化• no-MyISAM• ログ系テーブルに注意• モニタリング

今日のお題

livedoor Blog since 2003

livedoorBlog• 来年で10年• 国内最大級 • 80億PV/month • 1億PV/monthを超えるblog多数• 総トラフィック: 20+Gbps• 記事データ: 2+TB

構成 PC mobile PC mobileCMS APP CMS APP APP APP Spam STF Analyzer Filter Job Main Clusteredmemcached Queue DB DB コア画像ログスパム

Database ShardingSELECT node from blog where id = 941 App ① ② Mapping Cluster Cluster Cluster Cluster Cluster (Main DB) 1 2 3 4 5 すごく.. 古典的です..///

dbm dbm dbm dbm dbmdbs dbs dbs dbs dbs dbs dbs dbs dbs dbs dbm dbm dbm dbm dbmdbs dbs 160cluster dbs dbs dbs dbs dbs dbs dbs dbs dbm dbm*1 dbs*2+ dbm dbm dbm dbmdbs dbs => 500 servers dbs dbs dbs dbs dbs dbs dbs dbs dbm dbm dbm dbm dbmdbs dbs dbs dbs dbs dbs dbs dbs dbs dbs

歴史の積み重ね• CPU: Pen4 ∼ Quad Core Xeon• Memory: 2GB ∼ 16GB• OS: FeeBSD・CentOS4.x∼5.x• サーバによって異なるmy.cnf・ MyISAMのテーブル・Index不足

,,､,､､,,,;i;i,}､,､ヾ､i,;¦¦i !｝ i, ﾞ〃ﾞ､;¦i,! i i"i, ､__人_从_人__/し､_人＿入 `､¦¦i ¦i i l¦, ､_） ,¦¦i }i ¦ ;,〃,, _）集約だ∼っ！！ .}.¦¦¦¦ ¦ ! l- ､ミ｀) ,＜.}¦¦¦ il／,-liヾ;;ミ ́͡V＾^Y͡V^V͡W^Y͡ .{/ﾞ､}¦¦¦/／ .i¦ };;;ミ Y,;- ｰ､ .i¦,];;彡 iil¦¦¦¦¦liill¦¦¦¦¦¦¦¦li!=H;;;ﾐミ { く；ｧｿ ;;,; ﾞ};;彡ﾐﾞi [` ヾ. ¦¦^!,彡ミ＿,,＿＿ﾞi } ｝ ;;:;li, ﾞiミミミ=三＝-;;;;;;;;;,,,,---}￣フハ, 二ﾞ́ ,;／;;_,;,7 ,-::;;;;;;;;;;;;;,,= ;;;;;;;;/_ / ¦ ¦ `ー--́_,,,-,,r `ヽ;;:;;;;;;;, ;;;- ,r `V ヽニニニ二､-{ 十）＿＿;;;;/

集約化によって目指すもの• TCO削減• 安定性• パフォーマンス向上

集約化方法 m ms s s s dbm m m dbs dbss s s s (1) 1台のサーバに複数のmysqld(2) 1つのmysqldに複数のデータベース

集約化方法 (1)• Pros Cluster 1 Cluster 2 Cluster 3 Cluster 4 • レプリケーションを使いながら、サービスの停止なく移行可能• Cluster Cluster Cluster Cluster Cons 1 2 3 4 • 元のサーバの性能差やデータ mysqld (3401) mysqld (3402) mysqld (3403) mysqld (3404) 量を考慮にいれたbuﬀer_pool サイズの調整が必要 dbm • 複数プロセスの管理

集約化方法(2)• Cluster Cluster Cluster Cluster Pros 1 2 3 4 • 細かい buﬀer_pool の調整が必要なく、効率性も高い • プロセスが1つなので運用の Cluster Cluster Cluster Cluster 手間は少ない 1 2 3 4• Cons mysqld • データベース名を変更するためのメンテナンス時間が必要 dbm

採用集約化方法(2)• Cluster Cluster Cluster Cluster Pros 1 2 3 4 • 細かい buﬀer_pool の調整が必要なく、効率性も高い • プロセスが1つなので運用の Cluster Cluster Cluster Cluster 手間は少ない 1 2 3 4• Cons mysqld • データベース名を変更するためのメンテナンス時間が必要 dbm

2011-09-14 未明実施8/27 10/13-15

手順(前日まで)Cluster Cluster Cluster Cluster 1 2 3 4Cluster Cluster Cluster Cluster mysqld 1 2 3 4 dbmmysqld mysqld mysqld mysqld(3401) (3402) (3403) (3404) 仮db mysqld dbs

手順(前日まで)Cluster Cluster Cluster Cluster 1 2 3 4 レプリケーション構築と ALTER TABLECluster Cluster Cluster Cluster mysqld 1 2 3 4 dbmmysqld mysqld mysqld mysqld(3401) (3402) (3403) (3404) 仮db mysqld dbs

手順(前日まで)Cluster Cluster Cluster Cluster 1 2 3 4 レプリケーション構築と ALTER TABLECluster Cluster Cluster Cluster mysqld 1 2 3 4 dbmmysqld mysqld mysqld mysqld(3401) (3402) (3403) (3404) レプリケーション仮db mysqld dbs

手順(当日)Cluster Cluster Cluster Cluster 1 2 3 4Cluster Cluster Cluster Cluster mysqld 1 2 3 4 dbmmysqld mysqld mysqld mysqld(3401) (3402) (3403) (3404) 仮db mysqld dbs

手順(当日)Cluster Cluster Cluster Cluster 1 2 3 4 Cluster Cluster Cluster Cluster 1 2 3 4Cluster Cluster Cluster Cluster mysqld 1 2 3 4 dbmmysqld mysqld mysqld mysqld(3401) (3402) (3403) (3404) mysqldump cluster ¦ 仮db mysqld ssh dbm cat ¦ mysql ${n}_cluster dbs

手順(後日) Cluster Cluster Cluster Cluster 1 2 3 4 mysqld dbm mysqld仮db dbs

手順(後日) Cluster Cluster Cluster Cluster 1 2 3 4 mysqld dbm mysqld mysqld仮db dbs dbs

集約対象160 cluster => 20+ cluster = 作業対象サーバ

えーマジ手作業！？自動化必須手作業が許されるのは小学生までだよねー

自動化• 実行時に外から情報を与える (コマンド引数などとして)

自動化• 実行時に外から情報を与える (コマンド引数などとして)• 事前情報からサーバ自身でなすべきことを知る

Matrix (表)#cluster id #work2dbm#from #to #id #work #dbm1 1 1 10.94.18.30 10.94.14.3051 1 2 10.94.18.31 10.94.14.3157 1 3 10.94.18.32 10.94.14.3265 1 4 10.94.18.33 10.94.14.332 2 5 10.94.18.34 10.94.14.3439 2 6 10.94.19.30 10.94.15.3077 2 7 10.94.19.31 10.94.15.3191 2 8 10.94.19.32 10.94.15.323 3 9 10.94.19.33 10.94.15.3329 3 10 10.94.19.34 10.94.15.3485 3 11 10.94.14.35 10.94.16.354 4 12 10.94.14.36 10.94.16.3652 4 13 10.94.14.37 10.94.16.3778 4 14 10.94.14.38 10.94.16.38

Matrixからの設定生成while(my $l=<DATA>){ my ($cluster, $node) = split /s+/, $l; push @{$nodes{$node}}, $cluster;}for my $node ( sort { $a <=> $b } keys %nodes ) { open( my $fh, >, sprintf("my_%d.cnf",$node)); print $fh $tx->render(my.cnf.tx, { clusters => $nodes{$node} });}#from #to__DATA__1 151 12 2

Matrixからの設定生成[mysqld]innodb_buffer_pool_size = 4Ginnodb_flush_log_at_trx_commit = 2innodb_flush_method = O_DIRECT: for $clusters -> $cluster {[mysqld<: $~cluster.count :>]server-id = <: $cluster + 10000 :>datadir = /var/lib/mysql_<: $cluster + 13000 :>socket = /tmp/mysql_<: $cluster + 13000 :>.sockpid-file = /var/run/mysql_<: $cluster + 13000 :>.pidport = <: $cluster + 13000 :>: }

Matrixを利用した自動化set -eCDIR=$(cd $(dirname $0) && pwd)#id #work #dbmSRV=$(cat <<"EOF"1 10.94.18.30 10.94.14.302 10.94.18.31 10.94.14.313 ...EOF)IPADDR=$(ifconfig eth1 |grep inet| awk -F: {print $2}|awk {print $1})CID=$(echo "$SRV" | grep $IPADDR | awk {print $1})cp $CDIR/my_$CID.cnf /etc/my.cnffor datadir in $(grep datadir /etc/my.cnf|sed s/datadir=//)do /mysql_install_db --datadir=$datadirdone

atnodes を使った一括実行$ cpanm SSH::Batch$ atnodes ‘git clone git://./setup.git’ dbs02.[01-20].cluster============== dbs02.01.cluster =============..============== dbs02.02.cluster =============..$ atnodes -c 4 ‘sh ./setup/setup.sh’ dbs02.[01-20].cluster============== dbs02.01.cluster =============..============== dbs02.02.cluster =============..

当日

コマンド1つ!$ atnodes -c 10 ‘sh ./setup/copy.sh’ dbs02.[01..20].cluster============== dbs02.01.cluster =============..============== dbs02.02.cluster =============..

無事に朝を迎える

後作業

Recreate Slave Cluster Cluster Cluster Cluster 1 2 3 4データ mysqld 複製 dbm mysqld dbs01

Recreate Slave Cluster Cluster Cluster Cluster 1 2 3 4データ mysqld 複製 dbm mysqld mysqld dbs02 dbs01

$ mysqldump --single-transaction --master-data

$ mysqldump --single-transaction --master-data MySQL 4.0.x の場合

mysqldump (4.0.x) “$ mysqldump --master-data” blocks update query MySQL 5.1.x MySQL 4.0.xFLUSH LOCAL TABLES FLUSH TABLES WITH READ LOCKFLUSH TABLES WITH READ LOCK BEGINSET SESSION TRANSACTION ISOLATION DB選択LEVEL REPEATABLE READ テーブルからデータの読み込みSTART TRANSACTION WITH CONSISTENT SNAPSHOT COMMIT;SHOW MASTER STATUS SHOW MASTER STATUSUNLOCK TABLES UNLOCK TABLES;DB選択テーブルからデータの読み込み

mysql40dump

MySQL mysql40dump FLUSH TABLES WITH READ LOCK SHOW MASTER/SLAVE STATUS pipe my $rh, my $wh; mysqldump fork open STDOUT, >&, $wh exec(mysqldump --single-transaction) BEGIN while(<$rh>) { print } pipe UNLOCK TABLES m!^CREATE TABLE! データ読み込み COMMIT wait($child) exit print “CHANGE MASTER”

mysql40dump$dbh->do(FLUSH TABLES WITH READ LOCK);$dbh->select(SHOW MASTER STATUS);pipe my $logrh, my $logwh;my $pid = forkif ( $pid == 0 ) { #子プロセス open STDOUT, >&, $logwh; exec("mysqldump","--single-transaction","--databases","...");}while(<$logrh>){ print; if ( m!^CREATE DATABASE!) { $dbh->do(UNLOCK TABLE); }}

mysql40dump$ mysql40dump --master --repl-- [2012-09-25T09:00:01] Done "FLUSH TABLES WITH READ LOCK"-- [2012-09-25T09:00:01] [FROM MASTER STATUS] * CHANGE MASTER TOMASTER_HOST=10.9.41.3, MASTER_USER=repl, MASTER_PASSWORD=xxx,MASTER_LOG_FILE=mysql-bin.176, MASTER_LOG_POS=789372555;-- [2012-09-25T09:00:01] [FROM SLAVE STATUS] CHANGE MASTER TOMASTER_HOST=10.9.41.4, MASTER_USER=repl, MASTER_PASSWORD=xxx,MASTER_LOG_FILE=mysql-bin.178, MASTER_LOG_POS=103928719;-- [2012-09-25T09:00:01] [START] mysqldump --quick --add-locks --extended-insert --single-transaction --databases tbl1 tbl2 tbl3set FOREIGN_KEY_CHECKS=0; -- for mysql4.0-- MySQL dump 9.11...DUMP DATA...CHANGE MASTER TO MASTER_HOST=10.9.41.3, MASTER_USER=repl,MASTER_PASSWORD=xxx, MASTER_LOG_FILE=mysql-bin.176,MASTER_LOG_POS=789372555;START SLAVE;

監視(後処理2)

システム監視• データホテルの独自システム(DHW)• Nagios

Nagios MySQL監視• 死活監視• レプリケーション遅延

Nagios MySQL監視• 死活監視• レプリケーション遅延• uptime

Uptime監視 OK∼ OK∼ OK∼ Nagios Nagios Nagios 5min 5min tDOWN UP MySQL 4.0.xの再起動は速い

Uptime監視 > 5min < 5min > 5min OK∼ NG!!1 OK∼ Nagios Nagios Nagiosshow status like show status like show status like Uptime Uptime Uptime 5min 5min tDOWN UP

監視としてのスパム対策 (後処理3)

スパムブログ(splog)によるシステムへの影響• レプリケーションの遅延• buﬀer_pool の効率性ダウン• パフォーマンス悪化集約化によって影響範囲拡大

Splogの痕跡

Splogの痕跡大量の記事投稿？

Splogの痕跡バイナリログの調査% mysqlbinlog --start-datetime ‘2012-09-21 22:50’ --end-datetime ‘2012-09-21 23:00’ mysql-bin.941 | perl -ewhile(<>){ chomp; next if m!^#!; if ( m{/*!*/;$} ) { $p .=$_; print "$pn"; $p="" } else { $p .= $_." "} }|perl -nlem!^(DELETE FROM|REPLACE INTO|INSERT INTO|UPDATE)s+([^ ]+)!i&& print "$1 $2" | sort | uniq -c | sort -nr | head43 INSERT INTO entry 33 UPDATE entry 19 INSERT INTO tag2entry 18 UPDATE tag 17 INSERT INTO category

Splogの痕跡MySQL バイナリログの調査 5.0∼% mysqlbinlog --start-datetime ‘2012-09-21 22:50’ --end-datetime ‘2012-09-21 23:00’ mysql-bin.941 | perl -ewhile(<>){ chomp; next if m!^#!; if ( m{/*!*/;$} ) { $p .=$_; print "$pn"; $p="" } else { $p .= $_." "} }|perl -nlem!^(DELETE FROM|REPLACE INTO|INSERT INTO|UPDATE)s+([^ ]+)!i&& print "$1 $2" | sort | uniq -c | sort -nr | head43 INSERT INTO entry 33 UPDATE entry 19 INSERT INTO tag2entry 18 UPDATE tag 17 INSERT INTO category

対Splog• アプリケーションエンジニアによるツールでの監視• サポート・パトロールチームの目視による監視• オペレーションエンジニアによるシステム監視 => スパム対策と共に安定稼働を実現

今後のこと

MySQL 5.x?

さらなる集約化20+ clusters=> N servers

HDD/SSD Performance Test HDD-RAID10 SSD-RAID1 Intel SSD 910 某Flush Device50,000 43,11737,50025,000 14,15312,500 9,440 751 0 4並列 2GB Random Read

ソーシャルメディアのデータベースにおけるストレージデバイスの選択基準バイト単価 > IOPS *個人的見解です

Open & Share

mysql40dump

github.com/kazeburo/mysql40dump

my.cnf

github.com/kazeburo/mysetup

おわり

http://blog.nomadscafe.jp	4492
http://yapcasia.org	189
http://takeshiyako.blogspot.jp	122
https://twitter.com	43
http://takeshiyako.blogspot.com	7
http://translate.googleusercontent.com	7
http://webcache.googleusercontent.com	4
https://si0.twimg.com	3
http://takeshiyako.blogspot.de	2
http://www.twylah.com	1
http://hrt.happy.nu	1
http://nuevospowerpoints.blogspot.com.ar	1
http://nuevospowerpoints.blogspot.com	1
http://tweetedtimes.com	1
https://twimg0-a.akamaihd.net	1
http://feeds.feedburner.com	1

1台から500台までのMySQL運用(YAPC::Asia編)

by Masahiro Nagano on Sep 28, 2012

Accessibility

Upload Details

Usage Rights

16 Embeds 4,876

Statistics

1台から500台までのMySQL運用(YAPC::Asia編) Presentation Transcript