Mysql toranomaki

1. MySQL 運用虎の巻！ @ 徳島オープンセミナー 2013 奥野幹也 @nippondanji mikiya (dot) okuno (at) gmail (dot) com

2. 免責事項 ● 本プレゼンテーションにおいて示されている見解は、私自身の見解であって、オラクル・コーポレーションの見解を必ずしも反映したものではありません。ご了承ください。

3. 自己紹介 ● MySQL サポートエンジニア – 日々のしごと ● ● ● ● ライフワーク – 自由なソフトウェアの普及 ● ● トラブルシューティング全般 Q&A 回答パフォーマンスチューニングなどオープンソースではないブログ – – 漢のコンピュータ道 http://nippondanji.blogspot.com/ 今日は個人として参加しています。

4. アジェンダ ● ● ● ● ● ● MySQL の概要インストールと初期設定ユーザー管理開発関係の話バックアップパフォーマンスチューニング

5. MySQL の概要

6. MySQL とは ● ● ● ● ● オープンソースのリレーショナル・データベース・マネージメント・システム MySQL AB => Sun Microsystems => Oracle によって開発。 Web 開発においては圧倒的なシェア使い易く、安定して、高速に動作するのがウリホームページ – – http://www-jp.mysql.com/ http://dev.mysql.com/

7. MySQL の機能的特徴 ● ● ● ● ● ● ● ● ANSI SQL 標準に準拠（一部の文法を除く。）種々のプラットフォームをサポート（ Windows 、 Linux 、 Mac 、各種 UNIX 系 OS ）ストレージエンジンによりデータを格納するレイヤーを仮想化 ACID 準拠のトランザクション XA トランザクション非同期・準同期 - Master/Slave 型レプリケーション水平パーティショニング（ Range 、 List 、 Hash 、 Key ）ストアドプロシージャ、ストアドファンクション、トリガ ● ● ● ● ● ● ● ● ● ● ● UNION ビューサブクエリ INFORMATION_SCHEMA SSL による通信 Unicode をはじめとした各種文字コードのサポート全文検索タイムゾーンのサポート多種多様な開発言語のサポート（ C 、 C+ + 、 Java 、 Perl 、 PHP 、 Python 、 Ruby など） ODBC による接続のサポート NoSQL インターフェイス

8. MySQL の構造的特徴 ● ● ● ● ● ● ● ● ● ● シングルプロセス・マルチスレッド 1 セッション＝ 1 スレッドストレージエンジン API によるデータストアの仮想化その他各種プラグイン API GNU Bison による Lexical Scanner コストベースのオプティマイザ全ての更新を保存するバイナリログ 2 種類のスレッドで実装された非同期型レプリケーション移植性の高い関数群（ MySQL システムライブラリ mysys ）を使って実装ソースコードは C/C++ 混在

9. MySQL の仕組み（イメージ図）クライアント Java クライアント PHP コネクションスレッドコネクションスレッドクライアント ODBC コネクションスレッド SQL の解析と最適化は共通パーサー・オプティマイザ・アクセス管理等ストレージエンジン API MyISAM table_name.MYI table_name.MYD InnoDB テーブルスペースログファイル MySQL Cluster NDB API MySQL サーバデータノードデータの格納やアクセス方法はストレージエンジンごとに違う

10. ライセンス ● MySQL はデュアルライセンスを採用 – Community 版 ● ● – GPLv2 FOSS License Exception あり商用版 ● ● ● コマーシャルライセンスサブスクリプション OEM Oracle がすべての著作権を保有しているから可能

11. GPL - GNU General Public License ● リチャード・ストールマン氏により考案されたソフトウェアライセンス – – – – ● ● 1989 年〜世界で最も用いられているオープンソースライセンスフリー（自由な）ソフトウェアを実現するために考えられたコピーレフトを具現化するためのライセンス現在の著作権法の上に立脚 Copyleft – All rights reversed – Copyright – All rights reserved を文字ったもの ● – – 意味は真逆ユーザーに完全な自由を認める。再配布物（派生物や 2 次利用した作品）のライセンスを同じものにすることを要求

12. GPL の適用範囲 ● ライセンスを GPL にする必要がある場合 – – GPL のソフトウェアを改造してまたはそのまま再配布 GPL のソフトウェアを利用したソフトウェアを再配布 ● ● ● ● GPL のライブラリをリンク GPL のソースコードを拝借プロセス間通信で GPL のプログラムと協調動作。（グレーゾーン中のグレーゾーン！）ライセンスを GPL にする必要がない場合 – – – – – – ソフトウェアを頒布しない場合ネットワーク経由で GPL のプログラムと協調動作単独で動作するプロセスとしてバンドル GPL の OS カーネル上で動作する GPL のシステムライブラリを利用する GPL ソフトウェア用の”インストーラ”

13. インストールと設定

14. インストールは 15 分 ● 3 ステップ – – – – ● ● ● ダウンロード http://dev.mysql.com/downloads パッケージのインストール起動！！慣れれば 5 分でインストール可能最新版を使うべし！ Windows 版はインストールウィザードあり – – サーバー本体だけでなく、ドライバや GUI ツールも一発インストールただし XP は非対応

15. MySQL Sandbox http://mysqlsandbox.net/ ● ● ● ● Giuseppe Maxia 氏による検証用 MySQL イントールツール複数のバージョンのインスタンスを同時にインストールレプリケーションも一発構築可能対応プラットフォームは *NIX – tar.gz 版のパッケージを利用

16. mysql_secure_installation ● セキュリティの脅威になりやすい初期設定を変更するツール – – – – root ユーザーのパスワード変更リモートからの root ユーザーによるログインを無効化匿名ユーザーの削除 test データベース（誰でもアクセスできる）の削除

17. 鉄板設定これだけはやっておけ！ ● スロークエリログの有効化 – – ● バイナリログの有効化 – – – ● character_set_server = utf8 接続数 – – ● log_bin=mysql-bin expired_logs_days = 30 sync_binlog=1 文字コード – ● slow_query_log=1 long_query_time=1 max_connections = 1000 limits.conf で FD を増やしておくこと InnoDB の各種パラメータ調整 – – – – – innodb_buffer_pool_size = 10G innodb_log_file_size = 1G innodb_log_buffer_size = 64M innodb_file_format = Barracuda innodb_io_capacity = 2000 # SSD の場合

18. ユーザー管理

19. MySQL のユーザーアカウント ● ● ● username@hostname という形式 – username は任意のユーザー名（文字列） – hostname はクライアントのホスト名または IP アドレス – ユーザー名が同じでも接続元が違えば別アカウント！匿名ユーザー – ''@host1 ワイルドカード = % – john@'%' … 任意のホスト名に一致 – john@'%.hoge.com' … hoge.com というドメイン名に一致 – john@'192.168.1.%' … 192.168.1.0 のネットワークに一致 ● john@'192.168.1.0/255.255.255.0' のほうがベター

20. ユーザーアカウントのマッチング ● ● ● より具体的なアカウントから先にマッチするユーザー名よりもホスト名優先優先順位の例 1.john@hoge 2.''@hoge 3.john@'%.hoge.com' 4.john@'%' 5.''@'%' ● 最初にマッチしたユーザーアカウントが選択される

21. MySQL 5.6 で利用可能な認証プラグインプラグイン名説明商用 Native デフォルトの認証方式 Old Native バージョン 4.1 以前の認証方式 SHA-256 SHA-256 をパスワードのハッシュに利用する方式 Clear Text 平文を用いた認証方式。外部認証を行う場合に必要 PAM PAM を用いた認証方式。 MySQL サーバーにはパ Y スワードを平文で送る必要がある Windows Native Windows 認証を用いて接続する Socket PeerCredential UNIX ドメインソケットで接続するときに利用可能な特殊なプラグイン。 Y

22. ユーザーの作成例 SHA-256 プラグインの場合 ● ユーザーの作成 – ● CREATE USER 'sha256user'@'localhost' IDENTIFIED WITH sha256_password; パスワードの設定 – – SET old_passwords = 2; SET PASSWORD FOR 'sha256user'@'localhost' = PASSWORD('sha256P@ss');

23. ドライバ

24. 利用可能なドライバの例言語名称配布元ライセンス C libmysqlclient Oracle GPLv2 C++ Connector/C++ Oracle GPLv2 Java Connector/J Oracle GPLv2 .NET Connector/.NET Oracle GPLv2 ODBC Connector/ODBC Oracle GPLv2 PHP mysqlnd PHP PHP Python Connector/Python Oracle GPLv2 Perl DBD::mysql cpan GPLv2 Ruby Ruby/MySQL gem(tmtm 氏 ) Ruby

25. FOSS License Exception ● 平たく言うと・・・ – ● ドライバが対象 – ● 自由あるいはオープンソースソフトウェアのために MySQL を利用する場合は、 GPLv2 を適用しなくても良いという規定サーバーは Exception なし適用されるライセンスのリスト – – http://www.mysql.com/about/legal/licensing/fossexception/ 例） AGPLv3 、 GPLv3 、 LGPLv2 〜、 MIT 、 BSD 、 Apac he License 、 PHP License 、 Python License 、 Artistic License

26. 文字コード

27. 意外とハマりやすい文字コード MySQL の文字コードの実装はとても柔軟柔軟さが増せば複雑さも増す・・・

28. MySQL で利用可能な文字コード文字コード名対応文字ストレージサイズ sjis JIS X 0208:1997 1 〜 2 バイト cp932 JIS X 0208:1997 + NEC 特殊文字・ IBM 拡張文字 1 〜 2 バイト ujis JIS X 0208:1997 1 〜 3 バイト eucjpms JIS X 0208:1997 + NEC 特殊文字・ IBM 拡張文字 1 〜 3 バイト utf8 JIS X 0208:1997 + NEC 特殊文字・ IBM 拡張文字 1 〜 3 バイト utf8mb4 JIS X 0213:2004 1 〜 4 バイト

29. 文字コードと照合順序 ● 文字コード – ● 利用可能な文字の集合をコード化したもの照合順序 – – – 文字コードに対する並び順を定義したもの大文字小文字の区別あり・なしなど SHOW COLLATIONS

30. 文字コードが適用される箇所 ● カラム内のデータ – ● ● 文字コードはカラムごとに異なるものを指定可能テーブル名などのメタデータクライアントとの通信

31. 文字コードの指定はカラム単位 CREATE TABLE t ( a VARCHAR(100) CHARACTER SET cp932, b VARCHAR(100) CHARACTER SET eucjpms, c VARCHAR(100) CHARACTER SET utf8, : ); 必要に応じて自動変換

32. MySQL サーバーにおける文字コード自動変換 ④ データを蓄える際の文字コード ② クエリの実行に利用する文字コード ⑤ テーブル名やカラム名に対する文字コードテーブル ① 送信する SQL 文に対する文字コードクライアントセッション MySQL サーバー ⑥ ファイル名を解決する際の文字コード ③ クエリの実行結果に対する文字コードファイルシステム出展：エキスパートのための MySQL ［運用＋管理］トラブルシューティングガイド

33. カラムの文字コードのデフォルト値 CREATE TABLE t ( a VARCHAR(100) CHARACTER SET cp932, b VARCHAR(100) CHARACTER SET eucjpms, c VARCHAR(100), : 指定がない ) CHARACTER SET utf8; デフォルト値としてテーブルの文字コードがカラムに適用される

34. テーブルの文字コードのデフォルト値 CREATE TABLE t ( a VARCHAR(100), b VARCHAR(100), c VARCHAR(100), : ); カラム、テーブル双方に文字コードの指定がない CREATE DATABASE db CHARACTER SET utf8; データベースの文字コードが適用される

35. データベースの文字コードのデフォルト値 CREATE DATABASE db1 CHARACTER SET utf8; CREATE DATABASE db2; データベース作成時に文字コードの指定がない指定がない場合には character_set_server が適用される

36. 文字コード適用のルール characer_set_server データベースの文字コード（ character_set_database ）テーブルのデフォルト文字コードカラムの文字コード優先度が最も高い

37. トランザクション

38. トランザクションが利用可能なストレージエンジン ● InnoDB – – – – – 標準の MySQL に添付多くの負荷パターンで良好な性能を発揮行レベルロック MVCC クラスタインデックス ● ndbcluster – – – – – – MySQL サーバーとは別パッケージで配布並列分散型のデータストアシェアードナッシングアーキテクチャインメモリデータベースピーキーな性能特性 Join Pushdown

39. 利用可能な分離レベルダーティリード反復不可能読み取りファントム O X O READ-COMMITTED X X O REPEATABLE-READ X O X X O X 分離レベル READUNCOMMITTED SERIALIZABLE 分離性低高

40. ロックの種類 ● データへのアクセスはすべて行ロック – – Non-locking read Record Locks ● ● – – ● インデックスレコードをロックする X-lock / S-lock Next Key lock Insertion Intention テーブルロックあり – – – LOCK TABLES DDL 用 IX 、 X 、 IS 、 S ロック

41. ネクストキーロック ● ● Next Key Lock = Record Lock + Gap Lock Gap Lock とは – – – レコードとレコードの間の仮想的な空間をロックする S-Lock / X-Lock ファントム防止 ● ● X-Gap-Lock は Insertion Intention Lock と競合する Insertion Intention Lock – – レコードを挿入する前に Gap をロックする共有ロック ● 同じ Gap に対して同時に INSERT 可能

42. エラー処理 ● ● 最低でもトランザクションのリトライは必須トランザクション理論では、トランザクションの終了ステータスは Commit もしくは Abort – Abort を皆無にすることは理論上不可能

43. リトライするべきエラーエラーの種類エラーの判別方法追加で行うべき対処デッドロックエラーコード 1213 または SQLSTATE 40001 行へアクセスする順序の見直し。 Lock Wait Timeout エラーコード 1205 SHOW PROCESSLIST の記録。長時間ロックを保持するトランザクションのチューニング。一時的なエラー（ NDB ）エラーコード 1297 各種リソースの見直し。接続関係のエラー SQLSTATE 08S01 COMMIT 中にエラーが発生した場合は COMMIT が成功したかどうかの確認。

44. レプリケーション

45. レプリケーションの用途 ● ● ● ● ● 高可用性用スタンバイバックアップレポーティング等の負荷の分離スケールアウトディザスタリカバリ

46. スタンバイとしてのレプリケーション ● 非同期または準同期 – 準同期はスレーブへログが到着するのを待つ ● ● ● 切り替えは高速！ – – – ● スレーブへ切り替えてもデータの損失はないマスター側で COMMIT の応答が返ったかどうかは分からない論理的なコピーなのでクラッシュリカバリは不要 MySQL 自身には切り替えのための機能はないクライアントの繋ぎ変え問題点 – – 切り戻しの手順が複雑になりがちスレーブが複数ある場合は差分を解消する必要あり

47. 準同期レプリケーションアプリケーション 1. COMMIT 7. send_ok 6-1-2. ack 接続スレッド 3. ログ更新ストレージエンジン 2. 6-1-1. ack スレーブ接続スレッドバイ更ナリ新ログ 4. バイナリログ送信バイナリログマスター I/O スレッド SQL スレッド 5. リレーログ更新 6-2. 更新の適用リレーログストレージエンジンスレーブ

48. クエリのチューニング

50. クエリの構造を読み解く ● select_type でクエリの構造が分かる！ – JOIN ● – UNION ● – SIMPLE UNION, UNION RESULT サブクエリ ● ● ● FROM 句のサブクエリ ... PRIMARY, DERIVED その他 ... PRIMARY, SUBQUERY, DEPENDENT SUBQUERY, UNCACHEABLE SUBQUERY など。サブクエリが UNION になっている場合 ... DEPENDENT UNION, UNCACHEABLE UNION

51. Visual Explain

52. JOIN の種類 ● MySQL にある JOIN の種類 – – – – Nested Loop Join Block Nested Loop Join ← 変形 NLJ Batched Key Access Join ← 変形 BNLJ Pushdown Join （ MySQL Cluster のみ。爆速）

53. Block Nested Look Join t2 t1 スキャン 1. WHERE 句の条件に沿って t1 からレコードをフェッチしバッファに格納 2. バッファが満タンになったら t2 をスキャンして JOIN 3. t1 のすべてのレコードについて JOIN Buffer くりかえし Using Join Buffer...

54. Batched Key Access Join t2 t1 1. WHERE 句の条件に沿って t1 からレコードをフェッチしバッファに格納 2. バッファが満タンになったら MRR で t2 からレコードをフェッチして JOIN MRR Scan 4. t1 のすべてのレコードについてくりかえし 3. ROWID の順で t2 からレコードをフェッチ JOIN Buffer

55. Performance Schema ● ● ● ● 各種統計情報を収集するストレージエンジン SELECT で情報にアクセス UPDATE で設定情報が豊富だが、豊富すぎて直接扱うのは難しい – – ps_helper が便利！ http://www.markleith.co.uk/ps_helper/

56. バックアップ

57. バックアップ戦略〜考慮するべきポイント〜 ● ● ● ● ● オンライン or オフライン論理 or 物理フル or 差分 / 増分どのストレージエンジンが対象かバックアップ / リストアにかかる時間 – – ● スケジュール。 – – ● ● ● 復旧優先？データ保全優先？どの時間帯にとるか？どこまで巻戻っても OK か？手順は確立されているか？バックアップの保管先有償 or 無償

58. バックアップツールの種類バックアップ方法（ツール名）オンライン Inno DB My ISAM 形式バックアップ速度リストア速度フル差分 mysqldump Yes Yes Yes Logical Mid Slow Yes No コールドバックアップ No Yes Yes Raw Fast Fast Yes No スナップショット Yes Yes Yes Raw Instant Fast Yes No バイナリログ Yes Yes Yes Logical -- Slow No Yes MySQL Enterprise Backup Yes Yes Yes InnoDB Fast Native Fast Yes Yes レプリケーション Yes Yes Yes Logical Contigu Very ous Fast Yes Yes

59. バックアップのためのレプリケーション活用 ● フルバックアップの負荷分散 – – ● スレーブはマスターの完全なコピーマスターへの影響がないのでどの方式でバックアップを取ることも可能遅延レプリケーション – スレーブ側で更新の適用を意図的に遅らせる ● – 例えば１時間などヒューマンエラー（間違ってテーブルを DROP した！）などが起きても直ぐに代わりとして利用可能

60. まとめ

61. まとめ ● ● ● MySQL はお手頃な RDBMS GPLv2+FOSS License Exception / 商用ライセンス運用のコツをおさえて安定稼働 – – – – – – – – 設定のツボを抑える文字コードは確実に指定トランザクションのエラー処理は忘れずに使い方広がるレプリケーション準同期レプリケーションでお手軽 HA MySQL Workbench で Visual Explain バックアップは万全に遅延レプリケーションでお手軽バックアップ

62. Q&A!! ご静聴ありがとうございました。

Mysql toranomaki

You are reading a preview.

Check these out next

Mysql toranomaki

More Related Content

Slideshows for you (20)

Viewers also liked (11)

Similar to Mysql toranomaki (20)

More from Mikiya Okuno (20)

Recently uploaded (20)