MySQL Technology Cafe #14 MySQL Shellを使ってもっと楽をしようの会

MySQL Shellを使ってもっと楽をしようの会
MySQL Technology Cafe #14
梶山隆輔 / KAJIYAMA, Ryusuke
MySQL Solution Engineering Director, Asia Pacific & Japan
MySQL Global Business Unit

Copyright © 2022, Oracle and/or its affiliates
2
MySQL Shellを使ってもっと楽をしようの会
2022/03/16(水) 19:00 〜 20:30
https://www.oracle.com/goto/code-jp

オラクルが提供するMySQLプログラム
はじめに
3
mysqld
mysqld_safe
mysql.server
mysqld_multi
mysql
mysqladmin
mysqlcheck
mysqldump
mysqlimport
mysqlpump
MySQL Shell
mysqlshow
mysqlslap
サーバーおよび起動
クライアント(CLI)
MySQL Workbench
クライアント(GUI)
インストール関連
管理およびユーティリティ
プログラム開発ユーティリティ
Connectors(API)
Connector/C++ Connector/J Connector/NET
Connector/ODBC Connector/Python
他に
など

MySQLサーバーへの接続
4
MySQL サーバー
クライアント(CLI)
クライアント(GUI)
Connectors(API)
コネクタを利用して
アプリケーション→DBへの
接続処理を開発
アプリケーション
接
続

• MySQLの「新しい」クライアント・プログラム
• 2017年にGA （新しい？🤔）
• SQL以外にもJavaScriptとPythonをサポート
• 開発や運用を効率化する各種DevOpsユーティリティ
• [Tab]キーでコード補完地味に便利
• MySQLサーバーへの接続方法いろいろ
• ユーザー名とパスワードのログイン情報を記憶させることも可能
• Linux: .mylogin.cnf に暗号化して格納
• macOS, Windows: OSの鍵管理システムを利用
MySQL Shellって何？
5
$ mysqlsh -u user -h host -P port -D schema
$ mysqlsh --user=user --host=host --port=port --schema=schema
$ mysqlsh user@host:port/schema
$ mysqlsh --uri user@host:port/schema
$ mysqlsh mysqlx://user@host:port/schema
MySQL Shellを起動後に接続も可能

動作環境
• MySQL Serverバージョン: MySQL 5.7/8.0
その時点での最新版のMySQL Shellを利用することを推奨(2022年3月現在は8.0.28)
• サポートOS: Linux/Windows/macOS (MySQLサーバーのサポート対象OSと同じ)
Windowsの場合は以下のライブラリが必要
 Visual Studio 2015 の Visual C++ 再頒布可能パッケージ
• リリースノートはWebで公開
https://dev.mysql.com/doc/relnotes/mysql-shell/8.0/en/news-8-0-28.html
MySQL Shellの準備
6

6. レプリケーションの構築
• グループ・レプリケーションの構築
MySQL InnoDB Cluster
• 非同期レプリケーションの構築
MySQL InnoDB ReplicaSet
• 災害対策構成の構築
MySQL InnoDB ClusterSet
本日のお品書き
7
1. テスト環境の作成
「サンドボックス」MySQLサーバーの構築と起
動
2. アプリ開発でJSONの利用
MySQLドキュメントストア
(NoSQL APIとドキュメント・データベース)
3. バックアップ/リカバリやデータ移動
インポート・エクスポートのユーティリティ
4. バージョンアップ
アップグレード・チェッカー・ユーティリティ
5. どこで作業しているかの確認
プロンプトのカスタマイズ

8
1. 「サンドボックス」MySQLサーバーの構築と起動

1. MySQLサーバーとMySQL Shellのバイナリをダウンロード
Windows上ならzip, LinuxやmacOSならtar.gzを解凍
2. MySQLサーバー (mysqld)とMySQL Shell (mysqlsh)の
それぞれの実行ファイルにパスを通しておく
3. MySQL Shellを起動
4. dba.deploySandboxInstance()コマンドを実行
引数にはMySQLサーバーが利用するポートを指定
サンドボックス関連の管理API
管理API(Admin API)でのサンドボックスMySQLサーバーの構築
9
コマンド機能
deploySandboxInstance() 新規インスタンスの作成と起動
deleteSandboxInstance() インスタンスの停止と削除
startSandboxInstance() 既存インスタンスの起動
stopSandboxInstance() インスタンスの停止
killSandboxInstance() インスタンスの強制終了

10
2. MySQLドキュメントストア

MySQLをドキュメント・データベースとしても運用可能
• RDBMSのテーブルとJSONドキュメントをシームレスに利用
• アプリケーション開発の要件に応じてSQL文とNoSQL APIを利用
• MySQLのNoSQL APIは"X Dev API"と呼ばれる
• CRUD操作を提供 = Create, Read, Update, Delete
• MySQLサーバーのXプラグインが必要 (デフォルトで有効)
• クライアント<->サーバー間はXプロトコルで通信
• Xプロトコル用のポートはデフォルトでは33060, SSL有効
• クライアントはMySQL Shellおよび各MySQL Connectorsが対応
MySQLドキュメントストア
11
{ }
SQL文 NoSQL API
SQL文 NoSQL API
テーブル SELECT 列名.. FROM テーブル名 .. テーブル名.select(). ..
JSONドキュメント SELECT JSON_EXTRACT(列名, 条件..).. FROM テーブル名 .. コレクション名.find(). ..
テーブル JSONドキュメント

12
3. データのインポート・エクスポート&ダンプ・ロード用
ユーティリティ

mysqldumpやmysqlpumpに代わるデータのエクスポート用ユーティリティ
• 対応するインポート用のユーティリティも強化
• データを指定サイズで分割して並列インポート可能に
• Oracle Cloud InfrastructureのObject Storageへ出力するオプションも
ダンプ・ロードユーティリティはMySQLサーバー全体のMySQL Database Serviceへの移行を省力化
• バックアップ用途としても利用可能
データのインポート・エクスポート&ダンプ・ロード用ユーティリティ
13
データ出力データ入力対象データ形式
util.exportTable() util.importTable() テーブル CSVまたはTSV (zstd, gzip圧縮可)
util.dumpInstance()
util.loadDump()
サーバー全体メタデータ (JSON形式)
CREATE TABLE文
TSV(zstd, gzip圧縮可)
util.dumpSchemas() データベース
util.dumpTables() テーブル

util.import_json(<JSONファイルパス>, <オプション>)
JSONドキュメントをインポートできるユーティリティ
• JSONデータ型の列が存在するテーブルにインポート
• テーブルが存在しない場合は新規に「コレクション」を作成
MongoDBのBSON(バイナリーJSON)もインポート可能
• convertBsonTypesオプションをtrueに設定
• BSONのデータ型を自動的に変換、変換しないことや型指定も一部可能
JSONインポート・ユーティリティ
14

15
4. アップグレード・チェッカー・ユーティリティ

バージョンアップ、そのまえに
MySQLのバージョンアップ前に互換性のチェック
• 5.7から8.0へのメジャーバージョンアップ
• 5.7, 8.0のマイナーバージョンアップ
• 5.7より前のバージョンには非対応
• GA版のMySQLサーバーのみ対応
• バージョンアップ先を指定してチェック可能
チェック対象のMySQLサーバーに接続
• 接続時のユーザーは以下の権限必須
RELOAD, PROCESS, SELECT
• コマンドラインまたはMySQL Shell内でコマンド実行
1) 5.6.4以前のTIME型、DATETIME型、TIMESTAMP型の利用
2) オブジェクト名でのMySQL 8.0の予約語の利用
3) 古いキャラクタセット utf8mb3 または utf8 の利用
4) テーブル名でのMySQL 8.0のデータディクショナリのテーブル名の利用
5) ネイティブのパーティショニングをサポートしていないストレージエンジンで
のパーティショニングの利用
6) 64文字以上の外部キー名の利用
7) 廃止されたSQLモード MAXDB の利用
8) 廃止されたSQLモードの利用
9) ENUM型またはSET型での64文字以上の項目の利用
10) 共通表領域に置かれたテーブルでのパーティショニングの利用
11) 表領域ファイルのファイルパスの循環参照
12) 廃止された関数の利用
13) 廃止された`GROUP BY ASC/DESC`構文の利用
14) 廃止されたエラーログをシステムログに書き出すオプションの利用
15) 廃止されたシステム変数の利用
16) デフォルト値が新しい値に変わるシステム変数の利用
17) 年月日にゼロが含まれていないか
18) ファイルの削除や破損によるスキーマの不整合
19) 8.0でInnoDBを利用するテーブルでの他のエンジン利用
20) `check table x for upgrade`コマンドで発生したエラー
21) 認証プラグインのアップグレードに関する注意事項
16

コマンドラインから実行:
mysqlsh root:@localhost:3306 -e "util.checkForServerUpgrade();"
MySQL ShellのJavaScriptまたはPythonモードから実行
mysql-js> util.checkForServerUpgrade("root@localhost:3306");
MySQL ShellからMySQLサーバーに接続済みの場合は引数無しで実行
mysql-py> util.check_for_server_upgrade();
出力:
Error - 修正しない場合はバージョンアップが失敗する (例: 古い日付型利用など)
Warning -修正しない場合はバージョンアップ後に意図しないエラーが発生する可能性あり (例: 予約後との競合)
Notice – 情報提供のみ
出力の最後にそれぞれの件数をサマリーとして表示
17

18
5. プロンプトのカスタマイズ

プロンプトをカスタマイズ可能
• 設定ファイル名: prompt.json
• 設定ファイルの格納先は環境変数
MYSQLSH_PROMPT_THEME で定義
デフォルトは
• Windows: %AppData%RoamingMySQLmy
sqlsh
• Linux & macOS: ~/.mysqlsh/
設定項目はリファレンスマニュアルよりも
サンプルフォルダ内の README.prompt が便利
• 色などの見た目以外にもホスト名やポート番号、
サーバーの各種変数などを表示設定可能
MySQL Shellバイナリ展開後の
./share/mysqlsh/prompt にサンプルあり
[表示例]
デフォルト
prompt_nocolor.json
prompt_classic.json
prompt_dbl_256.json
MySQL Shellのプロンプトのカスタマイズ
19

詳しくはyoku0825さんのブログにて続編に期待！！
(サーバー変数＆カスタム変数)
https://yoku0825.blogspot.com/
2022/02/mysql-
shellclasssegment.html
(classとsegment)
https://yoku0825.blogspot.com/20
22/02/mysql-shell.html
New! (変数によるclassの変更)
https://yoku0825.blogspot.com/20
22/03/mysql-shellclass.html
MySQL Shellのプロンプトのカスタマイズ
20

21
6. レプリケーションの構築

非同期レプリケーション "Loss-less" 準同期レプリケーション
MySQLのレプリケーション構成
22
• 参照処理の負荷分散や地理的冗長性の実現
• 更新処理へのオーバーヘッドなし
• 障害発生時に変更済みデータを失う可能性あり
• 変更済みデータの損失のない高可用性構成
• 更新処理へのオーバーヘッドあり
• フェイルオーバーの仕組みなし
ソース
レプリカレプリカ
ソース

グループレプリケーション – シングルプライマリー
MySQLのレプリケーション構成
23
• 変更済みデータの損失のない高可用性構成
• 更新処理へのオーバーヘッドあり
• DBフェイルオーバーあり
プライマリー
セカンダリーセカンダリー
非同期
レプリケーション
準同期
グループ
アプリ接続先の
自動フェイルオーバー × × ×
DBの
自動フェイルオーバー × × ○
障害発生時の
データロス無し × ○ ○
更新処理への
オーバーヘッドほぼ無し有り有り
クラスタモードソース → レプリ
カ
ソース → レプリ
カ
シングルプライマリ /
マルチプライマリ
共有ディスク不要不要不要
ストレージエンジン InnoDB InnoDB InnoDB
サポートOS ALL ALL ALL

アプリ接続の自動フェイルオーバー
MySQL InnoDB ReplicaSet MySQL InnoDB Cluster
MySQL Shell, MySQL Routerとの統合
24
• 非同期レプリケーションがベース
• アプリケーションの接続フェイルオーバーあり
• DBフェイルオーバーなし
• グループレプリケーションがベース
• アプリケーションの接続フェイルオーバーあり
• DBフェイルオーバーあり
• MySQL 8.0の高可用性構成の基本
プライマリー
セカンダリーセカンダリー
ソース
MySQL
Router
アプリケーション MySQL
Shell
構成管理
接続分散 /
フェールオーバー
MySQL
Router
アプリケーション MySQL
Shell
構成管理
接続分散 /
フェールオーバー

MySQL InnoDB ReplicaSet & MySQL InnoDBCluster
旧来の手順 MySQL Shellでの構築
MySQLのレプリケーション構成の構築手順
25
1. ソースサーバーのバックアップをレプリカにリストア
2. ソースサーバーのバイナリログ内の情報取得
• バイナリログファイル名とポジション
• またはGTID
3. レプリカサーバーにバイナリログ関連の設定追加
4. レプリケーション開始
5. 各レプリカサーバーで3,4を繰り返し
1. MySQL ShellでClusterまたはReplicaSet作成
• データやバイナリログの情報を自動的に同期
• レプリケーションも自動的に開始
2. MySQL Shellでレプリカを追加
確立された手法ではあるものの。。。
• ファイル名やポジションの転記ミスなどの可能性
• 作業項目が多く非効率
手動での作業が大幅に削減され作業効率向上
• クローンプラグインの利用で設定を含め複製
• ソースサーバーのデータをリストア済みの場合は
差分のみの転送で同期時間を短縮
監視や運用も省力化
• 構成情報や状態をパフォーマンススキーマで管理
• 手動での切り替えもコマンド一つで可能

複数のMySQL InnoDBClusterを組み合わせた災害対策構成
New!! MySQL InnoDB ClusterSet
26

# MySQL Shellでクラスター NRT を作成
mysqlsh> ﹨c root@localhost:3331
mysqlsh> nrt = dba.createCluster("NRT")
# クラスターにインスタンスを追加
mysqlsh> nrt.addInstance('localhost:3332')
mysqlsh> nrt.addInstance('localhost:3333')
mysqlsh> nrt.status()
# 作成済みのクラスターをベースにクラスターセットを作成
mysqlsh> myCS = nrt.createClusterSet('myCS')
mysqlsh> myCS.status()
# クラスター KIX を作成しインスタンスを追加
mysqlsh> kix = myCS.createReplicaCluster
('localhost:4441', 'KIX')
mysqlsh> kix.addInstance('localhost:4442')
mysqlsh> kix.addInstance('localhost:4443')
mysqlsh> myCS.status()
# プライマリー・クラスター NRT のプライマリー・ノードを変更
mysqlsh> nrt.setPrimaryInstance
('localhost:3332')
# スイッチオーバー: プライマリー・クラスターを KIX に変更
mysqlsh> myCS.setPrimaryCluster('KIX')
# フェールオーバー: 既存のプライマリー・クラスターの
# 全てのノードがダウンした場合に
# NRT をプライマリー・クラスターに昇格
mysqlsh> myCS.forcePrimaryCluster('NRT')
MySQL InnoDB ClusterSet の設定コマンド例
27
NRT KIX

詳しくはOracleVideo Hubに掲載の「MySQL 8.0入門セミナー」の動画にて
MySQL 8.0 入門レプリケーション編(2) InnoDB ReplicaSet
https://videohub.oracle.com/media/0_8v4ylqlx
MySQL 8.0 入門レプリケーション編(3) MySQL InnoDB
Cluster
https://videohub.oracle.com/media/0_zvdqn0qy
MySQL InnoDB ReplicaSet & MySQL InnoDB Clusterについて
28
Oracle Video Hub MySQL 検索

Shell Plugin
https://github.com/lefred/mysqlshell-plugins
レポート機能
https://dev.mysql.com/doc/mysql-shell/8.0/ja/mysql-shell-reporting.html
デフォルトモードの永続化
shell.options.setPersist('defaultMode', 'sql')
履歴関連の設定変更および永続化
shell.options.setPersist('history.autoSave', 1)
shell.options.setPersist('history.maxSize', 5000)
ライブラリのインポート
https://dev.mysql.com/doc/mysql-shell/8.0/ja/mysql-shell-adding-module-
search-paths.html
PIPでのモジュールのインストール
https://lefred.be/content/mysql-shell-and-extra-python-modules/
ほかにもまだいろいろ
29

これからMySQL8.0に触れる方を対象に定期的に実施しているセミナーです。
動画：https://videohub.oracle.com/channel/MySQL Japan/
▶︎MYSQL8.0入門シリーズ
資料：https://www.mysql.com/jp/news-and-events/seminar/downloads.html
MySQL8.0入門セミナーについて
これまでの内容
インストール(1) WindowsにおけるMySQLインストール
インストール(2) LinuxにおけるMySQLインストール
アーキテクチャ基礎 MySQLアーキテクチャの基礎
レプリケーション(1) MySQLレプリケーションの基礎
レプリケーション(2) 機能解説：MySQL InnoDB Replica Set
レプリケーション(3) 機能解説：MySQL InnoDB Cluster
セキュリティセキュリティ機能解説
チューニングチューニング方法解説
MySQL Workbench MySQL Workbenchの利用方法解説
30

過去のセミナー資料・動画
https://www.mysql.com/jp/news-and-events/seminar/downloads.html
https://videohub.oracle.com/channel/MySQL+Japan/
参考資料
31

Click to add image
Announcing new machine learning
capabilities for MySQL HeatWave
MySQL HeatWaveの機械学習機能を発表
2022年3月30日午前1時よりライブ配信
4月11日の週に日本語でのウェビナー開催予定
ウェビナー詳細は近日公開
https://www.mysql.com/jp/
32

MySQL Technology Cafe #14 MySQL Shellを使ってもっと楽をしようの会

MySQL Technology Cafe #14 MySQL Shellを使ってもっと楽をしようの会

Recommended

Recommended

More Related Content

Similar to MySQL Technology Cafe #14 MySQL Shellを使ってもっと楽をしようの会

Similar to MySQL Technology Cafe #14 MySQL Shellを使ってもっと楽をしようの会 (20)

More from オラクルエンジニア通信

More from オラクルエンジニア通信 (20)

Recently uploaded

Recently uploaded (15)

MySQL Technology Cafe #14 MySQL Shellを使ってもっと楽をしようの会