【MySQL編】サーバ環境が進化する今話題のPCIe SSDを評価してみた

1. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
サーバ環境が進化する
今話題のPCIe SSDを評価してみた！
（MySQL編）
日商エレクトロニクス株式会社
マーケティング本部
SODCグループ
1

2. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
前回までのあらすじ
2
 FIOを使って性能評価を実施。
• 【IOPS編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
http://www.slideshare.net/NisshoLab/pcie-ssd-iops
 Huawei ES3000は他社のPCIe SSDと比較しても
良さげなパフォーマンスが出た。
• シーケンシャルリードで2~4倍、ランダムリードで1.5~6倍
• シーケンシャルライトで2~5倍、ランダムライトで1.5~2.8倍
 DBなど、ディスク負荷があるようなアプリに
効果があるかも。
 今回はアプリ視点での評価をしてみます。

3. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
いきなりCM
3

4. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
今回評価で使用したPCIe SSDは？
4
Huawei ES3000
高性能かつ高信頼性のPCIe SSD
 5つの容量モデル :
600GB, 800GB, 1.2TB, 2.4TB, 3.2TB
 ホームファクタ
Half-Height/Half-Length
Full-Height/Half-Length
 PCIe 2.0 x8 規格に対応
 MLC Flash Chip採用

5. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
Huawei ES3000とは？
速くて、信頼でき、運用し易い PCIe SSDらしい。
5
高性能
高信頼性
 FPGAコントローラ搭載：ホスト側の処理負荷を軽減
 DDR3メモリ・キャッシュ搭載：FPGAあたり1GB
 ダブルスケジューリング：Write処理とGC処理を並列処理
 ECCによるデータ保護＋Dynamic RAID-5 EngineでFlash Chip障害にも対応
 データスクラビングにて不良ブロックを自動的にリプレース
 大容量キャパシタにより突発的な電源断時のキャッシュデータ消失を防止
運用管理
 ログ機能によるデバイスのヘルス状況管理
 ポーリング/トラップ監視可能なSNMPをサポート
 書込み限度/不良ブロック管理などを実現する管理機能実装

6. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価されたお客様の声
B社さま（オンラインゲーム等の企画・開発・運営企業）
6
まるでシャア専用ですね。
C社さま（インターネット総合サービス企業）
コストパフォーマンスの高さに驚きました。
D社さま（ECサイト運営会社）
ベンチマークが他社製品より2～3倍程高速。

7. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
CMおわり
7

8. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価してみました（作り方）
8
MySQLのsysbench煮込み
作り方
１．サーバにPCIe SSD（※）を取り付けOSをインストールします。
２．MySQLをインストールし、必要に応じてパラメータを変更します。
３．sysbenchを使用し、パフォーマンスを測定します。
オプションは要件に応じて変えましょう。
※ES3000のドライバとファームウェアは下記URLから入手します。
http://support.huawei.com/enterprise/softdownload?pid=9241725&idAbsPath=fixnode01|7919749|9856522|9856788|9241725&f
astLocation=fastLocation#idAbsPath=fixnode01%7C7919749%7C9856522%7C9856788%7C9241725&ot=clk&pid=9241725&t=9
64&type=402-00023809

9. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価してみました（材料）
9
材料 数量 ポイント
１．サーバ
Huawei社製RH2288 H v2
メモリ ：64GB
HDD ：300GB×2
OS ：CentOS 6.4
DB : MySQL 5.6
２．クライアント
Huawei社製RH2288 Hv2
メモリ ：64GB
HDD ：300GB×１
OS ：CentOS 6.4
負荷ツール：Sysbench 0.5
３．Huawei ES3000 (1.2TB)
４．F社製PCIe SSD (1.2TB)
１
１
１
１
・電源供給量に気を付けましょう。
・詳細は前回の資料を参照（※）
・PCIe SSDは発熱しやすいので、
十分なエアフローを確保しましょう。
（300LFM以上）。
・スケールファクタ
テーブル数 = 10
テーブル毎のレコード件数 =50,000,000
DBサイズ（ページサイズ16K）=120GB
DBサイズ（ページサイズ4K） = 140GB
・MySQLコンフィグ
innodb_buffer_pool_size =
16MB, 128MB, 10GB, 32GBで評価
innodb_page_size = 16KB（for HDD）
innodb_page_size = 4KB（for SSD）,etc…
※【IOPS編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
http://www.slideshare.net/NisshoLab/pcie-ssd-iops

10. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価してみました（出来上がり①）
25,000
20,000
15,000
10,000
5,000
0
パラメータ 変更前 比較 RealOnly
InnoDB Buffer Pool Size 32G
（具体的なデータは補足資料を参照ください。） 10
3,000
2,500
2,000
1,500
1,000
500
0
1 8 16 32 64 128 256 512
Response Time(ms)
TPS
ユーザー数
HDD TPS F社製 PCIe SSD TPS Huawei社 ES3000 TPS
HDD RT F社製 PCIe SSD RT Huawei社 ES3000 RT

11. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価してみました（結果①）
◆ MySQL パラメータ設定 (ReadOnly) ◆
innodb_flush_log_at_trx_commit = 2 (*)
innodb_io_capacity = 100000 (*)
innodb_io_capacity_max = 100000 (*)
innodb_write_io_threads = 12 (*)
innodb_read_io_threads = 12 (*)
innodb_buffer_pool_instances = 8
innodb_flush_method = O_DIRECT (*)
innodb_flush_neighbors = 0 (*)
innodb_doublewrite = 1
innodb_page_size = 4K (*)
innodb_lru_scan_depth = 100000 (*)
innodb_thread_concurrency = 0
innodb_adaptive_flushing = 1
performance_schema = ON
max_connections = 521
MySQLパラメータ変更無し
（ReadOnlyの場合）
 最大でHDDの40倍近いTPS
値が出ていました。
 PCIe SSDの違いによる多少
のパフォーマンスの違いは
ありましたが、いずれの
場合でも極端な性能の差は
確認できませんでした。 (*) ： パフォーマンス向上用に変更したパラメータ
（具体的なデータは補足資料を参照ください。） 11

12. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価してみました（出来上がり②）
25,000
20,000
15,000
10,000
5,000
0
パラメータ 変更前 比較 ReadWrite
InnoDB Buffer Pool Size 32G
（具体的なデータは補足資料を参照ください。） 12
3,000
2,500
2,000
1,500
1,000
500
0
1 8 16 32 64 128 256 512
Response Time(ms)
TPS
ユーザー数
HDD TPS F社製 PCIe SSD TPS Huawei社 ES3000 TPS
HDD RT F社製 PCIe SSD RT Huawei社 ES3000 RT

13. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価してみました（結果②）
◆ MySQL パラメータ設定 (ReadWrite) ◆
innodb_flush_log_at_trx_commit = 2 (*)
innodb_io_capacity = 100000 (*)
innodb_io_capacity_max = 100000 (*)
innodb_write_io_threads = 12 (*)
innodb_read_io_threads = 12 (*)
innodb_buffer_pool_instances = 8
innodb_flush_method = O_DIRECT (*)
innodb_flush_neighbors = 0 (*)
innodb_doublewrite = 1
innodb_page_size = 4K (*)
innodb_lru_scan_depth = 100000 (*)
innodb_thread_concurrency = 0
innodb_adaptive_flushing = 1
performance_schema = ON
max_connections = 521
MySQLパラメータ変更無し
（ReadWriteの場合）
 最大でHDDの60倍を超え
るTPS値が出ていました。
 接続ユーザ数の違いで
Huawei ES3000の方が
1.5倍程良いTPS値が確認
される場合がありました。
(*) ： パフォーマンス向上用に変更したパラメータ
（具体的なデータは補足資料を参照ください。） 13

14. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価してみました（出来上がり③）
25,000
20,000
15,000
10,000
5,000
0
パラメータ 変更後 比較 ReadOnly
InnoDB Buffer Pool Size 32G
（具体的なデータは補足資料を参照ください。） 14
3,000
2,500
2,000
1,500
1,000
500
0
1 8 16 32 64 128 256 512
Response Time(ms)
TPS
ユーザー数
HDD TPS F社製 PCIe SSD TPS Huawei社 ES3000 TPS
HDD RT F社製 PCIe SSD RT Huawei社 ES3000 RT

15. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価してみました（結果③）
◆ MySQL パラメータ設定 (ReadOnly) ◆
innodb_flush_log_at_trx_commit = 0 (*)
innodb_io_capacity = 200000 (*)
innodb_io_capacity_max = 800000 (*)
innodb_write_io_threads = 4 (*)
innodb_read_io_threads = 64 (*)
innodb_buffer_pool_instances = 24 (*)
innodb_flush_method = O_DIRECT
innodb_flush_neighbors = 0
innodb_doublewrite = 1
innodb_page_size = 4K
innodb_lru_scan_depth = 100000
innodb_thread_concurrency = 0
innodb_adaptive_flushing = 1
performance_schema = OFF (*)
max_connections = 521
MySQLパラメータ変更有り
（Read Onlyの場合）
 ±5%以内の違いで
それほど極端な性能変化は
確認できませんでした。
(*) ： パフォーマンス向上用に変更したパラメータ
（具体的なデータは補足資料を参照ください。） 15

16. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価してみました（出来上がり④）
25,000
20,000
15,000
10,000
5,000
0
パラメータ 変更後 比較 ReadWrite
InnoDB Buffer Pool Size 32G
（具体的なデータは補足資料を参照ください。） 16
3,000
2,500
2,000
1,500
1,000
500
0
1 8 16 32 64 128 256 512
Response Time(ms)
TPS
ユーザー数
HDD TPS F社製 PCIe SSD TPS Huawei社 ES3000 TPS
HDD RT F社製 PCIe SSD RT Huawei社 ES3000 RT

17. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価してみました（結果④）
◆ MySQL パラメータ設定 (ReadWrite) ◆
innodb_flush_log_at_trx_commit = 0 (*)
innodb_io_capacity = 200000 (*)
innodb_io_capacity_max = 800000 (*)
innodb_write_io_threads = 4 (*)
innodb_read_io_threads = 24 (*)
innodb_buffer_pool_instances = 24 (*)
innodb_flush_method = O_DIRECT
innodb_flush_neighbors = 0
innodb_doublewrite = 1
innodb_page_size = 4K
innodb_lru_scan_depth = 100000
innodb_thread_concurrency = 0
innodb_adaptive_flushing = 1
performance_schema = OFF (*)
max_connections = 521
MySQLパラメータ変更有り
（ReadWriteの場合）
 Huawei ES3000で最大
10%程度のTPS値の向上。
 F社製 PCIe SSDで最大
25%のTPS値の向上。
(*) ： パフォーマンス向上用に変更したパラメータ
（具体的なデータは補足資料を参照ください。） 17

18. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
考察
18
 チューニングをしない状態でも
HDDと比較し30倍～60倍の性能向上。
 チューニングをしてもあまり変化が
見られなかった点に関しては継続調査。
 PCIe SSDを利用することでMySQLの
パフォーマンス向上が確認できたので、
他のDBでも性能が向上すると思われる。
Oracle ORION編につづく・・・

19. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
最後に・・・
19
 Huawei ES3000情報
• 製品情報はこちらから
http://www.nissho-ele.co.jp/product/huawei/es3000/index.html
• ホワイトペーパーはこちらから
http://www.nissho-ele.co.jp/product/huawei/download.html
• IOPS編はこちらから
http://www.slideshare.net/NisshoLab/pcie-ssd-iops

20. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
補足資料
20

21. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価結果 －パラメータ 変更前 比較 ReadOnly 32G－
21
ユーザー
数
TPS
HDD
TPS
FIO
TPS
ES3000
95%
HDD
95%
FIO
95%
ES3000
CPU
使用率
HDD
CPU
使用率
FIO
CPU
使用率
ES3000
ES3000
vs
FIO
1 12.80 107.06 93.49 96.59 10.13 11.77 1 2 1 87.32%
8 40.75 696.33 837.23 295.02 15.15 10.73 1 10 9 120.23%
16 53.95 1,258.70 1,461.97 465.55 16.49 12.64 1 20 18 116.15%
32 66.11 1,944.24 2,251.01 771.86 19.48 16.75 1 31 32 115.78%
64 72.93 2,549.74 2,721.10 1,290.09 30.84 30.88 1 42 39 106.72%
128 88.80 2,712.56 2,832.43 2,320.35 63.51 64.12 1 43 43 104.42%
256 85.46 2,728.48 2,853.12 5,711.20 118.36 117.76 1 44 46 104.57%
512 90.78 2,695.92 2,855.09 12,318.87 225.41 222.59 1 44 48 105.90%

22. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価結果 －パラメータ 変更前 比較 ReadWrite 32G－
22
ユーザー
数
TPS
HDD
TPS
FIO
TPS
ES3000
95%
HDD
95%
FIO
95%
ES3000
CPU
使用率
HDD
CPU
使用率
FIO
CPU
使用率
ES3000
ES3000
vs
FIO
1 7.99 90.92 83.09 217.33 11.85 13.33 1 2 2 91.39%
8 19.30 533.53 659.27 722.24 21.85 14.83 1 11 10 123.57%
16 24.83 883.56 1,091.76 1,161.08 31.28 17.74 1 17 19 123.56%
32 30.54 1,246.43 1,687.59 1,885.09 43.47 22.23 1 25 33 135.39%
64 37.73 1,481.98 2,189.15 3,054.18 54.32 33.05 1 31 45 147.72%
128 36.07 1,455.67 2,087.62 6,544.53 111.82 77.38 1 31 43 143.41%
256 48.26 1,430.34 1,888.26 9,960.24 454.81 268.47 1 32 42 132.01%
512 53.09 1,147.44 1,811.61 20,701.09 1,473.03 907.82 1 28 44 157.88%

23. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価結果 －パラメータ 変更後 比較 ReadOnly 32G－
23
ユーザー
数
TPS
HDD
TPS
FIO
TPS
ES3000
95%
HDD
95%
FIO
95%
ES3000
CPU
使用率
HDD
CPU
使用率
FIO
CPU
使用率
ES3000
ES3000
vs
FIO
1 12.80 109.31 90.38 96.59 90.94 12.28 1 2 1 82.68%
8 40.75 690.79 826.15 295.02 15.29 10.82 1 10 9 119.59%
16 53.95 1,243.90 1,457.62 465.55 16.77 12.59 1 18 17 117.18%
32 66.11 1,933.54 2,248.39 771.86 19.65 16.68 1 28 30 116.28%
64 72.93 2,560.67 2,744.85 1,290.09 30.77 30.28 1 38 37 107.19%
128 88.80 2,747.73 2,770.16 2,320.35 55.70 63.30 1 40 38 100.82%
256 85.46 2,745.71 2,856.97 5,711.20 108.00 121.78 1 41 42 104.05%
512 90.78 2,697.12 2,885.71 12,318.87 226.63 217.78 1 40 44 106.99%

24. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
評価結果 －パラメータ 変更後 比較 ReadWrite 32G－
24
ユーザー
数
TPS
HDD
TPS
FIO
TPS
ES3000
95%
HDD
95%
FIO
95%
ES3000
CPU
使用率
HDD
CPU
使用率
FIO
CPU
使用率
ES3000
ES3000
vs
FIO
1 7.99 93.24 82.35 217.33 11.79 13.30 1 2 1 88.32%
8 19.30 526.17 660.04 722.24 22.61 15.36 1 10 10 125.44%
16 24.83 876.53 1,101.94 1,161.08 32.76 18.68 1 16 18 125.72%
32 30.54 1,208.73 1,659.97 1,885.09 44.51 23.27 1 23 31 137.33%
64 37.73 1,405.06 2,302.82 3,054.18 55.84 33.72 1 27 43 163.89%
128 36.07 1,434.25 2,059.93 6,544.53 97.00 78.12 1 29 41 143.62%
256 48.26 1,467.98 2,055.34 9,960.24 209.16 155.93 1 30 42 140.01%
512 53.09 1,442.86 1,934.95 20,701.09 675.60 589.40 1 30 43 134.11%

25. Slightly Ahead!!
of the competition
Copyright by Nissho Electronics
25