Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
サーバ環境が進化する 
今話題のPCIe SSDを評価してみた! 
(IOPS編) 
日商エレクトロニクス株式会社 
マーケティング本部 
SODCグループ 
1
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
今回評価で使用したPCIe SSDは? 
2 
Huawei ES3000 
高性能かつ高信頼性のPCIe SSD 
 3つの容量モデル : 
800GB, 1.2TB, 2.4TB 
 PCIe 2.0 x8 規格に対応 
 Full-Height, Half-Lengthの 
フォームファクタ 
 MLC Flash Chip採用
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
Huawei ES3000とは? 
速くて、信頼でき、運用し易い PCIe SSDらしい。 
3 
高性能 
高信頼性 
 FPGAコントローラ搭載:ホスト側の処理負荷を軽減 
 DDR3メモリ・キャッシュ搭載:FPGAあたり1GB 
 ダブルスケジューリング:Write処理とGC処理を並列処理 
 ECCによるデータ保護+Dynamic RAID-5 EngineでFlash Chip障害にも対応 
 データスクラビングにて不良ブロックを自動的にリプレース 
 大容量キャパシタにより突発的な電源断時のキャッシュデータ消失を防止 
運用管理 
 ログ機能によるデバイスのヘルス状況管理 
 ポーリング/トラップ監視可能なSNMPをサポート 
 書込み限度/不良ブロック管理などを実現する管理機能実装
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
STORAGE REVIEW.COMにも評価結果が 
お客様の評価結果も良いし、 
STORAGE REVIEW.COMに評価結果載ってるけど、 
とりあえず社内で評価してみないとね・・・ 
4 
747,867 
637,976 
587,392 
342,433 
Source: StorageReview 
16 Thread 16 Queue 100% Read 
16 Thread 16 Queue 100% Write 
232,722 
186,958 
78,052 
257,290 202,973 
99,683 114,892 117,647 78,159 
14,028 
1,000,000 
800,000 
600,000 
400,000 
200,000 
0 
Huawei 
ES3000 
1.2TB HP 
Linux 
Micron 
P320h Linux 
Micron 
P420m 
1.4TB Linux 
FlashMAX II 
HP Linux 
Fusion 
ioDrive2 
MLC 1.2TB 
Linux HP 
Intel SSD 
910 Linux 
Nytro 
WarpDrive 
400 eMLC 
Linux
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
評価されたお客様の声 
B社さま(オンラインゲーム等の企画・開発・運営企業) 
5 
まるでシャア専用ですね。 
C社さま(インターネット総合サービス企業) 
コストパフォーマンスの高さに驚きました。 
D社さま(ECサイト運営会社) 
ベンチマークが他社製品より2~3倍程高速。
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
評価してみました(作り方) 
6 
Huawei ES3000のfio炒め 
作り方 
1.ES3000をサーバに挿し、CentOSをインストールします。 
OSをインストールした後、ドライバ(※)をインストールします。 
ES3000が正しく認識できていることを確認します。 
ES3000のCLIでファームウェア(※)が最新であることも確認しましょう。 
2.fioを使用してIOPSを測定します。 
IOPSを測定する場合とレイテンシを測定する場合は、 
fioのオプションを変えましょう。 
※ドライバとファームウェアは下記URLから入手します。 
http://support.huawei.com/enterprise/softdownload?pid=9241725&idAbsPath=fixnode01|7919749|9856522|9856788|9241725&f 
astLocation=fastLocation#idAbsPath=fixnode01%7C7919749%7C9856522%7C9856788%7C9241725&ot=clk&pid=9241725&t=9 
64&type=402-00023809
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
評価してみました(材料) 
7 
材料 数量 ポイント 
1.サーバ 
Huawei社製RH2288 H v2 
メモリ :64GB 
HDD :300GB×2 
OS :CentOS 6.4 
2.Huawei ES3000 1.2TB 
3.F社製PCIe SSD 1.2TB 
1 
1 
1 
・電源供給量に気を付けましょう 
800GBモデル:20W~35W 
1.2TBモデル:25W~50W 
2.4TBモデル:25W~60W 
・SSDカードは発熱しやすいので、 
十分なエアフローを確保しましょう 
(300LFM以上)。 
・新しく試験を始める前に 
”hio_cleardata –d”コマンドで 
SSDカードを初期化しましょう。
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
評価してみました(出来上がり) 
8 
760,507 755,673 
Huawei社 ES3000 1.2TB 
F社製 PCIe SSD 1.2TB 
442,008 
164,755 180,179 
120,700 
158,819 
80,884 
900,000 
800,000 
700,000 
600,000 
500,000 
400,000 
300,000 
200,000 
100,000 
0 
Sequential Read Random Read Sequential Write Random Write 
IOPS [4K Block Size] 
(具体的なデータは補足資料を参照ください。)
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
考察 
9 
 他社のPCIe SSDと比較しても良さげな 
パフォーマンスが出てます。 
• シーケンシャルリードで2~4倍、ランダムリードで1.5~6倍 
• シーケンシャルライトで2~5倍、ランダムライトで1.5~2.8倍 
(具体的なデータは補足資料を参照ください。) 
 ディスク負荷があるようなアプリに効果があるかも。 
例えばDBとか。でもIOPSだけだとわからない…。 
 次回はアプリケーション視点での評価をしてみたいと 
思います。 
MySQL編につづく・・・
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
最後に・・・ 
10 
 Huawei ES3000情報 
• 製品情報はこちらから 
http://www.nissho-ele.co.jp/product/huawei/es3000/index.html 
• ホワイトペーパーはこちらから 
http://www.nissho-ele.co.jp/product/huawei/download.html
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
補足資料 
11
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
評価結果 -シーケンシャルリード- 
12 
Mode 
Block 
Size 
Huawi ES3000 1.2TB 
IOPS Latency 
Read Write 
Read 
MIN 
Read 
MAX 
Read 
AVG 
Write 
MIN 
Write 
MAX 
Write 
AVG 
シーケン 
シャル 
リード 
(S-R) 
4K 760,507 47 4,605 82.17 
8K 397,330 51 9,089 109.69 
16K 200,391 93 6,761 120.96 
64K 45,592 112 6,074 161.84 
256K 11,743 181 6,266 277.53 
Mode 
Block 
Size 
F社製PCIe SSD 1.2TB 
IOPS Latency 
Read Write 
Read 
MIN 
Read 
MAX 
Read 
AVG 
Write 
MIN 
Write 
MAX 
Write 
AVG 
シーケン 
シャル 
リード 
(S-R) 
4K 164,755 73 547 93.30 
8K 88,560 75 6,202 104.09 
16K 83,881 28 559 63.47 
64K 19,784 68 1,038 110.22 
256K 4,997 225 870 294.76
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
評価結果-ランダムリード- 
13 
Mode 
Block 
Size 
Huawi ES3000 1.2TB 
IOPS Latency 
Read Write 
Read 
MIN 
Read 
MAX 
Read 
AVG 
Write 
MIN 
Write 
MAX 
Write 
AVG 
ランダム 
リード 
(R-R) 
4K 755,673 49 4,824 103.05 
8K 382,871 51 4,718 109.04 
16K 132,523 51 6,611 120.76 
64K 45,017 86 5,572 161.26 
256K 11,579 180 5,583 279.58 
Mode 
Block 
Size 
F社製PCIe SSD 1.2TB 
IOPS Latency 
Read Write 
Read 
MIN 
Read 
MAX 
Read 
AVG 
Write 
MIN 
Write 
MAX 
Write 
AVG 
ランダム 
リード 
(R-R) 
4K 120,700 43 334 100.69 
8K 66,682 77 1,871 108.90 
16K 81,814 29 565 65.17 
64K 18,914 67 6,540 111.07 
256K 4,701 225 807 299.29
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
評価結果-シーケンシャルライト- 
14 
Mode 
Block 
Size 
Huawi ES3000 1.2TB 
IOPS Latency 
Read Write 
Read 
MIN 
Read 
MAX 
Read 
AVG 
Write 
MIN 
Write 
MAX 
Write 
AVG 
シーケン 
シャル 
ライト 
(S-W) 
4K 442,008 11 18,209 17.08 
8K 222,247 13 10,982 18.39 
16K 151,655 16 3,482 31.57 
64K 37,914 37 53,645 46.12 
256K 9,427 113 131,774 167.30 
Mode 
Block 
Size 
F社製PCIe SSD 1.2TB 
IOPS Latency 
Read Write 
Read 
MIN 
Read 
MAX 
Read 
AVG 
Write 
MIN 
Write 
MAX 
Write 
AVG 
シーケン 
シャル 
ライト 
(S-W) 
4K 158,819 17 11,301 36.05 
8K 56,070 21 14,316 49.50 
16K 64,865 32 11,651 64.82 
64K 16,828 104 10,422 139.46 
256K 4,652 295 11,385 350.76
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
評価結果-ランダムライト- 
15 
Mode 
Block 
Size 
Huawi ES3000 1.2TB 
IOPS Latency 
Read Write Read MIN 
Read 
MAX 
Read 
AVG 
Write 
MIN 
Write 
MAX 
Write 
AVG 
ランダム 
ライト 
(R-W) 
4K 180,179 11 19,807 17.37 
8K 93,138 13 5,649 18.47 
16K 50,360 17 1,993 31.69 
64K 11,065 38 12,901 86.98 
256K 2,781 113 12,509 356.69 
Mode 
Block 
Size 
F社製PCIe SSD 1.2TB 
IOPS Latency 
Read Write 
Read 
MIN 
Read 
MAX 
Read 
AVG 
Write 
MIN 
Write 
MAX 
Write 
AVG 
ランダム 
ライト 
(R-W) 
4K 80,884 18 11,324 42.87 
8K 33,005 21 11,897 62.39 
16K 35,648 32 12,099 89.53 
64K 5,342 88 12,128 253.26 
256K 1,326 304 12,312 821.78
Slightly Ahead!! 
of the competition 
Copyright by Nissho Electronics 
評価結果-ランダムリード・ライト- 
16 
Mode 
Block 
Size 
Huawi ES3000 1.2TB 
IOPS Latency 
Read Write 
Read 
MIN 
Read 
MAX 
Read 
AVG 
Write 
MIN 
Write 
MAX 
Write 
AVG 
ランダム 
リード・ 
ライト 
(R-RW) 
4K 151,074 151,100 21 10,116 118.06 12 9,364 17.56 
8K 77,988 78,009 23 5,712 147.07 14 4,645 19.55 
16K 36,228 36,224 28 5,633 218.17 17 1,154 33.88 
64K 9,115 9,115 58 6,876 574.39 38 926 76.01 
256K 2,308 2,306 175 8,004 1,297.73 112 3,997 202.46 
Mode 
Block 
Size 
F社製PCIe SSD 1.2TB 
IOPS Latency 
Read Write 
Read 
MIN 
Read 
MAX 
Read 
AVG 
Write 
MIN 
Write 
MAX 
Write 
AVG 
ランダム 
リード・ 
ライト 
(R-RW) 
4K 33,264 33,261 63 9,668 103.78 21 1,000,600 50.89 
8K 21,191 21,180 67 9,810 113.50 26 999,997 56.89 
16K 12,963 12,958 75 11,232 147.84 35 12,586 83.26 
64K 3,946 3,938 85 11,442 299.81 84 12,469 191.63 
256K 1,001 998 255 11,707 768.01 315 12,715 765.52

【IOPS編】サーバ環境が進化する今話題のPCIe SSDを評価してみた

  • 1.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics サーバ環境が進化する 今話題のPCIe SSDを評価してみた! (IOPS編) 日商エレクトロニクス株式会社 マーケティング本部 SODCグループ 1
  • 2.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 今回評価で使用したPCIe SSDは? 2 Huawei ES3000 高性能かつ高信頼性のPCIe SSD  3つの容量モデル : 800GB, 1.2TB, 2.4TB  PCIe 2.0 x8 規格に対応  Full-Height, Half-Lengthの フォームファクタ  MLC Flash Chip採用
  • 3.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics Huawei ES3000とは? 速くて、信頼でき、運用し易い PCIe SSDらしい。 3 高性能 高信頼性  FPGAコントローラ搭載:ホスト側の処理負荷を軽減  DDR3メモリ・キャッシュ搭載:FPGAあたり1GB  ダブルスケジューリング:Write処理とGC処理を並列処理  ECCによるデータ保護+Dynamic RAID-5 EngineでFlash Chip障害にも対応  データスクラビングにて不良ブロックを自動的にリプレース  大容量キャパシタにより突発的な電源断時のキャッシュデータ消失を防止 運用管理  ログ機能によるデバイスのヘルス状況管理  ポーリング/トラップ監視可能なSNMPをサポート  書込み限度/不良ブロック管理などを実現する管理機能実装
  • 4.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics STORAGE REVIEW.COMにも評価結果が お客様の評価結果も良いし、 STORAGE REVIEW.COMに評価結果載ってるけど、 とりあえず社内で評価してみないとね・・・ 4 747,867 637,976 587,392 342,433 Source: StorageReview 16 Thread 16 Queue 100% Read 16 Thread 16 Queue 100% Write 232,722 186,958 78,052 257,290 202,973 99,683 114,892 117,647 78,159 14,028 1,000,000 800,000 600,000 400,000 200,000 0 Huawei ES3000 1.2TB HP Linux Micron P320h Linux Micron P420m 1.4TB Linux FlashMAX II HP Linux Fusion ioDrive2 MLC 1.2TB Linux HP Intel SSD 910 Linux Nytro WarpDrive 400 eMLC Linux
  • 5.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 評価されたお客様の声 B社さま(オンラインゲーム等の企画・開発・運営企業) 5 まるでシャア専用ですね。 C社さま(インターネット総合サービス企業) コストパフォーマンスの高さに驚きました。 D社さま(ECサイト運営会社) ベンチマークが他社製品より2~3倍程高速。
  • 6.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 評価してみました(作り方) 6 Huawei ES3000のfio炒め 作り方 1.ES3000をサーバに挿し、CentOSをインストールします。 OSをインストールした後、ドライバ(※)をインストールします。 ES3000が正しく認識できていることを確認します。 ES3000のCLIでファームウェア(※)が最新であることも確認しましょう。 2.fioを使用してIOPSを測定します。 IOPSを測定する場合とレイテンシを測定する場合は、 fioのオプションを変えましょう。 ※ドライバとファームウェアは下記URLから入手します。 http://support.huawei.com/enterprise/softdownload?pid=9241725&idAbsPath=fixnode01|7919749|9856522|9856788|9241725&f astLocation=fastLocation#idAbsPath=fixnode01%7C7919749%7C9856522%7C9856788%7C9241725&ot=clk&pid=9241725&t=9 64&type=402-00023809
  • 7.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 評価してみました(材料) 7 材料 数量 ポイント 1.サーバ Huawei社製RH2288 H v2 メモリ :64GB HDD :300GB×2 OS :CentOS 6.4 2.Huawei ES3000 1.2TB 3.F社製PCIe SSD 1.2TB 1 1 1 ・電源供給量に気を付けましょう 800GBモデル:20W~35W 1.2TBモデル:25W~50W 2.4TBモデル:25W~60W ・SSDカードは発熱しやすいので、 十分なエアフローを確保しましょう (300LFM以上)。 ・新しく試験を始める前に ”hio_cleardata –d”コマンドで SSDカードを初期化しましょう。
  • 8.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 評価してみました(出来上がり) 8 760,507 755,673 Huawei社 ES3000 1.2TB F社製 PCIe SSD 1.2TB 442,008 164,755 180,179 120,700 158,819 80,884 900,000 800,000 700,000 600,000 500,000 400,000 300,000 200,000 100,000 0 Sequential Read Random Read Sequential Write Random Write IOPS [4K Block Size] (具体的なデータは補足資料を参照ください。)
  • 9.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 考察 9  他社のPCIe SSDと比較しても良さげな パフォーマンスが出てます。 • シーケンシャルリードで2~4倍、ランダムリードで1.5~6倍 • シーケンシャルライトで2~5倍、ランダムライトで1.5~2.8倍 (具体的なデータは補足資料を参照ください。)  ディスク負荷があるようなアプリに効果があるかも。 例えばDBとか。でもIOPSだけだとわからない…。  次回はアプリケーション視点での評価をしてみたいと 思います。 MySQL編につづく・・・
  • 10.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 最後に・・・ 10  Huawei ES3000情報 • 製品情報はこちらから http://www.nissho-ele.co.jp/product/huawei/es3000/index.html • ホワイトペーパーはこちらから http://www.nissho-ele.co.jp/product/huawei/download.html
  • 11.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 補足資料 11
  • 12.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 評価結果 -シーケンシャルリード- 12 Mode Block Size Huawi ES3000 1.2TB IOPS Latency Read Write Read MIN Read MAX Read AVG Write MIN Write MAX Write AVG シーケン シャル リード (S-R) 4K 760,507 47 4,605 82.17 8K 397,330 51 9,089 109.69 16K 200,391 93 6,761 120.96 64K 45,592 112 6,074 161.84 256K 11,743 181 6,266 277.53 Mode Block Size F社製PCIe SSD 1.2TB IOPS Latency Read Write Read MIN Read MAX Read AVG Write MIN Write MAX Write AVG シーケン シャル リード (S-R) 4K 164,755 73 547 93.30 8K 88,560 75 6,202 104.09 16K 83,881 28 559 63.47 64K 19,784 68 1,038 110.22 256K 4,997 225 870 294.76
  • 13.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 評価結果-ランダムリード- 13 Mode Block Size Huawi ES3000 1.2TB IOPS Latency Read Write Read MIN Read MAX Read AVG Write MIN Write MAX Write AVG ランダム リード (R-R) 4K 755,673 49 4,824 103.05 8K 382,871 51 4,718 109.04 16K 132,523 51 6,611 120.76 64K 45,017 86 5,572 161.26 256K 11,579 180 5,583 279.58 Mode Block Size F社製PCIe SSD 1.2TB IOPS Latency Read Write Read MIN Read MAX Read AVG Write MIN Write MAX Write AVG ランダム リード (R-R) 4K 120,700 43 334 100.69 8K 66,682 77 1,871 108.90 16K 81,814 29 565 65.17 64K 18,914 67 6,540 111.07 256K 4,701 225 807 299.29
  • 14.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 評価結果-シーケンシャルライト- 14 Mode Block Size Huawi ES3000 1.2TB IOPS Latency Read Write Read MIN Read MAX Read AVG Write MIN Write MAX Write AVG シーケン シャル ライト (S-W) 4K 442,008 11 18,209 17.08 8K 222,247 13 10,982 18.39 16K 151,655 16 3,482 31.57 64K 37,914 37 53,645 46.12 256K 9,427 113 131,774 167.30 Mode Block Size F社製PCIe SSD 1.2TB IOPS Latency Read Write Read MIN Read MAX Read AVG Write MIN Write MAX Write AVG シーケン シャル ライト (S-W) 4K 158,819 17 11,301 36.05 8K 56,070 21 14,316 49.50 16K 64,865 32 11,651 64.82 64K 16,828 104 10,422 139.46 256K 4,652 295 11,385 350.76
  • 15.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 評価結果-ランダムライト- 15 Mode Block Size Huawi ES3000 1.2TB IOPS Latency Read Write Read MIN Read MAX Read AVG Write MIN Write MAX Write AVG ランダム ライト (R-W) 4K 180,179 11 19,807 17.37 8K 93,138 13 5,649 18.47 16K 50,360 17 1,993 31.69 64K 11,065 38 12,901 86.98 256K 2,781 113 12,509 356.69 Mode Block Size F社製PCIe SSD 1.2TB IOPS Latency Read Write Read MIN Read MAX Read AVG Write MIN Write MAX Write AVG ランダム ライト (R-W) 4K 80,884 18 11,324 42.87 8K 33,005 21 11,897 62.39 16K 35,648 32 12,099 89.53 64K 5,342 88 12,128 253.26 256K 1,326 304 12,312 821.78
  • 16.
    Slightly Ahead!! ofthe competition Copyright by Nissho Electronics 評価結果-ランダムリード・ライト- 16 Mode Block Size Huawi ES3000 1.2TB IOPS Latency Read Write Read MIN Read MAX Read AVG Write MIN Write MAX Write AVG ランダム リード・ ライト (R-RW) 4K 151,074 151,100 21 10,116 118.06 12 9,364 17.56 8K 77,988 78,009 23 5,712 147.07 14 4,645 19.55 16K 36,228 36,224 28 5,633 218.17 17 1,154 33.88 64K 9,115 9,115 58 6,876 574.39 38 926 76.01 256K 2,308 2,306 175 8,004 1,297.73 112 3,997 202.46 Mode Block Size F社製PCIe SSD 1.2TB IOPS Latency Read Write Read MIN Read MAX Read AVG Write MIN Write MAX Write AVG ランダム リード・ ライト (R-RW) 4K 33,264 33,261 63 9,668 103.78 21 1,000,600 50.89 8K 21,191 21,180 67 9,810 113.50 26 999,997 56.89 16K 12,963 12,958 75 11,232 147.84 35 12,586 83.26 64K 3,946 3,938 85 11,442 299.81 84 12,469 191.63 256K 1,001 998 255 11,707 768.01 315 12,715 765.52