Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
© 2016 Toshiba Corporation
超高速NoSQLデータベースと
超高速SSDの融合
db tech showcase 2016@秋葉原UDX Conference 6F
日時:2016年7月14日(木)11:00-11:5...
© 2016 Toshiba Corporation 2
• はじめに
• Aerospike製品紹介
• 東芝SSD製品紹介
Agenda
© 2016 Toshiba Corporation 3
東芝SSD製品の用途
幅広いSSDラインアップで、多様なアプリケーションに対応
Toshiba SSD
ハイエンドPC ホームサーバ
データセンタ
監視カメラ
カムコーダ
航空機内
AV...
© 2016 Toshiba Corporation 4
Aerospikeと東芝の協業の背景
AerospikeはSSD専用No SQLデータベース
 Aerospike社のエンドユーザに東芝SSDを活用していただきたい。
 Aerosp...
© 2016 Toshiba Corporation 5
Aerospike社と東芝の協業
Aerospike
東京
米国
+
Toshiba
東京
米国
米国、日本の計4拠点によるグローバルな連携
© 2016 Toshiba Corporation 6
Aerospike製品紹介
High Performance NoSQL Database
Speed at Scale
Powering New Opportunities at Scale
8© 2016 Aerospike Inc. All rights reserved.
■Internet以前
■限られた端末
■限られたユーザ数
■7秒ルール
■Internet以降
■数多くのデバイス
■数限りないユーザ数
■1秒ルール
B...
9© 2016 Aerospike Inc. All rights reserved.
Internet時代のデータベースの要件
必須要件 内容
高トランザクション処理 激増するトランザクション量への対応
大量データの管理 システム当たり数百T...
10© 2016 Aerospike Inc. All rights reserved.
■高パフォーマンス
■高スループット
■低レイテンシ
■性能の一貫性・安定性
■Flash (SSD)に最適化
■高信頼性
■SPOF無し
■自動フェイル...
11© 2016 Aerospike Inc. All rights reserved.
高パフォーマンス:高スループット、低レイテンシ
250
17.8
0
50
100
150
200
250
300
Aerospike Cassandra...
12© 2016 Aerospike Inc. All rights reserved.
性能の一貫性・安定性
13© 2016 Aerospike Inc. All rights reserved.
Flash (SSD)に最適化
BLOCK INTERFACE
SSD SSD
OPEN NVM
SSD
AEROSPIKE
HYBRID MEMORY ...
14© 2016 Aerospike Inc. All rights reserved.
■SSDのベンチマークのためのツール
■Read/Write混在環境でのスループットとレイテンシを測定
■実環境を模擬
■SSDベンダに提供
■パフォーマ...
15© 2016 Aerospike Inc. All rights reserved.
Flash (SSD)の有無によるTCO
16© 2016 Aerospike Inc. All rights reserved.
■課題
■読み取り時の低レイテンシ(ミリ秒)
■毎秒10万〜500万件の処理
■100%稼働の保証
■達成目標
■10億〜60億個のクッキーを管理
■毎秒...
17© 2016 Aerospike Inc. All rights reserved.
■課題
■処理全体:750 ms
■高レイテンシによる機会損失
■1回のクレジットカードの
トランザクションに
数百回のDBアクセス
■急速な拡大が必要
...
18© 2016 Aerospike Inc. All rights reserved.
■講演者
■Brian Bulkowski, Founder, CTO & Product
■内容(仮)
■Flash (SSD)がさらに速く、大容量にな...
© 2016 Toshiba Corporation 19
Aerospike
Speed Scale Reliability
SSD
性能 高容量 Enterprise
の信頼性
AerospikeとSSD
© 2016 Toshiba Corporation 20
東芝製SSD製品
© 2016 Toshiba Corporation 21
表中数値:
上段>SSD容量 [GB]
下段>スペック性能
PCIe® /NVMe SAS 12Gb/sSATA 6Gb/s
Enter
prise
&
Data
center
PC
...
© 2016 Toshiba Corporation 22
最新東芝Enterprise SSD製品 (SAS/NVMe)
Model PX04S PX04P
Interface SAS 12G PCIe Gen3 x4
Protocol SA...
© 2016 Toshiba Corporation 23
SSD専用に設計された新しいストレージインタフェース:NVMe®
CPU
PCIe
Traditional I/F:
• HDD
Compatible
• Two level
tran...
© 2016 Toshiba Corporation 24
Data Sheet性能比較
Toshiba A社 B社 C社
PX04P A製品 B製品 C製品
Max Capacity
(Max)
GB 3200 2000 3200 3200
...
© 2016 Toshiba Corporation 25
Sequential I/O
東芝PX04Pと競合製品のIO性能比較
0
50
100
150
200
250
Read
[MB/s]
Random I/O
性能検証 (自社検証)
W...
© 2016 Toshiba Corporation 26
東芝PX04Pの容量について
DWPD
1 3 10
低容量モデル(GB) 1,000 960 800
中容量モデル(GB) 2,000 1,920 1,600
高容量モデル(GB) ...
© 2016 Toshiba Corporation 27
 5年間の稼働保証
 NANDの特性を考慮した高性能コントローラ
信頼性
四日市工場
NAND
SSD
© 2016 Toshiba Corporation 28
Aerospike DB性能測定
© 2016 Toshiba Corporation 29
Aerospikeの視点
 スループットが高いこと
 レイテンシが遅くないこと
 Database安定稼働の観点から、性能が安定していること
Aerospike導入観点でのSSD...
© 2016 Toshiba Corporation 30
テストデータ
 3000 ACT TPS(1秒当たりの処理トランザクション量)
 読込/書込処理混合比率 : 67%/33%
 1.5 KBのデータ処理
テスト実行方法
 SS...
© 2016 Toshiba Corporation 31
性能測定結果比較例
測定SSD:PX04P 800GB
セッションにて、投影
© 2016 Toshiba Corporation 32
まとめ
東芝製NVMe SSD製品の以下3つの特長は、Aerospikeの要件に適している。
特長
 高い性能と性能の安定性
 高容量
 5年稼働保証などのエンタープライズクラス...
© 2016 Toshiba Corporation 33
参考情報
© 2016 Toshiba Corporation 34
参考情報(関連セッション紹介:日本電気株式会社様)
東芝NVMe SSD製品を用いた製品の紹介セッション:日本電気株式会社 星野智則様
7月13日(水):セッションルーム D Sess...
© 2016 Toshiba Corporation 35
• PCIeは、PCI-SIGの登録商標です。
• NVMeは、NVM Express, Inc.の商標です。
Disclamer
Upcoming SlideShare
Loading in …5
×

[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc. 田村 俊明 & 株式会社東芝 ストレージ&デバイスソリューション社 星野 純一

925 views

Published on

超高速分散NoSQLデータベース:Aerospikeは、フラッシュに最適設計したことにより、高パフォーマンスとスケーラビリティの両立に成功。その高速性とフラッシュの利用により、非常に大きなTCO削減効果と5年間のサービス無停止の実績を実現しています。本セッションでは、その特徴と活用事例の紹介、ならびに、その特徴を最大限に活用できる超高速SSD:東芝Enterprise SSDの製品概要とベンチマーク結果について紹介します。

Published in: Technology
  • Be the first to comment

  • Be the first to like this

[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc. 田村 俊明 & 株式会社東芝 ストレージ&デバイスソリューション社 星野 純一

  1. 1. © 2016 Toshiba Corporation 超高速NoSQLデータベースと 超高速SSDの融合 db tech showcase 2016@秋葉原UDX Conference 6F 日時:2016年7月14日(木)11:00-11:50(セッション2) セッション会場:セッションルームB 株式会社東芝 ストレージ&デバイスソリューション社 メモリ事業部 SSD統括部 SSD応用技術部 SSD応用技術企画担当 参事 Aerospike, Inc. カントリーマネージャー 田村 俊明 星野 純一
  2. 2. © 2016 Toshiba Corporation 2 • はじめに • Aerospike製品紹介 • 東芝SSD製品紹介 Agenda
  3. 3. © 2016 Toshiba Corporation 3 東芝SSD製品の用途 幅広いSSDラインアップで、多様なアプリケーションに対応 Toshiba SSD ハイエンドPC ホームサーバ データセンタ 監視カメラ カムコーダ 航空機内 AVシステム 組み込み用 ストレージ POSシステム タブレット タブレットPC エンタープライズ サーバ/ストレージ 東芝NAND Flashメモリ搭載
  4. 4. © 2016 Toshiba Corporation 4 Aerospikeと東芝の協業の背景 AerospikeはSSD専用No SQLデータベース  Aerospike社のエンドユーザに東芝SSDを活用していただきたい。  Aerospike社と協業し、SSDの評価や製品開発に活かす。
  5. 5. © 2016 Toshiba Corporation 5 Aerospike社と東芝の協業 Aerospike 東京 米国 + Toshiba 東京 米国 米国、日本の計4拠点によるグローバルな連携
  6. 6. © 2016 Toshiba Corporation 6 Aerospike製品紹介
  7. 7. High Performance NoSQL Database Speed at Scale Powering New Opportunities at Scale
  8. 8. 8© 2016 Aerospike Inc. All rights reserved. ■Internet以前 ■限られた端末 ■限られたユーザ数 ■7秒ルール ■Internet以降 ■数多くのデバイス ■数限りないユーザ数 ■1秒ルール Big Dataの時代 ■Internet of Thingsの時代へ ■無数のセンサー ■M2M ■msルール(仮) Source: Business Insider
  9. 9. 9© 2016 Aerospike Inc. All rights reserved. Internet時代のデータベースの要件 必須要件 内容 高トランザクション処理 激増するトランザクション量への対応 大量データの管理 システム当たり数百TBが視野に 不揮発性データ保存 高パフォーマンスと一貫性を犠牲にすることなく、 大量のデータの保存が必須 低レイテンシ レスポンスが一貫して5ミリ秒未満 高信頼性 高可用性(サービス停止無し)、SPOF無し スケーラビリティの保証と 容易な運用管理 ノード追加時・ダウン時に自立的な稼働、手作業無し 低TCO 少ないサーバで高パフォーマンス オープン性 & 相互運用性 既存システムとの統合が必要
  10. 10. 10© 2016 Aerospike Inc. All rights reserved. ■高パフォーマンス ■高スループット ■低レイテンシ ■性能の一貫性・安定性 ■Flash (SSD)に最適化 ■高信頼性 ■SPOF無し ■自動フェイルオーバー ■5年間無停止の実績 Aerospikeの特徴 ■容易な運用性 ■シャーディングの必要無し ■自動フェイルオーバー ■容易なスケールアウト ■リニア・スケーラビリティ ■低TCO ■高スループット ■Flash (SSD)に最適化 ■リニア・スケーラビリティ
  11. 11. 11© 2016 Aerospike Inc. All rights reserved. 高パフォーマンス:高スループット、低レイテンシ 250 17.8 0 50 100 150 200 250 300 Aerospike Cassandra 平均スループット (1,000TPS) スループット比較(50% read / 50% update) 2.3 4.0 97.5 94.0 0.0 20.0 40.0 60.0 80.0 100.0 120.0 Read Update 平均レイテンシ (ミリ秒) レイテンシ比較 Aerospike Cassandra
  12. 12. 12© 2016 Aerospike Inc. All rights reserved. 性能の一貫性・安定性
  13. 13. 13© 2016 Aerospike Inc. All rights reserved. Flash (SSD)に最適化 BLOCK INTERFACE SSD SSD OPEN NVM SSD AEROSPIKE HYBRID MEMORY SYSTEM™ OTHER DATABASE OS FILE SYSTEM PAGE CACHE BLOCK INTERFACE SSD HDD OTHER DATABASE AEROSPIKE FLASH OPTIMIZED IN-MEMORY DATABASE • デバイスに直接、アクセス • 大きな書き込みブロック • インデックスはDRAM上に展開 • 複数のSSDを並列処理 • 独自ファイルシステム • 共有メモリを利用したFast restart
  14. 14. 14© 2016 Aerospike Inc. All rights reserved. ■SSDのベンチマークのためのツール ■Read/Write混在環境でのスループットとレイテンシを測定 ■実環境を模擬 ■SSDベンダに提供 ■パフォーマンス向上に寄与 ■十分なパフォーマンスのSSDが必須 ■遅いSSDを速くすることは不可能 ■ホームページにて、推奨SSDを公開中 ■東芝製SSDは非常に良い性能 ■世界最高速レベル ■レイテンシのバラツキが少ない ACT: Aerospike Certification Tool
  15. 15. 15© 2016 Aerospike Inc. All rights reserved. Flash (SSD)の有無によるTCO
  16. 16. 16© 2016 Aerospike Inc. All rights reserved. ■課題 ■読み取り時の低レイテンシ(ミリ秒) ■毎秒10万〜500万件の処理 ■100%稼働の保証 ■達成目標 ■10億〜60億個のクッキーを管理 ■毎秒500万件のオークション ■100msで広告表示 → 50msでRTB → 1msでデータベースアクセス ■平均1.5KBのオブジェクト ■選定理由 ■ノード数が十分の1 → TCOが十分の1 ■読み取り時のレイテンシが二十分の1 ■高スループット 事例 1:インターネット広告のRTB (Real-Time Bidding) Ads is Displayed Publishers Ad Networks & SSPs Ad Exchanges Demand Side Platform Data Management Platforms Brands Agencies Buyers 0 ms 100 ms
  17. 17. 17© 2016 Aerospike Inc. All rights reserved. ■課題 ■処理全体:750 ms ■高レイテンシによる機会損失 ■1回のクレジットカードの トランザクションに 数百回のDBアクセス ■急速な拡大が必要 ■10TB → 100TB ■100億 → 1,000億オブジェクト ■20万TPS → 100万TPS ■選定理由 ■Flash (SSD)最適化 ■高スループット下での安定した 低レイテンシ ■即時一貫性、データ損失無し ■データセンター間のリプリケーション(XDR) ■サーバ20台でクラスタを構成 事例 2:クレジットカードの不正取引検出 Credit Card Processing System Fraud Detection & Protection App Rules Rule 1 Rule 2 Rule 3 Historical Data Rule 1-Passed Rule 2-Passed Rule 3-Failed Account Behavior Static Data Account Statistics
  18. 18. 18© 2016 Aerospike Inc. All rights reserved. ■講演者 ■Brian Bulkowski, Founder, CTO & Product ■内容(仮) ■Flash (SSD)がさらに速く、大容量になったら、何が起こるか? (随時通訳付) ■日時 ■8月第一週、18:30〜 ■場所 ■未定 ■その他 ■ビール・ピザをご提供する予定 弊社CTOによるMeetupのご案内
  19. 19. © 2016 Toshiba Corporation 19 Aerospike Speed Scale Reliability SSD 性能 高容量 Enterprise の信頼性 AerospikeとSSD
  20. 20. © 2016 Toshiba Corporation 20 東芝製SSD製品
  21. 21. © 2016 Toshiba Corporation 21 表中数値: 上段>SSD容量 [GB] 下段>スペック性能 PCIe® /NVMe SAS 12Gb/sSATA 6Gb/s Enter prise & Data center PC BGシリーズ XG3 PX04SH PX04SM PX04SV PX04SR SG5 HK4R HK4E PX04PM 128, 256, 512, 1024 GB 128, 256 GB 128, 256, 512, 1024 GB 120, 240, 480, 960, 1920 GB 200, 400, 800, 1600 GB 800, 1600, 3200 GB 200, 400, 800, 1600 GB 400, 800, 1600, 3200 GB 480, 960, 1920, 3840 GB 480, 960, 1920, 3840 GB PX04SL 2000, 4000 GB 960, 1920, 3840 GB DWPD=10 DWPD=3 DWPD=25 DWPD=10 DWPD=3 DWPD=1 DWPD=0.5 1000, 2000, 4000 GB DWPD=1 PCIe Gen3x4 PCIe Gen3x4 PCIe Gen2x2 2.5”SFF 7 mmH 2.5”SFFM.2 2.5”SFF 15 mmH AIC HHHL M.2 2280 M.2 2230BGA 2.5”SFF 15 mmH ※東芝OCZ製品は除く <Seq.Read/Seq.Write/Rand.Read/Rand.Write> [MiB/s] [MiB/s] [KIOPS] [KIOPS] 120GB: <500/120/75/4> 240GB: <500/270/75/10> 480GB: <500/480/75/12> 960/1920GB :<500/480/75/14> 200GB: <500/270/75/20> 400/800/1600GB:<500/480/75/30> 800/1600/3200GB <3100/2350/660/185> 960/1920/3840GB:<3100/2350/660/105> 1000/2000/4000GB:<3100/2350/660/80> 200/400/800GB:<1900/850/270/125> 1600GB:< 1500 / 750 / 270 / 120 > 400/800/1600GB:< 1900 / 850 / 270 / 90 > 3200GB:< 1500 / 750 / 270 / 85 > 480/960/1920GB:< 1900 / 850 / 270 / 60 > 3840GB:< 1500 / 750 / 270 / 55 > 480/960/1920GB:<1900/850/270/22> 3840GB:<1500/750/270/22> 2000GB:<1900/850/270/19> 4000GB:<1500/750/270/19> 128/256/512/1024GB: < up to 520 / up to 370 / - / - > 128/256/512/1024GB: < up to 2400 / up to 1500 / - / - > 128/256GB:<up to 715/up to 228/-/-> ※仕様は予告なく変更となる場合があります SAS 12Gb/s x 2 (デュアルポート) Toshiba SSD ラインアップ
  22. 22. © 2016 Toshiba Corporation 22 最新東芝Enterprise SSD製品 (SAS/NVMe) Model PX04S PX04P Interface SAS 12G PCIe Gen3 x4 Protocol SAS-3(SCSI) NVMe 1.0e Form Factor 2.5” SFF 2.5” SFF PCIe AIC SoC (SSD/NAND Controller) Toshiba Latest Generation SSD Controller NAND Flash Toshiba A19nm eMLC Design
  23. 23. © 2016 Toshiba Corporation 23 SSD専用に設計された新しいストレージインタフェース:NVMe® CPU PCIe Traditional I/F: • HDD Compatible • Two level transition • Big overhead NVMe®: • Only for SSD • CPU Direct • Small overhead CPU HBA (e.g.,SAS) SSD Controller NVM PCIe Storage Interconnect (e.g., SAS) Proprietary Standard(SAS etc.) SSD NVMe SSD Controller NVM NVMe® SSDStandard(NVMe®) NVMe®: Non Volatile Memory Express 東芝NVMe® SSD 多様な形状 U.2(2.5”SFF) AIC M.2 2280 BGA M.2 2230
  24. 24. © 2016 Toshiba Corporation 24 Data Sheet性能比較 Toshiba A社 B社 C社 PX04P A製品 B製品 C製品 Max Capacity (Max) GB 3200 2000 3200 3200 Interface PCIe Gen.3 x4 PCIe Gen.3 x4 PCIe Gen.3 x4 PCIe Gen.3 x4 Form Factor PCIe AIC HHHL 2.5" SFF 15mmH PCIe AIC HHHL 2.5" SFF 15mmH 2.5" SFF 15mmH 2.5" SFF 15mmH Performance Seq. Read/Write (MB/s) (128KiB) Read 3100 2800 3000 3100 Write 2350 2000 1600 2000 Random Performance (KIOPS) (4KiB) Read 660 450 743 750 Write 185 175 140 120 W30%/R70% 340 265 310 N/A Endurance DWPD x10 x17 x3 x5 Limited Warranty With Media Usage (years) 5 5 5 5 Power Power Consumption (W) Active 18 25 25 25 Idle 6 4 8 7 Schedule Customer Samples Available Available Available Available Data source Toshiba Datasheet A社 Datasheet B社 Datasheet C社 Datasheet
  25. 25. © 2016 Toshiba Corporation 25 Sequential I/O 東芝PX04Pと競合製品のIO性能比較 0 50 100 150 200 250 Read [MB/s] Random I/O 性能検証 (自社検証) Write [MB/s] 0 100 200 300 400 500 600 700 0 500 1000 1500 2000 2500 3000 0 500 1000 1500 2000 2500 3000 3500 +27% +16% +22% +45% Read [KIOPS] Write [KIOPS] 競合他社製品と比べ、最大約1.45倍の性能を確認。 様々な処理要求に対して高速に読書きすることが出来る Condition: IOmeter 2006.07.27.win32.i386 Sequential Read/Write: Worker x1, QD 128, 128KiB Transfer Random Read/Write: Worker x8, QD 128(8+16), 4KiB Transfer 他社Aの製品:PX04Pと同等クラスのEnterprise用途のNVMe SSD製品 東芝 他社A
  26. 26. © 2016 Toshiba Corporation 26 東芝PX04Pの容量について DWPD 1 3 10 低容量モデル(GB) 1,000 960 800 中容量モデル(GB) 2,000 1,920 1,600 高容量モデル(GB) 4,000 3,840 3,200 Random Write性能(KIOPS) 85 105 185 OP領域 小 中 大 DWPD(Drive Write Per Day)の数値が高いと、書き換え耐性が優れる。 OP(Over provisioning)領域も多く確保され、Radom Write性能も向上する。 豊富なラインナップが揃っており、データベース要件に合うSSDが選択できる DWPD(Drive Write Per Day)とは: 動作保証期間(例えば5年間)中、平均的に使用すると仮定した場合に1日にドライブの 全容量を最高何回まで書き換えられるかを表した指標
  27. 27. © 2016 Toshiba Corporation 27  5年間の稼働保証  NANDの特性を考慮した高性能コントローラ 信頼性 四日市工場 NAND SSD
  28. 28. © 2016 Toshiba Corporation 28 Aerospike DB性能測定
  29. 29. © 2016 Toshiba Corporation 29 Aerospikeの視点  スループットが高いこと  レイテンシが遅くないこと  Database安定稼働の観点から、性能が安定していること Aerospike導入観点でのSSDへの要求 H/WとS/Wを含めた Databaseプラットフォーム としての安定性 エンドユーザ視点 より多くのデータをより短いレイテンシ、より小さい性能振れ幅で処理
  30. 30. © 2016 Toshiba Corporation 30 テストデータ  3000 ACT TPS(1秒当たりの処理トランザクション量)  読込/書込処理混合比率 : 67%/33%  1.5 KBのデータ処理 テスト実行方法  SSD単体での、読書き混在負荷(3000xn)に対するレイテンシ確認  24時間以上の連続稼働 SSDに対する性能要件  1msを超えるレイテンシの割合 : 5%以内  8msを超えるレイテンシの割合 : 1%以内  64msを超えるレイテンシの割合 : 0.1%以内 ACT Toolによる性能測定要件 読書き混在ワークロード 安定稼動 高性能、安定性能
  31. 31. © 2016 Toshiba Corporation 31 性能測定結果比較例 測定SSD:PX04P 800GB セッションにて、投影
  32. 32. © 2016 Toshiba Corporation 32 まとめ 東芝製NVMe SSD製品の以下3つの特長は、Aerospikeの要件に適している。 特長  高い性能と性能の安定性  高容量  5年稼働保証などのエンタープライズクラスの信頼性 高速なNo SQL プラットフォーム Speed + Scale + Reliability Aerospike SSD専用高速No SQLデータベース + Toshiba 高速SSD
  33. 33. © 2016 Toshiba Corporation 33 参考情報
  34. 34. © 2016 Toshiba Corporation 34 参考情報(関連セッション紹介:日本電気株式会社様) 東芝NVMe SSD製品を用いた製品の紹介セッション:日本電気株式会社 星野智則様 7月13日(水):セッションルーム D Session4(14:00-14:50) NVMeフラッシュストレージを用いた高性能高拡張高可用なデータベースシステムの実現方法 ~ExpEther技術の活用~
  35. 35. © 2016 Toshiba Corporation 35 • PCIeは、PCI-SIGの登録商標です。 • NVMeは、NVM Express, Inc.の商標です。 Disclamer

×