[C14] 超高速データベースエンジンを用いたTPC-Hベンチマーク100TBクラス世界初登録への挑戦 by Shinji Fujiwara
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share

[C14] 超高速データベースエンジンを用いたTPC-Hベンチマーク100TBクラス世界初登録への挑戦 by Shinji Fujiwara

  • 853 views
Uploaded on

 

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
853
On Slideshare
841
From Embeds
12
Number of Embeds
2

Actions

Shares
Downloads
15
Comments
0
Likes
4

Embeds 12

https://twitter.com 11
http://s.deeeki.com 1

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. © Hitachi, Ltd. 2014. All rights reserved. 超高速データベースエンジンを用いた TPC-Hベンチマーク100TBクラス世界初登録への挑戦 ㈱日立製作所 情報・通信システム社 ITプラットフォーム事業本部 開発統括本部 ソフトウェア開発本部 DB設計部 主管技師 藤原 真二 2014/6/18 db tech showcase 2014 Osaka
  • 2. © Hitachi, Ltd. 2014. All rights reserved. 超高速データベースエンジンとは 1 Hitachi Advanced Data Binder プラットフォーム Hitachi Advanced Data Binder プラットフォーム 日立ラックサーバ 日立ストレージ 超高速データベースエンジン □自社従来比100倍(*3)の検索性能を誇る、超高速データベースエンジン Hitachi Advanced Data Binder (HADB)を搭載。 □可用性の高い日立のサーバと高速ストレージをセット化。 (*1) 世界のトップを目指した先端的研究を推進することで、産業、安全保障等の分野における我が国の中長期的な国際的競争力、底力の強化を図るとともに、研究開発成果の 国民および社会への確かな還元を図ることを目的として創設された国の研究開発プログラム。 (*2) 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評 価」(中心研究者:喜連川 東大教授/国立情報学研究所所長)の成果を利用』。 (*3) 当社従来製品との比較。解析系データベースに関する標準的なベンチマークを元に作成した、各種のデータ解析要求の実行性能を計測。データ解析要求の種類によって高 速化率には差が見られるが、データベースにおいて特定の条件を満たす一定量のデータを絞り込んで解析を行うデータ解析要求を対象とした結果。  最先端研究開発支援プログラム(*1)において、国立大学法人東京大学が 推進している超高速データベースエンジンの研究開発(*2)の成果を利用して 日立が製品化したリレーショナルデータベースシステム。
  • 3. © Hitachi, Ltd. 2014. All rights reserved. 研究開発の経緯 2 200920082007 201220112010 2013 内閣府/総合科学技術会議 最先端研究開発支援プログラム 「超巨大データベース時代に向けた最高速データベースエン ジンの開発と当該エンジンを核とする戦略的社会サービスの 実証・評価」 2700億円 2010年3月末で発展的 解消し、下記に一本化 製品開発 Hitachi Advanced Data Binder (HADB) 研究成果を利用  東京大学と共同で2007年度から文科省PJで開始、2009年度から内閣府PJで推進  日立は、2011年から、本研究成果を利用したDB製品の開発を開始 内閣府の最先端研究開発 支援プログラムに引継ぎ 文科省「非順序実行原理に基づく 超高性能タベースエンジンの開発」 プロジェクト TPC-H 100TBクラス 世界初登録 (中心研究者: 喜連川 東大教授/ 国立情報学研究所所長) 2012年 V1 2013年 V2
  • 4. © Hitachi, Ltd. 2014. All rights reserved. 目次 1. TPC-Hベンチマーク100TBクラスへの挑戦 2. 超高速データベースエンジンの新技術 3. 今後の展開 3
  • 5. © Hitachi, Ltd. 2014. All rights reserved. 目次 1. TPC-Hベンチマーク100TBクラスへの挑戦 2. 超高速データベースエンジンの新技術 3. 今後の展開 4
  • 6. © Hitachi, Ltd. 2014. All rights reserved. ■TPC協会が定めるデータベースの業界標準ベンチマークのひとつ ■TPC-Hは、Decision Support向けのベンチマークとして1999年にリリース ■データ規模で7つのクラス(100GB~100TB)がある 1.1 TPC-Hベンチマークとは? 5 ...TPC-H登録リスト 優れた性能を示す 客観的な証 出典:TPC-H - Top Ten Performance Results Version 2 Results (http://www.tpc.org/tpch/results/tpch_perf_results.asp) グローバル市場では DB製品としての 名刺のようなもの 目標:TPC-Hの最大規模 (100TBクラス)に登録
  • 7. © Hitachi, Ltd. 2014. All rights reserved. 1.2 なぜ100TBクラスを狙ったのか? 6 ■100TBクラスは30TBクラスと共に2003年に追加された最大規模のクラス ■30TBは2007年に1件登録されているが、100TBは2011年時点で未登録
  • 8. © Hitachi, Ltd. 2014. All rights reserved. 1.3 目標性能をどのように設定したのか? 7 ■100TBクラスは未登録のため、目標性能(TPC-Hスコア)の設定が難しい ■1TB以上のHDDベースのTPC-H登録スコア上位10件から外挿して、 80,000QphH@100TBに設定 目標:TPC-Hの最大規模(100TBクラス)に トップレベルの性能で世界初登録
  • 9. © Hitachi, Ltd. 2014. All rights reserved. 1.4 TPC-H登録に向けて必要な準備は? 8 ■製品開発! TPC-Hは商用のデータベース製品のみ登録可能 ■Auditorの確保 性能評価の監査役。登録にはAuditorの承認が必須 TPCベンチマークのAuditorは世界で5人 日立がBS1000で登録したときのAuditorに依頼 ■評価環境の準備 4 Hitachi BladeSymphony BS2000 WITH: 32 10 core Intel E7-8870 2.40GHz *1) 8 TB Memory 128 8Gbps Fiber Channel Adapters (dual-port) 60 600GB 15Krpm SAS Disk Drives 16 Hitachi Unified Storage 150 WITH: 1,600 900GB 10K rpm SAS Disks (*1)Intel Xeonは,米国およびその他の国におけるIntel Corporationの商標です。 HDD1600台の巨大システムで HADBが安定稼動
  • 10. © Hitachi, Ltd. 2014. All rights reserved. 1.5 HDD1600台って多すぎない? 9 ■DB規模当たりのHDD台数は既存の登録結果と比較して1/4以下と少ない 「非順序実行原理※」によりハードウェア性能を最大限に引き出す ※)喜連川 東大教授/国立情報学研究所所長・合田 東大特任准教授が考案した原理
  • 11. © Hitachi, Ltd. 2014. All rights reserved. 1.6 TPC-Hベンチマーク登録の手順は? 10 ■TPC-Hベンチマーク登録流れ ①商用データベース製品としての機能検証 サンプルクエリの実行、ACIDテストの実施 Auditorにオンサイト監査をしていただく ②TPC-Hベンチマークの性能測定 データロード及び性能測定 性能測定を2回実施(悪いほうのスコアを登録) 評価機にリモートからログインして頂き、リモート監査を実施 ③TPC事務局への報告書の提出と登録 ベンチマーク測定結果を報告書にまとめ、Auditorがレビュー Auditorの証明書を付けたレポートをTPC事務局に提出 測定結果が公式に登録され、60日間のレビューを経て確定
  • 12. © Hitachi, Ltd. 2014. All rights reserved. 1.7 機能検証の内容は? 11 ■機能検証テスト Auditor立会いのもと、以下を実施した (1)評価環境の確認 評価環境が構成情報と合致しているかを確認 (2)評価プログラムの確認 評価用のプログラムが規定書に合致しているか確認 (3)Query Validationテスト 1GBの機能検証要データベースを評価環境に作成し、 Q1~Q22を指定のパラメータで実行し結果が正しいかを確認 (4)ACIDテスト Atomicityテスト: COMMIT/ROLLBACKの基本動作を確認 Consistencyテスト: 更新トランザクションを多重実行し一貫性を確認 Isolationテスト: 6種類のテストでトランザクション分離レベルを確認 Durabilityテスト: 更新トランザクション多重実行中に、HDD障害、RAID障害、 サーバ障害、電源断を発生させてDBが回復できることを確認 オンサイト監査
  • 13. AuditorによるTPC-Hオンサイト監査の結果 © Hitachi, Ltd. 2014. All rights reserved. 12 4日間の予定でオンサイト監査を実施し、3日間で監査項目をほぼ完了 ハード障害のテストパターンを追加されたものの、全ての監査項目をクリア! ⇒ 「新製品で1回でクリアするケースは珍しい」とのコメントを頂いた
  • 14. © Hitachi, Ltd. 2014. All rights reserved. ■評価環境に100TBのデータをロードし、検索系22種類、更新系2種類のクエリを実行 (1)ロードテスト 評価環境で100TBのデータロードし、統計情報収集、Verificationの各テストを実施 (2)パフォーマンステスト (1)で作成したDBに対して、PowerテストとThroughputテストを2回実施 (3)DB整合性確認 測定終了後、AuditorがリモートからVerificationテストを実施 query22個RF1 RF2 query22個 RF1 RF2 query22個 query22個 RF1 RF2 Power test Throughput test ロードテスト パフォーマンステスト データ ロード 時間 SFに応じた並列度が必要。 SF=100Kでは11多重以上。 refresh stream。並列度数分 のRF1とRF2を実行する。 2回実行 統計情 報収集 Verifi- cation (6日間) (12日x2回=24日間) 1.8 ベンチマークの性能測定 13 Verifi- cation DB整合性 確認 リモート監査 RF1/2 更新系クエリ query 参照系クエリ
  • 15. © Hitachi, Ltd. 2014. All rights reserved. 14 さて、測定結果は?
  • 16. © Hitachi, Ltd. 2014. All rights reserved. 15 最大の100TBクラスで 唯一の登録 10TBクラス 30TBクラス 2013/10/19にTPC-Hの最大規模である100TBクラスに 82,678QphHで世界初登録! HADB 10/19RHELBS2000 82,678 100TBクラス
  • 17. © Hitachi, Ltd. 2014. All rights reserved. 目次 1. TPC-Hベンチマーク100TBクラスへの挑戦 2. 超高速データベースエンジンの新技術 3. 今後の展開 16
  • 18. © Hitachi, Ltd. 2014. All rights reserved. 2.1 ビッグデータ処理における性能ボトルネックの特性 17 ひとつのデータベース問合せ処理(SQL)が長大になる 大規模データ処理では、処理時間の殆どをディスクI/O が占めている。 RDBMSの代表的なボトルネック CPU ディスクI/O ネットワーク SQL処理時間= CPU時間+I/O時間+通信時間 ディスクI/O処理時間の短縮が、高速化の鍵 ディスク I/O CPU ネット ワーク ネット ワーク DBサーバ ストレージ クライアント
  • 19. © Hitachi, Ltd. 2014. All rights reserved. 2.2 I/O速度の向上手法 18 ■ストレージ装置の高速化(フラッシュドライブ等) フラッシュドライブ(フラッシュメモリで構成)を使用することで 高速にI/Oが可能。アクセス頻度の高いデータをキャッシュして高速化。 ■インメモリDB 全てのデータをメモリに展開(ローディング)してから処理。 ディスクへのI/Oが発生しないため、非常に高速。 従来(ディスクDB) インメモリDBストレージ装置の高速化 フラッシュドライブハードディスク ドライブ メモリは高額になり、 扱えるデータ量も 限られる。 HDDに比べ高額。 高速化は10数倍 程度。 ×1 ×10 ×100 ビッグデータへの適用を考えると、これらの技術だけでは不十分
  • 20. © Hitachi, Ltd. 2014. All rights reserved. 2.3 I/O処理の並列化手法 ~ 一般的な方式 ~ 19 パラレルクエリ スケールアウトパーティショニング プロセス □ I/O箇所の局所化(パーティショニング) 1つの表を分割して管理し、データ検索範囲を局所化。 □ 処理プロセスの並列化(パラレルクエリ) 1つの検索処理(SQL)を複数のプロセスで並列処理。 □ 処理ノードの並列化(スケールアウト) 1つのSQLを複数ノードに分散して並列度を向上。 2月 3月1月 プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス ×1 ×3 ×9 システム構成が煩雑になり、初期コストや運用コストが増大
  • 21. © Hitachi, Ltd. 2014. All rights reserved. 2.4 なぜスケールアウトが必要か ~ 従来方式の課題 ~ 20 □ 従来方式(順序型実行方式)の課題 ひとつのデータアクセス処理プロセスは、決定的な実行計画に従って 順次I/Oを発行し、そのI/O完了を待って次のI/Oを発行(同期入出力)する ため、I/O待ち時間が多く、I/O発行の多重度を高めるためにスケールアウト が必要。 プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス システムリソースに余剰があるにもかかわらず性能が高まらない *1 HADBは、内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と 当該エンジンを核とする戦略的社会サービスの実証・評価」(中心研究者:喜連川 東大教授/国立情報学研究所長)の成果を利用。 *2 非順序型実行原理は、喜連川 東大教授/国立情報学研究所所長・合田 東大特任准教授が考案した原理。 I/O待ちでCPUを完全 に使い切れない I/O発行の多重度を高 めにくく、ストレージ性能 を引き出せない。 検索処理(μs) 同期I/O処理(ms) 検索処理(μs) 同期I/O処理(ms) SQL プロセス ストレージ I/O完了を待ってから次の処理に移るため、 多くのCPU待ちが発生。 【従来方式】:順序型実行方式
  • 22. © Hitachi, Ltd. 2014. All rights reserved. 【ストレージアクセス・トレース】 縦軸がアドレス、 横軸が時間。 従来方式は、I/O 密度が低い。 新方式では、I/O 密度が極めて高く、 処理時間を短縮。 従来方式 新方式 高速化 同一の結果を得るSQLのI/O密度の比較 2.5 新方式「非順序実行原理*1」の着眼点と効果 21 「リレーショナルデータベースの基本的な処理は、レコード集合に対する演算 として規定されることから、その処理結果はレコードの処理順序に依存しない」 という点に着目。 【新方式】:非順序型実行原理 SQL プロセス ストレージ 非同期に完了したI/Oから順次 処理を行うためCPU効率を高め やすい。 ひとつのSQL処理プロセス 集合演算(SQL処理)結果が、 要素(レコード)の処理順序に 依存しない原理から、1つの SQL処理に多数のタスクを割 付け大量のI/Oを非同期に発行。 レコードの 集合A (100億件) レコードの 集合B (100億件) A&B (100万件)タスク(スレッド) HADBは、従来方式に比べ高速化を実現 *1 非順序型実行原理は、喜連川 東大教授/国立情報学研究所所長・合田 東大特任准教授が考案した原理。
  • 23. © Hitachi, Ltd. 2014. All rights reserved. 2.6 非順序型実行原理 - デモンストレーション 22 高速データアクセス基盤「Hitachi Advanced Data Binder プラットフォーム」 デモンストレーション 技術概要 http://www.hitachi.co.jp/products/it/bigdata/platform/data-binder/demo.html
  • 24. © Hitachi, Ltd. 2014. All rights reserved. 2.7 HADBにおけるハイブリッドハッシュ結合 23 ハイブリッドハッシュ結合:ハッシュ表がメモリに収まる場合にバケット分割処理省略 複数クエリブロックの考え方で、複数のハッシュ結合を非順序に実行 - Build処理を優先実行し、Build処理完了までProbe処理はハッシュ表検索前で中断 - Build処理やProbe処理は複数のスレッドで非順序に実行 (4) (5) (6) (7) ・(3)の実表Probe処理完了後に、(4)のバケット 2番目のデータでBuild処理開始。 ・Build処理完了後にProbe処理再開。 ・バケット1番目のデータでハッシュ表検索、他 はバケット書き出し。 ・Build/Probe処理を同時に実行開始。 ・Build処理を優先的に実行。 ・Probe処理はハッシュ表検索手前で中断。 (2) ・Build処理時にハッシュ表用メモリが不足した ら、分割単位である各バケットに書き出し。 ・バケット1番目のデータでハッシュ表作成。(3) (1) ハッシュ表がメモリ に収まる場合は (1)と(3)のみ 2 3 T2T1 2 3 (1) (2) (3) (4) (5)(6) (7) T1 HJ T2 Build Probe 1 ■TPC-Hベンチマークは約9割がハッシュ結合を伴う検索処理 ■商用OoODEでは、ハイブリッドハッシュ結合を非順序実行する方式を採用
  • 25. © Hitachi, Ltd. 2014. All rights reserved. 2.8 Q8クエリ評価結果(ハッシュ結合溢れなし) 24 Read Write 10 8 6 4 2 0 I/Oスループット(GB/s) ph1 ph2 ph3 7.1 4.9 4.1 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% ph1 ph2 ph3 sys_other sys_io sys_mem adb_other adb_cntx adb_db adb_hash adb_scan Q8クエリ実行計画 ■8ソケット,80コアマシンにて数%のオーバヘッドで数千のスレッド制御を実現 ■ハッシュ結合処理において1サーバあたりのI/O実効性能である10GB/sをほぼ達成 select o_year, sum(case when nation = 'SAUDI ARABIA' then volume else 0 end) / sum(volume) as mkt_share from ( select extract(year from o_orderdate) as o_year, l_extendedprice * (1 - l_discount) as volume, n2.n_name as nation from part, supplier, lineitem, orders, customer, nation n1, nation n2, region where p_partkey = l_partkey and s_suppkey = l_suppkey and l_orderkey = o_orderkey and o_custkey = c_custkey and c_nationkey = n1.n_nationkey and n1.n_regionkey = r_regionkey and r_name = 'MIDDLE EAST' and s_nationkey = n2.n_nationkey and o_orderdate between date '1995-01-01‘ and date '1996-12-31' and p_type = 'SMALL PLATED COPPER' ) as all_nations group by o_year order by o_year; region nation(n1) Hash join customer Hash join Grouping / SetFunc Sorting part lineitem Hash join orders Hash join Hash join nation(n2) supplier Hash join Hash join Q8クエリ I/Oスループット性能 CPU処理の内訳 ph1 ph2 ph3
  • 26. © Hitachi, Ltd. 2014. All rights reserved. 5.5 4.8 5.7 0.04 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% ph1 ph2 ph3 ph4 sys_other sys_io sys_mem adb_other adb_cntx adb_db adb_hash adb_scan Read Write10 8 6 4 2 0 I/Oスループット(GB/s) ph1 ph2 ph3 ph4 nation(n1) nation(n2) Nested Loop join supplier Hash join lineitem Hash join orders Hash joincustomer Hash join Grouping / SetFunc Sorting 2.9 Q7クエリ評価結果(ハッシュ結合溢れあり) 25 Q7クエリ実行計画 ■8ソケット,80コアマシンにて数%のオーバヘッドで数千のスレッド制御を実現 ■溢れ処理を除き、ハッシュ結合処理において1サーバあたりのI/O実効性能である 10GB/sをほぼ達成(溢れ処理はCPU処理ネック) Q7クエリ I/Oスループット性能 CPU処理の内訳 select supp_nation, cust_nation, l_year, sum(volume) as revenue from ( select n1.n_name as supp_nation, n2.n_name as cust_nation, extract(year from l_shipdate) as l_year, l_extendedprice * (1 - l_discount) as volume from supplier, lineitem, orders, customer, nation n1, nation n2 where s_suppkey = l_suppkey and o_orderkey = l_orderkey and c_custkey = o_custkey and s_nationkey = n1.n_nationkey and c_nationkey = n2.n_nationkey and ((n1.n_name = 'UNITED KINGDOM' and n2.n_name = 'SAUDI ARABIA') or (n1.n_name = 'SAUDI ARABIA' and n2.n_name = 'UNITED KINGDOM')) and l_shipdate between date '1995-01-01' and date '1996-12-31' ) as shipping group by supp_nation, cust_nation, l_year order by supp_nation, cust_nation, l_year; ph1 ph2 ph3 ph4(溢れ処理)
  • 27. © Hitachi, Ltd. 2014. All rights reserved. 2.10 TPC-H 100TB 世界初登録のニュースリリース 26 世界初、TPC-Hベンチマーク 100TBクラスへの登録を達成 ハードウェア性能を最大限発揮 するOoODEの特長により、従来 よりも少ないHDD台数でTPC-H ベンチマークを実施 ■共同ニュースリリース
  • 28. © Hitachi, Ltd. 2014. All rights reserved. 目次 1. TPC-Hベンチマーク100TBクラスへの挑戦 2. 超高速データベースエンジンの新技術 3. 今後の展開 27
  • 29. © Hitachi, Ltd. 2014. All rights reserved. 3.1 大量データの分析業務への適用 (流通・金融分野) 28 PARTKEY NAME MFGR BRAND TYPE SIZE CONTAINER COMMENT RETAILPRICE PARTKEY SUPPKEY AVAILQTY SUPPLYCOST COMMENT SUPPKEY NAME ADDRESS NATIONKEY PHONE ACCTBAL COMMENT ORDERKEY PARTKEY SUPPKEY LINENUMBER RETURNFLAG LINESTATUS SHIPDATE COMMITDATE RECEIPTDATE SHIPINSTRUCT SHIPMODE COMMENT CUSTKEY ORDERSTATUS TOTALPRICE ORDERDATE ORDER- PRIORITY SHIP- PRIORITY CLERK COMMENT CUSTKEY NAME ADDRESS PHONE ACCTBAL MKTSEGMENT COMMENT PART (P_) SF*200,000 PARTSUPP (PS_) SF*800,000 LINEITEM (L_) SF*6,000,000 ORDERS (O_) SF*1,500,000 CUSTOMER (C_) SF*150,000 SUPPLIER (S_) SF*10,000 ORDERKEY NATIONKEY EXTENDEDPRICE DISCOUNT TAX QUANTITY NATIONKEY NAME REGIONKEY NATION (N_) 25 COMMENT REGIONKEY NAME COMMENT REGION (R_) 5 注文表+明細表 ⇒レシートと同じ構造 ■TPC-Hのデータは一般的な販売履歴のデータベースをモデルとしている。 1回の注文で複数の商品を注文する ⇒ 小売業ならばPOSデータに相当 ■TPC-Hベンチマークでは、未集計の生データを扱う(事前集計は許していない)。 TPC-Hベンチマークで最大規模100TBを達成できたということは、HADBが大規模な データに対して、十分な検索性能を出せることを公に示したことになる。 100TBクラスのデータ規模 履歴データ 1500億件の注文 6000億件の明細 マスタデータ 150億人の顧客リスト 200億件の商品リスト 10億件の納入業者リスト 800億件の商品卸値リスト 流通・金融分野において 実適用を開始
  • 30. © Hitachi, Ltd. 2014. All rights reserved. 3.2 社会インフラシステムへの応用例-1 (電力分野) 2929 PMU installation in North America  電力系統の安定化のため、北米ではPMU(位相計測装置)設置台数が急増 Source: NASPI Oct 22, 2013 約500 (50TB/年) 1,126 (100TB/年) Source: DOE Synchrophasor Technologies and their Deployment in the Recovery Act Smart Grid Programs, August 2013 WECC(Western Electocity Coodinating Council)では 481台のPMUが設置済 Source: DOE Synchrophasor Technologies and their Deployment in the Recovery Act Smart Grid Programs, August 2013 PMUデータの利活用のため以下 の2つのデータ処理基盤が必要 Real-Time Data Processing Historical Data Analysis
  • 31. © Hitachi, Ltd. 2014. All rights reserved. 30 PDC PMU PMU PDC PMU PMU Super PDC Stream Data Processing In-memory Data Cache Analysis Applications Online Power System Analysis Load Sensor Data (every 5 to10 min) Model updates Model DBMS (HADB) Archive Files Access Historical Data (in 2 to 3 sec) Real-Time Data Processing Historical Data Analysis Off-line Analysis Historical Data Analysis: 大量に発生するデータの高速な蓄積と検索を実現することにより、 快適なオフライン分析を可能にする。 Real-Time Data Processing: PMUデータを用いたリアルタイムな電力系統の分析 3.3 社会インフラシステムへの応用例-2 (電力分野) Send Sensor Data (every a few sec) NASPI(North American SynchroPhasor Initiative) Data & Network Management Task Team break-out セッション発表資料より
  • 32. © Hitachi, Ltd. 2014. All rights reserved. 3.4 電力分野への応用 - デモンストレーション 31 Client PC PMU Application for Control Center Data source: Time series data from Phasor Measurement Units (dummy) - # of PMUs: 500 - Measurement interval: 33.3 milliseconds Data import operation: Imports data in every five minutes (400 MBytes) Size of historical Data: 1.2 Tbytes (14.5 Billion records, 11 days) DB server : HA8000/RS220 (12 cores/24 threads) + AMS2500 (64 HDDs) Client PC : Notebook PC DBMS : Hitachi Advanced Data Binder : Conventional DBMS Voltage Trend of PMUs PMU : Phasor Measurement Unit HADB DB Server HA8000/ RS220 AMS2500Historical Data Application Server Sensor Data Sensor data are imported periodically Network 従来DBMS Historical Data Conv. DBMS based IS & R HADB based IS & R
  • 33. © Hitachi, Ltd. 2014. All rights reserved. 3.5 電力分野への応用 - デモンストレーション 32 14.5 sec 1.1 sec 従来DBMS HADB
  • 34. © Hitachi, Ltd. 2014. All rights reserved. 株式会社 日立製作所 情報・通信システム社 ITプラットフォーム事業本部 開発統括本部 ソフトウェア開発本部 DB設計部 主管技師 超高速データベースエンジンを用いた TPC-Hベンチマーク100TBクラス世界初登録への挑戦 2014/6/18 藤原 真二 END 33
  • 35. © Hitachi, Ltd. 2014. All rights reserved. •TPC-H、TPC-Hベンチマーク、および、QphHはTransaction Processing Performance Councilの 商標です。 •Intel Xeonは,米国およびその他の国におけるIntel Corporationの商標です。 •Linuxは,Linus Torvalds氏の日本およびその他の国における登録商標または商標です。 •Red Hatは,米国およびその他の国でRed Hat, Inc. の登録商標もしくは商標です。 •InfoSizingは,米国及びその他の国におけるInfoSizing, Inc. の登録商標もしくは商標です。 •その他、記載の会社名、製品名はそれぞれの会社または団体の商標または登録商標です。 商標に関する注記 34