Your SlideShare is downloading. ×
D24 ビックデータへの苦難と、国産データベースの挑戦 自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Data Binder by Taichi Ishikawa
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Introducing the official SlideShare app

Stunning, full-screen experience for iPhone and Android

Text the download link to your phone

Standard text messaging rates apply

D24 ビックデータへの苦難と、国産データベースの挑戦 自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Data Binder by Taichi Ishikawa

729
views

Published on

Published in: Technology

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
729
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
26
Comments
0
Likes
2
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. © Hitachi, Ltd. 2013. All rights reserved.株式会社 日立製作所 情報・通信システム社ITプラットフォーム事業本部 開発統拢本部ソフトウェア開発本部 DB設計部主任技師 石川 太一ビッグデータへの苦難と国産データベースの挑戦自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Data Binder5月30日(木) Session4:16:00~16:45db tech showcase 2013 Osaka
  • 2. © Hitachi, Ltd. 2013. All rights reserved.はじめに来るビッグデータ時代に打ち破らなければならないデータ処理の技術的な課題と、その課題を解決し、新たな価値を生み出すには?日本発、世界に誇る国産データベースの威力を、デモンストレーションを交えて、わかりやすくお話します。
  • 3. © Hitachi, Ltd. 2013. All rights reserved.アジェンダ1.速さは手段であって目的ではない2.目的のための選択肢は、何か?3.日立にしか作れないデータベース4.日立を選ぶ理由
  • 4. © Hitachi, Ltd. 2013. All rights reserved.1.速さは手段であって目的ではない
  • 5. © Hitachi, Ltd. 2013. All rights reserved. 4ある、お客様訪問時のエピソードから・・・。
  • 6. © Hitachi, Ltd. 2013. All rights reserved. 5お客様の課題それは・・・、売上データの集計バッチが遅い。新商品の開発に手が回っていない。
  • 7. © Hitachi, Ltd. 2013. All rights reserved. 6そこで!
  • 8. © Hitachi, Ltd. 2013. All rights reserved. 7さあ、製品紹介だ!従来よりも100倍速いデータベースを開発しました!
  • 9. © Hitachi, Ltd. 2013. All rights reserved. 8高速データアクセス基盤Hitachi Advanced Data Binder プラットフォームその名は・・・
  • 10. © Hitachi, Ltd. 2013. All rights reserved. 9100倍速い・・・。それで?
  • 11. © Hitachi, Ltd. 2013. All rights reserved. 10日立は、ここが凄い!64コアのプロセッサを搭載したマシン上で16348多重のI/Oスレッドを自動生成し、2048ドライブのストレージを並列にアクセスできるんです。だから速いんです!
  • 12. © Hitachi, Ltd. 2013. All rights reserved. 11見てください、このパフォーマンスを!約900秒 9秒自社従来比約100倍の高速化※ 1秒あたりのI/O回数。低密度I/O 高密度I/OIOPSHDDへのI/O履歴従来自社DBMS Hitachi Advanced Data Binderプラットフォーム
  • 13. © Hitachi, Ltd. 2013. All rights reserved. 12なるほど・・・。それで?
  • 14. © Hitachi, Ltd. 2013. All rights reserved. 13そこで、お客様にツッコまれました。それで私の、何の課題を、どうやって解決できるの?
  • 15. © Hitachi, Ltd. 2013. All rights reserved. 14日立さんね・・・。100倍速くなったら、何が変わるの?例えばPOSデータの分析だと、性能上の制約によって1ヶ月だった分析対象の期間を、10年間に拡大できるとか?分析単位を1日単位から1時間単位に詳細化できるとか?こういったメリットを提案してくださいよ。
  • 16. © Hitachi, Ltd. 2013. All rights reserved. 15100倍速くなったら、何が嬉しいの?そもそも分析処理を高速化するために、夜間に実行していたトータル100本のバッチ集計処理が、全部要らなくなるとか?そのバッチを実行するためのサーバやストレージ、そもそものバッチシステムの構築と保守コストが、まるまる不要になりますとか?私のメリットを言ってくださいよ。日立さん。
  • 17. © Hitachi, Ltd. 2013. All rights reserved. 16そうなんです・・・。100倍速いのは、課題解決手段の一つであって、お客さんにとっての価値では、無い・・・。
  • 18. © Hitachi, Ltd. 2013. All rights reserved. 17そもそも 「ビックデータ」 て言うけど、ベンダがモノを売りこむために作った、お題目なんじゃないの?
  • 19. © Hitachi, Ltd. 2013. All rights reserved. 18「ビックデータ」は、お題目か?いやいや。正しい判断をするための、解決手段の一つでしょ。そもそも経営判断や、営業判断、開発提案など、なにを根拠に行っているのか?
  • 20. © Hitachi, Ltd. 2013. All rights reserved. 19だって、まだ 「KKD」 ですか?権威ある人の「勘、経験、度胸」に頼るマネジメントでは、限界が見えてきたのでは?
  • 21. © Hitachi, Ltd. 2013. All rights reserved. 20だからデータが欲しい。判断材料が欲しい!でも・・・。
  • 22. © Hitachi, Ltd. 2013. All rights reserved. 21真実を伝えられないサマリデータ、収集できず切り捨てられた詳細データ、膨大に溜まったまま活用できない履歴データ・・・。それは、ごみの山か、宝の山か?
  • 23. © Hitachi, Ltd. 2013. All rights reserved. 22最善の応えは、データの中にある。
  • 24. © Hitachi, Ltd. 2013. All rights reserved. 23例えば・・・。・分布や傾向だけじゃわからなかった不具合の原因を、詳細データを追うことで確認できるようにする。・仮説と検証を繰り返して、最も効果の高い組み合わせを見つける。本当は、これをやりたかったのに、できなかった。それはなぜか?
  • 25. © Hitachi, Ltd. 2013. All rights reserved. 24データベースの性能が、遅かったから。
  • 26. © Hitachi, Ltd. 2013. All rights reserved.2.目的のための選択肢は、何か?
  • 27. © Hitachi, Ltd. 2013. All rights reserved. 26速いデータベースが欲しい。でも、お客様は、正しい選択をしたい。だから、同業他社との違いを明確に示す必要がある。
  • 28. © Hitachi, Ltd. 2013. All rights reserved. 27ところでさ・・・。御社の競合は誰ですか?その競合よりも、どこが、どのように、勝っているの?IBMさんのNetezzaは、FPGAとかのファームウェアレベルの超高速処理ができると言っている。ORACLEさんのExadataは、あらゆるデータ処理を高速化し、アプリを改修せずに高速化できると言っていますよ。SAPさんのHANAは、全メモリ処理だから、従来の1000倍は性能を高められると言っている。例えば日立さんの、それは、HANAよりも速いの?スクリーンをご覧ください
  • 29. © Hitachi, Ltd. 2013. All rights reserved. 28日立の、同業他社との違い・・・。速いか? 遅いか?安いか? 高いか?
  • 30. © Hitachi, Ltd. 2013. All rights reserved. 29速くて、安ければ、それがいいのか?そんなはずは、無い。何か トレードオフ があるはずだ。
  • 31. © Hitachi, Ltd. 2013. All rights reserved. 30トレードオフと言えば・・・。
  • 32. © Hitachi, Ltd. 2013. All rights reserved. 31輸送手段に例えて考えるとわかりやすい。世の中の輸送手段には、□船舶□トラック□鉄道□航空機様々な手段があります。あなたに一番適した輸送手段はなんですか?
  • 33. © Hitachi, Ltd. 2013. All rights reserved. 32あなたに一番適した輸送手段は?それは、あなたの要件次第。例え航空機が一番速いからといって、あらゆる輸送手段がすべて航空機だけになることはない。なぜなら、すべての手段に、利用者にとっての、メリットとデメリットがあるからです。
  • 34. © Hitachi, Ltd. 2013. All rights reserved. 33データベースだって同じです。同業他社とのポジションを、輸送手段に例えて考えるそして日立の、メリット、デメリットは?それぞれ、どの輸送手段に例えられるでしょうか?スクリーンをご覧ください
  • 35. © Hitachi, Ltd. 2013. All rights reserved. 34同業他社のデータベースを大きく2つのカテゴリに分類します。□インメモリデータベース□データベースアプライアンススクリーンをご覧くださいスクリーンをご覧ください
  • 36. © Hitachi, Ltd. 2013. All rights reserved. 35インメモリデータベースは?インメモリデータベースは航空輸送に例えると、分かりやすい。□メモリ上に全データを展開し、高速化する方式□従来方式に比べ1000倍の高速化の可能性□メモリに展開できない大量データを処理できないつまり、航空輸送のように、速いけど、重い荷物は運べない。スクリーンをご覧ください
  • 37. © Hitachi, Ltd. 2013. All rights reserved.□既存のインフラ(道路)をそのまま使うことができ、すぐ適用できる。□航空機より速くないが、技術革新で高速化してきた。□同時に走らせるトラックを増やせば、いくらでも大量輸送が可能。36データベースアプライアンスは?データベースアプライアンスは、トラック輸送に例えると、分かりやすい。ただし、トラックを増やせば増やすだけ、ランニングコストが増加。□従来同様のデータベースを使えるので、アプリの変更不要。□FPGA,InfiniBand、SSDなど主にハードウェアの力で高速化。□処理サーバを並列化して、データ量の増大に対応。トラック輸送 データベースアプライアンススクリーンをご覧ください
  • 38. © Hitachi, Ltd. 2013. All rights reserved. 37じゃあ、日立は?Hitachi Advanced Data Binder
  • 39. © Hitachi, Ltd. 2013. All rights reserved.□鉄道インフラが整備されている場所にしか届けられない。□1台の列車で効率よく輸送できる□航空機よりは遅いが、トラック輸送よりも速い。□「非順序型実行原理」という新技術で高速化。□1台のサーバに集約でき、処理データ量に制限が無い。□インメモリよりは遅いが、アプライアンスマシンよりも速い。38日立は?“鉄道輸送”日本の技術が誇る、“新幹線”*1: 喜連川教授・合田特任准教授(東京大学)が考案した原理。新幹線 Hitachi Advanced Data Binder
  • 40. © Hitachi, Ltd. 2013. All rights reserved. 39「非順序型実行原理」なにそれ?
  • 41. © Hitachi, Ltd. 2013. All rights reserved.3.日立にしか作れないデータベース
  • 42. © Hitachi, Ltd. 2013. All rights reserved. 41■大賞 [日立製作所]高速データアクセス基盤Hitachi Advanced Data Binder プラットフォーム■優秀賞[日本マイクロソフト] Windows Server 2012[富士通] STYLISTIC Q702/F[ジャストシステム] UnitBase[NTTデータ] フルオープン仮想化基盤構築ソリューション昨年のリリース直後から、注目を集めています。
  • 43. © Hitachi, Ltd. 2013. All rights reserved. 42従来の常識を超えた、RDBエンジン非順序型実行は、通常のノード「並列」や「分散」とはメカニズムが違う。ある意味、順序性を無視して処理の多重度を高める技術。辻褄は、最後に合わせられる。*1: 喜連川 東大教授/国立情報学研究所所長・合田 東大特任准教授が考案した原理。*2: 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」(中心研究者:喜連川 東大教授/国立情報学研究所所長)の成果を利用。従来型データベースエンジン時間決定的な処理順序同期入出力発行超高速データベースエンジン時間超大量非同期入出力発行非決定的な処理順序従来のDBMS(順序型) 非順序型DBMS非順序型実行原理*1
  • 44. © Hitachi, Ltd. 2013. All rights reserved. 43従来型データベースエンジン時間決定的な処理順序同期入出力発行超高速データベースエンジン時間超大量非同期入出力発行非決定的な処理順序従来のDBMS(順序型) 非順序型DBMS順序性を無視?
  • 45. © Hitachi, Ltd. 2013. All rights reserved. 44そうなんです。従来のデータベースは、基本的にデータ栺納順にI/O処理をおこないます。だからI/O待ちが発生するのです。「NO」が「100」の行を検索したい!データ栺納順にI/O処理待ち待ち待ち
  • 46. © Hitachi, Ltd. 2013. All rights reserved. 45非順序実行原理を採用したHitachi Advanced Data Binderは、I/Oを待たずに、次の処理を行います。「NO」が「100」の行を検索したい!データ栺納順にI/O処理行単位にタスクを割り当て並列にI/O処理待ち待ち待ちI/Oを待たずに次の行を取りに行く。だから毎回、結果の順序が異なる。順序を保障したいなら、ORDER BYでソートすれば良い。
  • 47. © Hitachi, Ltd. 2013. All rights reserved. 46処理の順番を無視できるから、メリットがある。サーバサーバサーバストレージサーバストレージタスク割当検索処理I/O完了待ちディスクI/O従来のDBMS(順序型)待ち順次データを処理取得計算待ち取得計算待ち取得計算□サーバ側のCPUリソースを十分に使いきれなかった。□だからサーバをスケールアウトさせて並列度を高めていた。サーバ台数を増設(スケールアウト)して多重度を稼ぐ方式□結果としてサーバ台数が増え、コストが増大してしまう。順序性を無視して並列処理次次取得□サーバ側のマルチコアCPUを使い切るので効率的。□結果としてサーバ台数も減り、コストを低減できる。数10多重オーダ/サーバ数1000多重オーダ/サーバ※※従来方式では、SQLパラレル処理やパーティショニングを駆使して処理多重度を稼いでいた。高速なメモリ処理で順序整合性を確保取得取得取得次計算計算計算計算HADB(非順序型)μsmsSQLクエリ単位の処理多重度の差異
  • 48. © Hitachi, Ltd. 2013. All rights reserved. 478 この領域に挑戦してきた、国と大学の取り組みURL:http://first-pg.jp/about-us/about-30.html「非順序型実行原理」□東大教授/国立情報学研究所所長 喜連川先生、東大特任准教授 合田先生が考案した原理。□内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と、当該エンジンを核とする戦略的社会サービスの実証・評価」(中心研究者:喜連川先生)の成果。
  • 49. © Hitachi, Ltd. 2013. All rights reserved. 48非順序型、Hitachi Advanced Data Binderの威力約900秒 9秒自社従来比約100倍の高速化※ 1秒あたりのI/O回数。低密度I/O 高密度I/OIOPSHDDへのI/O履歴順序型 従来自社DBMS 非順序型 Hitachi Advanced Data Binderプラットフォーム
  • 50. © Hitachi, Ltd. 2013. All rights reserved. 49非順序型、Hitachi Advanced Data Binderの威力デモンストレーションでご確認ください。
  • 51. © Hitachi, Ltd. 2013. All rights reserved. 50非順序型、Hitachi Advanced Data Binderの威力15000回/秒こんなにHDDをぶん回して、壊れない?※ 1秒あたりのI/O回数。IOPSHDDへのI/O履歴順序型 従来自社DBMS 非順序型 Hitachi Advanced Data Binderプラットフォーム
  • 52. © Hitachi, Ltd. 2013. All rights reserved. 51大丈夫ウソだと思ったら、45年の歴史を持つ、小田原工場まで、見に来てください。
  • 53. © Hitachi, Ltd. 2013. All rights reserved. 52でもさ・・・。ストレージの性能を最大限に引き出すって、そんなに簡単じゃないでしょ?だって・・・。
  • 54. © Hitachi, Ltd. 2013. All rights reserved. 53良くこんな会話するよね・・・。「あ・・・。なぜ想定した性能が出ないかというと・・・、ストレージは、1RAIDグループ1LUで設定していたのですね。おそらく、こうしてしまうと1RAIDグループ1LUに対してストレージのCPUコアは1個しか割り当てないので、多重性能が上がらないものと思います。今回のストレージ装置はコントローラ上にコアが4個なので1RAIDグループ4LU以上にはしておいたほうがよかったですね・・・。」CPUメモリXeon 2.66GHz×4DDR3×8FCカード 4Gbps×2FC SW #1 #2Controller 4コア #1 4コア #2LU #1 LU #2 LU #3 LU #n・・・本当にシンプル? 結局、難しいんでしょ?
  • 55. © Hitachi, Ltd. 2013. All rights reserved. 54大丈夫データベースも、ストレージもどちらも同じ組織で、自製している日立ですから。
  • 56. © Hitachi, Ltd. 2013. All rights reserved.ベストプラクティスモデル55だから、ベストプラクティスモデルでご提供推奨構成、それが「ベストプラクティスモデル」□サイジング済サーバ/ストレージセットだから安心、簡単。Hitachi Advanced Data Binder プラットフォームHA8000/RS440CPU:40コア(10コア×4CPU)メモリ:96GBHDD: 2.4TBBR1200SSD: 3.6TB(200GB×18 )HDD: 3.6TB(600GB×6)Red Hat Enterprise LinuxHitachi Advanced Data Binder【サーバ】【OS】【DBMS】【ストレージ】
  • 57. © Hitachi, Ltd. 2013. All rights reserved. 56構造がシンプルだから、メリットが大きいサーバ サーバ サーバ サーバデータ従来のDBMSデータシングルサーバシンプルな構成なので、運用時、拡張時のコストメリットあり非順序型実行原理により、シンプルなシングルサーバ構成でありながら、サーバのマルチコアプロセッサ*およびストレージシステムの利用効率を最大限に高めることで、処理性能の大幅な向上を実現。*: 多数のコアを集積したプロセッサ。スケールアウト型(複雑な構成)スケールアップ型(シンプルな構成)複雑な構成だから、運用も、拡張も難しいサーバリソースを増設するだけの手軽さ。Hitachi Advanced Data Binder
  • 58. © Hitachi, Ltd. 2013. All rights reserved. 57日立にしか作れないデータベース高速データアクセス基盤Hitachi Advanced Data Binder プラットフォーム
  • 59. © Hitachi, Ltd. 2013. All rights reserved.4.日立を選ぶ理由
  • 60. © Hitachi, Ltd. 2013. All rights reserved. 59で、日立さん・・・。結局さ・・・。私の、何の課題を、どうやって解決できるんだっけ?
  • 61. © Hitachi, Ltd. 2013. All rights reserved.ビッグデータの発生源見えなかったものが見えてくる新しい視点で価値を発見できる「今」から「未来」を予測できる生まれる価値123データ・アナリティクス・マイスターサービスビジネスシナリオITビジョン仮説事業モデル分析分析技術分析人財分析ツールビッグデータ利活用基盤データ収集デバイスサーバ・ストレージ・クラウドイノベイティブ・アナリティクス© Hitachi, Ltd. 2013. All rights reserved.コンサルティング、始めました。
  • 62. © Hitachi, Ltd. 2013. All rights reserved. 61業務分析により戦略と現状のGAPを把握現場視点(エスノグラフィー調査等)で本質的な問題を抽出何を変えるか?現状(As-Is像)の把握問題点の抽出現状と課題の体系的整理現場の課題把握どうやって変えるか? 将来像実現のための方法の検討将来像(To-Be像)の検討改革の方向性検討新業務のTo-Be像立案各種プロトタイピング手法により、新業務の実現性と効果を可視化要件定義基本構想書・システム化計画現在の業務から将来像を創出し、改善のための具体的なプロセス提案を行います。人間視点・全体最適の観点をふまえた協創ワークショップでの議論と共有何に変えるか?実現性の検証・計画 実現性の検証実効性の検証実行計画の作成
  • 63. © Hitachi, Ltd. 2013. All rights reserved. 62で、日立さん・・・。最後は日立のデータベースを推奨するんでしょ?
  • 64. © Hitachi, Ltd. 2013. All rights reserved. 63解決策は、一つじゃない。つまり、日立のデータベースを、他社のデータベースと使い分けたり、それと組み合わせて使ったりすることで、お客様に、より最適なソリューションを、提供できるはずだと考えています。輸送手段も一つではありません。様々な輸送手段を選択したり、組み合わせたり。
  • 65. © Hitachi, Ltd. 2013. All rights reserved. 64だから・・・適材適所。ひとつのデータベースでは、夢を現実に変えられない。現実世界消費者 報告書センサーSNS基幹系 情報系事務所工場店舗調達製造販売人事:DBDBDBDBDBトランザクション情報履歴情報履歴情報マートマートマートセントラルDWHETL経営者マーケティング収集 集計 蓄積DB DB履歴DB検索トレーサビリティの確保素早くフィードバックしますバッチ時間を短縮します非構造データを素早く集計します効率よく蓄積できますマートレスで速く分析できます大量データを一次処理できます加工・収集分析グリッドバッチ高速データアクセス基盤ストリームデータ処理基盤インメモリデータグリッド Hadoop 時系列データ処理基盤ノンストップDB可用性を高めますDataStageHitachi Advanced Data Binderプラットフォーム *1*1: 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」(中心研究者:東大喜連川教授)の成果を利用。
  • 66. © Hitachi, Ltd. 2013. All rights reserved. 65今そこにあるデータベースでは、解決できない課題がある。電力、交通、都市、物流・・・。実業を伴うITベンダだから作れる、個性豊かなデータベース。それが日立のデータベース。
  • 67. © Hitachi, Ltd. 2013. All rights reserved. 66全ては、お客様のスペシャルな夢を、現実に変えるために。
  • 68. © Hitachi, Ltd. 2013. All rights reserved. 67これからも日立は、お客様のスペシャルな夢を叶える選択肢をご提案し続けます。
  • 69. © Hitachi, Ltd. 2013. All rights reserved. 70お知らせ12年10月から新連載がスタート!□ 毎月、日立のデータベースの最新情報をお伝えします。DBOnline 日立のデータベース 検索日立の国産データベースシリーズが紹介されている「国産」タブが新設!日立の「Dr.SQL」登場!-土田正士さん日本データベース学会 副会長50年後には、データベースはなくなっている?!日立のデータベース開発基地に潜入開発者に突撃インタビュー© Hitachi, Ltd. 2013. All rights reserved.
  • 70. © Hitachi, Ltd. 2013. All rights reserved.他社所有名称に対する表示71・ Androidは,Google Inc. の登録商標です。・ HP Serviceguardは,Hewlett-Packard Development Company, L.P.の商品名称です。・ HP-UXは,Hewlett-Packard Development Company, L.P.のオペレーティングシステムの名称です。・ MicrosoftおよびSQL Serverは,米国Microsoft Corporationの米国およびその他の国における登録商標または商標です。・ iOS は,Apple Inc.のOS名称です。・ superdomeは,Hewlett-Packard Development Company, L.P.の商標です。・ Oracleは,Oracle Corporation 及びその子会社,関連会社の米国及びその他の国における登録商標です。・ UNIXは,The Open Groupの米国ならびに他の国における登録商標です。・ その他記載の会社名,製品名は,それぞれの会社の商標もしくは登録商標です。