• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!)
 

第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!)

on

  • 621 views

下記のしすなま!録画と併せてご覧ください。資料・録画の内容は生放送時点のものです。

下記のしすなま!録画と併せてご覧ください。資料・録画の内容は生放送時点のものです。
第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23)
<出演①> 江口 仁志 日本アイ・ビー・エム(株) GISV.コンピテンシーセンター SAP Certified Consultant
<出演②> 榎本 康孝 日本アイ・ビー・エム(株) GISV.コンピテンシーセンター IBM/Oracle Competency Center アドバイザリーITスペシャリスト
<出演③> 早川 哲郎 日本アイ・ビー・エム(株) システムx事業部 ビジネス開発 システムズ&テクノロジー・エバンジェリスト(System x)
http://www.ustream.tv/recorded/33208667

Statistics

Views

Total Views
621
Views on SlideShare
621
Embed Views
0

Actions

Likes
1
Downloads
17
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!) 第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!) Presentation Transcript

    • © 2013 IBM CorporationSmarter Computing しすなま!第26回 「インメモリー・コンピューティングの現状と将来」
    • © 2013 IBM Corporation2 System x Smarter Computing アナリティック分野は、2013年 インメモリーコンピューティングの競争が激化! 2013年 3月にHANA 2.0発表 5月GA予定 OLAPに加え、OLTP処理へのHANA対応 2013年 4月にDB2 BLU Acceleration発表 既存インスタンス内にインメモリー機能を包含 2012年 12月にSQL Server SSD Appliance発表 すべてのデータをDRAM、SSD内に格納 2012年 10月にOracle EXADATA X3発表 すべてのアクティブデータをDRAM、SSD内に格納 メジャーRDBベンダーのインメモリー対応完了!これからはインメモリー時代へ!
    • © 2013 IBM Corporation3 System x Smarter Computing 市場調査会社の意見 http://www.gartner.com/newsroom/id/2405315 インメモリー市場は2016年までに 1000億円の市場になると予測され ている テクノロジー先行型の金融・通信・ ゲーム・物流から、一般のユー ザーへインメモリーコンピューティ ングが広がっていく インメモリーコンピューティングの 適用分野は数多い
    • © 2013 IBM Corporation4 System x Smarter Computing まずは、データベース分野でのインメモリー化が進みそう Why? • RDBはシステムの中心 • 現在のシステムではRDBは必要不可欠な存在 • 大抵のシステムではRDBが導入されている • 高速化によるメリットが大きい • RDBは比較的性能要件が把握しやすいため、効果算定がしやすい • すでにバッチ時間・データロード時間などで困っていることが多い • RDBMSベンダーのサポート • すでに大手RDBベンダーはインメモリーをサポート
    • © 2013 IBM Corporation5 System x Smarter Computing インメモリーデータベースの各社製品おおまかに理解 フラッシュを活用 IBM ISAS MS SQL Server Oracle Exadata Teradata DRAMを活用 SAP HANA IBM DB2 BLU Oracle Exalytics IBM SolidDB 独自型 IBM PureData for Analytics(Netezza) 広義のインメモリーデータベース 狭義のインメモリーデータベース
    • © 2013 IBM Corporation6 System x Smarter Computing インメモリーDBの普及 64ビットCPUの登場~普及 • 1991年 MIPS R4000 • 1992年 DEC Alpha : • 2001年 インテル Itanium • 2002年 IBM POWER4 • 2002年 インテル Itanium 2 • 2003年 AMD Opteron : インメモリーDBの登場~普及 • 2010年12月 インメモリソフトウェア「SAP High-Performance Analytic Appliance」(SAP HANA)の提供を開始 • 2011年11月 BIソフトウェアのSAP NetWeaver Business Warehouse への対応を発表 • 2013年3月 SAP Business Suite powered by SAP HANA製品発表 : H/W S/W Application H/W S/W Application
    • © 2013 IBM Corporation7 System x Smarter Computing インメモリー”コンピューティング”SAP HANA インメモリーDB + アルファ アプリケーション 他、システム インメモリーDB (1) (2) (3)
    • © 2013 IBM Corporation8 System x Smarter Computing (1)インメモリーDB インメモリーDB、HANAの仕組みは? (System x 基本構成) トランザクション ログの書き込み データの書き込み (定期的な保管) メモリー HANA データベース IBM : 内蔵ストレージのみ 他社 : 外部ストレージ利用
    • © 2013 IBM Corporation9 System x Smarter Computing (1)インメモリーDB インメモリーDB、HANAの仕組みは? (*) OLTP (SAP ERP の例) OLAP 列(カラム)型行(レコード)型 HANA データベース (*) 共存、及び変換を共にサポート 変換& 圧縮
    • © 2013 IBM Corporation10 System x Smarter Computing (2)アプリケーション アプリケーションは? アプリケーション処理 DB処理 アプリケーション処理 アプリケーション処理 DB処理 DB処理 △ ○ プッシュダ ウン
    • © 2013 IBM Corporation11 System x Smarter Computing (3)他、システム 他、システムとの連携? △ ○ 夜間 バッチ転送 ニア リアルタイム転送(*) (*) SAP Landscape Transformation (SLT) の利用 SAP ERP 他、主要なDBMS
    • © 2013 IBM Corporation12 System x Smarter Computing System x 高可用性構成 IBM : 内蔵ストレージのみで2重化実現 他社 : 外部ストレージの2重化が追加で必要 高価な外部ストレージ、及び その複製ソリューションの 追加投資が必要 外部ストレージ無しで堅牢な 高可用環境を実現
    • © 2013 IBM Corporation13 System x Smarter Computing Oracleソリューション分野でも大容量メモリ/半導体メモリ (Flash SSD)の活用が大幅に増加している ・データベースの肥大化によるパフォーマンス課題解決。 ・経営統合、グローバル化による性能向上への要望。 ・アプリケーション修正による性能向上が困難 【背景/課題】 【活用の広がり】 ・メモリ大容量化、メモリ/Flash SSD単価の低下 ・高速化ソリューションへの注目度の高まり ・インメモリソフトウェア機能の浸透 近年100GB~数百GBメモリを搭載したデータベースサーバー出荷が増加。 ハードウェア機能を活用してシンプルに性能を上げたいという要望が強い
    • © 2013 IBM Corporation14 System x Smarter Computing Oracle製品分野でも大容量メモリ/SSDFlashの活用が大幅増。 SAN DB Server 層DB Server 層 AP Server 層AP Server 層 Oracle Database Oracle Coherence インメモリデータグリッド基盤 大容量メモリ搭載データベース基盤 Oracle Times-ten 大容量メモリ搭載サーバー導入の多くがOracle Database基盤の高速化が目的
    • © 2013 IBM Corporation15 System x Smarter Computing 大容量メモリ/Flash SSDを活用した高速化事例 x18倍 高速化 基幹系システム:バッチ処理 大量メモリ、最新ストレージで高速化 情報系システム:各種SQL処理時間 を最新HW+大量メモリで高速化 12分 3時間 40分 高負荷SQL 平均5~6時間 の応答時間 平均 3.7分 x102倍 高速化 最新H/Wの活用+大量メモリを活用したチューニングで大幅な高速化を実現
    • © 2013 IBM Corporation16 System x Smarter Computing メモリ/ Flash SSDの効果の有無はまずOracle AWR/Statspackで確認する。 • 処理時間中のCPU使用割合は20%程度 • IO待ち時間が処理の大部分を占めている。(db file sequential read 53%) • 処理時間の平均 I/O待ち時間 5.0 ms • トップ5の内、3つがread IO Waitで占められている 例) Oracle AWR レポート Top 5 Timed Event Event Waits Time(s) Avg wait (ms) % DB time Wait Class db file sequential read 6,523,409 32,886 5 53.1 User I/O DB CPU 12,384 20.32 enq:TX = row lock contention 566 1,140 2046 1.9 Application db file scattered read 315,009 960 3 1.54 User I/O db file parallel read 29,210 350 13 0.6 User I/O 上記のような場合、高負荷データをメモリ/半導体メモリ(Flash)に乗せれば、 IO応答時間は1msec以下 (マイクロミリ秒)まで改善が見込めます。 劇的なIO応答時間の改善によりアプリケーション応答時間も大幅な改善が見込めます。
    • © 2013 IBM Corporation17 System x Smarter Computing 表/索引 A 表/索引 B 表 C 表/索引 D 表 E 表/索引 F 表/索引 G 表/索引 H 表/索引 I 表 J ・ ・ ・ ・ 合計 X.X TB ※0.XX TB/年 増加 表/索引 A 表/索引 D 表/索引 F 表/索引 G 表/索引 H 表/索引 B 表 /索引I アクセス頻度 が高い表、索 引を抽出 例:0.5 TB DBサーバ 外部ストレージ DBバッファ or KEEPバッファ Flash SSD ストレージキャッシュ HDD TEMP表領域 大量メモリ/ Flash SSD/HDDを活用したILMソリューション例 高負荷データを大量メモリ/SSD Flash領域に配置することでIO応答時間の 劇的な改善を図ることが可能。
    • © 2013 IBM Corporation18 System x Smarter Computing 全てのDBデータをメモリ/Flash SSDに格納する IBM System x 大容量メモリサーバ & オールフラッシュストレージ FlashSystem メモリ高速化ソリューションによりIOパフォーマンス課題を劇的に改善します。 ■ 超高速な応答時間 100マイクロ秒 ■ FlashSystem 1台(1U) 実効容量20TB IBM System x3750 M4IBM FlashSystem 820 オールフラッシュストレージ (1台あたり20TB/1U) 大容量メモリ搭載サーバー (1台あたり最大1.5TBメモリ) 1U1U 2U2U ■ 最大Read性能(1U) 50万IOPS データ配置に関して余計なチューニングは一切不要。 全てのデータをメモリ/Flash SSDに格納することで100% IO高速化
    • © 2013 IBM Corporation19 System x Smarter Computing SQL Server 2012のインメモリー的機能 - 1 • xVelocity 列(カラム)ストア インデックス機能 • SQL Server 2012の新機能として追加 • 特定の列でインデックスを圧縮して作り、メモリ ー上に展開する • 数倍から100倍までの性能向上が見込める http://www.microsoft.com/ja- jp/sqlserver/2012/technology/self-learning.aspx より抜粋 http://download.microsoft.com/download/7/2/E/72E63 D2D-9F73-42BB-890F- C1CA0931511C/SQL_Server_2012_xVelocityBenchmark _DatasheetMar2012.pdf より抜粋
    • © 2013 IBM Corporation20 System x Smarter Computing SQL Server 2012のインメモリー的機能 - 2 • Analysis Service インメモリーBI • SQL Server 2012の新機能として追加 • Analysis Service上で表形式モードを選択する ことでインメモリー機能が使用できる http://download.microsoft.com/download/9/C/3 /9C3F2150-8109-44E7-A22F- 1E39A5DD7359/SQL_Server_Analysis_Services _Datasheet_Apr2012.pdf より抜粋
    • © 2013 IBM Corporation21 System x Smarter Computing SQL Server 2012でのオンメモリー的機能 http://www.microsoft.com/global/ja-jp/sqlserver/2012/RichMedia/ssd- appliance/download.html • SQL Server SSDアプライアンス • データ領域・ログ領域をフラッシュメモリーストレージに配置することで高速化 • 厳密にはアプライアンスではなく、各サーバーベンダーの検証済み構成が掲載 • カラムストアインデックスのインメモリー機能も活用することで、インメモリー+オンメモリーの ハイブリッド
    • © 2013 IBM Corporation22 System x Smarter Computing
    • © 2013 IBM Corporation23 System x Smarter Computing 次世代 SQL Serverのインメモリー機能 • 次世代 SQL Server Hekaton • 数年以内に登場? • レガシーデータベースエンジンとインメモリー データベースエンジンのハイブリッド※ ※ http://enterprisezine.jp/dbonline/detail/4654より SQL Server Hekaton Legacy Database Engine In Memory Database Engine Hekaton is Greek for “hundreds,” and it was given this name for its ability to speed up database function 100x (possibly). It certainly increases application speed by 10x and nearly 50x for new, optimized applications. Some eagle-eyed readers will see that this is very similar to other products that are currently available – like Oracle, xVelocity, or even Microsoft’s own PowerPivot and Power View. However, the biggest difference is that Hekaton is built directly into SQL Server, so that there are no extensions, downloads, or interfaces that can slow down the very program meant to help increase your speed. http://blog.sqlauthority.com/2012/12/23/sql-server-what-is-hekaton-simple-words- explanation/
    • © 2013 IBM Corporation24 System x Smarter Computing これからのインメモリーデータベースは? インメモリーデータベースは、これまでのデータベースエンジンとアルゴリズムが異なる Why? これまでのデータベースは、データがHDD上にあることを前提として作られ ているため、インメモリーでは無駄な処理となること B-Treeなどの索引検索 インメモリーデータベースでは、カラム型データ処理が使われていることが多い Why? 圧縮率が高い 縦方向の集計がしやすい カラム型データ処理のデメリットは? 行追加、更新処理が複雑となる 結果として DWH、BI向けとなっていることが多い データベースエンジンのインメモリーへの最適化 カラム型データ処理のトランザクション対応が必要となる データベースエンジンのインメモリーへの最適化 カラム型データ処理のトランザクション対応が必要となる