Your SlideShare is downloading. ×
[A34] HDDからインメモリーテクノジーへ by Yusuke Miyake
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

[A34] HDDからインメモリーテクノジーへ by Yusuke Miyake

915

Published on

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
915
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
32
Comments
0
Likes
3
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. HDDからインメモリーへ 2014年6月20日 日本ヒューレット・パッカード(株) 三宅祐典 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 2. 自己紹介 仕事上の立場 • かつてベンチマークセンターエンジニア • 昔は流通社会インフラ系プリセールス昔は流通社会インフラ系プリセ ル • パートナー担当プリセールス 個人情報個人情報 趣味 • スキー • MMORPGMMORPG – FF14(飽きかけ) – Ingress(Res.です。だからって殴らないでください) 趣味とまで言えないもの © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2 趣 言 • ゴルフ/スキューバ Twitter:@Ysk_Myk
  • 3. Agenda なぜ今In-memoryか • トレンド • ソフトウェア業界の動向 • ハードウェア業界の動向 • そして来たるべき未来のテクノロジ どんなハードウェアが良いのか • CPUの選び方 • メモリ保護機能 • I/Oの信頼性向上 ここでCMです。 • HPのサーバーにある付加価値 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.3 • CS500 for SAP HANA • CS900 for SAP HANA
  • 4. データベースの技術動向 行指向 列指向 新しい流れ (HANA)現在のOLTP (Oracle, SQL Server) 初期のデータウェアハウス 行指向 列指向 ○:OLTP性能が高い ×:I/O負荷が高い ○:検索性能が高い、圧縮率が高い ×:更新性能に課題現在のデータウェアハウス ディスク依存 インメモリ 現在のデ タウェアハウス (Vertica, PDW) ディスク依存 インメモリ ○:容量単価が安い ×:I/O性能が低い ○:I/O性能が高い ×:永続性のためにストレージが必要 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.4
  • 5. インメモリデータベースとは? インメモリデータベース(IMDBあるいはメインメモリデータベース、MMDB)はデータスト レージを主にメインメモリ上で行うデータベース管理システムである。ディスクストレーを リ 行う タ 管 あ 。 ィ ク ジ機構によるデータベースシステムと対比される。メインメモリデータベースは内部最 適化アルゴリズムが簡素であり、相対的に少ないCPU命令を実行するので、ディスク 最適化されたデータベースと比較して高速である。 (ウィキペディア) Flash Memoryに乗せて高速化 大容量バッファキャッシュに載せるFlash Memoryに乗せて高速化 インメモリ 大容量バッファキャッシュに載せる インメモリ ≠ ≠ XXμs © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.5 XXns
  • 6. 主要データベース・ベンダのインメモリ対応 SAP HANA Microsoft SQL Server Oracle Database IBM DB2 HANA インメモリデータベース のパイオニア SQL Server SQL Server 2014で インメモリ対応 Database 6/10発表 (7月頃) ネイティブなインメモリデー タベースを列指向で実装。 OLTP高速化を重視した実 装。 既存環境との互換性を重 視した実装。検索高速化の ためにデータを二重持ち。 OLTPとOLAPを つのデ タベ スで © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.6 OLTPとOLAPを一つのデータベースで リアルタイムなデータ分析
  • 7. OLTPとOLAPの共存とは 従来のDWHの構造従来のDWHの構造 これまで出来たこと OLTP用 DWH用 日時バッチでローディング 専 ドウ 分散化しにくい 専用ハードウェア 大容量高速HDD データパージ © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.7 今入った情報を(しばらく後に)活用
  • 8. OLTPとOLAPの共存とは 現在のDWHなどでできること現在のDWHなどでできること OLTP用 DWH用 高速/並列 ローディング 分散化しにくい 安価なハードウェア 分散して高速化 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.8 今入った情報を(しばらく後に)活用
  • 9. インメモリDBの応用範囲例 OLTPとOLAPの共存とは インメモリDBの応用範囲例 HPの販売管理 30TB超のSAP ECC • SAP ECC on HANAの実装 DBプラットフォーム メモリ内 DBプラットフォーム メモリ内 SAP ECC on HANAの実装 • リアルタイム分析 メモリ内 OLTP用 DWH用 メモリ内で変換メモリ内で変換 アーキテクチャ次第では 従来の10倍高速 St メモリ内 replication 今入った情報を(今すぐにも)活用 分散化しにくい 分散しなくても高速 Stream インメモリ部分は増えると、 ディスクによる共有はより難しく © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.9 有 難 …
  • 10. ハ ドウ ア側の視点 なぜ今In-memoryか ハードウェア側の視点 8G4G さらに 高集積化 512M 32G2G1G 201520102005 201520102005 ただし集積度とともにエラー頻度も増加 容量とともに保護機能が重要 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.10 容量とともに保護機能が重要
  • 11. ハ ドウ ア側の視点 なぜ今In-memoryか ハードウェア側の視点 16TB 6TB 32TB 24TB 64TB ただし大きいだけでは危険です © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.11 ただし大きいだけでは危険です
  • 12. 2020年の未来予測 データセンタを支える技術 HPの取り組み ~ハードウェアの再定義~ “HP Enterprise 20/20 “ www enterprise2020 com アプリに最適化され 効率を追求したサーバ チップ統合 光子ネットワーク ユニバーサル・ メインメモリー Today By 2020 By 2020 HPの取り組み ハ ドウェアの再定義 HP Enterprise 20/20 www.enterprise2020.com 電子 光子から 高速インターコネクト (~20TBytes/秒) • DRAMのように高速、かつ不揮発性 • メモリとHDDの位置づけが変わる • ソフトウェアのデザインが変わる © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.12 高速インタ コネクト ( 20TBytes/秒) Moonshot Integrated Photonics Memristor 2013~ By 2020By 2020
  • 13. HP Memristor  電源供給がなくてもデータを保持できる受動素子 デ タ タが 電源供給がなくてもデータを保持できる受動素子  フラッシュメモリよりも高速・低消費電力・高密度  演算装置としても利用可能 データセンタが アタッシュケースに? © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.13
  • 14. SRAMOn-chip cache M i d rbit DRAM Fl h Main memory Spee Costpe • Flash • Hard Disk Mass storage Capacity memristorによるユニバーサルメモリで © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.14 この階層は過去の物へ
  • 15. 「コンピュータ」の歴史を変える取り組み HPは60年間不変の基本構造を イノベ ションの力で変革HPは60年間不変の基本構造を、イノベーションの力で変革 揮発性 これまで ちょっと先 揮発性 メモリ汎用 CPU 汎用 CPU 不揮発性 メモリ 不揮発性 メモリ 磁気 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.15 ディスク アーカイブ
  • 16. The Machine Photonics Special purpose cores 専⽤コア フォトニクス Massive memory pool 巨⼤なメモリー群 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.16 専⽤コア 巨⼤なメモリ 群
  • 17. どんなHardwareが向いているのか © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 18. 価格以外の話 サーバー選定のポイント 価格以外の話 CPU どのデータベースソフトウェアを選択するのかどのデ タ スソフトウ アを選択するのか • 使いたい物が動かないCPUは選べない。 • 切っても切れないメモリとの関係 メモリリ インメモリのお話ですから • 実は違うメモリの保護機能 • ハイエンドだから大丈夫ってことはないんです。 I/O インメモリ≠I/Oしない • 引き続きI/O保護機能は重要です。 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.18 引き続き / 保護機能は重要です。
  • 19. CPUアーキテクチャの選択肢 Oracle Database Itanium IBM DB2 Power SAP HANA sparc Xeon E7HANA Microsoft SQL Server Xeon-E5 Xeon-E7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.19 SQL Server
  • 20. 何故CPUの話をするか メ リのRAS機能はCPUのア キテクチ に依存しているメモリのRAS機能はCPUのアーキテクチャに依存している メモリ WHY? メモリ保護機能はCPUに依存 メモリ CPU CPU I/O メモリ保護機能はCPUに依存 CPU I/O メモリ CPU CPU I/O © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.20 メモリ
  • 21. 採用するCPUによるRAS 機能の比較 HPが販売するサーバーの比較 採用するCPUによるRAS 機能の比較 機能 Xeon-E5 Xeon-E7 Itanium + HP-UX 備考 主なメモリー保護機能 SDDC DDDC DDDC DDDC のパーツ交主なメモリ 保護機能 SDDC (Single Device Data Correction) DDDC (Double Device Data Correction) DDDC (Double Device Data Correction) ツ交 換頻度 SDDC 比 17 分の1 ※ 主なCPU保護機能 MCA Recovery – Execution Path QPI ICST (Intel Cache Safe Technology) Instruction Replay QPI Itanium の障害発 生率 Xeon比 2 分 の1 ※QPI QPI の1 ※ 主なI/O保護機能 PCI -LER PCI Error Recovery PCI Online交換(SD2) FW 実装が必須 主な OS 保護機能 (HWとの協調機能) MCA recover MCA recover DPR APR FW実装が必須 (HWとの協調機能) DPR、APR その他障害検知保護機構な ど AHS AHS HP Error Analysis Engine HP Error Analysis Engine ベンダーの実装 が必要 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.21 ※参考:http://www.intel.com/content/dam/doc/white-paper/mission-critical-computing-itanium-9300-ras-features-of-the-mission-critical-converged-infrastructure-paper.pdf
  • 22. ハ ドエラ はソフトエラ より多く ECCでは十分とは言えない メモリー保護機能 WHY?ハードエラーはソフトエラーより多く、ECCでは十分とは言えない SDDCあるいは相当の機能 DDDC Si l D i D t C ti (SDDC) WHY? ハードエラー > ソフトエラー 集積度増大 -> エラー増大– Double Device Data Correction (DDDC) – DIMM上のDRAMが2つフェイルしてもメモリー上で 吸収され、システムに影響なし − Single Device Data Correction (SDDC) − DIMM上のDRAMが1つフェイルしてもメモリー上で吸収 され、システムに影響はなし − メモリーミラーリングにより冗長化する方法もとられる。 集積度増大 ラ 増大 – 低コストで高いメモリー保護機能を提供 – DIMMの交換回数はSDDCの1/17 − 2倍のメモリーが必要&使える帯域は半分 − 予備のチップを実装するスペアランクという手法もとら れる。 Operating SystemOperating Systemクラッシュ © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.22 ・・・DIMMメモリー ・・・DRAMチップ ※Xeon E5,E7シリーズよりDDDCをサポート
  • 23. 例:コンポーネント別の修理(交換)率 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.23
  • 24. メモリの保護方式による故障率の違い A社UNIX機(Entry), Xeon EP, B社UNIX機 A社(HighEnd) B社UNIX機A社(HighEnd), B社UNIX機 (Mirror) Memory RAS capabilities can reduce scale- up server crash rates by approximately Itanium, Xeon-E7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.24 up se e c as ates by app o ately 85%1
  • 25. PCIe Live Error Recovery With PCIe LERWithout PCIe LER OS (Windows/Linux) OS (Windows/Linux) ③不良データが 到達すると、 データ保護の為に 再起動 ③不良データをOSに 届く前に感知。 OSに再度リクエストを送 るように指示 WHY? インメモリでもI/Oはします CPU S dCPU ①データ リクエスト ①データ リクエスト インメモリでもI/Oはします CPU (Ivy-Bridge EX) Superdome Firmware ②不良デ タ CPU (Ivy-Bridge EX) ④不良データが続くと 故障コンポ ネントを I/O card I/O card I/O card ②不良データ I/O card カ ド故障 ②不良 デ タ 故障コンポーネントを 切り離し © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.25 (NIC,FC)(NIC,FC) (NIC,FC) card (NIC,FC)カード故障 データ
  • 26. さてここでCMです。 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 27. x86サ バ でトップクラスの可用性と堅牢な信頼性 ProLiant DL580 Gen8 独自の RAS 機能 Only HP x86サーバーでトップクラスの可用性と堅牢な信頼性 HP Advanced HP Memory HP Advanced HP Advanced Error Recovery (エラーリカバリ) 実行中に発見された致命 的なプ セ サ キ Quarantine (メモリ検閲機能) メモリサブシステム内で致 命的なエラーが見つかっ Fault Resiliency (障害復旧機能) メモリとチップセットの耐 障害性機能 (DDDC SDDC Error Containment (エラー 封じ込め設計) を封的なプロセッサー、キャッ シュ、メモリのエラーから のリカバリ 命的なエラーが見つかっ た場合、メモリを無効にし、 割り当てを取り消す 障害性機能 (DDDC, SDDC, ミラーメモリ,オンラインス ペアメモリ) PCIe のIO エラーを封じ 込め、 データ破損を防 止 d d i d i ポ グHP Advanced Event Reporting and Detection (レポーティングと検知) Active Health System . インテグレーテッドマネジメントログ, 高度なログ機能 とOS レベルのクラッシュダンプ, HP アドバンスドメ モリエラー検知, HP アドレス/パリティコントロール, Patrol Scrubber and Demand Scrubber HP 認定オプション(HP Smart メモリ) © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.27 HP 認定オプション(HP Smart メモリ)
  • 28. メモリとプロセッサ障害によるシステム停止を 30% 減 OS や SW と連携した高度な障害回復機能 Only HP メモリとプロセッサ障害によるシステム停止を 30% 減 HP Advanced Error Recovery 実行中の修復不可能なプロセッサ、キャッシュおよびメモリの HP Memory Quarantine システムクラッシュの原因になる修復不可能なメモリのエラー実行中の修復不可能なプロセッサ、キャッシュおよびメモリの エラーからの回復 1 実行パイプライン下のプロセッ サ、キャッシュもしくはメモリの 修復不可能なエラーの検知 MCA リカバリーが修復不能 なメモリエラーを検知 システムクラッシュの原因になる修復不可能なメモリのエラ からの回復 1 ファームウェアがOS、 ハイパーバイザ、アプ リケーションへ通知 システムは稼働 を続け、クラッ シュを防ぐ 2 Processors L1 Cache Core HP Memory Quarantineは障 害箇所に不良のタグをつけ、 OS やハイパーバイザにアドレ OS/ハイパーバイザは障害 箇所の新規利用をブロック、 2 OS、ハイパーバイザ、アプリケーション が回復アクシ ( レ ド プ セ 3 4 L2 Cache Uncore DRAM ス情報を通知 OS/ハイパーバイザが回 復手法を決定・実施 箇所の新規利用をブロック、 システムは稼動を継続 3 4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.28 が回復アクション( スレッド、プロセス、 VM、 アプリケーションを停止・再起動) を開始 3 復 法 決定 実
  • 29. HP ConvergedSystem 500 for SAP HANA 他社より2倍高速な性能1高速な分析 高可用性 HP Serviceguardによる無人・ 自動フェールオーバー データ保護 SAP認定された Data Protector によるバックアップ 同一プラットフォーム上で OLTPと分析処理を実行 集約して運用をシ ンプル化 E7-4880v2搭載 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.29 1SAP NetWeaver® Business Warehouse-Enhanced Mixed Load (BW-EML) standard application benchmark
  • 30. CS900に搭載のHP Error Analysis Engine HP Con e gedS stem 900 onl ad anced se e a chitect e Only HP 一般的な x86サーバー N iti l l i エラー OS クラッシュ (解析なし、復旧な Bad data may end up in storage HP ConvergedSystem 900 only – advanced server architecture No critical analysis 検出 し、解決方法なし) 動作継続 一般的な Xeon-E7 エラー 検出 MCA recovery でOSに通知 動作継続 ConvergedSystem 900 セルフヒ リング OS 復旧 エラー 検出 HP Error Analysis Engine © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.30 Deep analysis and self-healing セルフヒーリング 証左収集 Critical Analysis 修復
  • 31. Real time big data management optimized for SAP HANA HP ConvergedSystem for SAP HANA インメモリコンピューティングへ Real time big data management optimized for SAP HANA インメモリコンピュ ティングへ の最適化 比類無き拡張性比類無き拡張性 リ ア以上の性能比 E7-2890v2搭載 ワンスト プサポ ト リニア以上の性能比 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.31 ワンストップサポート
  • 32. HP Serviceguard for Linux – HANA 自動FailOverを実現するHANA向けクラスターソリューション 標準機能では実現できない障害検知、IP制御、インスタンス制御を実現 H/W、プロセス監視 Q Quorum Server H/W、プ セス監視 自動FailOver(インスタンス起動、停止制御) クライアントアクセス制御 Primary SAP HANA Package Secondary SAP HANA Package sync SAP HANA System Replication Ack DATALOG Serviceguard for Linux y y p Single-Host HP AppSystem Single-Host HP AppSystem DATALOG DATALOG © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.32 世界で最も巨大なSAPシステムをServiceGuard上で稼働中。 グローバル40万ライセンスを超える導入が証明する高い信頼性。
  • 33. まとめ なぜ今In-memoryか • トレンドソフトウェア業界の動向 • ハードウェア業界の動向 • そして来たるべき未来のテクノロジ どんなハードウェアが良いのか • CPUの選び方 • メモリ保護機能 • I/Oの信頼性向上 HPはそんな皆さんをお手伝いできます。 • インメモリにはハードベンダーが必要です。 • MissionCriticalといえばHP © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.33
  • 34. 三宅 祐典 プリセールス統括本部 システム技術本部 パートナー技術部 Tel: 090-6108-3457 Mail: Yusuke miyake@hp comMail: Yusuke_miyake@hp.com 日本ヒューレット・パッカード株式会社 本社 〒136 8711 h k 〒136‐8711 東京都江東区大島2‐2‐1 Twitter: @Ysk_Myk Thankyou © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

×