Red Hat Forum 2014 のIBMセッション資料です。 「ビッグデータの即時活用を実現するJava高速処理OpenStackプラットフォーム」 http://redhatforum2014.jp/ https://redhatmktg.smktg.jp/public/session/view/18

1. ビッグデータの即時活⽤用を実現する
Java⾼高速処理理
OpenStackプラットフォーム
⽇日本IBM株式会社
システムズ&テクノロジー・エバンジェリスト
新井真⼀一郎郎
@araishin
Red Hat Forum 2014

2. ビッグデータ活⽤用動向と
これからの基盤を⽀支える技術開発

3. ビッグデータ活⽤用は即効性が重要な時代に

4. 4 © 2014 OpenPOWER Foundation
Boards / Systems
I/O / Storage / Acceleration
Chip / SOC
System / Software / Services
Implementation / HPC / Research
Complete member list at www.openpowerfoundation.org
技術⾰革新を進めるOpenPOWER Foundationを設⽴立立

5. 即効性あるビッグデータ活⽤用を可能にするために
インターフェース⾼高速化技術CAPIを開発

6. インターフェース⾼高速化技術CAPI の登場で
リアルタイムな顔認証処理理を現実のものに

7. 開発が進むOpenPOWERコミュニティーの成果物
新サーバー⽤用マザーボードにPOWER8を採⽤用Google
NVIDIA GPUアクセラレーター
-‐‑‒初のJava向け GPUアクセラレーター
-‐‑‒Hadoopアナリティクス・パフォーマンスが⾶飛躍的に向上
NVIDIA
POWERにおけるRDMAの活⽤用
-‐‑‒スループット10倍
-‐‑‒Key-‐‑‒Value Storeアプリケーションの遅延を改善
Mellanox
CAPI接続FPGAアクセラレーター
-‐‑‒消費電⼒力力あたりの性能を35倍
-‐‑‒200倍の⾼高速化を実現する⾦金金融分野向けモデル
XILINX
ALTERA

8. Google: ⾼高品質サービスのためにPOWER8を採⽤用
• a “We're always looking to deliver
the highest quality of service
for our users, and so we built this server to
port our software stack to POWER”
https://plus.google.com/app/basic/stream/z131sxrjvwb5hl1xb04chx2ampiaijcaei0

9. NVIDIA: 初のJava向け GPUアクセラレーター
CPUのみで実⾏行行する場合と⽐比較して、Hadoopアナリティクス・ア
プリケーションのパフォーマンスが⾶飛躍的に向上。
NVIDIAは、⾼高速インターコネクトNVLinkをOpenPOWER
Foundationの参加者向けに技術をライセンス提供。
NVIDIA、世界初の高速GPUインターコネクトを発表 エクサスケール・コンピューティングに道を開く
http://www.nvidia.co.jp/object/nvlink-world-first-high-speed-gpu-interconnect-20140326-jp.html

10. Mellanox：RDMAを使ってスループットを10倍に
RDMAを使ってスループットを10倍にすること、およびKey-‐‑‒Value
Storeアプリケーションの遅延を改善することについて説明。将来的
には、POWER8を活⽤用し、これらの能⼒力力をさらに⾼高速化。
Mellanox and IBM Collaborate to Provide Leading Data Center Solution Infrastructures
http://www.mellanox.com/blog/2014/04/mellanox-and-ibm-collaborate-to-provide-leading-data-center-solution-infrastructures-2/

11. POWER8搭載Linuxサーバー
活⽤用効果

12. Javaの⾼高速化で⾼高速なデータ解析が可能に
従来サーバーと⽐比較し
照会速度度が最⼤大12倍
現⾏行行1スレッドと⽐比べ
最⼤大30倍⾼高速
２倍⾼高速 最⼤大12倍⾼高速 最⼤大30倍⾼高速
従来サーバーと⽐比較し
２倍の処理理が可能
SPECjEnt2010: http://www.spec.org/cgi-bin/osgresults?conf=jent2010;op=dump;format=csvdump
SPECjEnt2010 WebReport bodais
１２倍

13. ⾼高速処理理でビジネスチャンスを拡⼤大する
JBoss BRMS “Planner” + POWER8
• JBoss Business Resource Planner：「⼈人間では考えもつかなかった
ようなベストな組み合わせを、速く⾒見見つけ出す」
• テストケース「Hospital Bed Planning」で複数のシナリオを同時実⾏行行。
POWER8は⾼高速処理理を実現、速く良良い解を得てビジネス活⽤用を⾼高速化。
[x86サーバー]
E5-‐‑‒2697 v2 2.7GHz
12core x 2 =24core
RHEL6.5 x86-‐‑‒64
IBM JDK 7.1-‐‑‒1.1
[POWER8サーバー]
POWER8 3.42GHz
10core x 2 = 20core
RHEL7 for POWER
IBM JDK 7.1-‐‑‒1.1
シナリオ１
シナリオ２
より速く良良い解が得られることで、
無駄をなくし、ビジネスチャンスを増やせる
最大30%高速

14. *Postgres Plus Advanced Server 9.3 での検証結果
https://ibm.biz/BdF2T3
コアあたりトランザクション処理理性能*
Ivy Bridge
POWER8
約２倍
クライアントのスレッド数
1秒あたりのトランザクション処理数
• pgbench の参照テスト(-‐‑‒S オプ
ションによる SELECT only テ
スト)
• POWER8では、最⾼高4.15GHzの
⾼高速な周波数、１コアあたり8ス
レッドのマルチスレッディング
により、トランザクション処理理
を⼤大幅にパフォーマンス向上。
コアあたり
ビッグデータ解析基盤のバックエンドDBも⾼高速
PostgreSQL 9.3 でIntelの２倍のスループット
"IBM Power Systems solution for EnterpriseDB Postgres Plus Advanced Server ”
https://www-304.ibm.com/partnerworld/wps/servlet/ContentHandler/stg_ast_sys_wp_power-systems-solution-enterprise-db-postgres
POWER8 + PostgreSQL 性能検証報告
http://www.sraoss.co.jp/technology/postgresql/9.3/report_power8.php

15. ミッション・クリティカルな
ビジネスを⽀支えるIT基盤の重要性

16. ハードウェアの障害はハードウェアで⾃自動対処する時代に
アプリレベルでの対処を最⼩小化してシステム停⽌止を最⼩小化
Xeonの
40倍にも上る擬似障害ポイントに
対処可能なPOWER
POWERでは Checkerで検知したハードウェアエラー
を隔離離レジスター(FIR)に格納して
管理理プロセッサーが問題を修正

17. ① CoD プロセッサーを代替割り当て
② プロセッサーの切切り離離し
X
OS
Hypervisor
OS
LPAR2
OS
LPAR3
OS
LPAR4
CPU CPU
CPU CPU
CPU
CPU
CPU
CPU
CPU
CPU
CPU CPU
CPU
CoDLPAR1
CPU
CPU
CPU
プロセッサーの⾃自動切切り離離し・
待機プロセッサーの⾃自動起動
PCI バス上でパリティ・エラーが発⽣生し
た時に、バスのオフライン、切切り離離しを
⾏行行う
POWER CPU
PCI アダプター
パリティ・エラー
PCI バス障害からの回復復
-‐‑‒ エラー発⽣生時のログを収集、対応迅速化
-‐‑‒ エラーの影響が伝播するのを防ぐ
First Failure Data Capture (FFDC)
1bitエラー訂正する従来のECCメモリーに
⽐比較し、Chipkillメモリーは4bitエラー訂
正に対応、約150倍の信頼性
Chipkill メモリー
ハードウェア障害が発⽣生した CPU / メモリー / PCIデバイス を
システムから切切り離離すことで システム全体停⽌止を抑制

18. ⾼高性能・⾼高信頼とともに⽋欠かせない
柔軟なクラウド基盤

19. § 組織にとっては、プライベート・クラウドと既存のITの
環境の組み合わせが、基本的には最適解。
§ プライベート・クラウドは、迅速な業務システムの立
ちあげに効果を発揮する。
§ オフプレミス、オンプレミスのそれぞれのメリットを活
用し、最高の成果を導くために、将来はダイナミック
なハイブリッド・クラウドにする
• セルフ・サービス型のプライベート・クラウドに移行す
ることで、多大なIT投資に対する効果を高める
§ パブリック・クラウドで迅速に開発環境をセットアッ
プして、アプリケーションを開発、オンプレミスもし
くはハイブリッド・クラウドで競争力の高いサービ
スやプロセスをデプロイする。
§ パブリック・クラウドの更なる成熟期にむけて、センシティブ
なデータは社内に残す
§ 顧客体験を良い物にするために、オンプレミスのERPシス
テムをオフプレミスのCRMに接続するなど、先進技術活用
のリスク・バランス手法をとる
§ 季節変動型の業務システム要件にあわせ、設備
投資を追加せずに、既存のIT環境やプライベート・
クラウドを、パブリック・クラウドに拡張する
要件に応じて柔軟なクラウドの選択が必要に

20. 性能の低下を回避して安定利利⽤用できる
OpenStack クラウド基盤を構築可能に
- ポリシーに従って、各サーバー上のリソースを
⾃自動的に配置
- リソース管理理ワークロードの削減
- リソース利利⽤用の効率率率化
IBM Drivers IBM Drivers IBM Drivers
ストレージサーバー ネットワーク
ドライバー ドライバー ドライバー
ストレージサーバー ネットワーク
Platform Resource Scheduler
IBM Cloud Manager with OpenStack
IBM Drivers IBM Drivers IBM Drivers
ストレージサーバー ネットワーク
- 各サーバー上のリソース使⽤用状況の偏り
- 使⽤用状況を確認して、
⼿手作業にてリソース配置先を調整
ドライバー ドライバー ドライバー
ストレージサーバー ネットワーク

21. クラウド間の可搬性を確保した
ハイブリッド・クラウド環境の実現へ
ベースOS
ミドルウェア
実行環境
仮想アプライアンス⽅方式 JeOS (Just Enough Operating
System)⽅方式
ベースOS
ベースOS
ミドルウェア
実行環境
導入・設定スクリプト
– 仮想マシン・イメージとしてパッケージ化
するため、内部のコンポーネントのアップ
デートができない
– OSイメージを含むためファイル・サイズ
が巨⼤大となり、クラウド間の可搬性に⽋欠ける
– ミドルウェア、実⾏行行環境の導⼊入・設定は
スクリプトの変更更で対応できるためアッ
プデートに対する柔軟性がある
– テンプレート定義ファイルのみが移動た
め可搬性が向上する

22. ソリューションの活⽤用により
スクリプトの作成・クラウドへのデプロイが簡単に
• スクリプトをGUI環境で作成して、そのままマウス操作で
複数のクラウド環境に同じ仮想マシンをデプロイできる
●コンポーネント、スクリプトのライブラリー化
●テンプレートの設計、デプロイ、再利利⽤用を促進
●複数クラウド環境へのデプロイ
●デプロイ・プロセスの⾃自動化
●開発・検証・本番のライフサイクル管理理

23. コミュニティとともに取り組むOpenStack開発
Bare Metal
KVM
PowerKVM
PowerVM
z/VM
Hyper-‐‑‒V
VMware ESXi
Elastic Storage
Storwize
XIV
FlashSystem
DS8000
SDN
for Virtual
Environments
Cinder/
Swift
Nova Neutron
IBM
Drivers
IBM
Drivers
IBM
Drivers
Platform Resource Scheduler
IBM Cloud Manager with OpenStack
IBM SmarterCloud Orchestrator
コミュニティ版
OpenStack開発
への貢献
IBM製品と連携
するための
ドライバー開発と提供
OpenStack
ベースの商⽤用製品
OpenStack を
活⽤用した
クラウドサービス
OpenStack と
連携し
付加価値を提供
する機能や製品
OpenStackと
連携可能な
製品の提供
BlueMix

24. ビッグデータの即時活⽤用を実現する
Java⾼高速処理理・⾼高信頼
OpenStackクラウド基盤

25. OpenStack 対応
Compute
OpenStack 対応
Network
OpenStack 対応
Storage
Software
Defined
Environment
SoftLayer
ベアメタル・サーバー
オブジェクト・ストレージ (Swift)
OpenStack 対応クラウド・リソース
OpenStack
CLOUD
FOUNDRY
ビッグデータの即時活⽤用を実現する
Java⾼高速処理理・⾼高信頼 OpenStackクラウド基盤
管理 分析セキュリティ
アプリケーションとデータ基盤
Application & Data Platform
IBM Security
Access Manager
for Mobile
Mobile Quality
Assurance
Elastic
Storage
IBM
Storwize
IBM
XIV
IBM
DS8000
IBM
SDN
VE
BlueMix
PublicPrivate Dynamic
Cloud
Manager
with
OpenStack
SmarterCloud
Orchestrator
OpenStack
OpenStack

26. 26
26262626

27. ワークショップ、セッション、および資料料は、IBMまたはセッション発表者によって準備され、それぞれ独⾃自の⾒見見解を反映したものです。それら
は情報提供の⽬目的のみで提供されており、いかなる参加者に対しても法律律的またはその他の指導や助⾔言を意図したものではなく、またそのような
結果を⽣生むものでもありません。本講演資料料に含まれている情報については、完全性と正確性を期するよう努⼒力力しましたが、「現状のまま」提供
され、明⽰示または暗⽰示にかかわらずいかなる保証も伴わないものとします。本講演資料料またはその他の資料料の使⽤用によって、あるいはその他の関
連によって、いかなる損害が⽣生じた場合も、IBMは責任を負わないものとします。 本講演資料料に含まれている内容は、IBMまたはそのサプライ
ヤーやライセンス交付者からいかなる保証または表明を引きだすことを意図したものでも、IBMソフトウェアの使⽤用を規定する適⽤用ライセンス契
約の条項を変更更することを意図したものでもなく、またそのような結果を⽣生むものでもありません。
本講演資料料でIBM製品、プログラム、またはサービスに⾔言及していても、IBMが営業活動を⾏行行っているすべての国でそれらが使⽤用可能であること
を暗⽰示するものではありません。本講演資料料で⾔言及している製品リリース⽇日付や製品機能は、市場機会またはその他の要因に基づいてIBM独⾃自の
決定権をもっていつでも変更更できるものとし、いかなる⽅方法においても将来の製品または機能が使⽤用可能になると確約することを意図したもので
はありません。本講演資料料に含まれている内容は、参加者が開始する活動によって特定の販売、売上⾼高の向上、またはその他の結果が⽣生じると述
べる、または暗⽰示することを意図したものでも、またそのような結果を⽣生むものでもありません。 パフォーマンスは、管理理された環境において標
準的なIBMベンチマークを使⽤用した測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーのジョ
ブ・ストリームにおけるマルチプログラミングの量量、⼊入出⼒力力構成、ストレージ構成、および処理理されるワークロードなどの考慮事項を含む、数多
くの要因に応じて変化します。したがって、個々のユーザーがここで述べられているものと同様の結果を得られると確約するものではありません。
記述されているすべてのお客様事例例は、それらのお客様がどのようにIBM製品を使⽤用したか、またそれらのお客様が達成した結果の実例例として⽰示
されたものです。実際の環境コストおよびパフォーマンス特性は、お客様ごとに異異なる場合があります。
IBM、IBM ロゴ、ibm.com、Power Systems、PureSystems、およびSystem zは、世界の多くの国で登録されたInternational Business
Machines Corporationの商標です。
他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。
現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。
Linuxは、Linus Torvaldsの⽶米国およびその他の国における登録商標です。