インテルが考える次世代ファブリック インテル株式会社 2013年02月01日 Infiniband DAY [06] Business Conference for Enterprise/Web Service

1. インテルが考える
次世代ファブリック
インテル株式会社
Infiniband DAY [06] 2013年2月1日
1

2. Legal Disclaimer
Copyright © 2012 Intel Corporation. All rights reserved.
Intel® Xeon®, Intel® Xeon® Phi™, and Intel Atom™ are trademarks of Intel Corporation in the U.S. and/or other countries. *Other names
and brands in this document may be claimed as the property of others.
Results have been estimated based on internal Intel analysis and are provided for informational purposes only. Any difference in system
hardware or software design or configuration may affect actual performance
This document contains information on products in development and do not constitute Intel plan of record product roadmaps.. All
products, computer systems, dates and figures specified are preliminary based on current expectations, and are subject to change
without notice. Designers must not rely on or finalize plans based on the information in this document or any features or characteristics
described. Intel reserves these for future definition and shall have no responsibility whatsoever for conflicts or incompatibilities arising
from future changes to them. Contact your Intel representative to obtain Intel's current plan of record product roadmaps
INFORMATION IN THIS DOCUMENT IS PROVIDED IN CONNECTION WITH INTEL PRODUCTS. NO LICENSE, EXPRESS OR IMPLIED,
BY ESTOPPEL OR OTHERWISE, TO ANY INTELLECTUAL PROPERTY RIGHTS IS GRANTED BY THIS DOCUMENT. EXCEPT AS
PROVIDED IN INTEL'S TERMS AND CONDITIONS OF SALE FOR SUCH PRODUCTS, INTEL ASSUMES NO LIABILITY WHATSOEVER
AND INTEL DISCLAIMS ANY EXPRESS OR IMPLIED WARRANTY, RELATING TO SALE AND/OR USE OF INTEL PRODUCTS
INCLUDING LIABILITY OR WARRANTIES RELATING TO FITNESS FOR A PARTICULAR PURPOSE, MERCHANTABILITY, OR
INFRINGEMENT OF ANY PATENT, COPYRIGHT OR OTHER INTELLECTUAL PROPERTY RIGHT.
A "Mission Critical Application" is any application in which failure of the Intel Product could result, directly or indirectly, in personal
injury or death. SHOULD YOU PURCHASE OR USE INTEL'S PRODUCTS FOR ANY SUCH MISSION CRITICAL APPLICATION, YOU
SHALL INDEMNIFY AND HOLD INTEL AND ITS SUBSIDIARIES, SUBCONTRACTORS AND AFFILIATES, AND THE DIRECTORS,
OFFICERS, AND EMPLOYEES OF EACH, HARMLESS AGAINST ALL CLAIMS COSTS, DAMAGES, AND EXPENSES AND REASONABLE
ATTORNEYS' FEES ARISING OUT OF, DIRECTLY OR INDIRECTLY, ANY CLAIM OF PRODUCT LIABILITY, PERSONAL INJURY, OR
DEATH ARISING IN ANY WAY OUT OF SUCH MISSION CRITICAL APPLICATION, WHETHER OR NOT INTEL OR ITS
SUBCONTRACTOR WAS NEGLIGENT IN THE DESIGN, MANUFACTURE, OR WARNING OF THE INTEL PRODUCT OR ANY OF ITS
PARTS.
2

3. システム技術革新 次の主役: ファブリック
HPC Expertise
Intellectual Property
World-class Interconnects
HPC Expertise
Fabric Management & Software
Highest Performance, Scalable IB Intel’s
Products
Comprehensive
Connectivity and
Low-latency Ethernet Switching Fabric
Data Center Ethernet Expertise
High Radix & Low Radix Switch Portfolio
Products
Market Leading Compute & Ethernet
Products
Platform Expertise
前例のない頻度でファブリック・イノベーションを実現
Other brands and names are the property of their respective owners.
3

4. Intel® True Scale Fabric
• Connectionless (HCA上で管理するstateは最小限に)
– Fabricが大規模になっても原理的にキャッシュミスは起きない
– 大規模クラスターにおいても、エンドツーエンドの遅延を低く
抑えられる
• PSM (Performance Scaled Messaging) レイヤー
= MPIとデバイスドライバーを結ぶ軽量インタフェース
– MPI/Shmem/PGASの message rate 性能を向上
– short message を効率的に扱い、卓越したHPC性能を達成
– 集合通信性能のスケーラビリティを向上
そのため特殊なHW/SWアクセラレーションは必要としない
こうした特長を拡張して次世代ファブリックのベースに
4

5. Fabrics Discussion
5

6. データセンターで使われるファブリックへの期待
HPC Clusters Public SaaS Enterprise Microservers
Appliances
帯域幅
Today: 10GB- 100s of GBs per second 50+ GBs per second 50+ GBs per second 10+ GB per second
20GB
遅延 10s of nanoseconds 100s of nanoseconds 100s of nanoseconds 1000s of nanoseconds
Today: 1000s of
across the fabric across the fabric across the fabric across the fabric
ns
エネルギー効率 3-5 pico Joules per bit 10-25 pico Joules per bit 10-25 pico Joules per bit 5-10 pico Joules per bit
Today: 12-25
per Link per Link per Link per Link
pJ/bit
アプリケーション Search / Big Data/ Databases /Analytics/ Web Front-End/ Search /
Parallel Processing
性能 Content Delivery Middleware Big Data
10K-100Ks nodes in a 10,000s nodes in a data 10s-1000s nodes in a 100-1000s nodes in a
スケーラビリティ Datacenter Center Rack(s) Chassis
管理、QoS、 Data Center wide Mgmt & Chassis/Rack Fabric
Cluster Fabric Mgmt Data Security
セキュリティ Data Security Mgmt & Data Security
Message Rate
Bandwidth Bandwidth Density
ファブリックが Bandwidth
目指すもの
Latency Latency
Latency 6
Power
Power Scalability Scalability

7. ファブリックをスケーラブルにするには？
インテルはファブリック含め、包括的なシステム戦略を考えています
• ファブリックの性能、スケーラビリティ、エネルギー効率を享受する市場は多様
• Intel Xeon® CPU、Xeon® Phi CPU、Intel Atom® CPU も関係してきます
2タイプのアーキテクチャーを開発中
• スパコン、民間/中小規模のHPC、エンタープライズ向けアプライアンスに
向けた新ファブリック
• クラウド、マイクロサーバーに向けた Ethernet ベースのファブリック
開発目標
• エクサスケール計算機を早期に実現
• 高メッセージ・レート、ネットワーク効率改善、エンドツーエンドの遅延を均一に、
スケーラブルな帯域幅、…
• クラウド・データセンター・ソリューションを定義し、それを実装
• CPUへ統合するにあたって必要なシステム課題への取り組み
7

8. 次世代データセンター・ファブリックの挑戦
バンド幅 • Scalable Link Bandwidth & Full Utilization
遅延 • Low and Deterministic Latency
エネルギー効率 • Balancing System Power (Fabric, Compute,
Storage)
アプリケーション • New Workloads in HPC, Big Data, Analytics, &
性能 Search
スケーラビリティ • Continued Growth from 1000s to 100,000s of
Nodes
管理、QoS、 • Datacenter Wide Traffic Shaping & Congestion
セキュリティ Management, IO Virtualization Needs
8

9. ファブリックをプロセッサーに統合する優位性
課題:
• 消費電力 – システムI/Oインターフェー
32 GB/sec 10-20 GB/sec
Intel® Fabric スに数10Wも消費されてしまう
Processor Controller • コスト& 実装密度 – サーバーノード上
システムI/O に多くの構成要素が必要
インターフェース(PCIe) Fabric Interface
• スケーラビリティ –演算能力やファブリッ
Today ク帯域幅は、システムI/O帯域幅より早
いペースで増強が必要
ソリューション:
• ファブリックからシステムI/Oインター
Intel® Processor 100+ GB/sec フェースをなくす 消費電力の削減
Fabric • ファブリックの統合によりサーバーノード
Controlle 上の構成要素を削減
r Fabric Interface • ファブリックの統合により通信/演算のバ
Tomorrow ランスがとりやすくなり、アプリケーション
の性能と効率を改善 できる
9

10. ファブリックにおけるインテルの優位性
HPC Public SaaS Enterprise Microservers
Clusters Appliances
データセンター管理およびセキュリティ・ソリューション Intel® Xeon®
Processor
HPC ツールおよび関連技術 – API、ライブラリ、
コンパイラー、ファブリック管理ツールおよび製品 Intel® Xeon Phi™
Co-Processor
世界レベルの光ファイバー、PHY、論理回路設計、
ネットワーク・プロトコルの開発ノウハウ Intel® Atom™
優れたEthernet、InfiniBand、HPCインターコネクトIPと、 Processor
技術動向および市場ニーズに対する深い理解 ＋
ファブリック
世界レベルの製造プロセス技術 － 性能/電力 統合能力
10

11. まとめ
• データセンター (HPC & クラウド) の発展には、高まる
要求に応えていくべく、新たな技術革新が必要
• 性能、データ容量に対するたゆみないニーズ →
データセンターではファブリックが次のボトルネックに
• インテルは比類なきポジションに → ファブリック自体
の技術革新とCPUプラットフォームへの統合により、
データセンターの要求に応えていきます
11

12. 12