VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密

友永和総/Kazusa Tomonaga (@kz_tomo ) – Sr. System Engineer, Mellanox Japan
VIOPS09 – 2014年7月4日
圧倒的なコストパフォーマンスを実現する
クラウドアーキテクチャの秘密

© 2014 Mellanox Technologies 2
自己紹介 – 友永和総（ともながかずさ）(Twitter ID:@kz_tomo)
～2010
ディスクストレージシステムの研究開発
• ストレージファームウェア開発
• ストレージネットワークドライバ開発（FibreChannel、iSCSI）
• ブロックレベルストレージ仮想化、階層化システム
• 海外特許含め、ストレージ関連特許（登録・出願）多数あり
プロダクトマーケティングマネージャ
• グローバルチーム所属（アジアパシフィックチーム、日本担当）
• サーバー及びストレージの製品マーケティングを担当
～2012
～Now
シニアシステムエンジニア(兼テクニカルマーケティング)
• エンドユーザー、チャネル、OEM（グローバル、国内ベンダ）を幅広く担当
• クラウド、仮想化、HPC、ストレージ(OEM開発サポート)
• Ethernet、InfiniBand
• イベント/カンファレンス等での技術マーケティング、製品プロモーション
(技術関連を幅広く担当しています）
R&D Storage - Firmware & Drivers, Performance Analysis
Product Marketing – Server & Storage, APJ Team
System Engineer / Technical Marketing – Ethernet & InfiniBand

メラノックス概要
 サーバとストレージの広帯域／低遅延インターコネクトのリーディングベンダー
• FDR 56Gb/s InfiniBand and 10/40/56GbE
• Reduces application wait-time for data
• Dramatically increases ROI on data center infrastructure
 Company headquarters:
• Yokneam, Israel; Sunnyvale, California
• ~1,432 employees* worldwide
 Solid financial position
• FY13 revenue of $390.9M
• 1Q14 revenue of $98.7M
• 2Q14 guidance ~$100M to $105M
• Cash + investments @ 3/31/14 = $340.1M
Ticker: MLNX
* As of March 2014

DB/Enterprise Cloud Web 2.0StorageBig Data
40Gbps以上の高速ネットワークをEnd-to-Endで提供
HCA/NIC用コントローラやスイッチ用ASICを全て自社開発
圧倒的なコストパフォーマンスを提供
シリコンスイッチ
ゲートウェイ
アダプタカードケーブル
モジュール
InfiniBandとEthernet両方に対応可能な製品ラインナップをEnd-to-Endで提供
Metro / WAN管理・高速化ソフトウェア

HPCでの動向とクラウドへの応用
HPC: High Performance Computing

メラノックス製品適用事例 - HPC
http://community.mellanox.com/community/connect/news-events/blog/2013/12/10/the-university-of-cambridge-chooses-mellanox-fdr-infiniband-to-accelerate-uk-s-fastest-academic-cluster-further-space-research

メラノックス製品適用事例 – PetaFlops級世界最先端のスパコン
Accelerating Half of the World’s Petascale Supercomputers (Examples)

スパコン性能トレンド – 近年指数関数的に合計CPU数と性能が向上
 Explosive high-performance computing market growth
 Clusters continue to dominate with 85% of the TOP500 list
78% CAGR38% CAGR
Mellanox InfiniBand solutions provide the highest systems utilization in the TOP500
for both high-performance computing and clouds
Source : ISC’14, June 2014

PetaFlopsクラスのスパコンインターコネクト
 Mellanox InfiniBand is the interconnect of choice for Petascale computing
• Accelerates 50% of the sustained Petaflop systems (24 systems out of 48)

 スパコンでの効率
• 計算実行効率(Efficiency) [%]
- CPU論理ピーク性能に対して、実際にどの程度
CPU を使いきれるか
• 電力効率(Power Efficiency) [MFLOPS/W]
- １ワット当たりの計算性能
• コスト効率(Cost Efficiency) [MFLOPS/$]
- 単位コスト当たりの計算性能
スパコンでの最重要要素「効率」とクラウドでの対応
 クラウドでの効率
• クラウド実行効率 [%]
- クラウドのCPU合計性能に対して、実際にど
の程度CPU が使われているか
• 電力効率(Power Efficiency) [#VMs/W]
- １ワット当たりのVM稼動数
• コスト効率(Cost Efficiency) [#VMs/$]
- 単位コスト当たりのVM稼動数
仮定：
- 1VM当たりのサイジングが一定
- 1VM当たりのワークロードが一定
- 1VM当たりの提供価格が一定
クラウドサービスの収益
=VM当たり提供価格 – VM当たり運用コスト(VM当たり導入コストを平準化したもの含む)
クラウドでの効率は、収益に直結するため、HPC以上に重要！

スパコンの実行効率とインターコネクト分布
 TOP500 systems listed according to their efficiency
 InfiniBand is the key element responsible for the highest system efficiency; in average 30% higher than 10GbE
 Mellanox delivers efficiencies of more than 99% with InfiniBand
Average Efficiency
• InfiniBand: 87%
• Cray: 79%
• 10GbE: 67%
• GigE: 40%

 Mellanox InfiniBand connects the most efficient system on the list
• 24 of the top25 most efficient systems, all of top 17 most efficient system
 Enabling a record system efficiency of 99.8%, only 0.2% less than the theoretical limit!
スパコン実行効率トップ25の24/25がInfiniBand

スパコン電力効率ランキング「Green500」
 TOP10のうち9/10が
InfiniBand
Source : http://www.green500.org/lists/green201311

クラウドでの適用状況

Exponential Data Growth – Best Platforms Needed
We Live in a World of Data
More DataMore ApplicationsMore Devices

Mellanox Enables the Use of Data
To Enable the Use of Data
Businesses Turn to
In the World of Data

クラウドデータセンター、Web2.0企業の最新状況
10Gb/s 40/56Gb/s1Gb/s
The Future Depends on Mellanox

2010年 – ISC(スパコンの学会)はクラウドに関する
学術カンファレンス ISC Cloud’10を初開催
 The Cloud Conference for
Industry and Academia
 ISC Cloud Computing
Conference 2010 focused on
practical solutions by bridging
the gap between research and
industry in cloud computing.
(ISCクラウドコンピューティング
カンファレンス2010は、クラウド
コンピューティングに関する研究
と産業の間のギャップを繋ぐ実用
的なソリューションを目的として
開催された)
http://www.isc-events.com/cloud10/

Windows Azure Pack – Powered by Mellanox
 Windows Server 2012 R2 SMB 3.0
• 5X Faster access to Storage*
• 10X Live migration acceleration*
 Overlay network offload
• 2X NVGRE acceleration
 Boost MS SQL performance
• 10X More transactions per second*
• 50X faster data query with In-Memory
technology
Windows Azure Pack
Service ProvidersPrivate Cloud
Public Cloud
Azure Virtual Machines
Windows Azure Pack
* RDMA vs. TCP/IP

Microsoft Azure – キーノートセッションでの発表
“To make storage cheaper we use lots more network!
How do we make Azure Storage scale? RoCE (RDMA over Ethernet) enabled at 40GbE
for Windows Azure Storage, achieving massive COGS savings”
（ストレージコストを低減するため、我々はネットワーク技術を
活用している。40GbE RoCE(RDMA over Ethernet)をAzure
Storageで使用し、劇的なコスト削減を実現している。）
RDMA at 40GbE Enables Massive Cloud Saving for Microsoft Azure
Microsoft Keynote
Albert Greenberg
SDN in Azure Infrastructure
Microsoft Keynote at Open Networking Summit 2014 on RDMA

Microsoft Azure PackではHWオフロード技術を様々な箇所に採用
 RDMA
• ストレージI/O
- SMB Direct
- 約5倍高速化
• VMライブマイグレーション
- 約10倍高速化
• SQL DBパフォーマンス
- 約10倍高速化
 NVGREオフロード
• 約2倍高速化
10X Faster VM Live Migration
2X Higher NVGRE
Virtual Overlay Network
Throughput
10X Query Performance
SQL Server
5X Storage Throughput
with SMB Direct
Storage Solutions
※HWオフロードなしに比べた場合の性能向上率

CloudX is the Most Efficient Cloud Platform
The Platform for Creating the Applications of Tomorrow
Cloud
Lower Your IT Cost by 50%!

VXLANオフロード+ミドクラとの協業 – Shownet
 先月開催されたInterop Tokyo 2014のShownetにてミドクラMidonetとの接続デモを実演
 Mellanox CloudXアーキテクチャの選択肢としてのソリューション化を推進中
Configuration at Shownet
http://www.mellanox.co.jp/news/press20140609_MLNX_CloudX.html
VXLAN Offload with Midokura Midonet

クラウドシステムの効率を高めるためのポイント
 性能をスケールさせる
システム規模、投資規模、運用コスト
システム性能
VM数
スケールしないシステム
（ボトルネックが存在）
スケールするシステム
 ボトルネックのブーメラン状態からの脱出
• ストレージ、ネットワークを高性能なものを使う
CPU利用率UP、統合率UP
ストレージI/OやネットワークI/Oを実行するCPU負荷もUP
CPUボトルネック発生し、統合率が制限される（オーバー
レイネットワーク等、ネットワーク仮想化を行う場合はよ
り顕著）
性能スケールしない
• CPU使用率を抑えながら、ストレージ性能、ネットワーク
性能を高める工夫が必要
ハードウェアオフロード：
・ストレージI/OのRDMA処理
・オーバーレイネットワークのHWオフロード処理
※HPCシステムではハードウェアオフロード技術活用で
性能スケールする取り組みが続けられている
（例：RDMA、MPI通信オフロード、GPUオフロード処理)
さらに優れたシステム
ネットワーク
スループット
CPU使用率
オーバーレイなし
1Gbps 10Gbps 40Gbps
オーバーレイ使用(HWオフロードなし）
CPUボトルネック
RDMA
オーバーレイ使用(HWオフロード）

まとめ
 HPCでの効率向上、性能スケーリングに対する近年の取り組みがクラウドへ応用さ
れている
クラウドデータセンターがHPCシステムそっくりになってきている
 HPC技術をベースにしたメラノックスのEthernet製品へのニーズ拡大中
• InfiniBandで培ったHPCインターコネクトの技術がEthernetでも利用可能に
• 主要クラウドデータセンターでの導入が広まっている
 ネットワーク性能を高めることで物理マシン当たりのVM数を倍増できる
• 10GbE  40GbEの帯域向上は４倍だが、コストは２倍にもならないくらい
- サーバスペックを倍増させることでVM当たりのコスト、VM当たりの電力を半減できる
 サーバ価格は一般的にサイジングに比例しない
（例：300万円で10VM (30万円/VM)、360万円で20VM(18万円/VM)など(ライセンス、保守費込み）)
• RDMA、オーバーレイオフロード活用でさらに統合率アップ
効率が良く、性能スケールするシステムは規模の大小を問わない
• 市販のハードウェアで構築可能、価格も高くない
• スモールスタート可能
• 決してMicrosoft Azure等が特別ではない、誰でも真似出来る

参考情報

SC14 Update – June 22-26, 2014 @ Leipzig, Gernamy
36-port EDR 100Gb/s InfiniBand Switch Systems
648-Port EDR 100Gb/s InfiniBand Director Switch
SB7700/SB7790
CS7500
シングルチップで100Gb/s 36ポートを実現

Paving The Road for 100Gb/s – Cables
Copper (Passive, Active) Optical Cables (VCSEL) Silicon Photonics
100Gb/s cables demo
at OFC conference
March ‘14
100Gb/s Cables
Demonstrated March’14

The Speed of Data Mandates the Use of Data
20Gbs 40Gbs 56Gbs 100Gbs
2000 202020102005 2015
200Gbs10Gbs
Keeping You One Generation Ahead
Gbs – Gigabit per second
Enabling the Use of Data
Mellanox Roadmap of Data Speed

Cloud Advisory Council
 15 founding members including Mellanox
 Over 90 members
 Mission
• Outreach and research around Cloud computing
• Development of next generation Cloud architecture
› Providing open specification for Cloud infrastructures
› Publications of best practices for optimizing Cloud efficiency and
utilization
› Enable ease-of-use with comprehensive Cloud management and
tools
• Publish Cloud best practices
• Groups: Open Source Eco-System | Cloud500| High
Performance Cloud
• Webinars, workshops, events … http://cloudadvisorycouncil.com/members.php

Cloud Advisory Council Members

Cloud500 – Ranking the Top 500 IaaS Cloud Providers
 CloudPack Test Suite
• 3 main test categories: System, RAM, and CPU
• Dozens of real live cloud application tests
 The inaugural list will be released at a cloud event in September 2014
Rank your cloud Today !

Mellanox Community 英語ですが質問が気軽に出来ます
http://community.mellanox.com/
アップデートメールも届きます。
是非気軽に登録してみてください。

VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密

More Related Content

What's hot

Similar to VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密

More from VIOPS Virtualized Infrastructure Operators group ARCHIVES

VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密