Amazon EC2 HPCインスタンス - AWSマイスターシリーズ

AWSマイスターシリーズ “Reloaded”
～Amazon EC2 HPCインスタンス～

2012年3月12日
ソリューションアーキテクト松尾康博 (@understeer)
エバンジェリスト/技術統括部長玉川憲 (@KenTamagawa)

セミナーのAgenda

HPCとは？
HPCインスタンスの特徴
HPCインスタンスの料金
HPCインスタンスの事例と制限

Copyright © 2011 Amazon Web Services

HPCとは？
高性能計算(high-performance computing)
HPCは狭義には、並列スーパーコンピュータ及びコンピュータ・クラスタ（主に汎用のCPU
を商用の相互結合網で結合し、単一のシステムとして構成された計算機システム）の利用
を指す。その場合、HPCをハイ・パフォーマンス・クラスタリング (high-performance
clustering) の略とすることもある。また、クラスタリングにより高性能計算を実現する計算
機をHPCC (high-performance computing cluster) と呼ぶ。
------snip----
科学研究に使われる計算に対して用いられることが多く、関連する用語に高性能技術計算
（high performance technical computing、HPTC）がある。後者は一般にはクラスター
ベースの計算の工学的利用（例えば計算流体力学(computational fluid dynamics)や、仮
想的なプロトタイプの構築・試験など）を指す。最近では、クラスタベースの高性能計算機
はビジネスにも利用されるようになってきた。例えばデータウェアハウス、LOBアプリケー
ション(line-of-business application)、トランザクション処理などである。

出典「Wikipedia 高性能計算」http://ja.wikipedia.org/wiki/高性能計算

従来のHPC
役割と構成
スーパーコンピュータやクラスター上で、MPI等の
密結合処理な並列処理を行う
低遅延・広帯域なインターコネクトネットワーク
常に言われること
構築費用が高い
電源、ネットワーク等の設計・構築・運用が大変
クラスタは典型的な共用リソース
待ち行列で待たされる
従来のEC2はHPCに合わない
1Gbpsの帯域幅では十分ではない

HPC on AWSとは？
HPC用に最適化されたEC2インスタンス
クラスタインスタンス Cluster Compute : cc1.4xlarge, cc2.8xlarge
クラスタGPUインスタンス Cluster GPU: cg1.4xlarge
高性能ネットワーク
低遅延
広帯域
密結合な並列HPCアプリケーションを念頭に設計
マルチコア、メニイコア、とそのハイブリッド
MPI、OpenMP、Fortran-90, CUDA等

HPC on AWSのメリット

無制限のスケール俊敏性価格性能比

無制限にノード利待ち行列無しスポット価格も利用
用可能共有プール無し可能

無制限のストレー
オンデマンド従量課金
ジ

非ブロッキング
プログラム可能な自由にスケール
full bisection帯
インフラアップ・ダウン
域幅ネットワーク

HPCインスタンスとは？
3つのインスタンスタイプ
 クラスタコンピュートインスタンスCC1、CC2
 クラスタGPUインスタンス CG1
必要なときに必要なだけ利用可能
 共用HPCクラスタのようにジョブをキューに入れて待つことなく
、計算が必要なときに必要な量・時間の計算リソースを利用
 注）初期上限は8ノード。上限緩和申請で引き上げ可能
HPCクラスタを従量課金で利用可能
 クラスタ調達、設定・運用のコスト・複雑さを低減
 複数の価格モデル(オンデマンド・を組み合わせてコスト最適化
が可能

HPC用インスタンスタイプ
cc1.4xlarge
最初のHPC用インスタンスタイプ
33.5ECU, 23GB RAM, 1690GB インスタンスストレージ
4コア Intel Xeon 5570(Nehalem) x 2
cc2.8xlarge
最新のHPC用インスタンスタイプ
88ECU, 60.5GB RAM, 3360GB インスタンスストレージ
8コア Intel Xeon E5 (Sandy Bridge) x 2
AVX(Advancec Vectore Extensions)が有効
cg1.4xlarge
cc1にGPUを搭載したGPGPU用インスタンスタイプ
2 x NVIDIA Tesla “Fermi” M2050 GPU ( 2*447 CUDA cores)

サポートOS
3種類のベースOS AMIを提供
Amazon Linux (RHEL, CentOS 5.4 互換)
SUSE Linux Enterprise Server
Windows Server 2008 R2
HPC Pack 2008 R2 Expressもインストール可
その他OSのAMIもサードパーティより提供
CentOS, Ubuntu, FreeBSD,etc
OS/AMIは EBS-backed
カスタムAMIの作成方法は従来のEC2と同様
Chef /Puppetも利用可能

HPCインスタンスと通常のEC2インスタンス

命令セットアーキテクチャを公開
 コンパイラオプションで、Nehalem, Sandy Bridge, Teslaをター
ゲット指定可能
HVM(Hardware assisted virtualization)
 通常のEC2で用いる準仮想化とは異なる
 1:1で物理マシンと仮想マシンが対応
10Gbps NIC + JumboFrame
Full-bisection ノンブロッキングネットワーク
上記以外はは通常のEC2と同じ
 EBS, EBS Snapshot, AMI作成, Security Groups, VPC, etc.
現時点で、US-EASTでのみ提供

クラスタネットワーク
従来のEC2と比べ、約10倍の帯域と1/10のレイテンシ
レイテンシ 50μsec未満
帯域最大10Gbps
HPCインスタンス間は、JumboFrameを使用
ノンブロッキング
HPCインスタンス用API： Placement Groupを追加
論理クラスターを構築するネットワーク単位
Full bisection の帯域
Placement Group内のインスタンス間の通信帯域は 10Gbps full
bisectionのネットワーク

クラスタネットワーク

プレイスメントグループ内の全
ノード間でFull bisection
bandwidth 10Gbpsの帯域

１プレイスメントグループで220
ノードを収容可能

複数のプレイスメントグループ
で構成した“Cluster of
Clusters” で、より大きくスケ
Full bisection bandwidth ール可能

Placement Groupとは

クラスタインスタンスの論理クラスタ
作成・利用はコマンドラインやコンソールで簡単に行える

オプション機能
 プレイスメントグループ内で、ノンブロッキング N/Wが可能
 従来に比べてより安定した帯域を提供

データ格納先
インスタンスストレージ
2x 840GB
EBS
従来のEC2同様、最大1TB/ボリューム
RAID0をサポート
S3
API,curl,wget,s3cmd等による並列アクセス可能
その他
GlusterFS
Lustre

クラスタファイルシステム～Amazon S3
分散オブジェクト(file)ストレージ
耐障害性 99.999999999%
超並列アクセスが可能
既存APIと非互換
HTTP/HTTPS のみ
POSIX非対応、NFS非対応、FTP非対応

クラスタファイルシステム～GlusterFS
ソフトウェアスケールアウト型分散ファイルシステム
FUSEベース
POSIX, NFS, CIFS, DAV, HTTPS対応
メタデータサーバ不要
Elastic hashingアルゴリズムを採用
全クライアントは目的のファイルがどのノードにあるか知っている
クライアントがファイルに直接アクセス
数百PBまでスケールアウト可能
Failoverに備えて、データのミラー・同期複製
並列性能向上のためデータストライピング
Red Hatへ
Red Hat to Acquire Gluster
http://www.redhat.com/promo/storage/

GlusterFSの2つの利用方法
インスタンスストレージを利用
ユーザが自分で分散ファイルシステムを構築可能
S3からデータを並列にコピー可能
クラスター起動中は、ファイルシステムを利用可能
EBSを利用
クラスタのライフサイクルに非依存な永続的なファイルシステムを構
築可能
必要に応じて、クラスタを起動して、利用可能
S3にバックアップ(snapshot)可能

HPC用データ転送方法
標準的な方法
Scp/sftp/rsync/ftp
EBS/インスタンスストレージにコピー可能
クラスター起動中も、ファイルシステムを利用可能
高速転送ソリューションを利用
Tsunami
Aspera
BBCP
Riverbed
参考：AWS Import/Export
物理的にDiskを送受信しAWS側で S3やEBSにImport/Exportを行う
参考：AWS Direct Connect
1Gbps/10GbpsでAWSへ専用線接続

Linpackの結果
2010年11月
CC1インスタンス ( Xeon X5570 2.95GHz, 10GbE)
880ノード (7040コア)
41.82 TFLOPS
Top500 231位
http://i.top500.org/system/10661
2011年11月
CC2インスタンス ( Xeon E5, 10GbE)
1064ノード(17024コア)
240.09 TFLOPS
Top500 42位
http://i.top500.org/system/177457

HPCインスタンスの適用分野
従来型の密結合 HPCアプリケーションで多くの事例
MPI分散メモリ並列処理
CUDA GPU並列処理
CFD (Computational Fluid Dynamics)
FEA (Finite Element Analysis)
モンテカルロシミュレーション
ゲノム解析
レンダリング

HPCインスタンスの利用事例
NASA Jet Propulsion Laboratory
128ノード(1024コア)
http://aws.typepad.com/aws/2010/09/high-performance-cloud-
computing-nasa-matlab.html

HPCインスタンスの利用事例
MathWorks / MATLAB
最大32ノード(256コア)
http://aws.typepad.com/aws/2010/09/high-performance-cloud-
computing-nasa-matlab.html
その他事例
http://aws.amazon.com/jp/solutions/case-studies/#hpc

HPCインスタンスの新しい適用分野
その他、ネットワークに依存する処理
ストリームデータ処理
Hadoop / EMR/ Hive/ Pig/ Cascading等
分散キャッシュ
NoSQL
Cassandra/ MongoDB/ Riak等
スケールアップ型ソフトウェアバランサー
HAProxy等
スケールアップ型RDBMS
高性能データベース等

利用料金
Reserved
Ondemand low mid high Spot
hourly upfront hourly upfront hourly upfront hourly hourly
CC1 $1.300 $1450 $0.742 $3286 $0.450 $4060 $0.297 $.0.450
Linux/Unix CC2 $2.400 $1762 $0.904 $4146 $0.540 $5000 $0.361 $0.540
CG1 $2.100 $2410 $1.234 $5630 $0.740 $6830 $0.494 $0.665
CC1 $1.610 $1450 $0.922 $3286 $0.630 $4060 $0.477 N/A
Windows CC2 $2.970 $1762 $1.114 $4146 $0.750 $5000 $0.571 N/A
CG1 $2.600 $2410 $1.534 $5630 $1.040 $6830 $0.794 N/A

2012年3月に値下げ実施！（10%～38%)
特にリザーブドインスタンスが大幅値下げ
予約金$250k以上で10%、$2,000k以上で20%のボ
リュームディスカウント
料金表
http://aws.amazon.com/jp/ec2/pricing/

利用料金
Spotインスタンスも利用可能
低額にHPCインスタンスを利用可能
ただし、入札価格によっては突然シャットダウン
価格の変動履歴はマネージメントコンソールで確認
一般的に、リザーブドインスタンスが目安

ソフトウェア
NVIDIA GPUドライバ、CUDA toolkitはロード済み
Cluster Instance Amazon Linux AMI
Windows 2008 R2 for Cluster Instances
様々なソフトウェアが利用可能
AWSでは、Intel MPI and Intel MKL® ライブラリを使用
OpenMPI, MPICH2なども利用されている
Hadoop/ EMRも利用可能
その他様々なクラスタ管理ツール
その他様々なHPCソフトウェア

HPCツールと、パートナー製品
従来のクラスタ管理ソフトウェアの多くが利用可能です。
SGE
Adaptive Computing – Moab, Torque
Altair – PBS
Platform – LSF
Oracle – Grid Engine
Univa-UD – UniCloud, GridMP
Clustercorp – Rocks+Rolls
Cycle Computing – Condor
MIT - Starcluster
並列ファイルシステム
Gluster
Lustre
GFS

AWSプレミアムサポート
アーキテクチャ設計に関するガイダンス、ベストプラクティス
も日本語でご案内できます
aws.amazon.com/jp/premiumsupport/
ブロンズシルバーゴールドプラチナ

初回応答時間１２時間４時間１時間１５分

サポート連絡先１人２人３人無制限

24/365対応なしなしありあり

TEL可能不可不可可能可能

専任スタッフなしなしなしあり

特別サポートなしなしなしあり
AWS利用総額の
AWS利用総額の
$0~$10K: 10%
AWS利用総額の 10%
料金 $49
5%
$10K~$80K: 7%
$80K~: 5%
（最低$15K）
（最低$400）

参考情報
AWS HPC
http://aws.amazon.com/jp/hpc-applications/
Amazon EC2 料金
http://aws.amazon.com/jp/ec2/pricing/
Windows Guide
http://docs.amazonwebservices.com/AWSEC2/latest/Win
dowsGuide/
ビデオ
8ノードクラスタ構築
http://www.youtube.com/watch?v=5zBxl6HUFA4
10分でHPCクラスタ構築
http://www.youtube.com/embed/YfCgK1bmCjw
ワシントン大学の事例
http://www.youtube.com/watch?v=mKElyNabc0A

Q&A


Amazon EC2 HPCインスタンス - AWSマイスターシリーズ

More Related Content

What's hot

Similar to Amazon EC2 HPCインスタンス - AWSマイスターシリーズ

More from Amazon Web Services Japan

Amazon EC2 HPCインスタンス - AWSマイスターシリーズ