More Related Content
Similar to Amazon EC2 HPCインスタンス - AWSマイスターシリーズ (20)
More from Amazon Web Services Japan (20)
Amazon EC2 HPCインスタンス - AWSマイスターシリーズ
- 5. HPC on AWSとは？
HPC用に最適化されたEC2インスタンス
クラスタインスタンス Cluster Compute : cc1.4xlarge, cc2.8xlarge
クラスタGPUインスタンス Cluster GPU: cg1.4xlarge
高性能ネットワーク
低遅延
広帯域
密結合な並列HPCアプリケーションを念頭に設計
マルチコア、メニイコア、とそのハイブリッド
MPI、OpenMP、Fortran-90, CUDA等
- 6. HPC on AWSのメリット
無制限のスケール 俊敏性 価格性能比
無制限にノード利 待ち行列無し スポット価格も利用
用可能 共有プール無し 可能
無制限のストレー
オンデマンド 従量課金
ジ
非ブロッキング
プログラム可能な 自由にスケール
full bisection帯
インフラ アップ・ダウン
域幅ネットワーク
- 7. HPCインスタンスとは？
3つのインスタンスタイプ
クラスタコンピュートインスタンスCC1、CC2
クラスタGPUインスタンス CG1
必要なときに必要なだけ利用可能
共用HPCクラスタのようにジョブをキューに入れて待つことなく
、計算が必要なときに必要な量・時間の計算リソースを利用
注）初期上限は8ノード。上限緩和申請で引き上げ可能
HPCクラスタを従量課金で利用可能
クラスタ調達、設定・運用のコスト・複雑さを低減
複数の価格モデル(オンデマンド・を組み合わせてコスト最適化
が可能
- 8. HPC用インスタンスタイプ
cc1.4xlarge
最初のHPC用インスタンスタイプ
33.5ECU, 23GB RAM, 1690GB インスタンスストレージ
4コア Intel Xeon 5570(Nehalem) x 2
cc2.8xlarge
最新のHPC用インスタンスタイプ
88ECU, 60.5GB RAM, 3360GB インスタンスストレージ
8コア Intel Xeon E5 (Sandy Bridge) x 2
AVX(Advancec Vectore Extensions)が有効
cg1.4xlarge
cc1にGPUを搭載したGPGPU用インスタンスタイプ
2 x NVIDIA Tesla “Fermi” M2050 GPU ( 2*447 CUDA cores)
- 9. サポートOS
3種類のベースOS AMIを提供
Amazon Linux (RHEL, CentOS 5.4 互換)
SUSE Linux Enterprise Server
Windows Server 2008 R2
HPC Pack 2008 R2 Expressもインストール可
その他OSのAMIもサードパーティより提供
CentOS, Ubuntu, FreeBSD,etc
OS/AMIは EBS-backed
カスタムAMIの作成方法は従来のEC2と同様
Chef /Puppetも利用可能
- 10. HPCインスタンスと通常のEC2インスタンス
命令セットアーキテクチャを公開
コンパイラオプションで、Nehalem, Sandy Bridge, Teslaをター
ゲット指定可能
HVM(Hardware assisted virtualization)
通常のEC2で用いる準仮想化とは異なる
1:1で物理マシンと仮想マシンが対応
10Gbps NIC + JumboFrame
Full-bisection ノンブロッキングネットワーク
上記以外はは通常のEC2と同じ
EBS, EBS Snapshot, AMI作成, Security Groups, VPC, etc.
現時点で、US-EASTでのみ提供
- 11. クラスタネットワーク
従来のEC2と比べ、約10倍の帯域と1/10のレイテンシ
レイテンシ 50μsec未満
帯域 最大10Gbps
HPCインスタンス間は、JumboFrameを使用
ノンブロッキング
HPCインスタンス用API： Placement Groupを追加
論理クラスターを構築するネットワーク単位
Full bisection の帯域
Placement Group内のインスタンス間の通信帯域は 10Gbps full
bisectionのネットワーク
- 12. クラスタネットワーク
プレイスメントグループ内の全
ノード間でFull bisection
bandwidth 10Gbpsの帯域
１プレイスメントグループで220
ノードを収容可能
複数のプレイスメントグループ
で構成した“Cluster of
Clusters” で、より大きくスケ
Full bisection bandwidth ール可能
- 14. データ格納先
インスタンスストレージ
2x 840GB
EBS
従来のEC2同様、最大1TB/ボリューム
RAID0をサポート
S3
API,curl,wget,s3cmd等による並列アクセス可能
その他
GlusterFS
Lustre
- 15. クラスタファイルシステム ～Amazon S3
分散オブジェクト(file)ストレージ
耐障害性 99.999999999%
超並列アクセスが可能
既存APIと非互換
HTTP/HTTPS のみ
POSIX非対応、NFS非対応、FTP非対応
- 16. クラスタファイルシステム ～GlusterFS
ソフトウェア スケールアウト型分散ファイルシステム
FUSEベース
POSIX, NFS, CIFS, DAV, HTTPS対応
メタデータサーバ不要
Elastic hashingアルゴリズムを採用
全クライアントは 目的のファイルがどのノードにあるか知っている
クライアントがファイルに直接アクセス
数百PBまでスケールアウト可能
Failoverに備えて、データのミラー・同期複製
並列性能向上のためデータストライピング
Red Hatへ
Red Hat to Acquire Gluster
http://www.redhat.com/promo/storage/
- 17. GlusterFSの2つの利用方法
インスタンスストレージを利用
ユーザが自分で分散ファイルシステムを構築可能
S3からデータを並列にコピー可能
クラスター起動中は、ファイルシステムを利用可能
EBSを利用
クラスタのライフサイクルに非依存な永続的なファイルシステムを構
築可能
必要に応じて、クラスタを起動して、利用可能
S3にバックアップ(snapshot)可能
- 18. HPC用データ転送方法
標準的な方法
Scp/sftp/rsync/ftp
EBS/インスタンスストレージにコピー可能
クラスター起動中も、ファイルシステムを利用可能
高速転送ソリューションを利用
Tsunami
Aspera
BBCP
Riverbed
参考：AWS Import/Export
物理的にDiskを送受信しAWS側で S3やEBSにImport/Exportを行う
参考：AWS Direct Connect
1Gbps/10GbpsでAWSへ専用線接続
- 19. Linpackの結果
2010年11月
CC1インスタンス ( Xeon X5570 2.95GHz, 10GbE)
880ノード (7040コア)
41.82 TFLOPS
Top500 231位
http://i.top500.org/system/10661
2011年11月
CC2インスタンス ( Xeon E5, 10GbE)
1064ノード(17024コア)
240.09 TFLOPS
Top500 42位
http://i.top500.org/system/177457
- 22. HPCインスタンスの利用事例
MathWorks / MATLAB
最大32ノード(256コア)
http://aws.typepad.com/aws/2010/09/high-performance-cloud-
computing-nasa-matlab.html
その他事例
http://aws.amazon.com/jp/solutions/case-studies/#hpc
- 24. 利用料金
Reserved
Ondemand low mid high Spot
hourly upfront hourly upfront hourly upfront hourly hourly
CC1 $1.300 $1450 $0.742 $3286 $0.450 $4060 $0.297 $.0.450
Linux/Unix CC2 $2.400 $1762 $0.904 $4146 $0.540 $5000 $0.361 $0.540
CG1 $2.100 $2410 $1.234 $5630 $0.740 $6830 $0.494 $0.665
CC1 $1.610 $1450 $0.922 $3286 $0.630 $4060 $0.477 N/A
Windows CC2 $2.970 $1762 $1.114 $4146 $0.750 $5000 $0.571 N/A
CG1 $2.600 $2410 $1.534 $5630 $1.040 $6830 $0.794 N/A
2012年3月に値下げ実施！（10%～38%)
特にリザーブドインスタンスが大幅値下げ
予約金$250k以上で10%、$2,000k以上で20%のボ
リュームディスカウント
料金表
http://aws.amazon.com/jp/ec2/pricing/
- 26. ソフトウェア
NVIDIA GPUドライバ、CUDA toolkitはロード済み
Cluster Instance Amazon Linux AMI
Windows 2008 R2 for Cluster Instances
様々なソフトウェアが利用可能
AWSでは、Intel MPI and Intel MKL® ライブラリを使用
OpenMPI, MPICH2なども利用されている
Hadoop/ EMRも利用可能
その他様々なクラスタ管理ツール
その他様々なHPCソフトウェア
- 27. HPCツールと、パートナー製品
従来のクラスタ管理ソフトウェアの多くが利用可能です。
SGE
Adaptive Computing – Moab, Torque
Altair – PBS
Platform – LSF
Oracle – Grid Engine
Univa-UD – UniCloud, GridMP
Clustercorp – Rocks+Rolls
Cycle Computing – Condor
MIT - Starcluster
並列ファイルシステム
Gluster
Lustre
GFS
- 28. AWSプレミアムサポート
アーキテクチャ設計に関するガイダンス、ベストプラクティス
も日本語でご案内できます
aws.amazon.com/jp/premiumsupport/
ブロンズ シルバー ゴールド プラチナ
初回応答時間 １２時間 ４時間 １時間 １５分
サポート連絡先 １人 ２人 ３人 無制限
24/365対応 なし なし あり あり
TEL可能 不可 不可 可能 可能
専任スタッフ なし なし なし あり
特別サポート なし なし なし あり
AWS利用総額の
AWS利用総額の
$0~$10K: 10%
AWS利用総額の 10%
料金 $49
5%
$10K~$80K: 7%
$80K~: 5%
（最低$15K）
（最低$400）
Copyright © 2011 Amazon Web Services
- 29. 参考情報
AWS HPC
http://aws.amazon.com/jp/hpc-applications/
Amazon EC2 料金
http://aws.amazon.com/jp/ec2/pricing/
Windows Guide
http://docs.amazonwebservices.com/AWSEC2/latest/Win
dowsGuide/
ビデオ
8ノードクラスタ構築
http://www.youtube.com/watch?v=5zBxl6HUFA4
10分でHPCクラスタ構築
http://www.youtube.com/embed/YfCgK1bmCjw
ワシントン大学の事例
http://www.youtube.com/watch?v=mKElyNabc0A
