Amazon EC2 HPCインスタンス - AWSマイスターシリーズ

8,851 views
8,607 views

Published on

0 Comments
14 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
8,851
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
222
Comments
0
Likes
14
Embeds 0
No embeds

No notes for slide

Amazon EC2 HPCインスタンス - AWSマイスターシリーズ

  1. 1. AWSマイスターシリーズ “Reloaded”~Amazon EC2 HPCインスタンス~ 2012年3月12日 ソリューションアーキテクト 松尾 康博 (@understeer) エバンジェリスト/技術統括部長 玉川 憲 (@KenTamagawa)
  2. 2. セミナーのAgenda HPCとは? HPCインスタンスの特徴 HPCインスタンスの料金 HPCインスタンスの事例と制限 Copyright © 2011 Amazon Web Services
  3. 3. HPCとは? 高性能計算(high-performance computing)HPCは狭義には、並列スーパーコンピュータ及びコンピュータ・クラスタ(主に汎用のCPUを商用の相互結合網で結合し、単一のシステムとして構成された計算機システム)の利用を指す。その場合、HPCをハイ・パフォーマンス・クラスタリング (high-performanceclustering) の略とすることもある。また、クラスタリングにより高性能計算を実現する計算機をHPCC (high-performance computing cluster) と呼ぶ。------snip----科学研究に使われる計算に対して用いられることが多く、関連する用語に高性能技術計算(high performance technical computing、HPTC)がある。後者は一般にはクラスターベースの計算の工学的利用(例えば計算流体力学(computational fluid dynamics)や、仮想的なプロトタイプの構築・試験など)を指す。最近では、クラスタベースの高性能計算機はビジネスにも利用されるようになってきた。例えばデータウェアハウス、LOBアプリケーション(line-of-business application)、トランザクション処理などである。 出典「Wikipedia 高性能計算」http://ja.wikipedia.org/wiki/高性能計算
  4. 4. 従来のHPC役割と構成 スーパーコンピュータやクラスター上で、MPI等の 密結合処理な並列処理を行う 低遅延・広帯域なインターコネクトネットワーク常に言われること 構築費用が高い 電源、ネットワーク等の設計・構築・運用が大変クラスタは典型的な共用リソース 待ち行列で待たされる従来のEC2はHPCに合わない 1Gbpsの帯域幅では十分ではない
  5. 5. HPC on AWSとは? HPC用に最適化されたEC2インスタンス クラスタインスタンス Cluster Compute : cc1.4xlarge, cc2.8xlarge クラスタGPUインスタンス Cluster GPU: cg1.4xlarge 高性能ネットワーク 低遅延 広帯域 密結合な並列HPCアプリケーションを念頭に設計 マルチコア、メニイコア、とそのハイブリッド MPI、OpenMP、Fortran-90, CUDA等
  6. 6. HPC on AWSのメリット無制限のスケール 俊敏性 価格性能比 無制限にノード利 待ち行列無し スポット価格も利用 用可能 共有プール無し 可能 無制限のストレー オンデマンド 従量課金 ジ 非ブロッキング プログラム可能な 自由にスケール full bisection帯 インフラ アップ・ダウン 域幅ネットワーク
  7. 7. HPCインスタンスとは?3つのインスタンスタイプ  クラスタコンピュートインスタンスCC1、CC2  クラスタGPUインスタンス CG1必要なときに必要なだけ利用可能  共用HPCクラスタのようにジョブをキューに入れて待つことなく 、計算が必要なときに必要な量・時間の計算リソースを利用  注)初期上限は8ノード。上限緩和申請で引き上げ可能HPCクラスタを従量課金で利用可能  クラスタ調達、設定・運用のコスト・複雑さを低減  複数の価格モデル(オンデマンド・を組み合わせてコスト最適化 が可能
  8. 8. HPC用インスタンスタイプ cc1.4xlarge 最初のHPC用インスタンスタイプ 33.5ECU, 23GB RAM, 1690GB インスタンスストレージ 4コア Intel Xeon 5570(Nehalem) x 2 cc2.8xlarge 最新のHPC用インスタンスタイプ 88ECU, 60.5GB RAM, 3360GB インスタンスストレージ 8コア Intel Xeon E5 (Sandy Bridge) x 2 AVX(Advancec Vectore Extensions)が有効 cg1.4xlarge cc1にGPUを搭載したGPGPU用インスタンスタイプ 2 x NVIDIA Tesla “Fermi” M2050 GPU ( 2*447 CUDA cores)
  9. 9. サポートOS 3種類のベースOS AMIを提供 Amazon Linux (RHEL, CentOS 5.4 互換) SUSE Linux Enterprise Server Windows Server 2008 R2 HPC Pack 2008 R2 Expressもインストール可 その他OSのAMIもサードパーティより提供 CentOS, Ubuntu, FreeBSD,etc OS/AMIは EBS-backed カスタムAMIの作成方法は従来のEC2と同様 Chef /Puppetも利用可能
  10. 10. HPCインスタンスと通常のEC2インスタンス 命令セットアーキテクチャを公開  コンパイラオプションで、Nehalem, Sandy Bridge, Teslaをター ゲット指定可能 HVM(Hardware assisted virtualization)  通常のEC2で用いる準仮想化とは異なる  1:1で物理マシンと仮想マシンが対応 10Gbps NIC + JumboFrame Full-bisection ノンブロッキングネットワーク 上記以外はは通常のEC2と同じ  EBS, EBS Snapshot, AMI作成, Security Groups, VPC, etc. 現時点で、US-EASTでのみ提供
  11. 11. クラスタネットワーク 従来のEC2と比べ、約10倍の帯域と1/10のレイテンシ レイテンシ 50μsec未満 帯域 最大10Gbps HPCインスタンス間は、JumboFrameを使用 ノンブロッキング HPCインスタンス用API: Placement Groupを追加 論理クラスターを構築するネットワーク単位 Full bisection の帯域 Placement Group内のインスタンス間の通信帯域は 10Gbps full bisectionのネットワーク
  12. 12. クラスタネットワーク プレイスメントグループ内の全 ノード間でFull bisection bandwidth 10Gbpsの帯域 1プレイスメントグループで220 ノードを収容可能 複数のプレイスメントグループ で構成した“Cluster of Clusters” で、より大きくスケ Full bisection bandwidth ール可能
  13. 13. Placement Groupとは クラスタインスタンスの論理クラスタ 作成・利用はコマンドラインやコンソールで簡単に行える オプション機能  プレイスメントグループ内で、ノンブロッキング N/Wが可能  従来に比べてより安定した帯域を提供
  14. 14. データ格納先インスタンスストレージ 2x 840GBEBS 従来のEC2同様、最大1TB/ボリューム RAID0をサポートS3 API,curl,wget,s3cmd等による並列アクセス可能その他 GlusterFS Lustre
  15. 15. クラスタファイルシステム ~Amazon S3 分散オブジェクト(file)ストレージ 耐障害性 99.999999999% 超並列アクセスが可能 既存APIと非互換 HTTP/HTTPS のみ POSIX非対応、NFS非対応、FTP非対応
  16. 16. クラスタファイルシステム ~GlusterFS ソフトウェア スケールアウト型分散ファイルシステム FUSEベース POSIX, NFS, CIFS, DAV, HTTPS対応 メタデータサーバ不要 Elastic hashingアルゴリズムを採用 全クライアントは 目的のファイルがどのノードにあるか知っている クライアントがファイルに直接アクセス 数百PBまでスケールアウト可能 Failoverに備えて、データのミラー・同期複製 並列性能向上のためデータストライピング Red Hatへ Red Hat to Acquire Gluster http://www.redhat.com/promo/storage/
  17. 17. GlusterFSの2つの利用方法 インスタンスストレージを利用 ユーザが自分で分散ファイルシステムを構築可能 S3からデータを並列にコピー可能 クラスター起動中は、ファイルシステムを利用可能 EBSを利用 クラスタのライフサイクルに非依存な永続的なファイルシステムを構 築可能 必要に応じて、クラスタを起動して、利用可能 S3にバックアップ(snapshot)可能
  18. 18. HPC用データ転送方法標準的な方法 Scp/sftp/rsync/ftp EBS/インスタンスストレージにコピー可能 クラスター起動中も、ファイルシステムを利用可能高速転送ソリューションを利用 Tsunami Aspera BBCP Riverbed参考:AWS Import/Export 物理的にDiskを送受信しAWS側で S3やEBSにImport/Exportを行う参考:AWS Direct Connect 1Gbps/10GbpsでAWSへ専用線接続
  19. 19. Linpackの結果 2010年11月 CC1インスタンス ( Xeon X5570 2.95GHz, 10GbE) 880ノード (7040コア) 41.82 TFLOPS Top500 231位 http://i.top500.org/system/10661 2011年11月 CC2インスタンス ( Xeon E5, 10GbE) 1064ノード(17024コア) 240.09 TFLOPS Top500 42位 http://i.top500.org/system/177457
  20. 20. HPCインスタンスの適用分野従来型の密結合 HPCアプリケーションで多くの事例 MPI分散メモリ並列処理 CUDA GPU並列処理 CFD (Computational Fluid Dynamics) FEA (Finite Element Analysis) モンテカルロシミュレーション ゲノム解析 レンダリング
  21. 21. HPCインスタンスの利用事例NASA Jet Propulsion Laboratory 128ノード(1024コア) http://aws.typepad.com/aws/2010/09/high-performance-cloud- computing-nasa-matlab.html
  22. 22. HPCインスタンスの利用事例MathWorks / MATLAB 最大32ノード(256コア) http://aws.typepad.com/aws/2010/09/high-performance-cloud- computing-nasa-matlab.htmlその他事例 http://aws.amazon.com/jp/solutions/case-studies/#hpc
  23. 23. HPCインスタンスの新しい適用分野その他、ネットワークに依存する処理ストリームデータ処理 Hadoop / EMR/ Hive/ Pig/ Cascading等分散キャッシュNoSQL Cassandra/ MongoDB/ Riak等スケールアップ型ソフトウェアバランサー HAProxy等スケールアップ型RDBMS 高性能データベース等
  24. 24. 利用料金 Reserved Ondemand low mid high Spot hourly upfront hourly upfront hourly upfront hourly hourly CC1 $1.300 $1450 $0.742 $3286 $0.450 $4060 $0.297 $.0.450Linux/Unix CC2 $2.400 $1762 $0.904 $4146 $0.540 $5000 $0.361 $0.540 CG1 $2.100 $2410 $1.234 $5630 $0.740 $6830 $0.494 $0.665 CC1 $1.610 $1450 $0.922 $3286 $0.630 $4060 $0.477 N/A Windows CC2 $2.970 $1762 $1.114 $4146 $0.750 $5000 $0.571 N/A CG1 $2.600 $2410 $1.534 $5630 $1.040 $6830 $0.794 N/A2012年3月に値下げ実施!(10%~38%) 特にリザーブドインスタンスが大幅値下げ 予約金$250k以上で10%、$2,000k以上で20%のボ リュームディスカウント料金表 http://aws.amazon.com/jp/ec2/pricing/
  25. 25. 利用料金Spotインスタンスも利用可能 低額にHPCインスタンスを利用可能 ただし、入札価格によっては突然シャットダウン価格の変動履歴はマネージメントコンソールで確認 一般的に、リザーブドインスタンスが目安
  26. 26. ソフトウェア NVIDIA GPUドライバ、CUDA toolkitはロード済み Cluster Instance Amazon Linux AMI Windows 2008 R2 for Cluster Instances 様々なソフトウェアが利用可能 AWSでは、Intel MPI and Intel MKL® ライブラリを使用 OpenMPI, MPICH2なども利用されている Hadoop/ EMRも利用可能 その他様々なクラスタ管理ツール その他様々なHPCソフトウェア
  27. 27. HPCツールと、パートナー製品従来のクラスタ管理ソフトウェアの多くが利用可能です。 SGE Adaptive Computing – Moab, Torque Altair – PBS Platform – LSF Oracle – Grid Engine Univa-UD – UniCloud, GridMP Clustercorp – Rocks+Rolls Cycle Computing – Condor MIT - Starcluster並列ファイルシステム Gluster Lustre GFS
  28. 28. AWSプレミアムサポート アーキテクチャ設計に関するガイダンス、ベストプラクティス も日本語でご案内できます aws.amazon.com/jp/premiumsupport/ ブロンズ シルバー ゴールド プラチナ初回応答時間 12時間 4時間 1時間 15分サポート連絡先 1人 2人 3人 無制限24/365対応 なし なし あり ありTEL可能 不可 不可 可能 可能専任スタッフ なし なし なし あり特別サポート なし なし なし あり AWS利用総額の AWS利用総額の $0~$10K: 10% AWS利用総額の 10%料金 $49 5% $10K~$80K: 7% $80K~: 5% (最低$15K) (最低$400) Copyright © 2011 Amazon Web Services
  29. 29. 参考情報AWS HPC http://aws.amazon.com/jp/hpc-applications/Amazon EC2 料金 http://aws.amazon.com/jp/ec2/pricing/Windows Guide http://docs.amazonwebservices.com/AWSEC2/latest/Win dowsGuide/ビデオ 8ノードクラスタ構築 http://www.youtube.com/watch?v=5zBxl6HUFA4 10分でHPCクラスタ構築 http://www.youtube.com/embed/YfCgK1bmCjw ワシントン大学の事例 http://www.youtube.com/watch?v=mKElyNabc0A
  30. 30. Q&ACopyright © 2011 Amazon Web Services

×