Windows HPC Server 講習会第２回開発編

HPC Server 講習会
第2回開発編
2011/11/24
デンソーアイティーラボラトリ増谷

前回の復習
• HPC Serverとは
– MicrosoftのHPC用プラットフォーム
– Windows Server, Windows 7, Windows Azureを組み込め
る

• 基本概念
– ジョブ、タスク、ノード

• 使い方
– シリアルアプリケーション
– パラメータスイープ
– Matlabからの利用

前回の復習
• 「HPC Server 講習会第１回導入編」
– 以下参照
– http://

様々なプログラミング手法
• メッセージングＡＰＩ
– クラスタ間の通信にメッセージングを利用す
るもの
– Windows HPC Serverでは、もっぱらこのタイプ
をサポート
– 複数のＡＰＩ
• MPI
• HPC SOA

最近の情報
• Build windowsでの発表
– HPC Serverのノードとして、AzureのVM Roleが
使えるようになった
– 任意のプログラムをインストール可能、ネイ
ティブ動作も可能

• 該当セッション
– http://channel9.msdn.com/events/BUILD/BUILD2
011/SAC-452T
– 最後に私も質問

MPIとは
• Message Passing Interface
– 並列コンピューティング利用のための標準規格
– 複数のCPUが情報をバイト列からなるメッセージとして送受信す
ることで協調動作を行えるようにする。
– SPMD(Single Program Multi Data)用

• メリット
– ライブラリレベルでの並列化であるため、言語を問わず利用で
き、プログラマが細密なチューニングを行える
– 様々な実装で同じソースが利用できる

• デメリット
– 利用にあたっては明示的に手続きを記述する必要があり、ロッ
クの対処などもプログラマ側が大きな責任をもたなければなら
ない

MPIの実装
• 仕様
– MPI forum
– http://www.mpi-forum.org/

• 代表的な実装
– Open MPI
• MacOSにデフォルトインストール

– Intel MPI Library
• IAに特化 Windows/Linux

– LAM/MPI
– MPICH
• 本家 Argonne NLのリファレンス実装

– MVAPICH
– MS MPI
• MPICH互換+セキュリティ要件

MPIのプログラム
• hello.c
#include <mpi.h>
int main(int argc, char *argv[]) {
int numprocs, rank, namelen;
char processor_name[MPI_MAX_PROCESSOR_NAME];
MPI_Init(&argc, &argv);
MPI_Comm_size(MPI_COMM_WORLD, &numprocs);
MPI_Comm_rank(MPI_COMM_WORLD, &rank);
MPI_Get_processor_name(processor_name, &namelen);

全体のプロセス数

ランク：何番目のプロセスか

printf("Process %d on %s out of %dn", rank, processor_name, numprocs);
MPI_Finalize();
}

• mpi.hのインクルードと、いくつかのセットアップ、ラ
ンクの読み込みなどがあるだけ。
• rankを用いてファイル切り替えなどやれば、パラメータ
スイープと同様のことが可能に
– 統合しなくても良いやりっぱなしプログラムならこれでＯＫ

コマンドラインでの実行
• コンパイル
– Cc hello.c -lmpi
– mpicc hello.c

• 実行
– mpirun –np 8 a.out
– ※ プロセス数を8としている

MPIの機能
• メッセージの送信
– 送信バッファ、宛先ランク、タグなどを指定
#include "mpi.h"
int MPI_Send( void *buf, int count, MPI_Datatype datatype, int dest,
int tag, MPI_Comm comm )

• メッセージの受信
– 受信バッファ、送信元ランク、タグなどを指
定
#include "mpi.h"
int MPI_Recv( void *buf, int count, MPI_Datatype datatype, int source,
int tag, MPI_Comm comm, MPI_Status *status )

MPIメッセージの謎の引数
• タグ
– 受け取ったデータが何なのか、どのように使
うかを指定するのに使う
– 同じタグに別々のライブラリからの処理が対
応づけられていた場合は？

• コミュニケータ
– 錯綜を避けるため、受信する相手を指定でき
るようにする

Visual Studioを使うメリット
• 一般的な利点
– 優れたエディタ
– ライブラリの管理

• MPI向け
– MPI Cluster Debuggerを使える

MPI Cluster Debugger
• HPC Serverと直結したクラスタデバッグを
行うことができる
• 利用方法
– プロジェクトプロパティのdebuggingより、選
択するだけ

• Node選択
– 実行ごとに好き
なノードを選択
できる。
– ノード単位、コ
ア単位、ソケッ
ト単位などが指
定できる。

• その他の実行パラメータ
– Mainパラメータ
– MPIパラメータ
– タイムアウト
– 前、後処理

• デバッグの実際
– プロセスビュアーで各
スレッドが見える
– ブレークポイントもス
レッド数分

とにかく最高性能を狙いた
い
• GPGPUを活用
– 1台当たり１ＴＦＬＯＰＳの性能を引き出した
い
– CUDAベースのプログラムをばらまきたい

• Windows HPC Serverで対応
– GPUクラスタ診断など対応
– コンソールアタッチ

注意事項
• 通常のＧＰＵはコンソールが無いと使え
ない
– ドライバを読み込む必要がある
– HPCにコンソールをアタッチする機能が備わ
る
– レジストリ編集と環境変数設定を行えばＯＫ

• サンプル
– 各マシンからGflopsを計測して、足し算
– MPI_Reduce(&gflops, &result, 1, MPI_DOUBLE,
MPI_SUM, 0, MPI_COMM_WORLD);

.NETな人向け
• MPIとは一味違う
– Service Oriented Architecture
• 全てをサービスとして扱う分散コンピューティン
グ
• HPCのワーカーもサービス

– WCFを利用
• WSDL的なサービスコントラクト
• クライアント、サーバの記述をきっちりしないと
動かない
• 慣れればそれほど大変でもないが・・・

HPC SOA を始める
• Visual Studio のプロジェクト作成
– Durable Session Client
– Interactive Session Client

• クライアントのひな形とデバッガが用意
されている

Cluster debugger for SOA
• MPI用とほぼ同
機能
• 実行Node選択
• パラメータ設定

Serviceを作成する
• WCFのサービス生成
– サービスコントラクト
としてクラスのイン
ターフェイスを設定
– オペレーションコント
ラクトとしてメソッド
を設定

Service を作成する
• サービスを実装する
– インターフェイスを実装すれば良い

Serviceを作成する
• Service.configを作成する
– アッセンブリ名、コントラクト名、サービス
タイプなどを指定する。

<microsoft.Hpc.Session.ServiceRegistration>
<service
assembly="MyHeadNodeAppsSquareServiceSquareService.dll"
contract="SquareServiceContracts.ISquareService"
type="Services.SquareService"
includeExceptionDetailInFaults="true"
maxConcurrentCalls="0"
serviceInitializationTimeout="60000"
stdError=""
maxMessageSize="65536">
</service>
</microsoft.Hpc.Session.ServiceRegistration>

Clientから呼ぶ
• SessionStartInfoでヘッドノード名と、サー
ビス名を設定する。
– ノードグループも設定
// The name of the head node in the cluster.
string schedulerName =
ConfigurationManager.AppSettings["HeadNodeName"];
// The name of the called service.
string serviceName =
ConfigurationManager.AppSettings["SoaServiceName"];
SessionStartInfo info =
new SessionStartInfo(schedulerName, serviceName);
info.Secure = false;
info.NodeGroupList.Add(
ConfigurationManager.AppSettings["NodeGroup"]);

Clientから呼ぶ
• Sessionを作成する
• Clientにコールバッ
クを設定
• Clientからコール

Session session = Session.CreateSession(info))

SquareServiceClient proxy = new SquareServiceClient(
new NetTcpBinding(SecurityMode.None),
session.NetTcpEndpointReference);
proxy.SquareCompleted += (sender, e) =>
{
try
{
int reply = e.Result.SquareResult;
Console.WriteLine("Received response for request {0}: {1}", e.UserState, rep
if (Interlocked.Increment(ref count) == _numOfRequests)
{
done.Set();
}
};
// start to send requests
Console.WriteLine("Sending {0} requests...", _numOfRequests);
for (int i = 0; i < _numOfRequests; i++)
{
proxy.SquareAsync(new SquareRequest(1000 + i), i);
}

まとめ
• MPIは様々な言語に対応しているので、汎
用性の高いプログラムを書くのに適して
いる

• GPGPUで最高性能を引き出したい人は
VC++でMPIが最適
• .NETで簡単にやってみたい人はSOA を利用。

Windows HPC Server 講習会第２回開発編

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to Windows HPC Server 講習会第２回開発編

Similar to Windows HPC Server 講習会第２回開発編 (20)

More from Osamu Masutani

More from Osamu Masutani (20)

Recently uploaded

Recently uploaded (9)