社内導入したMDCSの利用方法を簡単にまとめました。

1. Matlab Distributed Computing
Server(MDCS)の使い方
SIGPP #3
2015.3.10
増谷

2. MATLAB Distributed Computing Server とは？
• MATLABのコンピュータクラスタ環境
• http://jp.mathworks.com/products/distriben/
• 以下の並列環境をサポート
• バッチ ジョブ
• 並行処理
• 大規模分散データ
• 機能
• ほごすべてのツールボックス、ブロックセットにアクセス可能
• ＧＰＵ対応機能を実行可能
• MATLAB Compiler のアプリから並列実行可能（コンパイル可）
• MATLABをサポートする、全てのＨＷ、ＯＳをサポート
• 組み込みスケジューラの他にサードパーティスケジューラをサポート

3. MDCSのメリット
• Matlabでの重いバッチ処理を素早く終
わらせる
• Matlabスクリプト(.mファイルのまま)をそ
のまま並列実行
• 並列化を意識した コンパイル済み実行
コードを高速に実行
• GPU対応
• 複数ユーザ同時アクセス可能
• 既存のクラスタを利用できる
• Windows HPC Serverなど
• MDCS以外の追加コストは不要
• ノードはクラウド上にあっても構わない

4. MDCSの利用条件
• MDCSに処理を投げるクライアント
• MATLAB/Simulinkから Parallel Computing
Toolbosを介してDCSを操作
• Matlab Compilerを利用した実行ファイルか
らDCSを操作
• MDCSクラスタ (Matlabワーカー)
• ライセンスはサーバーライセンスのみ
• ノード側に別途ライセンスは必要ない
• ノード側にツールボックスやブロックセットのラ
イセンスは必要ない（ジョブを投げるユーザ側
のライセンスに依存）
MATLAB Distributed Computing Server ではすべての MathWorks ツール
ボックスやブロックセットのライセンスが提供されるため、クラスター内の
各コンピューターに対して特定の製品のためのライセンスを追加購入し
なくても、MATLAB プラグラムをクラスターで実行できます。
特殊なツールボックスはサポートしない
http://jp.mathworks.com/products/ineligible_programs/

5. 実際の構成
• ヘッドノード
• MDCSとライセンスサーバー、HPC Pack(ヘッドノード）をインス
トール
• ワーカー
• MDCSとHPC Pack（ワーカー）をインストール
• クライアント
• MatlabとPCTをインストール
• 参考
• http://jp.mathworks.com/support/product/DM/installation/v
er_current/
• http://jp.mathworks.com/help/mdce/install-product-and-
choose-cluster-configuration.html
• http://jp.mathworks.com/help/mdce/configure-parallel-
computing-products-for-hpc-server.html

6. 導入時期
• 試用版入手、試用 ～２月上旬
• 購入決定 ～２月下旬
• 購入 ～３月
• 運用開始 ３月～

7. 利用手順
• 複数の利用法がある
• Parallel for-loops
• Distributed Arrays
• Message-Passing Functions

8. Parallel for-loops
• みんな大好きパラレルフォー(parfor)
• パラメータスイープで簡単に並列化
• 自動的に必要なデータとコードを識別
• 自動的にワーカーの識別
• 要件
• ループ内は独立な処理でなければならない。
• 通信はワーカー同士では行われない。
• 右記ではAのみが結果として得られる。（他は完全独立）
• おまじない(matlabpool)
• インタラクティブに利用する場合
• バッチとして投げる場合はcreateMatlabPoolJob
初級編

9. parfor
• Parforはforと全く同じではない
• http://jp.mathworks.com/help/distcomp/parfor.html
• 外部から参照できる変数
• スイープパラメータ (i)に影響を受ける変数
• コード１では Cだけが結果に影響
• 適切に選択された演算子で計算された変数
• コード２ではsが正しく計算される
• 順番に依存しない演算
コード１
parfor i = 1:n
t = f(A(i));
u = g(B(i));
C(i) = h(t, u);
end
コード２
s = 0;
parfor i = 1:n
if p(i) % assume p is a function
s = s + 1;
end
end
初級編

10. Distributed Arrays と並列関数を使った大規模データの扱い
• 複数のワーカーに分散したデータに
対して分散して関数を実行できる
• 分散配列（Distributed Arrays）
• 以下のいずれかで生成可能
• Rands,onesなどのコンストラクタ
• 各ワーカーの同じ名前の配列を結合
• 大規模行列を分散
• １５０の関数が分散配列をサポート
• http://jp.mathworks.com/help/distcomp/
using-matlab-functions-on-codistributed-
arrays.html
• ScaLAPACKを利用している
中級編

11. 自分で分散したい場合
• spmd (single program multiple data)
• 明示的にデータの分割や処理を書ける
• 自分のアルゴリズムを適切に分割するために必要
• 分割方法
• Codistribution1d : 1次元の分割
• 指定の次元で分割
• 指定の分割数で分割
中級編

12. Message-Passing Functions
• もっと最適化したい場合
• MPI-2準拠のワーカー間通信が可能
• 要件
• 並列アルゴリズムのファインチューニン
グが可能
• 各並列セクションの同期を手動で実現す
る必要がある
• send, receive, broadcast, barrier, probe
が可能
• 激しく難しい並列デバッグを簡単に
• セットアップ不要（spmdだけ）
• すべてのMATLABデータタイプが利用可
能
• デッドロック検出
上級編

13. ベンチマーク
• Parforならほぼリニア
• オーバーヘッドをなくすには
大きなジョブを

14. MDCS環境
• MDCSの利用環境
• 混合プラットフォーム
• 混合プラットフォームがサポートされているため、クライアント、MJS および
ワーカーが同じプラットフォームにある必要はありません。
• Heterogeneous cluster
• 異なるＯＳで構成されるクラスタ
• Parfor, spmd, 分散配列, mpiは使えない（！）
• 一部の関数のみ利用可能

15. クラスタの他の利用方法
• 様々な環境、言語から利用可能です
コード パラメータスイー
プ
データ分散 ワーカー間通信 GPGPU グループ化 スケジューラGUI クラウドノード
MDCS with スクリ
プト(.m) on MJS
Matlab スクリプト ○ (parfor) ○ ○（MPI） NVIDIA × × ―
MDCS with コンパ
イラ on MJS
mex ○ (parfor) ○ ○（MPI） NVIDIA × × ―
MDCS with スクリ
プト(.m) on HPC
Server
Matlab スクリプト ○ (parfor) ○ ○（MPI） NVIDIA ○ ○ ○ (Azure)
MDCS with コンパ
イラ on HPC
Server
mex ○ (parfor) ○ ○（MPI） NVIDIA ○ ○ ○ (Azure)
バッチ on HPC
Server
exe, batなど ○ HPC Manager ― ― 個別 ○ ○ ○ (Azure)
MPI on HPC
Server
C,C++, etc… ○ ― ○（MPI） 個別 ○ ○ ○ (Azure)
HPC SOA on HPC
Server
C#, .NET ○ ― ○（SOA) 個別 ○ ○ ○ (Azure)