Prometech Summer Seminar 2017 in NAGOYA

1. Particleworks on Rescale
Rescale Japan 株式会社
Solution Architect 長尾 太介
July 3th, 2017

2. 自己紹介
• 長尾 太介 (Daisuke Nagao)
• 職歴
– 精密機器メーカ (粉体シミュレータの開発、スパコン環境の導入・管理)
– NVIDIA Japan: Cloud Service Provider 向けの BD
– Rescale Japan: 2016年7月にソリューションアーキテクトとしてJoin
• コミュニティー
– JAWS-UG HPC専門支部(コアメンバ)
– JAWS-UG AI (コアメンバ)
2

3. サンフランシスコ(本社), 東京オフィス
300%+ annual growth
SaaS タイプの Cloud HPCを提供 (設計者対象)
36+ global data centers, 200+ simulation
apps
Company
Technology
Customers
Investors
100+ Leading Global 2000 Enterprises
Peter ThielJeff Bezos Richard Branson
Rescale - Company Overview
3

4. On-Premise 型 (社内設備)
IaaS 型
SaaS 型
Build
左記を解決する手段
として, SaaSタイ
プが注目されている
なぜ SaaS Type Cloud HPC なのか ?
5
• 導入まで長いリードタイム
• 維持・管理に多大な工数
• システム変更が困難
• 低い稼働率 or 多数のジョブ待ち
• HPC 環境の構築と維持
• アプリケーションのインストール
• クラウドベンダロック
インストール環境構築
マシンの監視
IaaS

5. GUISoftwareHardwareRescale の特徴・メリット
6

6. GUISoftwareHardware
マルチクラウドを実現、インフラは完全に抽象化
Rescale の特徴・メリット (HW)
9
• アジリティー/スケーラビリティー
• アプリケーションに応じて最適なインフラを選択 (インフィニバ
ンド / GPU 利用可能)
Private Cloud

7. GUISoftwareHardware
マルチクラウドを実現、インフラは完全に抽象化
200+ のアプリケーションがすでにインストール
Rescale の特徴・メリット (GUI/SW/HW)
9
• アプリケーションのインストール作業不要
• 30程度のアプリは従量課金で利用可能 (OSS除く)
• 高速に動かすためのノウハウが詰め込まれている
• アジリティー/スケーラビリティー
• アプリケーションに応じて最適なインフラを選択 (インフィニバ
ンド / GPU 利用可能)
Private Cloud

8. GUISoftwareHardware
設計者の視点で設計された、シンプルかつ効果的な
User Interface
マルチクラウドを実現、インフラは完全に抽象化
200+ のアプリケーションがすでにインストール
• パラメータスタディースタディー機能
• ワークフローの保存・コピー・共有が簡単
• VDIも統合化、計算結果をダウンロードする必要がない
• APIによる操作が可能、Deep Learning 用でJupyterも利用可能
• アプリケーションのインストール作業不要
• 30程度のアプリは従量課金で利用可能 (OSS除く)
• 高速に動かすためのノウハウが詰め込まれている
• アジリティー/スケーラビリティー
• アプリケーションに応じて最適なインフラを選択 (インフィニバ
ンド / GPU 利用可能)
Rescale の特徴・メリット (GUI/SW/HW)
9
Private Cloud

9. GUI
≈≈≈≈
SWHW
≈
Browser Deep Learning
Rescale の 全体像
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
RestAPI jupyter
Caffe
Remote
Desktop

10. GUI
≈≈≈≈
SWHW
≈
Browser Deep Learning
Rescale の 全体像
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
jupyter
Caffe
Remote
Desktop
ユーザさまはシステムの 維持・管理の必
要はありません
• On-Premise, IaaS HPC の 課題を解決
RestAPI

11. 基本操作は3ステップ
Basic operations
11

12. 12

13. 13
STEP1: 入力ファイルのアップロー
ド
ファイルのアップロード

14. 14
STEP2: ソフトウェアの設
定
今回はParticleworksを選択

15. 15
STEP2: ソフトウェアの設
定
実行コマンドを入力
バージョンを指定
ライセンスサーバ情報を入力

16. 16
STE3: HWの設定
コア数を選択
コアタイプを選択

17. 17

18. DEMO
18

19. 動作の概要
How it works
19

20. Submit Job
Upload Input Files
Calc-Result
API or Kick the submit node.
Start the remote-desktop
Input File
Run Instance for Desktop
Calc-Result
Start desktop-service
Operation from desktop
クラウド
BackendClient
Submit Job
Visualization
w/ Remote
DeskTop
Object Storage
(Cloud)
安価・高信頼
容量を気にしない
14
Private Cloud

21. HOW IT WORKS： AWSコアタイプを使って計算を実行をしたときの具体例
21
Time
Loadaverage
SubmitJob
アプリケーションの実行
クラスタの削除
必要なときに必要な分だけ HPC Clusterを利用可能
この動作をすべて自動で実施し、ユーザは意識する必要はありません
ソルバー実行中
HPCクラスタ構築
EBS
インスタンス起動
マシンイメージ
Incetances
ファイルステージング
データの復号化
Cloud Storage (S3)
データの暗号化
ファイルステージング
Cloud Storage (S3)

22. downloadUploadSecureで高速なファイル転送方法
22
UI
(転送ツール)
File
Encryption
RescaleOn-premise
File
Decryption
RescaleOn-premise
Webserver
HTTPS
(TLSv1.2)
UI
(転送ツール)
Webserver
テンポラリークレデンシャル
テンポラリークレデンシャル
暗号化されたファイルのDownload
暗号化されたファイルのUpload
• Browser
• Rescale CLI
• Rescale CLI
• Rescaleファイル転送ツール
対応ツール
HTTPS
(TLSv1.2)
HTTPS
(TLSv1.2)
HTTPS
(TLSv1.2)

23. downloadUploadSecureで高速なファイル転送方法
23
UI
(転送ツール)
File
Encryption
RescaleOn-premise
File
Decryption
RescaleOn-premise
Webserver
HTTPS
(TLSv1.2)
UI
(転送ツール)
Webserver
テンポラリークレデンシャル
テンポラリークレデンシャル
暗号化されたファイルのDownload
暗号化されたファイルのUpload
• Browser
• Rescale CLI
• Rescale CLI
• Rescaleファイル転送ツール
対応ツール
HTTPS
(TLSv1.2)
HTTPS
(TLSv1.2)
HTTPS
(TLSv1.2)

24. SSH Tunnel で Rescale の License Proxy に接続するのが最も一般的
(他にも3つほど接続方法があります)
お手持ちのライセンスサーバと Rescaleをつなぐ
BYOL (Bring Your Own License) 接続
SSHでリモートポート転送
オンプレミスの
ライセンスサーバへアクセス
License Proxy
License Server
Internet
HPC Cluster
SSH Tunnel

25. 25
sshトンネルスクリプトをDownloadできる
ライセンスサーバのポート設定
公開鍵の設定

26. 管理者専用の機能
26
全ジョブの一覧確認
HW/SWのフィルタ
リングができます
ユーザのグルーピ
ングができます
会社、プロジェ
クト、個人単位
で、予算設定が
できます(リ
ミッタにでき
る)
セキュアに接続するための設定ができますダッシュボード

27. PERFORMANCE
3472631 粒子 (Fluid Particle), 撹拌モデル ベンチマーク
27

28. 0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
0 16 32 48 64 80 96 112 128 144 160
Speed(a.u.)
number of cores
Rescale Onyx (MPI only)
Rescale Onyx (MPI + OMP)
Hybrid並列 (MPI + OMP) を使いこなそう！
28
MPI process
OMP thread
Core
CPU
[MPI only]
1core - 1MPI-process
[Hybrid型]
1socket-1MPI-process
残りはOMP
少し設定に工夫はいるが、Hybrid型の方がスケーラビリティーが良い

29. 0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
0 16 32 48 64 80 96 112 128 144 160
Speed(a.u.)
number of cores
Xeon E5-2660v3
Rescale Onyx (MPI only)
Rescale Onyx (MPI + OMP)
On-premise HPC (Infiniband)との比較
29
Cloudの10GEtherは別物、100 core程度であれば Infinibandに負けないことも多い
CloudでもInfinibandのシステムを使うと高額になるので、まずは10GEtherで大丈夫かを確認する
On-Premise
Xeon E5-2660v3
Haswell 2.6GHz
Infiniband (FDR)
(1ソケットにつき8コアずつ使用)
Rescale Onyx
Xeon E5-2666v3
Haswell 2.9GHz
10GEther

30. 計算時間: GPUの使いどころ
30
0
5
10
15
20
25
30
16cores,4GPUs 2cores, 1GPU 16cores, 8GPUs 1 node
(18cores)
2 nodes
(36cores)
4 nodes
(72cores)
Jade (K520) Obsidian (K80) Onyx (MPI + OMP)
Calc-Time[sec/step]
本モデルでは 1node+GPUs で Onyx 4nodes程度の計算時間となっている
調査中
Good
Onyx 4 nodes と
同等程度の計算
時間
GPU GPU
GPU GPU
GPU

31. 0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
16cores,4GPUs 2cores, 1GPU 16cores, 8GPUs 1 node
(18cores)
2 nodes
(36cores)
4 nodes
(72cores)
Jade (K520) Obsidian (K80) Onyx (MPI + OMP)
Time[yen/step]
料金: GPUの使いどころ
31
調査中
Particleworksは、GPUの性能が出やすいアプリケーション。このケースではGPUがコスト効果高い
計算モデルと納期に応じたコアの使い分けが効果的
Good
GPU GPU
GPU GPU
GPU
計算時間は同程度だがコ
ストはGPUを使った方が安
い(HWは従量課金)

32. Benchmark まとめ
• ハイブリッド(MPI + OMP)を使った方がスケーラビリ
ティーが良い
• オンプレミスと比較しても150コア程度であれば問題ない
• GPUのコスト効果が高い
モデルによっても状況は変わる可能性があるので、まずはコ
ア数やコアタイプを変えてデータを取得することが大事
32

33. クラウドを効果的に使うための勘ドコロ
33

34. Cloud HPC とパラメータスタディー
Cloud HPC の特徴
誰でも
• 必要な時 (Agility)
• 必要な量 (Scalability)
Cloud の Scalability を活かすポイント
34
Job1
Job2
Job3
Job4
Job1 Job2 Job3 Job4
On-Premise Cloud
10TB
run auto_mesh
データ転送を極力しない努力 プリ/ポストの自動化 ワークフロー/データの管理
従量課金のため同時に計算しても料
金は変わらない
Time Time

35. 何も考えずにやると・・・
35
Pre Process Solver Post Process
計算結果の転送が
ボトルネック
フォルダに入って
いるだけになって
いない？
Data の管理
手作業のプリ作業
がボトルネック

36. Cloudの領域を広げる：ワークフローの作り込み
36
Pre Process Solver Post Process
目的関数, 特性値を
決めバッチ処理でき
る状態へ
(可視化も合わせて)
SaaSの機能にお
任せ
Data の管理
メッシュ生成、粒
子配置など自動化
することを考える
最低限必要
なデータ
10TB
run auto_mesh
データ転送を極力しない努力 プリ/ポストの自動化 ワークフロー/データの管理

37. 特にパラメータスタディーの時は・・・
• Rescale DoE (Design of Engineering) 機能がお勧め
• ワークフローの作り込みができる
37
Operation
パラメータの表をCSVで準備 パラメータを反映させる入力
ファイルのテンプレートを準備
実験計画法を選択
ポスト処理を定義

38. 38
CSVファイルを
アップロード
(パラメータ表)
パラメータの表を準備

39. 39
パラメータの表を反映させるテンプレートをアップロード
テンプレートを
アップロード

40. z
40
ポスト処理スクリプト
をアップロード
スクリプトのキック
コマンドを入力
このFormatで
出力する
ポストプロセスのバッチ処理化

41. 4スロットのケース
41
run1
run4
run2
run3
run7
run6
run5
run8
runN-1
runN
runN-3
runN-2
64cores
64cores
64cores
64cores

42. 42
Output
(Post処理スクリプトで抽出)
Input
(CSVで定義)
すべてのケースの情報がきちんと整理されている
データが管理

43. 43

44. SOLUTION
44

45. CASESTUDY
0
5
10
10 20 30 2 4 6 10 20 30 100200300
水準1 水準2 水準3 水準4
SN比[dB]
SystemInput Output
誤差因子
L18直交表, N=2, 外に6水準 => 合計 216 cases
Operation
品質工学(Taguchi method) も Rescale で 用意に実現可能。ワークフロー毎保存できる
直行表に対応したCSVファイルを準備 直行表に対応した因子をもつ入力ファイルのテンプレートを準備
因子に対して適当なタグ名を入れ保存
実験計画法を選択
Solution : 品質工学を用いたロバスト設計
17

46. CASESTUDY
SW1: 構造解析を実行し微小な空隙を求める
SW1の結果を使って、SW2の計算を行う
SW2: 空隙に対して放電/帯電計算をする
空隙
Operation
計算結果を次のSWに渡していくようなワークローも簡単に作成・展開可能
Abaqus > In-house App > Matlab
のような使い方も簡単にできる
180+ 豊富なアプリケーション
Solution : 弱連成解析
19

47. CASESTUDY
計算専門家による
ワークフローの開発
A: 実験専門家
B: 派遣さん
C: 新人さん
特定トラブルの解析用ツール
ワークフローが決まった定形的な計算
専門家以外への展開、知の共有
Operation
ワークフローの作成・保存
ジョブの共有機能を使い、ワーク
フロー毎、計算ノウハウを共有す
る
計算を一度成功させワークフローを完成する
専門家によりワークフローを作りこみ(ツール開発)、それをRescaleのプラットフォーム
を通じて一般ユーザに共有・展開する。(容易な知の共有)
Solution : 計算スキルが必要なワークフローの社内展開 (知の共有)
18

48. CASESTUDYOperation
Rescale キューを用意して, RescaleAPI or RescaleCLIを実行するノードを1台用意する
ことで簡単にRescaleにジョブを投入することができる。すぐにハイブリッド環境を実現
Solution : お使いのオンプレミスHPCをすぐにハイブリッド化する
18
API
Rescale CLI
Create API-key
(Need to create API-Key only once)
Submit Node
(e.g PBS)
Node for Rescale API
On-Premise Cluster
Rescale queue
$ qsub –q rescale ./myRun.sh
API
https

49. CASESTUDYOperation
Rescale キューを用意して, RescaleAPI or RescaleCLIを実行するノードを1台用意する
ことで簡単にRescaleにジョブを投入することができる。すぐにハイブリッド環境を実現
Solution : お使いのオンプレミスHPCをすぐにハイブリッド化する
18
API
Rescale CLI
Create API-key
(Need to create API-Key only once)
Submit Node
(e.g PBS)
Node for Rescale API
On-Premise Cluster
Rescale queue
$ qsub –q rescale ./myRun.sh
API
https

50. Solution: 最適化ツール ⇔ Rescale CLI (Command Line Interface)
50
File
Encryption
File
decryption
HTTPS
HTTPS
TLSv1.2
TLSv1.2
Rescale CLI
• Rescale の はCLIを通してブラックボックスとして使う
• 動的に変わるIPアドレスに対してSSHを使う必要がない。REST API のためHTTPSでリソースを操作できる
最適化ツール
Solver

51. Rescale CLI
CLI
Upload Create Submit Monitor Download
細かい制御はできないが、単純なジョブであればほと
んど自動化されており、コード量は少なくてすむ
TLSv1.2
File
Encryption
ローカルで暗号化後、マルチパートアップロードでクラウ
ドストレージに直接保存(よりセキュアで高速な転送)
HTTPS

52. まとめ
• HW/SWの導入維持管理なしで Particleworks をスタートできる
• ブラウザ上からの簡単操作で実行できる
• 手持ちのモデルに合わせて、Hybrid(MPI+OMP)でのジョブ投入、GPUの活用
を検討し計算速度とコストパフォーマンスの最適化する
• ワークフローを作り込むことで、クラウドのボトルネックを避け、効果的に活
用する
26 Rescale Confidential

53. Subtitle
Date