ANSYS/AWS/Rescale 3社合同 エンジニアリング シミュレーション on クラウド セミナー資料 (Rescale編) http://www.ansys.com/ja-jp/other/ja-jp/seminar/2017/cloud

1. ANSYS/AWS/Rescale 3社合同
エンジニアリング シミュレーション on クラウド セミナー
Rescale ScaleX の特長とセキュリティー
Rescale Japan 株式会社
Solution Architect 長尾 太介
November 9th, 2017

2. はじめに
どんな人にRescaleオススメできるか〜
– Cloud-HPCの 構築・運用をしたくない
– ソフトウェアの管理をしたくない
– セキュリティーに関して、”責任共有モデル” におけるユーザ負担を最小化したい
– クラウドを含めたHPC運用スキルの属人化を避けたい (その人がいなくなると・・・)
– 計算のノウハウを共有したい
– ワークフローのツール化（◯△解析用ツール）
– 一度にたくさんの計算をしたい

3. サンフランシスコ(本社), 東京, ドイツ, シンガポール
300%+ annual growth
SaaS タイプの Cloud HPCを提供 (設計者対象)
36+ global data centers, 200+ simulation
apps
Company
Technology
Customers
Investors
100+ Leading Global 2000 Enterprises
Peter ThielJeff Bezos Richard Branson
Rescale - Company Overview
3

4. On-Premise 型 (社内設備)
IaaS 型
SaaS 型
Build
左記を解決する手段
として, SaaSタイ
プが注目されている
なぜ SaaS Type Cloud HPC なのか ?
5
• 導入まで長いリードタイム
• 維持・管理に多大な工数
• システム変更が困難
• 低い稼働率 or 多数のジョブ待ち
• HPC 環境の構築と維持
• アプリケーションのインストール
• クラウドベンダロック
インストール環境構築
マシンの監視
IaaS

5. GUISoftwareHardwareRescale の特徴・メリット
6

6. GUISoftwareHardware
マルチクラウドを実現、インフラは完全に抽象化
Rescale の特徴・メリット (HW)
9
• アジリティー/スケーラビリティー
• アプリケーションに応じて最適なインフラを選択 (インフィニバ
ンド / GPU 利用可能)
Private Cloud

7. GUISoftwareHardware
マルチクラウドを実現、インフラは完全に抽象化
200+ のアプリケーションがすでにインストール
Rescale の特徴・メリット (GUI/SW/HW)
9
• アプリケーションのインストール作業不要
• 30程度のアプリは従量課金で利用可能 (OSS除く)
• 高速に動かすためのノウハウが詰め込まれている
• アジリティー/スケーラビリティー
• アプリケーションに応じて最適なインフラを選択 (インフィニバ
ンド / GPU 利用可能)
Private Cloud

8. GUISoftwareHardware
設計者の視点で設計された、シンプルかつ効果的な
User Interface
マルチクラウドを実現、インフラは完全に抽象化
200+ のアプリケーションがすでにインストール
• パラメータスタディースタディー機能
• ワークフローの保存・コピー・共有が簡単
• VDIも統合化、計算結果をダウンロードする必要がない
• APIによる操作が可能、Deep Learning 用でJupyterも利用可能
• アプリケーションのインストール作業不要
• 30程度のアプリは従量課金で利用可能 (OSS除く)
• 高速に動かすためのノウハウが詰め込まれている
• アジリティー/スケーラビリティー
• アプリケーションに応じて最適なインフラを選択 (インフィニバ
ンド / GPU 利用可能)
Rescale の特徴・メリット (GUI/SW/HW)
9
Private Cloud

9. GUI
SWHW
≈
Browser Deep Learning
サービス全体像
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
RestAPI jupyter
Caffe
Remote
Desktop

10. GUI
SWHW
≈
Browser Deep Learning
サービス全体像
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
RestAPI jupyter
Caffe
Remote
Desktop
ユーザさまはシステムの 維持・管理の必
要はありません
• On-Premise, IaaS HPC の 課題を解決

11. 基本操作は3ステップ
Basic operations
11

12. 12
STEP1: 入力ファイルのアップロー
ド
ファイルのアップロード

13. 13
STEP2: ソフトウェアの設
定
ANSYS Fluent

14. 14
実行コマンドを入力
バージョンを指定
ライセンスサーバの情報を入力
STEP2: ソフトウェアの設
定

15. 15
STE3: HWの設定
コア数を選択
コアタイプを選択

16. 16

17. 17
標準出力の内容も
確認できます

18. 18
画像を出力するようにしておけ
ばBrowserとの相性も抜群

19. 充実した管理者機能
19

20. 管理者専用の機能
20
全ジョブの一覧確認
HW/SWのフィルタ
リングができます
ユーザのグルーピ
ングができます
会社、プロジェ
クト、個人単位
で、予算設定が
できます(リ
ミッタにでき
る)
セキュアに接続するための設定ができますダッシュボード

21. 管理者専用の機能
21
全ジョブの一覧確認
HW/SWのフィルタ
リングができます
ユーザのグルーピ
ングができます
(部門設定が可能)
会社、プロジェ
クト、個人単位
で、予算設定が
できます(リ
ミッタにでき
る)
セキュアに接続するための設定ができます
- 多要素認証
- CIDR設定によりアクセス元を制限
ダッシュボード

22. 動作の概要
How it works
22

23. Submit Job
Upload Input Files
Calc-Result
API or Kick the submit node.
Start the remote-desktop
Input File
Run Instance for Desktop
Calc-Result
Start desktop-service
Operation from desktop
クラウド
BackendClient
Submit Job
Visualization
w/ Remote
Desktop
Object Storage
(Cloud)
安価・高信頼
容量を気にしない
14
Private Cloud

24. downloadUploadSecureで高速なファイル転送方法
24
UI
(転送ツール)
File
Encryption
RescaleOn-premise
File
Decryption
RescaleOn-premise
Webserver
HTTPS
(TLSv1.2)
UI
(転送ツール)
Webserver
テンポラリークレデンシャル
テンポラリークレデンシャル
暗号化されたファイルのDownload
暗号化されたファイルのUpload
• Browser
• Rescale CLI
• Rescale CLI
• Rescaleファイル転送ツール
対応ツール
HTTPS
(TLSv1.2)
HTTPS
(TLSv1.2)
HTTPS
(TLSv1.2)

25. downloadUploadSecureで高速なファイル転送方法
25
UI
(転送ツール)
File
Encryption
RescaleOn-premise
File
Decryption
RescaleOn-premise
Webserver
HTTPS
(TLSv1.2)
UI
(転送ツール)
Webserver
テンポラリークレデンシャル
テンポラリークレデンシャル
暗号化されたファイルのDownload
暗号化されたファイルのUpload
• Browser
• Rescale CLI
• Rescale CLI
• Rescaleファイル転送ツール
対応ツール
HTTPS
(TLSv1.2)
HTTPS
(TLSv1.2)
HTTPS
(TLSv1.2)
AES256

26. Your custom built on-demand Rescale cluster isolates and protects your data:
E
P
Encrypted File
Plain Text
(Unencrypted)
Inside corporate network
Cluster owner is allowed only
if whitelisted
Outside of corporate network
Access is blocked
Rescale Blob
Storage
Compute Server
Encrypted Hard Drive
Input File(s)
E
E P E
E
Softwar
e P
Output File(s)
ファイルは暗号化されて保存
26
CIDR

27. HOW IT WORKS： AWSコアタイプを使って計算を実行をしたときの具体例
27
Time
Loadaverage
SubmitJob
アプリケーションの実行
クラスタの削除
必要なときに必要な分だけ HPC Clusterを利用可能
この動作をすべて自動で実施し、ユーザは意識する必要はありません
ソルバー実行中
HPCクラスタ構築
EBS
インスタンス起動
マシンイメージ
Incetances
ファイルステージング
データの復号化
Cloud Storage (S3)
データの暗号化
ファイルステージング
Cloud Storage (S3)

28. SSH Tunnel で Rescale の License Proxy に接続するのが最も一般的
(他にも3つほど接続方法があります)
お手持ちのライセンスサーバと Rescaleをつなぐ
BYOL (Bring Your Own License) 接続
SSHでリモートポート転送
オンプレミスの
ライセンスサーバへアクセス
License Proxy
License Server
Internet
HPC Cluster
SSH Tunnel

29. 29
sshトンネルスクリプトをDownloadできる
ライセンスサーバのポート設定
公開鍵の設定

30. Rescale – User Access Security
30
Multi-layered approach to ensure your employees securely access
Rescale only from authorized locations:
Firewalls Require
SSL/TLS
Brute
Force
Protection
IP Access
Rules
Multi-
Factor
Auth
Single
Sign-On
Firewalls Require
SSL/TLS
Brute
Force
Protection
IP Access
Rules
Multi-
Factor
Auth
Single
Sign-On
社内
Firewall
(お客様設定)
暗号化
された
経路
5回連続
間違うと
しばらく
ログイン
できない
CIDR
設定可能
多要素
認証
Azure
ADとの
連携可能

31. ASSURANCE PROGRAMS
31

32. Rescale’s policies and infrastructure has been audited against and
follows industry best practices to ensure your data is protected and
processed securely:
Assurance Programs
32
セキュリティ、可用性、機密
保持などといったシステム管
理における重要な領域を対象
に外部監査人の保証を得てい
ます
セキュリティについてできるだけ多くの情報
をお客様に提供するために、Rescaleは、
CSAコンセンサスアセスメントイニシアティ
ブアンケート（CAIQ）を記入しています。
http://www.cloudsecurityalliance.jp/ccm_wg.html
国際武器取引規則で規制されるデータの保存
や処理、規制されるアプリケーションのホス
ティングをサポートしています。

33. PERFORMANCE
33

34. Exhaust System Benchmark (33M Cells)
34
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
0 100 200 300 400 500 600 700
speed[Iter/sec]
number of cores
Rescale Onyx
(AWS: c4.8xlarge, 10GEther)
On-premise
(Xeon E5-2670v2,
Infiniband 56Gbps)
あなたのジョブは本当に Infiniband が必要ですか？

35. クラウドを効果的に使うための勘ドコロ
クラウドで大量の計算をするときの注意点
35

36. Cloud HPC とパラメータスタディー
Cloud HPC の特徴
誰でも
• 必要な時 (Agility)
• 必要な量 (Scalability)
Cloud の Scalability を活かすポイント
36
Job1
Job2
Job3
Job4
Job1 Job2 Job3 Job4
On-Premise Cloud
10TB
run auto_mesh
データ転送を極力しない努力 プリ/ポストの自動化 ワークフロー/データの管理
従量課金のため同時に計算しても料
金は変わらない
Time Time

37. 何も考えずにやると・・・
37
Pre Process Solver Post Process
計算結果の転送が
ボトルネック
フォルダに入って
いるだけになって
いない？
Data の管理
手作業のプリ作業
がボトルネック

38. CASESTUDY
0
5
10
10 20 30 2 4 6 10 20 30 100200300
水準1 水準2 水準3 水準4
SN比[dB]
SystemInput Output
誤差因子
L18直交表, N=2, 外に6水準 => 合計 216 cases
Operation
品質工学 (Taguchi method) も Rescale で 用意に実現可能。ワークフロー毎保存できる
直行表に対応したCSVファイルを準備 直行表に対応した因子をもつ入力ファイルのテンプレートを準備
因子に対して適当なタグ名を入れ保存
実験計画法を選択
Solution 例 : パラメータスタディー機能を使って品質工学
17
ポスト処理も予め設定

39. 4スロットのケース
39
run1
run4
run2
run3
run7
run6
run5
run8
runN-1
runN
runN-3
runN-2
64cores
64cores
64cores
64cores

40. 40
Output
(Post処理スクリプトで抽出)
Input
(CSVで定義)
すべてのケースの情報がきちんと整理されている
データが管理
SystemInput Output
誤差因子

41. その他の有用な使い方例
41

42. CASESTUDY
SW1: 構造解析を実行し微小な空隙を求める
SW1の結果を使って、SW2の計算を行う
SW2: 空隙に対して放電/帯電計算をする
空隙
Operation
計算結果を次のSWに渡していくようなワークローも簡単に作成・展開可能
Abaqus > In-house App > Matlab
のような使い方も簡単にできる
180+ 豊富なアプリケーション
Solution : 弱連成解析
19

43. CASESTUDY
計算専門家による
ワークフローの開発
A: 実験専門家
B: 派遣さん
C: 新人さん
特定トラブルの解析用ツール
ワークフローが決まった定形的な計算
専門家以外への展開、知の共有
Operation
ワークフローの作成・保存
ジョブの共有機能を使い、ワークフ
ロー毎、計算ノウハウを共有する
計算を一度成功させワークフローを完成する
専門家によりワークフローを作りこみ(ツール開発)、それをRescaleのプラットフォーム
を通じて一般ユーザに共有・展開する。(容易な知の共有)
Solution : 計算スキルが必要なワークフローの社内展開 (知の共有)
18

44. CASESTUDYOperation
Rescale キューを用意して, RescaleAPI or RescaleCLIを実行するノードを1台用意する
ことで簡単にRescaleにジョブを投入することができる。すぐにハイブリッド環境を実現
Solution : お使いのオンプレミスHPCをすぐにハイブリッド化する
18
Rescale API
Rescale CLI
Create API-key
(Need to create API-Key only once)
Submit Node
(e.g PBS)
Node for Rescale API
On-Premise Cluster
Rescale queue
$ qsub –q rescale ./myRun.sh
API
https

45. API CLI
Rescale CLI /API の特徴
45
細かい制御は可能だが、すべて自前でAPIを叩くコー
ドを記述する必要がある
Upload Create Submit Monitor Download Upload Create Submit Monitor Download
細かい制御はできないが、単純なジョブであればほと
んど自動化されており、コード量は少なくてすむ
TLSv1.2
File
Encryption
TLSv1.2
File
Encryption
ローカルで暗号化後、マルチパートアップロードでクラウ
ドストレージに直接保存(よりセキュアで高速な転送)
ファイルをHTTPSで送信後、Rescale側で暗号化
HTTPS HTTPS

46. What’s RescaleCLI/API
46
Upload Create Submit Monitor Download Upload Create Submit Monitor Download
CLIは実行したrescale.jarを実行したディレクトリー内のファイルを転送す
CLIAPI

47. Solution: 最適化ツール ⇔ Rescale CLI (Command Line Interface)
47
File
Encryption
File
decryption
HTTPS
HTTPS
TLSv1.2
TLSv1.2
Rescale CLI
• Rescale の はCLIを通してブラックボックスとして使う
• 動的に変わるIPアドレスに対してSSHを使う必要がない。REST API のためHTTPSでリソースを操作できる
最適化ツール
Solver

48. まとめ
• HW/SWの導入維持管理なしで スパコンを利用する計算 をスタートできる
• ブラウザ上からの簡単操作を実現
• アメリカの政府機関、米軍も利用可能なセキュリティー
• AWSの場合、100 cores 程度の並列計算であれば、ほとんどのケースで
Infiniband を持つオンプレと比較しても遜色ない結果が得られる
• クラウドのスケーラビリティーを最大化するために、クラウドのボトルネック
を避ける使い方をする
26 Rescale Confidential

49. Subtitle
Date