Downloaded 12 times
![CASESTUDY
0
5
10
10 20 30 2 4 6 10 20 30 100200300
水準1 水準2 水準3 水準4
SN比[dB]
SystemInput Output
誤差因子
L18直交表, N=2, 外に6水準 => 合計 216 cases
Operation
品質工学 (Taguchi method) も Rescale で 用意に実現可能。ワークフロー毎保存できる
直行表に対応したCSVファイルを準備 直行表に対応した因子をもつ入力ファイルのテンプレートを準備
因子に対して適当なタグ名を入れ保存
実験計画法を選択
Solution 例 : パラメータスタディー機能を使って品質工学
17
ポスト処理も予め設定](https://image.slidesharecdn.com/2018-06-29-microsoftseminar-180629023145/85/Microsoft-Seminar-Design-Optimization-on-Rescale-48-320.jpg)
Uploaded byRescale Japan株式会社
Microsoft Seminar: Design Optimization on Rescale
2018/06/29 Microsoft Design Optimization seminar with Azure. Service/App: Rescale, HEEDS
More Related Content
![[G-Tech2015]シスコのデーターセンター向けSDN最前線_シスコシステムズ様[講演資料]](https://cdn.slidesharecdn.com/ss_thumbnails/g-tech2015sdn-151106084202-lva1-app6892-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2015] B16:最新版PostgreSQLのパフォーマンスを引き出すためのポイント by Postgr...](https://cdn.slidesharecdn.com/ss_thumbnails/dbts-tokyo-2015b16postgresqlpgecons-150616021257-lva1-app6892-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Microsoft Seminar: Design Optimization on Rescale
![[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0509-190509090637-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cyber HPC Symposium 2019] Microsoft Azureによる、クラウド時代のハイパフォーマンスコンピューティング High...](https://cdn.slidesharecdn.com/ss_thumbnails/cyberhpcsymposium2019msgojuki-190314032607-thumbnail.jpg?width=640&height=640&fit=bounds)
Microsoft Seminar: Design Optimization on Rescale
- 1. クラウドHPCのメリットおよびScaleX概要 Rescale Japan 株式会社 SolutionsManager 長尾 太介 June 29th, 2018
- 2. 自己紹介 • 長尾 太介(Daisuke Nagao) – Rescale Japan Solutions Manager • 職歴 – 精密機器メーカ (粉体シミュレータの開発、スパコン環境の導入・管理) – NVIDIA Japan: Cloud Service Provider 向けの BD – Rescale Japan: 2016年7月にJoin • コミュニティー – JAWS-UG HPC専門支部(コアメンバ) – JAWS-UG AI (コアメンバ) 2
- 3. Agenda • Rescaleの紹介 – CompanyOverview – SaaS タイプ Cloud HPC とは – 基本操作 – 管理者機能 – How it works • クラウドHPCによる最適設計 – クラウドHPC が最適設計業務に適している理由 – クラウドHPC による パラメータスタディーの ベスト・プラクティス – Rescaleのパラメータスタディー機能
- 4. サンフランシスコ(本社), 東京, ドイツ,シンガポール 300%+ annual growth SaaS タイプの Cloud HPCを提供 (設計者対象) 36+ global data centers, 200+ simulation apps Company Technology Customers Investors 100+ Leading Global 2000 Enterprises Peter ThielJeff Bezos Richard Branson Rescale - Company Overview 3
- 5. SaaS タイプ CloudHPC とは Software as a Service 5
- 6. オンプレミス HPC とSaaS タイプ HPC 6 オンプレミス HPC SaaS タイプ HPC SaaSはHWの導入・維持管理がいらない。WebブラウザーでHPCサービスをご提供
- 7. ユーザ視点におけるSaaSのメリット: 従来のスパコンユーザ 7 モデル作成 モデルをファイ ルに落とす スパコンの操作 (専門知識が必要) 計算の実行 -LINUXの知識 - スパコンのお作法, HWを意識した使い方 - アプリケーションのインストール - キュー待ち - データの管理/統制
- 8. ユーザ視点におけるSaaSのメリット: Rescaleを使うと…. 8 モデル作成 モデルをファイ ルに落とす シンプルなBrowse操作 (専門知識はいらない) 計算の実行 - Windows Userでも、新入社員でも操作可能 - いつでも, 使いたいだけ - ジョブをDBで管理 (Workflowの保存/共有/再利用) - 米国政府も利用可能な強固なセキュリティー
- 9. GUI SWHW ≈ Browser Deep Learning サービス全体像 https://twitter.com/rescaleJapan CAE/CFD/SIMULATION PrivateCloud RestAPI jupyter Caffe Remote Desktop
- 10. GUI SWHW ≈ Browser Deep Learning サービス全体像 https://twitter.com/rescaleJapan CAE/CFD/SIMULATION PrivateCloud RestAPI jupyter Caffe Remote Desktop ユーザさまはシステムの 維持・管理の必 要はありません • On-Premise, IaaS HPC の 課題を解決
- 11. Rescaleの Azure coreTypeの特徴 • Infiniband (56Gbps) を有している • コストメリット が ”非常に” 高い – Infinibandを有しているのにとてもお手頃価格 11 Mercury (H16r) Sunstone (H16mr)
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26. ジョブの投入 入力ファイルのアップロード 計算結果の転送 HPCクラスタの動的構築 (Public Cloud) 入力ファイルの転送 Compute環境 User Object Storage (Cloud) 安価・高信頼 容量を気にしない 14 Private Cloud Web ジョブの投入 データ容量を気にせず高信頼のクラウドストレージ保存 システムはクラウドストレージ中心で設計 (クラウドのベストプラクティスの一つ)
- 27. downloadUploadSecureで高速なファイル転送方法 27 UI (転送ツール) File Encryption RescaleOn-premise File Decryption RescaleOn-premise Webserver HTTPS (TLSv1.2) UI (転送ツール) Webserver テンポラリークレデンシャル テンポラリークレデンシャル 暗号化されたファイルのDownload 暗号化されたファイルのUpload • Browser • RescaleCLI • Rescale CLI • Rescaleファイル転送ツール 対応ツール HTTPS (TLSv1.2) HTTPS (TLSv1.2) HTTPS (TLSv1.2)
- 28. downloadUploadSecureで高速なファイル転送方法 28 UI (転送ツール) File Encryption RescaleOn-premise File Decryption RescaleOn-premise Webserver HTTPS (TLSv1.2) UI (転送ツール) Webserver テンポラリークレデンシャル テンポラリークレデンシャル 暗号化されたファイルのDownload 暗号化されたファイルのUpload • Browser • RescaleCLI • Rescale CLI • Rescaleファイル転送ツール 対応ツール HTTPS (TLSv1.2) HTTPS (TLSv1.2) HTTPS (TLSv1.2) AES256
- 29. Your custom builton-demand Rescale cluster isolates and protects your data: E P Encrypted File Plain Text (Unencrypted) Inside corporate network Cluster owner is allowed only if whitelisted Outside of corporate network Access is blocked Rescale Blob Storage Compute Server Encrypted Hard Drive Input File(s) E E P E E Softwar e P Output File(s) ファイルは暗号化されて保存 29 CIDR
- 30. HOW IT WORKS 30 Time Loadaverage SubmitJob 必要なときに必要な分だけHPC Clusterを利用可能 この動作をすべて自動で実施し、ユーザは意識する必要はありません ソルバー実行 HPCクラスタ構築 VM起動 マシンイメージ ファイルステージング データの復号化 Cloud Storage (S3) アプリケーションの実行 Cloud Storage (S3) データの暗号化 ファイルステージング クラスタの削除
- 31. 手持ちのライセンスをクラウドに持ち込む Bring Your OwnLicense 31
- 32. SSH Tunnel でRescale の License Proxy に接続するのが最も一般的 (他にも3つほど接続方法があります) お手持ちのライセンスサーバと Rescaleをつなぐ BYOL (Bring Your Own License) 接続 SSHでリモートポート転送 オンプレミスの ライセンスサーバへアクセス License Proxy License Server Internet HPC Cluster SSH Tunnel
- 33.
- 34.
- 35. Rescaleはセキュリティーは業界標準を満たしています Rescale は独立して監査され、以下を含む保 証プログラムおよび統制に準拠しています Rescale Confidential35 Rescaleとその Datacenter パートナーは、お客様のデータを安全にする多数 の認証を提供します* PCI DSS Level 1 CSA ISO 27001 SOC 1 / ISAE 3402, SOC 2, SOC 3 FERPA MTCS Tier 3 Certification ISO 9001 HIPAA & HITECH Act Section 508 / VPAT IRAP (Australia) FedRAMP ITAR FIPS 140 DoD CSM Levels 1-2, 3-5 MPAA CJIS DIACAP and FISMA G-Cloud Annual SOC2 Type2 Certification (セキュ リティ・可用性・処理のインテグリティ・機密 保持・プライバシーの5原則に関する内部統制 の保証報告書) ITAR(国際武器取引規則) と EAR(輸出管理規 則) compliant infrastructure Rescaleプラットフォーム開発への第三者/請負 業者のアクセス権なし CSA Registered ITAR Compliant * HIPAA Certified *SOC 2 Type 2 Attested * Please discuss with your account manager for regional coverage and more information.
- 36.
- 37. クラウドHPC が最適設計業務に適している理由 • 最適設計業務の特徴 –設計ウインドーを調べるため多ケースの計算を実行する – 突発的にリソースが必要になる – システムの制御因子(input)と評価すべき特性値(output)が定められている 37 クラウド使うと… • 「必要なとき、必要な量」のリソースを確保でき、また従量課金である特徴を活かせる • 特性値が決められているので クラウドの Data transfer の課題を避けられる (後述) 更にRescale Platform であるScaleXを使うと • パラメータスタディー機能を有しており、そのワークフローはDBで管理/整理され、データを有 効活用しやすい
- 38. クラウドHPC による パラメータスタディーのベスト・プラクティス Cloud HPC の特徴 誰でも • 必要な時 (Agility) • 必要な量 (Scalability) クラウドHPCを有効活用するポイント 38 Job1 Job2 Job3 Job4 Job1 Job2 Job3 Job4 On-Premise Cloud 10TB run auto_mesh データ転送を極力しない努力 プリ/ポストの自動化 ワークフロー/データの管理 従量課金のため同時に計算しても料 金は変わらない Time Time
- 39. 何も考えずにやると・・・ 39 Pre Process SolverPost Process 計算結果の転送が ボトルネック フォルダに入って いるだけになって いない？ Data の管理 手作業のプリ作業 がボトルネック
- 40. Cloudの処理を広げる 40 Pre Process SolverPost Process 目的関数, 特性値を決 めバッチ処理する (可 視化も合わせて) SaaSの機能にお 任せ Data の管理 モデル作成の自動化 最低限必要 なデータを Download パラメータスタディーなどの最適化ジョブは、評価すべき特性値 が決められているので、バッチジョブとして自動化しやすい => クラウド向き
- 41. CASESTUDYRescale のパラメータスタディー機能 41 OpenFOAM による飛行機の羽の計算(11 x 4 = 44 cases) y_velocity (風速 4 パラメータ) x_velocity (11パラメータ) ユーザが抽出した特性値をグラフとして表示可能 一度のワークフローで複数の計算ができます Operation 直行表に対応したCSVファイルを準備 直行表に対応した因子をもつ入力ファイルのテンプレートを準備 因子に対して適当なタグ名を入れ保存 実験計画法を選択 ポスト処理も予め設定
- 42. 並列設定、テンプレート、ポストプロセッシングの関係 42 パラメータリスト run1 run2 run3 result1 result2 result3 #/bin/sh VAL=$(grep “accuracy” ./log |awk ‘{print $2}’) printf "%st%sn" ”ACCURAC Y" "${VAL}" 入力(Input) 出力(Output)
- 43. HWの大きさを柔軟に調整 43 例えば 64cores のHPCClusterを 4システム構築する
- 44. 64 cores 4slotsのジョブ投入アニメーション 44 run1 run3 run2 run4 run7 run6 run5 run8 64cores 64cores 64cores 64cores
- 45.
- 46.
- 47.
- 48. CASESTUDY 0 5 10 10 20 302 4 6 10 20 30 100200300 水準1 水準2 水準3 水準4 SN比[dB] SystemInput Output 誤差因子 L18直交表, N=2, 外に6水準 => 合計 216 cases Operation 品質工学 (Taguchi method) も Rescale で 用意に実現可能。ワークフロー毎保存できる 直行表に対応したCSVファイルを準備 直行表に対応した因子をもつ入力ファイルのテンプレートを準備 因子に対して適当なタグ名を入れ保存 実験計画法を選択 Solution 例 : パラメータスタディー機能を使って品質工学 17 ポスト処理も予め設定
- 49.
- 50.
- 51. STAR-CCM+は Cloudに適した使い方が可能 51 *.sim Solver automesh.java calccreate Mesh •特性値(ほしい物理量)をリアルタイムで観察できるようMonitorが設置 されている • 定期的に画像に出力させている JAVAのMACROファイルを設定 • mesh生成方法がjavaで記載 • Pre側でGUIから自動生成可能 User (社内) 特定の場所の流量、トルクがモニター管理の面でも画像にだすのは便利 Rescaleは、Web Serviceなので、画像との相性もよい。クリックすることで確認可能 img calc img calc img
- 52. 最適化ツール ⇔ RescaleCLI/API による連携 52 File Encryption File decryption HTTPS HTTPS TLSv1.2 TLSv1.2 Rescale CLI • Rescale の はCLIを通してブラックボックスとして使う • 動的に変わるIPアドレスに対してSSHを使う必要がない。REST API のためHTTPSでリソースを操作できる 最適化ツール Solver
- 53. UPDATE (1月 〜6月) 53
- 54. ANSYS AEU • ElasticLicense をライセンスサーバ無しに利用可能 • ANSYS の AEU をRescaleを通して販売 – 最初のパッケージ消費後は使った分だけの後払いも可能 – ANSYSのAEUの仕組みがSaaSとして取り込まれており、License Server等の設定が不 要 • 必要条件 – ANSYSの既存ユーザであること – ANSYSから事前に承認を得ていること 54
- 55.
- 56. NICE DCV • InBrowser で Remote Desktopが可能 (HTTPS) のプロトコルを使える 56
- 57. まとめ • HW/SWの導入維持管理なしで スパコンを利用する計算をスタートできる • ブラウザ上からの簡単操作を実現 • Azureのコアタイプはコストパフォマンスが非常に高い(ベンチマークをするこ とをおすすめ) • アメリカの政府機関、米軍も利用可能なセキュリティー • 最適設計業務にクラウドは適している • Rescale API/CLIによるHEEDS連携の先進的お客様事例も出てきた 26 Rescale Confidential
- 58.