HPCで始まったGPUによる汎用計算(GPUコンピューティング)は、AI領域でも活用され、そして、AI技術がHPCを加速する相互作用の一助となっている。一講ではGPUコンピューティングのベースとなるGPUのアーキテクチャを、そのプログラミング環境であるCUDAやOpenACCを通して説明する。二講ではHPCとAIが相互にどのように活用されているのか、その現状をGPUコンピューティングの視点から説明する。

1. HPC + AI
AKIRA NARUSE, DEVELOPER TECHNOLOGY, NVIDIA

2. AGENDA
HPC + AI とは
GTC 2022 の HPC + AI セッション
HPC for AI: 学習を加速させるためのテクニックなど
AI for HPC: 科学技術計算への AI 適用

3. GTC 2022 の HPC + AI セッション

4. GTC 2022
NVIDIA 主催の技術イベント
https://www.nvidia.com/gtc/
https://www.nvidia.com/gtc/session-catalog/
https://www.nvidia.com/gtc/keynote/
https://www.nvidia.com/en-us/on-demand/

5. GTC 2022 のセッション
 総セッション数: 980
 ハンズオン トレーニングやデモなどを除くと 755 件
 2018 年は 654 件、2020 年は 384 件
 HPC 関連のセッション数は 70 件 (全体の 9.3 %)
 Primary Topic が “HPC –” のセッションのみ
 “Accelerated Computing & Dev Tools - Algorithms
/ Numerical Techniques” のようなセッションを含まず
 実 HPC 関連セッション数はこれ以上
 機械学習関連は 266 件 (全体の 35.2 %)
 広くとっているため、数字としてはやや多め

6. HPC セッションでの機械学習関連比率
 70 件の HPC 関連セッション中、機械学習が含まれてい
るのは 22 件 (31.4 %)
 以下の分野で、機械学習活用が先行
 HPC - Climate / Weather / Ocean Modeling
 HPC - Computational Physics
 HPC - Computational Fluid Dynamics に関するセッ
ションは、2 件ともデジタルツイン関連
 シミュレーションと統合するためのツールとして機械学習
 各トピックの機械学習関連セッション一覧は資料末尾に
Topic #sessions #ML related
HPC - Astronomy / Astrophysics 2 0
HPC - Climate / Weather / Ocean Modeling 14 10
HPC - Computational Chemistry and
Materials Science 5 2
HPC - Computational Fluid Dynamics 7 2
HPC - Computational Physics 5 3
HPC - Quantum Computing 7 0
HPC - Scientific Visualization 4 1
HPC - Supercomputing 26 4
実際には上記以外のトピックで、”World Simulation & Digital Twins” や
“Industry Segment: Energy” にも HPC + AI 的なセッションが存在

7. HPC + AI とは

8. HPC + AI = “HPC FOR AI” + “AI FOR HPC”
二つの方向性
HPC for AI
HPC で広く使われてきた技術を、AI の分野で活用する
ディープラーニングの大規模化に伴う分散学習に関わる技術、行列演算の高速計算手法など
AI for HPC
AI を利用して、科学技術計算を高速化、高精度化する
高速なシミュレータとしての AI 活用する
これまでモデル化が困難だった問題に対して AI を利用して近似モデルを作成する

9. HPC FOR AI
(主にディープラーニングモデルの) 学習高速化や大規模化など
Training Large Models with PyTorch [S41986]
Accelerating Distributed Reinforcement Learning
[S41925]
Accelerating Sparse Graph Neural Network
Computation via Dense Tensor Core on GPUs [S41234]
How DoorDash Scaled to Billions of Training Examples
using Distributed Training [S42370]
Accelerating Storage IO to GPUs with
Magnum IO [S41347]

10. AI FOR HPC
高速なシミュレータとしての AI と近似モデルとしての AI
• Fourier Neural Operators and Transformers for
Extreme Weather and Climate Prediction [S41936]
• Bringing Rain to the Subseasonal Forecasting
Desert with Deep Learning Weather Prediction
[S41170]
• Accelerating a 3D Conditional Generative
Adversarial Network for Seismic Attenuation
Compensation on a Multi-GPU Node [S41095]
• Scalable Data-Driven Global Weather Predictions
at High Spatial and Temporal Resolutions [S41019]
• Accelerating End-to-end Deep Learning for
Particle Reconstruction using CMS Open Data at
CERN [S41394]
• Developing Digital Twins for Weather, Climate, and
Energy [S41823]
• OpenFold: Democratizing Access to Predicting and
Modeling Protein Structures [S41633]
• Accelerating Simulation Process Using GPUs and
Reliable Neural Networks [S42404]
• Case Study on Developing Digital Twins for the
Power Industry using Modulus and Omniverse
[S41671]
Developing Digital Twins for Weather, Climate, and Energy [S41823]

11. AI FOR HPC
異なる分類軸: モデル化の対象
• Fourier Neural Operators and Transformers for
Extreme Weather and Climate Prediction [S41936]
• Bringing Rain to the Subseasonal Forecasting
Desert with Deep Learning Weather Prediction
[S41170]
• Accelerating a 3D Conditional Generative
Adversarial Network for Seismic Attenuation
Compensation on a Multi-GPU Node [S41095]
• Scalable Data-Driven Global Weather Predictions
at High Spatial and Temporal Resolutions [S41019]
• Accelerating End-to-end Deep Learning for
Particle Reconstruction using CMS Open Data at
CERN [S41394]
• Developing Digital Twins for Weather, Climate, and
Energy [S41823]
• OpenFold: Democratizing Access to Predicting and
Modeling Protein Structures [S41633]
• Accelerating Simulation Process Using GPUs and
Reliable Neural Networks [S42404]
• Case Study on Developing Digital Twins for the
Power Industry using Modulus and Omniverse
[S41671]
Developing Digital Twins for Weather, Climate, and Energy [S41823]
Fully data driven
Inductive bias
Physics constrained
Inductive bias
Physics constrained
Fully data driven
Fully data driven
Fully data driven
Inductive bias
Fully data driven

12. HPC FOR AI
学習を加速させるためのテクニックなど

13. HPC FOR AI
分散学習
Bridging the Gap Between Basic Neural Language Models, Transformers, and
Megatron [S41966]
大規模言語モデルの学習高速化に関する工夫について
Training Large Models with PyTorch [S41986]
大規模モデルの学習に関する PyTorch の最新状況
Accelerating Distributed Reinforcement Learning [S41925]
深層強化学習を分散化する際の高速化等について

14. HPC FOR AI
分散学習
Bridging the Gap Between Basic Neural Language Models, Transformers, and
Megatron [S41966]
大規模言語モデルの学習高速化に関する工夫について
Training Large Models with PyTorch [S41986]
大規模モデルの学習に関する PyTorch の最新状況
Accelerating Distributed Reinforcement Learning [S41925]
深層強化学習を分散化する際の高速化等について

15. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS,
TRANSFORMERS, AND MEGATRON [S41966]
言語モデルの背景と最近の状況

16. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS,
TRANSFORMERS, AND MEGATRON [S41966]
FYI: 言語モデル「大規模化」の背景など
How to Avoid the Staggering Cost of Training
State-of-the-art Large Language Models [S41904]
Building Large-scale, Localized Language Models:
From Data Preparation to Training and Deployment to Production [S42018]

17. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS,
TRANSFORMERS, AND MEGATRON [S41966]
大規模モデルを学習するためのアプローチについて

18. BRIDGING THE GAP BETWEEN BASIC NEURAL LANGUAGE MODELS,
TRANSFORMERS, AND MEGATRON [S41966]
大規模モデルを学習するためのアプローチについて

19. HPC FOR AI
分散学習
Bridging the Gap Between Basic Neural Language Models, Transformers, and
Megatron [S41966]
大規模言語モデルの学習高速化に関する工夫について
Training Large Models with PyTorch [S41986]
大規模モデルの学習に関する PyTorch の最新状況
Accelerating Distributed Reinforcement Learning [S41925]
深層強化学習を分散化する際の高速化等について

20. TRAINING LARGE MODELS WITH PYTORCH [S41986]
PyTorch における分散学習のサポート状況

21. TRAINING LARGE MODELS WITH PYTORCH [S41986]
データ並列の各機能

22. TRAINING LARGE MODELS WITH PYTORCH [S41986]
PyTorch におけるパイプライン化について

23. TRAINING LARGE MODELS WITH PYTORCH [S41986]
FYI: XLA, JAX でのモデル並列
Model Parallelism in XLA/GPU [S42006]

24. TRAINING LARGE MODELS WITH PYTORCH [S41986]
踏み込んだ最適化: checkpointing & offloading

25. TRAINING LARGE MODELS WITH PYTORCH [S41986]
踏み込んだ最適化: checkpointing & offloading

26. TRAINING LARGE MODELS WITH PYTORCH [S41986]
各手法に対する性能評価
The PyTorch distributed team share best practices for Large Scale Training
on Google Cloud (Presented by Google Cloud) [S42584]
特にネットワーク周りの詳細について
このセッションでは、同じ実験を違う角度から説明

27. HPC FOR AI
分散学習
Bridging the Gap Between Basic Neural Language Models, Transformers, and
Megatron [S41966]
大規模言語モデルの学習高速化に関する工夫について
Training Large Models with PyTorch [S41986]
大規模モデルの学習に関する PyTorch の最新状況
Accelerating Distributed Reinforcement Learning [S41925]
深層強化学習を分散化する際の高速化等について

28. ACCELERATING DISTRIBUTED REINFORCEMENT LEARNING [S41925]
強化学習の難しさと、分散化の必要性

29. ACCELERATING DISTRIBUTED REINFORCEMENT LEARNING [S41925]
RAPTOR: 効率的な分散深層強化学習プラットフォーム

30. AI FOR HPC
科学技術計算への AI 適用

31. AI FOR HPC
データドリブンなアプローチからシミュレーション系の話題まで
Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal
Resolutions [S41019]
U-Net ベースでの降雨量および海水面温度予測
Accelerating Simulation Process Using GPUs and Reliable Neural Networks
[S42404]
Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター
Accelerating a 3D Conditional Generative Adversarial Network for Seismic
Attenuation Compensation on a Multi-GPU Node [S41095]
Pix2Pix を利用して、地質調査画像の減衰補償を試みている
Fourier Neural Operators and Transformers for Extreme Weather and Climate
Prediction [S41936]
現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な
学習に向けた取り組み

32. AI FOR HPC
データドリブンなアプローチからシミュレーション系の話題まで
Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal
Resolutions [S41019]
U-Net ベースでの降雨量および海水面温度予測
Accelerating Simulation Process Using GPUs and Reliable Neural Networks
[S42404]
Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター
Accelerating a 3D Conditional Generative Adversarial Network for Seismic
Attenuation Compensation on a Multi-GPU Node [S41095]
Pix2Pix を利用して、地質調査画像の減衰補償を試みている
Fourier Neural Operators and Transformers for Extreme Weather and Climate
Prediction [S41936]
現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な
学習に向けた取り組み

33. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL
AND TEMPORAL RESOLUTIONS [S41019]
気象予測の現状整理と AI の活用方法

34. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL
AND TEMPORAL RESOLUTIONS [S41019]
降雨量予測に利用した手法 (U-Net) などについて

35. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL
AND TEMPORAL RESOLUTIONS [S41019]
評価結果や LSTM との組み合わせについての検討

36. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL
AND TEMPORAL RESOLUTIONS [S41019]
海水面温度予測への応用に関する初期検討結果の紹介

37. SCALABLE DATA-DRIVEN GLOBAL WEATHER PREDICTIONS AT HIGH SPATIAL
AND TEMPORAL RESOLUTIONS [S41019]
論文と実装

38. AI FOR HPC
データドリブンなアプローチからシミュレーション系の話題まで
Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal
Resolutions [S41019]
U-Net ベースでの降雨量および海水面温度予測
Accelerating Simulation Process Using GPUs and Reliable Neural Networks
[S42404]
Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター
Accelerating a 3D Conditional Generative Adversarial Network for Seismic
Attenuation Compensation on a Multi-GPU Node [S41095]
Pix2Pix を利用して、地質調査画像の減衰補償を試みている
Fourier Neural Operators and Transformers for Extreme Weather and Climate
Prediction [S41936]
現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な
学習に向けた取り組み

39. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
現状のシミュレーションにおける問題と、解決策の提案

40. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
monolish: デバイス非依存な、使いやすい API

41. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
多様な形状の物体や、回転、平行移動を伴う状況に対するシミュレーションを実現する方法

42. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
Graph Neural Network をベースとした手法による解決

43. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
適用範囲と評価結果

44. ACCELERATING SIMULATION PROCESS USING GPUS AND RELIABLE NEURAL
NETWORKS [S42404]
手法詳細等

45. AI FOR HPC
データドリブンなアプローチからシミュレーション系の話題まで
Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal
Resolutions [S41019]
U-Net ベースでの降雨量および海水面温度予測
Accelerating Simulation Process Using GPUs and Reliable Neural Networks
[S42404]
Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター
Accelerating a 3D Conditional Generative Adversarial Network for Seismic
Attenuation Compensation on a Multi-GPU Node [S41095]
Pix2Pix を利用して、地質調査画像の減衰補償を試みている
Fourier Neural Operators and Transformers for Extreme Weather and Climate
Prediction [S41936]
現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な
学習に向けた取り組み

46. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR
SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095]
問題設定: 地質調査時の減衰補償

47. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR
SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095]
Pix2Pix を画像復元に活用

48. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR
SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095]
モデルの学習フローや計算機構成の工夫など

49. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR
SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095]
モデルの学習フローや計算機構成の工夫など

50. ACCELERATING A 3D CONDITIONAL GENERATIVE ADVERSARIAL NETWORK FOR
SEISMIC ATTENUATION COMPENSATION ON A MULTI-GPU NODE [S41095]
出力例など

51. AI FOR HPC
データドリブンなアプローチからシミュレーション系の話題まで
Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal
Resolutions [S41019]
U-Net ベースでの降雨量および海水面温度予測
Accelerating Simulation Process Using GPUs and Reliable Neural Networks
[S42404]
Graph Neural Network (GNN) を利用した、回転および平行移動に非依存なシミュレーター
Accelerating a 3D Conditional Generative Adversarial Network for Seismic
Attenuation Compensation on a Multi-GPU Node [S41095]
Pix2Pix を利用して、地質調査画像の減衰補償を試みている
Fourier Neural Operators and Transformers for Extreme Weather and Climate
Prediction [S41936]
現在の気象予測に関する課題感の紹介と、Fourier Neural Operator を軸とした解像度非依存な
学習に向けた取り組み

52. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME
WEATHER AND CLIMATE PREDICTION [S41936]
気候科学の現状とさらなる高速化の必要性

53. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME
WEATHER AND CLIMATE PREDICTION [S41936]
DestinE project とその意義

54. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME
WEATHER AND CLIMATE PREDICTION [S41936]
Physics-ML の応用事例と、フレームワークとしての Modulus

55. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME
WEATHER AND CLIMATE PREDICTION [S41936]
Modulus + Omniverse のデモ

56. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME
WEATHER AND CLIMATE PREDICTION [S41936]
FourCastNet: 気象予測のための Physic-ML モデル

57. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME
WEATHER AND CLIMATE PREDICTION [S41936]
予測結果例

58. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME
WEATHER AND CLIMATE PREDICTION [S41936]
予測結果例

59. FOURIER NEURAL OPERATORS AND TRANSFORMERS FOR EXTREME
WEATHER AND CLIMATE PREDICTION [S41936]
Fourier Neural Operator: 解像度非依存なモデルの概要

60. SUMMARY

61. まとめ
GTC 2020 の HPC + AI 関連セッションを通して、最近の傾向を整理
HPC for AI と AI for HPC
AI for HPC は、適用対象による分類と、データの扱い方による分類がある
学習高速化、大規模化の文脈では、フレームワーク等の整備が継続
特に大規模学習を、より簡単に実現できるようなアプローチが順次導入されている
科学技術計算における AI 活用、直接的なアプローチを超えた方法が増えてきている
GNN の活用や、PDE をモデルに組み込むなど

62. APPENDIX:
HPC + AI 関連セッション一覧

63. HPC 関連トピックでの機械学習利用セッション (1/4)
HPC - Climate / Weather / Ocean Modeling
 Scalable Data-Driven Global Weather Predictions at High Spatial and Temporal Resolutions [S41019]
 Can a Deep Learning Model Measure CO2 More Precisely using Satellite Data? [S41127]
 Bringing Rain to the Subseasonal Forecasting Desert with Deep Learning Weather Prediction
[S41170]
 Mitigating Risk of Natural Disaster with GPU-accelerated Analytics [S41231]
 Innovative Startups Leveraging AI to Tackle Climate Change [S41910]
 Fourier Neural Operators and Transformers for Extreme Weather and Climate Prediction [S41936]
 Digital Twins for Understanding and Adapting to Climate Change [S41950]
 最先端のデータサイエンスで切り拓くリアルタイム豪雨・洪水予測 [S42363]
 Big Data in Climate and Earth Sciences: Challenges and Opportunities for Machine Learning [S42389]
 The Future of HPC Looks a Lot Like ML (Presented by Amazon Web Services) [S42471]

64. HPC 関連トピックでの機械学習利用セッション (2/4)
HPC - Computational Chemistry and Materials Science
 Inlining AI into Molecular Dynamics (and Vice Versa) [S41330]
 The Value of GPUs in Computational Chemistry and Materials Science in the Age of Machine
Learning [S41745]
HPC - Computational Fluid Dynamics
 Advances in Digital Twins of Granular Material Processes using Physics-based Simulations and AI
[S41065]
 Developing Digital Twins for Energy Applications using Modulus [S41325]

65. HPC 関連トピックでの機械学習利用セッション (3/4)
HPC - Computational Physics
 Using OpenACC to Accelerate Wave Propagation Simulations Combining Equation-based and Data-
driven Methods [S41359]
 Accelerating End-to-end Deep Learning for Particle Reconstruction using CMS Open Data at CERN
[S41394]
 Accelerating Simulation Process Using GPUs and Reliable Neural Networks [S42404]
HPC - Scientific Visualization
 Scaling HPC Simulations with AI for Design using Physics-enhanced and Physics-informed Techniques
(Presented by Amazon Web Services) [S42531]

66. HPC 関連トピックでの機械学習利用セッション (4/4)
HPC – Supercomputing
 Scientific AI at Scale on the Perlmutter Supercomputer at NERSC [S41386]
 NLP Technology and Voice of Customer Product Introduction [S41681]
 HPC, AI, and the Edge [S42165]
 SMU uses SuperPOD to Take AI Research to the Next Level (Presented by Mark III Systems) [S42689]