データ爆発時代のネットワークインフラ
•
0 likes•718 views
2022 年 4 月 26 日 (火) に開催した「GTC 2022 テクニカルフォローアップセミナー 〜新アーキテクチャ & HPC〜」にて、NVIDIA 愛甲が講演した「データ爆発時代のネットワークインフラ」のスライドです。
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to データ爆発時代のネットワークインフラ
Similar to データ爆発時代のネットワークインフラ (20)
More from NVIDIA Japan
More from NVIDIA Japan (20)
Recently uploaded
Recently uploaded (9)
データ爆発時代のネットワークインフラ
- 1. データ爆発時代のネットワークインフラ APR 26,2022. HIROSHI AIKO, MARKETING MANAGER, NETWORKING, NVIDIA
- 2. HARDWARE SYSTEM SOFTWARE PLATFORM APPLICATION FRAMEWORKS DGX HGX EGX OVX AGX RTX SUPER POD DOCA BASE CMD FLEET CMD AERIAL UCF MAG CUDA-X PHYSX RTX SOC SWITCH NIC DPU CPU GPU NVIDIA HPC NVIDIA AI NVIDIA OMNIVERSE フルスタック、データセンター スケール 2,700 の GPU 対応アプリケーション 450 の SDK、AI モデル 3000 万の CUDA ダウンロード 300 万人の開発者
- 3. ３つのプラットフォーム NVIDIA HPC NVIDIA AI NVIDIA OMNIVERSE 大規模高速演算 AIへの活用、または融合 より大規模な機械学習 より大規模な演算要求 より大規模なデータ処理 リッチデザイン デジタルツイン シミュレーション etc… 今日は主にこの辺の話
- 4. ネットワークに求められるもの サービスネットワーク 計算のためのネットワーク あるいはバスとしてのネットワーク • 複数のクライアントにサービス提供 • 基本的に 1:n 通信 • スケールが大きくなる＝クライアント数 が増えるに従い、集約時の要求性 能が高くなる Ex. ストレージアクセス データベース クラウドサービス • ノード間でフルスピード通信 • 1:1またはn:n • スケールにかかわらず、必要な通信 性能はノードの計算速度に依存 Ex. HPCネットワーク AI等でのGPU間通信 ネットワークに求められる考え方、性質が異なる
- 6. AI 解析のモデルサイズの増加 高精度な計算デマンドの増加 データの急速な増加 世界データの９割が過去２年で増加 データおよびモデルサイズの爆発的増加 多種多様な科学データの増加 高精度なセンサーとシミュレーションが新たな 計算デマンドを創出 Source for Big Data Growth chart: IDC – The Digitization of the World (May, 2020)
- 7. AlexNet VGG-19 Seq2Seq Resnet InceptionV3 Xception ResNeXt DenseNet201 ELMo MoCo ResNet50 Wav2Vec 2.0 Transformer GPT-1 BERT Large GPT-2 XLNet Megatron Microsoft T-NLG GPT-3 Switch Transformer 1.6T Megatron-Turing NLG 530B 100 1,000 10,000 100,000 1,000,000 10,000,000 100,000,000 1,000,000,000 10,000,000,000 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 Training PetaFLOPS さらなるパフォーマンスとスケーラビリティを要求する次世代の AI TRANSFORMERS TRANSFORMING AI EXPLODING COMPUTATIONAL REQUIREMENTS Transformer AI Models = 275x / 2yrs AI Models Excluding Transformers = 8x / 2yrs MegaMolBART: https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/megamolbart | SegFormer: https://arxiv.org/abs/2105.15203 | Decision Transformer: https://arxiv.org/pdf/2106.01345.pdf | SuperGLUE: https://super.gluebenchmark.com/leaderboard Exploding Computational Requirements, source: NVIDIA Analysis and https://github.com/amirgholami/ai_and_memory_wall SEGFORMER Sematic Segmentation DECISION TRANSFORMER Reinforcement Learning MEGAMOLBART Drug Discovery with AI SUPERGLUE LEADERBOARD Difficult NLU Tasks MONTHS TO TRAIN MODELS Scale (# GPUs) Performance Today Desired GPT-3 (175B parameters) 3.5 months to train on 128x A100 70% AI Papers In last 2 years discuss Transformer Models
- 8. H100 の大幅な性能向上 次世代のブレークスルーを実現するパフォーマンスとスケーラビリティ 6X 7X 0X 1X 2X 3X 4X 5X 6X 7X 3D FFT Genome Sequencing HPC HPC App Performance vs A100 Up to 7X Higher Performance Throughput – Sequences / Sec 128 4000 8000 TRAINING 20 hrs to train 9X Faster Mixture of Experts (395B) Training vs A100 Up to 9X More Throughput H100 A100 7 days to train Megatron 530B Throughput vs A100 #GPUs Projected performance subject to change Training Mixture of Experts (MoE) Transformer Switch-XXL variant with 395B parameters on 1T token dataset | Inference on Megatron 530B parameter model based chatbot for input sequence length=128, output sequence length =20 | HPC 3D FFT (4K^3) throughput | A100 cluster: HDR IB network | H100 cluster: NVLink Switch System, NDR IB HPC Genome Sequencing (Smith-Waterman) | 1 A100 | 1 H100 16X 20X 30X 0X 5X 10X 15X 20X 25X 30X 2 sec 1.5 sec 1 sec Throughput per GPU Latency INFERENCE Up to 30X More Throughput
- 9. 計算とネットワークのパフォーマンスギャップ GPU間 H100同士: 900GB/s (NVLink v4、双方向) A100同士: 600GB/s (NVLink v3、双方向) PCI Express Gen.5 x16 = 126GB/s (双方向) NDR InfiniBand or 400GbE = 100GB/s （双方向） GPUの速度に比べてCPU、外部ネットワークは速度に大きな隔たり NVLink PCIe InfiniBand Ethernet
- 10. NVLINK SWITCH システム 最大 256 GPU を接続するマルチノード NVLink 第 4 世代 NVLink 900 GB/s from 18x25GB/sec bi-directional ports GPU-2-GPU connectivity across nodes 第 3 世代 NVSwitch All-to-all NVLink switching for 8-256 GPUs Accelerate collectives - multicast and SHARP NVLINK SWITCH 128 port cross-connect based on NVSwitch H100 クラスター (1 スケーラブル ユニット) 57,600 GB/s all-to-all bandwidth 32 servers | 18 NVLink switches | 1,152 NVLink optical cables
- 11. NVIDIA QUANTUM-2 IN-NETWORK COMPUTING QUANTUM-2 SWITCH SHARPv3 Small Message Data Reductions SHARPv3 Large Message Data Reductions CONNECTX-7 INFINIBAND 16 Core / 256 Threads Datapath Accelerator Full Transport Offload and Telemetry Hardware-Based RDMA / GPUDirect MPI Tag Matching and All-to-All BLUEFIELD-3 INFINIBAND 16 Arm 64-Bit Cores 16 Core / 256 Threads Datapath Accelerator Full Transport Offload and Telemetry Hardware-Based RDMA / GPUDirect Computational Storage Security Engines MPI Tag Matching and All-to-All Optimized Multi-Tenant In-Network Computing
- 12. インターコネクトとスケーラビリティー（H100の場合） ～8 GPU ～256 GPU …and more NVSwitch NVLink Switch Quantum-2 InfiniBand 900GB/s bi-directional (2:1 oversub for inter-nodes) 100GB/s bi-directional (400Gbps x 2) with NVIDIA SHARP In-Network Computing engines
- 13. 第3世代 SHARP V3 Data Aggregated Aggregated Result Aggregated Result Data Host Host Host Host Host Switch Switch Switch SHARP Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) • 高信頼でスケーラブルな汎用プリミティブ • In-Network ツリーベースの集合メカニズム • 多数のグループをサポート • 複数の処理を同時に実行可能 • 幅広いユースケースに適用可能 • MPI やSHMEM を用いる HPC アプリケーション • 分散学習を行うアプリケーション • 高性能で拡張性の高い、コレクティブオフロード • Barrier, Reduce, All-Reduce, Broadcast 他 • Sum, Min, Max, Min-loc, max-loc, OR, XOR, AND • 整数 および浮動小数点：16/32/64 ビット 第3世代 SHARPv3 エンハンスポイント 論理ツリー数が 2 から 64 になることで、同時多数の AI 集合演算が可能 従来のSHARPv2の機能はそのまま利用可能
- 15. NVIDIA H100 CNX
- 16. H100 CNX コンバージド アクセラレーター メインストリーム サーバーに高速な GPU – ネットワーク I/O を提供 伝統的なサーバー アクセラレーテッド コンピューティングに最適化 H100 CNX Memory CPU ConnectX-7 Gen-4 GPU Gen-5 Memory CPU ConnectX-7 Gen-4 GPU 350W | 80GB | 400 Gb/s Eth or IB PCIe Gen 5 within board and to host 2-Slot FHFL | NVLink
- 17. H100 CNX ユースケース 5G 信号処理 High performance in commodity servers マルチノード トレーニング Excellent performance and scalability AI ON 5G 5G processing and AI services on a single commodity server 提供可能時期: • Mass Production in Q3 • NVIDIA-Certified Servers in Q4
- 19. 高速なイーサネットソリューションで NVIDIA プラットフォームを接続 NVIDIA SPECTRUM-4 ASIC 51.2T Bandwidth 100B Transistors 12.8T Crypto 37.6B Packet Rate 400GbE +800GbE (100G SerDes) 4X Higher Throughput
- 20. SPECTRUM-4 イーサネットスイッチ 高速なエンタープライズネットワークを実現 エンタープライズ AI の加速 最大 & 最速の スイッチ ASIC パフォーマンスに 最適化 高速な暗号化 クラス最高の 電力効率 極めて正確な 時刻同期
- 21. NVIDIA BLUEFIELD-3 DPU インフラ処理のオフロード、加速、分離 400Gb/s 接続 プログラマブル コンピュート コンポーザブル ストレージ ゼロトラスト セキュリティー 2X Network Bandwidth 2X Network Pipeline 4X Host Bandwidth 4X Arm Compute 5X Memory New Datapath Accelerator 4X IPsec Acceleration 2X TLS Acceleration New MACsec Acceleration Platform Attestation 2X Storage IOPs 2X Storage Encryption New NVMe/TCP Acceleration
- 22. MONTEREY BETA LAUNCHPAD 利用可能: 米国, 欧州, アジア太平洋 ネットワーク & セキュリティー ラボ CPU 負荷削減 – ネットワークトラフィックをDPUへ セキュリティー分離 – BlueFIeld-2 上での分散ファイアーウォール(NSX) 4 X86 CPU コアをセーブ – DPU でオフロード, 加速, 分離 Project Monterey Bare Metal Windows & Linux OS Security Isolation Compute Hypervisor ESXi DPU OR Storage services Network and Security services Infrastructure management ESXi
- 23. RED HAT OPENSHIFT が BLUEFIELD に対応 Kubernetes オーケストレーションの 高速化およびセキュア化 DPUでOPENSHIFTを利用する利点 BlueField の機能を活用 BlueFiled DPU 上で OpenShift Container Platform (OCP) を オフロードして加速 Kubernetes OpenShift ネットワークのコントロールパスとデータパスを DPU上で 動作 最小要件は 6 ノード 開発プレビューを利用可能： 2022年Q4にGA予定 スループットを保ったまま CPU 利用率を70%削減 よりシンプルで安全なコンテナ管理 アプリケーション（X86）及び インフラ（DPU）の両方のコンテナと デプロイを管理するクラウド対応 ソリューション
- 24. VAST DATA が BLUEFIELD に対応 分散型 スケーラブル ストレージ 高いスケーラビリティーで分散型のオールフラッシュ ファイルストレージ x86 CPUから処理をすべて置き換え DGX SuperPODとの認証予定 (Q2末) GA: 2022年夏 VAST CERES の利点 BlueField の機能を活用 AI や HPC向けの、より高速で スケーラブルなファイルストレージ 100/200/400 Gbps 接続 (InfiniBandおよびEthernet) GPUDirect Storage のサポート 33%の電力削減 50%のラックスペース削減 最大３倍の高速処理 より早くソリューションの利益を享受可能
- 25. PLURIBUS NETWORKS が BLUEFIELD に対応 UNIFIED NETWORKING AND SECURITY ネットワーク及びセキュリティーサービスをスイッチからホストに拡張 （BlueFieldを使用） コントローラー不要のSDNファブリックをBlueField上で動作 パブリック、プライベート、ハイブリッドクラウドといった異なる環境で 統一されたオペレーションモデル 初期フィールドトライアル実施中：2022年Q3にGA予定 運用効率とセキュリティー BlueField の機能を活用 物理と仮想のネットワークで統一された ネットワークポリシーと自動化 分散セキュリティーとマイクロセグメンテーションで セキュリティーアプライアンスの必要性を削減 問題の早期発見と解決を可能にする ネットワークトラフィックの可視化と分析