Downloaded 36 times
![13
新開発 Tensor コア
CUDA Tensor 演算命令 及び データフォーマット
4x4 行列処理配列
D[FP32] = A[FP16] * B[FP16] + C[FP32]
ディープラーニングに最適化
アクティベーション入力 重み入力 出力結果](https://image.slidesharecdn.com/02dli2017nagoyahayashi-170521051359/85/GTC-2017-13-320.jpg)
More Related Content
![[Track2-2] 最新のNVIDIA AmpereアーキテクチャによるNVIDIA A100 TensorコアGPUの特長とその性能を引き出す方法](https://cdn.slidesharecdn.com/ss_thumbnails/2020801nvidia-200807073343-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to GTC 2017 基調講演からディープラーニング関連情報のご紹介
![[db analytics showcase Sapporo 2017] B14: GPU コンピューティング最前線 by エヌビディア 佐々木邦暢](https://cdn.slidesharecdn.com/ss_thumbnails/20170630dbassprnvidia-170707074715-thumbnail.jpg?width=640&height=640&fit=bounds)
GTC 2017 基調講演からディープラーニング関連情報のご紹介
- 1.
- 2. 2 ムーアの法則後の世界 1980 1990 20002010 2020 102 103 104 105 106 107 40 年間のマイクロプロセッサのトレンド Original data up to the year 2010 collected and plotted by M. Horowitz, F. Labonte, O. Shacham, K. Olukotun, L. Hammond, and C. Batten New plot and data collected for 2010-2015 by K. Rupp シングルスレッド性能 年率 1.5 倍 年率 1.1 倍 トランジスタ数 (千単位)
- 3. 3 1980 1990 20002010 2020 GPU コンピューティング性能 年率 1.5 倍 2025年 までに 1000倍 GPU コンピューティングの登場 Original data up to the year 2010 collected and plotted by M. Horowitz, F. Labonte, O. Shacham, K. Olukotun, L. Hammond, and C. Batten New plot and data collected for 2010-2015 by K. Rupp 102 103 104 105 106 107 シングルスレッド性能 年率 1.5 倍 年率 1.1 倍 アプリケーション システム アルゴリズム CUDA アーキテクチャ
- 4. 4 GPU コンピューティングの登場 GPU コンピューティング開発者 5年で 11 倍 GTC 参加者 5 年で 3 倍 2017 2017 511,0007,000 20122012 1年間 の CUDA ダウンロード数 2016 年 1,000,000+
- 5. 5 マシンラーニングの時代 “A Quest forIntelligence” — Fei-Fei Li “The Master Algorithm” — Pedro Domingos
- 6. 6 現代の AI のビッグバン Auto Encoders GANLSTM IDSIA CNNon GPU Stanford & NVIDIA Large-scale DNN on GPU U Toronto AlexNet on GPU CaptioningNVIDIA BB8 Style TransferBRETTImageNet Google Photo Arterys FDA Approved AlphaGo Super Resolution Deep Voice Baidu DuLight NMT Superhuman ASR Reinforcement Learning Transfer Learning
- 7. 7 $5B 現代 AI のビッグバン UdacityでのAI プログラム 2 年で 100 倍 NIPS、ICML、CVPR、ICLR 参加者数 2 年で 2 倍 2016 2017 20,00013,000 20152014 AI スタートアップ投資 4 年で 9 倍 50億ドル 20162012
- 8.
- 9. 9 NVIDIA INCEPTION プログラム 1300のディープラーニングスタートアップを支援 ヘルスケア ビジネスインテリジェンス 及び 可視化 開発プラットフォーム リテール eテール IOT 及び 製造 プラットフォーム 及び API データマネージメント 建築 金融 セキュリティ サイバー自律動作機械
- 10. 10 エンタープライズのための SAP AI SAP から提供される最初の商業的AI オファリング Brand Impact、Service Ticketing、 Invoice-to-Record アプリケーション DGX-1 と AWS で NVIDIA GPU を利用
- 11. 11 年々複雑さを増すモデル 2016 — BaiduDeep Speech 22015 — Microsoft ResNet 2017 — Google NMT 1.05 垓回の計算量 87 億パラメータ 2000 京回の計算量 3 億パラメータ 700 京回の計算量 6000 万パラメータ
- 12. 12 発表 Tesla V100 AIと HPC のための大きな飛躍 Tensor コアを搭載した Volta アーキテクチャ 210 億トランジスタ | TSMC 12nm FFN | 815mm2 5120 CUDA コア 7.5 FP64 TFLOPS | 15 FP32 TFLOPS 120 Tensor TFLOPS 総レジスタファイル 20MB | 16MB キャッシュ 900 GB/s の 16GB HBM2 300 GB/s NVLink
- 13. 13 新開発 Tensor コア CUDATensor 演算命令 及び データフォーマット 4x4 行列処理配列 D[FP32] = A[FP16] * B[FP16] + C[FP32] ディープラーニングに最適化 アクティベーション入力 重み入力 出力結果
- 14. 14 発表 Tesla V100 AIと HPC のための大きな飛躍 Tensor コアを搭載した Volta アーキテクチャ Pascal 世代と比較して HPC のための汎用演算性能 1.5 倍 ディープラーニングトレーニングのための Tensor 演算性能 12 倍 ディープラーニング推論のための Tensor 演算性能 6 倍
- 15. 15 発表 Volta 対応フレームワーク 時間 CNN トレーニング (ResNet-50) 時間 NCCL2.0 を利用したマルチノード トレーニング (ResNet-50) 0 5 10 15 20 25 64x V100 8x V100 8x P100 0 10 20 30 40 50 V100 P100 K80 時間 LSTM トレーニング (ニューラル機械翻訳) 0 10 20 30 40 50 8x V100 8x P100 8x K80
- 16. 16 発表 Tesla V100 搭載NVIDIA DGX-1 AI 研究に必須の道具 960 Tensor TFLOPS | Tesla V100 8基 | NVLink ハイブリッドキューブ TITAN X で 8 日かかる計算が 8 時間に CPU サーバー 400台分の性能がワンボックスに
- 17. 17 発表 Tesla V100 搭載NVIDIA DGX-1 AI 研究に必須の道具 960 Tensor TFLOPS | Tesla V100 8基 | NVLink ハイブリッドキューブ TITAN X で 8 日かかる計算が 8 時間に CPU サーバー 400台分の性能がワンボックスに ご注文は: nvidia.com/DGX-1
- 18. 18 発表 NVIDIA DGX ステーション パーソナルDGX 480 Tensor TFLOPS | Tesla V100 4基 NVLink 全結合 | 3つの DisplayPort 1500W | 水冷
- 19. 19 480 Tensor TFLOPS| Tesla V100 4基 NVLink 全結合 | 3つの DisplayPort 1500W | 水冷 ご注文は: nvidia.com/DGX-Station 発表 NVIDIA DGX ステーション パーソナル DGX
- 20. 20 発表 ハイパースケール推論のための Tesla V100 Skylakeに対して 15～25 倍の推論性能 150W | FHHL PCIE
- 21. 21 GPU で加速されたデータセンターの例 Tesla V100によって 1/15に500 ノードの CPU サーバー 33 ノードの GPU で加速されたサーバー データセンター全体で300,000 推論/秒 CPU 当り 300 推論/秒 ➡ 1000 CPU 1000 CPU ➡ 500 ノード ノード 3000ドル ノード 500W ➡ 150万ドル ➡ 250KW
- 22. 22 NVIDIA ディープラーニングスタック ディープラーニングフレームワーク ディープラーニングライブラリ NVIDIA cuDNN,NCCL, cuBLAS, TensorRT CUDA ドライバ オペレーティングシステム GPU システム
- 23. 23 コンテナ、データセット、 事前学習済みのモデル のレポジトリ NVIDIA GPU クラウド CSP 発表 NVIDIA GPUクラウド NVDocker のコンテナとして提供 | フルスタックで最適化 常に最新 | エヌビディアによって完全にテストおよびメンテナンス | 7月にベータ提供 ディープラーニングに最適化された GPU で加速されたクラウドプラットフォーム
- 24. 24 GPU コンピューティング性能 0 8 16 24 32 40 AMBER 性能(ns/day) P100 2016 K80 2015 K40 2014 K20 2013 AMBER 12 CUDA 4 AMBER 14 CUDA 5 AMBER 14 CUDA 6 AMBER 16 CUDA 8 0 2400 4800 7200 9600 12000 GoogleNet 性能 (i/s) cuDNN 2 CUDA 6 cuDNN 4 CUDA 7 cuDNN 6 CUDA 8 NCCL 1.6 cuDNN 7 CUDA 9 NCCL 2 8x K80 2014 8x Maxwell 2015 DGX-1 2016 DGX-1V 2017
- 25. 25 NVIDIA ディープラーニング SDK GPU AAS NVAIL INCEPTION インターネット サービス エンタープライズ ヘルスケア GPU システムフレームワーク TESLA HGX-1 DGX-1 NVIDIA RESEARCH 自動車 AIシティ ロボット NVIDIA ディープラーニング SDK DRIVE PX JETSON TX エヌビディアが加速する AI 革命 エッジでの AI
- 26. 26 AI が革新するトランスポーテーション ドミノピザ: 一日100万個のピザを配達米国では2億5000万台の車のために 8億の駐車場 年間 4500億キロ
- 27. 27 NVIDIA DRIVE —AI カープラットフォーム コンピュータビジョンライブラリ OS 認識 AI CUDA、cuDNN、TensorRT 自己位置推定 パスプランニング 1 TOPS 10 TOPS 100 TOPS DRIVE PX 2 Parker Level 2/3 DRIVE PX Xavier Level 4/5
- 28. 28 NVIDIA DRIVE ガーディアン エンジェルコパイロットマッピングから運転へ
- 29.
- 30. 30 自動運転のための AI プロセッサ XAVIER 30TOPS DL 30W カスタム ARM64 CPU 512 コア Volta GPU 10 TOPS DL アクセラレータ 汎用アーキテクチャ 特定用途 アクセラレータ エネルギー効率 CPU FPGA CUDA GPU DLA Pascal Volta
- 31. 31 自動運転のための AI プロセッサ XAVIER 30TOPS DL 30W カスタム ARM64 CPU 512 コア Volta GPU 10 TOPS DL アクセラレータ 汎用アーキテクチャ 特定用途 アクセラレータ エネルギー効率 CPU CUDA GPU DLA Volta +
- 32. 32 発表 Xavier DLA オープンソース化 アーリーアクセス予定:7 月 | 一般リリース予定: 9 月 Command Interface Tensor Execution Micro-controller Memory Interface Input DMA (Activations and Weights) Unified 512KB Input Buffer Activations and Weights Sparse Weight Decompression Native Winograd Input Transform MAC Array 2048 Int8 or 1024 Int16 or 1024 FP16 Output Accumulators Output Postprocess or (Activation Function, Pooling etc.) Output DMA
- 33. 33 エヌビディアが加速する AI 革命 NVIDIAGPU クラウド全てのクラウドに NVIDIA GPU Xavier DLA オープンソース化 DGX-1 及び DGX ステーションTesla V100 TensorRT Tensor コア NVIDIA GPU CLOUD CSPs
- 34.