Download as PDF, PPTX
More Related Content
![DeNAゲーム事業におけるデータエンジニアの貢献 [DeNA TechCon 2019]](https://cdn.slidesharecdn.com/ss_thumbnails/techcon2019dataengineer-190218065927-thumbnail.jpg?width=640&height=640&fit=bounds)
![運用中のゲームにAIを導入するには〜プロジェクト推進・ユースケース・運用〜 [DeNA TechCon 2019]](https://cdn.slidesharecdn.com/ss_thumbnails/techcon2019okumuraokada-190214063249-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db analytics showcase Sapporo 2017] B14: GPU コンピューティング最前線 by エヌビディア 佐々木邦暢](https://cdn.slidesharecdn.com/ss_thumbnails/20170630dbassprnvidia-170707074715-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Japan Tech summit 2017] MAI 001](https://cdn.slidesharecdn.com/ss_thumbnails/techsummit2017pdfmai001-171115034129-thumbnail.jpg?width=640&height=640&fit=bounds)
![[ビッグデータオールスターズ] クラウドサービス最新情報 機械学習/AIでこんなことまでできるんです! (Microsoft編)](https://cdn.slidesharecdn.com/ss_thumbnails/20161218dotsbigdataazureai-161218054508-thumbnail.jpg?width=640&height=640&fit=bounds)
Dat002 ディープラーニン
- 1. エヌビディア エンタープライズマーケティング部 佐々木邦暢(@_ksasaki) ディープラーニングが導く AI 革命 ～ GPU コンピューティング最前線 ～ 本情報の内容（添付文書、リンク先などを含む）は、Microsoft Tech Summit 開催日（2016年11月1－2日）時点のものであり、予告なく変更される場合があります。
- 2.
- 3. #MSTechSummit16 AGENDA GPU コンピューティングの歴史 ディープラーニングと GPU MicrosoftAzure GPU インスタンス NVIDIA ディープラーニング最新情報
- 4. #MSTechSummit16 創業1993年 共同創立者兼CEO ジェンスン・フアン （Jen-Hsun Huang） 1999年NASDAQに上場（NVDA） 1999年にGPUを発明 その後の累計出荷台数は1億個以上 2016年度の売上高は50億ドル 社員は世界全体で9,227人 約7,300件の特許を保有 本社は米国カリフォルニア州サンタクララ
- 5. #MSTechSummit16 NINTENDO SWITCH にNVIDIA GPU https://blogs.nvidia.co.jp/2016/10/20/nintendo-switch/
- 6.
- 7.
- 8. #MSTechSummit16 エヌビディアは「AI コンピューティングカンパニー」 GPU コンピューティングビジュアル コンピューティング AI
- 9. #MSTechSummit16 広がるディープラーニング クラウドサービス メディカル メディア & エンターテイメント セキュリティ& 防衛 自動運転 がん細胞検出 糖尿病患者の格付け 創薬 歩行者検出 白線認識 信号機認識 顔認識 監視カメラ サイバーセキュリティ ビデオキャプション コンテンツ ベース サーチ 同時通訳 画像/動画分類 音声認識 自然言語処理
- 10. #MSTechSummit16 エンタープライズの変革 Google: AI によりデータセンターの 消費電力を数百億円規模で低減 Netflix:AI レコメンドエンジンで 年間 1000 億円の損失を防ぐ AdTheorent: モバイル向け広告で、 バーゲンシーズンの効果が4 倍
- 11. #MSTechSummit16 “AI と人間のコラボレーション により、PayPal は警報の 誤報率を半分に出来た” -HuiWang, Senior Director of Global Risk Sciences, PayPal
- 12. #MSTechSummit16 世界のソーシャルメディアにより 販売される売り上げの約 25% が Pinterestに集まっています AIによりユーザーエンゲージメント が 50%向上
- 13.
- 14. #MSTechSummit16 “GPU を使用することで CPU に比べ物体認識が 48倍速くなった” -Saverio Murgia, Horus CEO and co-founder
- 15.
- 16. #MSTechSummit16 Wepod は世界初の ハンドルを持たない 公道自動走行車 “Wepod はタイヤを履いた スーパーコンピュータだ” -DimitriosKotiadis, senior researcher from TU Delft
- 17.
- 18. #MSTechSummit16 GPU コンピューティング 10年の歩み 20062008 2012 20162010 2014 Fermi: 世界初の HPC 用 GPU オークリッジ国立研究所の世界最速 GPU スーパーコンピュータ 世界初の HIV カプシドの 原子モデルシミュレーション GPU AI システムが碁の 世界チャンピオンを破る スタンフォード大学が GPU を 利用した AI マシンを構築 世界初のヒトゲノムの 3次元マッピング CUDA 発表 世界初の GPU Top500 システム Google が ImageNet で 人間を超える H1N1 の異変の 仕組みを解明 GPU を利用した AlexNet が圧勝
- 19. #MSTechSummit16 CUDA とは CPU +GPU ヘテロジニアス コンピューティング CUDA (クーダ): 並列コンピューティングのための統合開発環境 GPU コンピューティング: CUDAにより、簡素化・効率化された複合並列計算手法 CPU 従来のコンピューティング
- 20. #MSTechSummit16 GPUアプリケーションの例 画像処理 コンピュータビジョン 医療画像防衛 計算化学 気象 金融工学 バイオ 数値解析 http://www.nvidia.com/object/gpu-applications.html
- 21. #MSTechSummit16 広がるGPUコンピューティング 2008 2016 15万 CUDA Downloads 4,000 AcademicPapers 60 Universities Teaching 77 Supercomputing Teraflops 3700万 CUDA GPUs 27 CUDA Apps 350万 CUDA Downloads 400 CUDA Apps 950 Universities Teaching 77,500 Academic Papers 77,000 Supercomputing Teraflops 6億3800万 CUDA GPUs
- 22. #MSTechSummit16 TOP500 / Green500 年に2 回、6 月と 11 月に発表される「スパコン世界ランキング」 2016 年 11 月のランキングは まもなく “SC16” で発表
- 23. #MSTechSummit16 世界初の GPU スパコン- TSUBAME 1.2 NVIDIA Tesla S1070 搭載 実効性能 77.5 TFLOPS 29 位にランクイン
- 24. #MSTechSummit16 Tianhe-1A – 2010年 11 月の世界トップ https://www.top500.org/system/176929
- 25. #MSTechSummit16 TSUBAME 2.0 –TESLA C2050 搭載 https://www.top500.org/system/176927 NVIDIA Tesla C2050 搭載 実効性能 1.192 PFLOPS 4 位にランクイン
- 26. #MSTechSummit16 2012 年 11月の世界トップ https://www.top500.org/system/177975 NVIDIATesla K20x 搭載 実効性能 17.6 PFLOPS
- 27. #MSTechSummit16 米国フラグシップ スーパーコンピュータ IBM POWER9CPU + NVIDIA Volta GPU NVLink 超高速インターコネクト ノード当り 40 テラフロップス以上 3,400ノード以上 2017年稼動予定 SUMMIT SIERRA ピーク性能 150-300 ペタフロップス ピーク性能 100 ペタフロップス以上 エクサスケールへの大きなステップ
- 28.
- 29.
- 30. #MSTechSummit16 2007 年当時の状況 ここ数年、新しいモデル表現の提案、機械学習法の進歩、 計算機の高速化などにより、急速に研究が進展しており、 現在は 101種類の対象に対して6 割程度の精度で認識が可能となってきている。 「山」「椅子」「ラーメン」などの我々にとって馴染み深い対象が写った画像を 計算機によって自動的に検出することは、現状では極めて困難である。 http://foodcam.org/IPSJ-TCVIM-Yanai.pdf
- 31.
- 32. #MSTechSummit16 マルチ GPU を活用 Gradientascent with small mini-batches cannot be meaningfully parallelized across multiple servers. Instead, we utilize multiple NVidia Tesla GPGPU devices connected to a single host. 小さなミニバッチでの勾配上昇法は複数サーバーへの並列化ができないため 我々は複数の NVIDIA Tesla GPU を 1 台のホストに搭載した https://www.microsoft.com/en-us/research/publication/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/
- 33. #MSTechSummit16 GPU の効果は絶大 The speed-upfrom using GPGPUs is so large GPU による高速化は非常に大きなものである https://www.microsoft.com/en-us/research/publication/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/
- 34. #MSTechSummit16 2012 年 DNNで音声認識 Geoffrey Hinton Li Deng Dong Yu George Dahl Abdel-rahman Mohamed Navdeep Jaitly Andrew Senior Vincent Vanhoucke Patrick Nguyen Brian Kingsbury Tara Sainath 豪華な著者達 https://www.microsoft.com/en-us/research/publication/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/
- 35. #MSTechSummit16 この研究でも GPU を活用 Atpresent, the most effective parallelization method is to parallelize the matrix operations using a GPU. 現時点でもっとも効果的な並列化手法は GPU で行列演算を行うことだ https://www.microsoft.com/en-us/research/publication/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/
- 36.
- 37.
- 38.
- 39. #MSTechSummit16 ディープラーニングによるブレークスルー エラー率: 5.98%, 2015/1/13, Baidu 4.94%,2015/2/6, Microsoft 4.82%, 2015/2/11, Google 精度 % 2010 201420122011 2013 74% 84% ディープラーニング 従来手法 72% 人間と同等以上の精度に到達
- 40. #MSTechSummit16 畳み込みニューラルネットワークと GPU Luckily, currentGPUs, paired with a highly-optimized implementation of 2D convolution, are powerful enough to facilitate the training of interestingly-large CNNs, 幸運なことに、最新の GPU と高度に最適化された 2D 畳み込み 処理実装の組み合わせは、大きな畳み込みニューラルネットワークを トレーニングするのに十分な能力がある https://www.microsoft.com/en-us/research/publication/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/
- 41. #MSTechSummit16 畳み込みニューラルネットワークと GPU Our networktakes between five and six days to train on two GTX 580 3GB GPUs. 我々の（ニューラル）ネットワークは、2 枚の GTX 580 3GB GPU で 5~6 日間トレーニングした https://www.microsoft.com/en-us/research/publication/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/
- 42.
- 43. #MSTechSummit16 畳み込みニューラルネットワークと GPU All ofour experiments suggest that our results can be improved simply by waiting for faster GPUs and bigger datasets to become available. 単純にもっと速い GPU と今より大きなデータセットさえあれば、 さらに良い結果が得られるであろう https://www.microsoft.com/en-us/research/publication/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/
- 44.
- 45. #MSTechSummit16 ディープラーニング 画像認識（例） 入力画像 教師データ/認識 “猫” ディープ ニューラル ネットワーク(DNN) 特徴の抽出、識別を DNN が自動で行う
- 46.
- 47. #MSTechSummit16 コンボリューション（畳み込み）とは？ 2D コンボリューション I1 I2I3 I4 I5 I6 I7 I8 I9 I10 I11 I12 I13 I14 I15 I16 I17 I18 I19 I20 I21 I22 I23 I24 I25 I26 I27 I28 I29 I30 I31 I32 I33 I34 I35 I36 F1 F2 F3 F4 F5 F6 F7 F8 F9 O1 対象画像 フィルタ O2 O3 … 画像すべてを変換するまで続ける = F1*I1 + F2*I2 + F3*I3 + F4*I7 + F5*I8 + F6*I9 + F7*I13 + F8*I14 + F9*I15
- 48. #MSTechSummit16 何をしているのか? 類似性を計測 1 0 00 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 1 0 0 0 1 0 0 0 1 Position 1 Position 2
- 49.
- 50. #MSTechSummit16 広がり始めた用途 画像・音声・センサなどのビッグデータから認識・分析・予測 画像クラス分け・オブジェクト検出 顔認識・セキュリティ 音声認識・自然言語処理 自動運転メディカルイメージング・バイオ ロボット・ドローン
- 51. #MSTechSummit16 AI 革命の舞台が整う 2012: GPUディープラーニング ビッグバン 2015: DNN が画像認識で 人間を超える精度を達成 2016:マイクロソフトの DNN が 音声認識で新たな マイルストーンに到達 74% 96% 2010 2011 2012 2013 2014 2015 Deep Learning Human Hand-coded CV Microsoft, Google 3.5% error rate Microsoft 09/13/16 “The Microsoft 2016 Conversational Speech Recognition System.” W. Xiong, J. Droppo, X. Huang, F. Seide, M. Seltzer, A. Stolcke, D. Yu, G. Zweig. 2016
- 52.
- 53.
- 54. #MSTechSummit16 Azure N シリーズGPU インスタンス 2 種類の NVIDIA GPUを搭載 サイズ コア数 メモリ SSD RDMA GPU NV6 6 56 GB 380 GB - M60 半分 (GPU 1基) NV12 12 112 GB 680 GB - M60 1枚 (GPU 2基) NV24 24 224 GB 1.5 TB - M60 2枚 (GPU 4基) NC6 6 56 GB 380 GB - K80 半分 (GPU 1基) NC12 12 112 GB 680 GB - K80 1枚 (GPU 2基) NC24 24 224 GB 1.5 TB - K80 2枚 (GPU 4基) NC24r 24 224 GB 1.5 TB InfiniBand K80 2枚 (GPU 4基) Visualization の NV 系 Tesla M60搭載 Compute の NC 系 Tesla K80 搭載
- 55. #MSTechSummit16 2012 20142008 20102016 2018 48 36 12 0 24 60 72 Tesla Fermi Kepler Maxwell Pascal 混合精度演算 倍精度演算 3D メモリ NVLink Volta GPU ロードマップ SGEMM/W C2070, M2090 C1060, S1070 K10, K20X, K40, K80 M40, M60 P100 NVLink, PCIe
- 56.
- 57.
- 58. #MSTechSummit16 NV インスタンスは NVIDIAGRID 対応 NVIDIA GRID Software Azure NV/NVIDIA Tesla M60 GPUs Azure IaaS
- 59. #MSTechSummit16 NV6 で FPSをリモート実行 http://lg.io/2016/10/12/cloudy-gamer-playing-overwatch-on-azures-new-monster-gpu-instances.html
- 60.
- 61.
- 62.
- 63. #MSTechSummit16 ディープラーニング プラットフォーム すべての主要なフレームワークは NVIDIASDK をサポート コンピュータービジョン 物体検出 画像分類 音声 音声認識 翻訳 自然言語処理 レコメンデーションエンジン 感情分析 ディープラーニングフレームワーク Mocha.jl NVIDIA ディープラーニング SDK developer.nvidia.com/deep-learning-software
- 64. #MSTechSummit16 TESLA P100 世界で最も早い計算ノードを実現するあらたな GPUアーキテクチャ Pascalアーキテクチャ NVLink CoWoS HBM2 Page Migration Engine 最高の計算性能 最大のスケーラビリティを実現する GPU間通信 計算処理エンジンとメモリを1パッケージ 莫大な仮想メモリ空間により並列プロ グラミングをシンプルに Unified Memory CPU Tesla P100
- 65.
- 66. #MSTechSummit16 0x 16x 32x 48x 64x 0 16 3248 64 ストロングスケール VASP 性能 2x P100 CPU: Dual Socket Intel E5-2680v3 12 cores, 128 GB DDR4 per node, FDR IB VASP 5.4.1_05Feb16, Si-Huge Dataset. 16, 32 Nodes are estimated based on same scaling from 4 to 8 nodes Caffe AlexNet scaling data: https://software.intel.com/en-us/articles/caffe-training-on-multi-node-distributed-memory-systems-based-on-intel-xeon-processor-e5 CAFFE ALEXNET 性能 4x P100 8x P100 Single P100 PCIe Node vs Lots of Weak Nodes # of CPU Server Nodes Speed-upvs1CPUServerNode 0x 2x 4x 6x 8x 10x 12x 0 4 8 12 16 20 24 28 32 2x P100 8x P100 Single P100 PCIe Node vs Lots of Weak Nodes # of CPU Server Nodes Speed-upvs1CPUServerNode 4x P100 64 CPU Nodes 32 CPU Nodes 1つのストロングノードは多くのウィークノードよりも高速
- 67. #MSTechSummit16 リニアなスケーリングを実現するNVLINK 1.0x 2.0x 3.0x 4.0x 5.0x 6.0x 7.0x 8.0x 1GPU 2GPU 4GPU8GPU AlexnetOWT DGX-1 P100 PCIE Deepmark test with NVCaffe. AlexnetOWT use batch 128, Incep-v3/ResNet-50 use batch 32, weak scaling, P100 and DGX-1 are measured, FP32 training, software optimization in progress, CUDA8/cuDNN5.1, Ubuntu 14.04 1.0x 2.0x 3.0x 4.0x 5.0x 6.0x 7.0x 8.0x 1GPU 2GPU 4GPU 8GPU Incep-v3 DGX-1 P100 PCIE 1.0x 2.0x 3.0x 4.0x 5.0x 6.0x 7.0x 8.0x 1GPU 2GPU 4GPU 8GPU ResNet-50 DGX-1 P100 PCIE Speedup 2.3x 1.3x 1.5x
- 68. #MSTechSummit16 TESLA P100 アクセラレータ TeslaP100 for NVLink-enabled Servers Tesla P100 for PCIe-Based Servers 倍精度 5.3 TF 単精度 10.6 TF 半精度 21.2 TF メモリ容量 16 GB メモリバンド幅 720 GB/S 倍精度 4.7 TF 単精度 9.3 TF 半精度 18.7 TF Config 1: メモリ容量 16 GB メモリバンド幅 720 GB/S Config 2: メモリ容量 12 GB メモリバンド幅 540 GB/S
- 69. #MSTechSummit16 K40 K80 +cuDNN1 M40 + cuDNN4 P100 + cuDNN5 0x 10x 20x 30x 40x 50x 60x 70x ディープラーニングの イノベーションを 急速に加速 AlexNet training throughput based on 20 iterations, CPU: 1x E5-2680v3 12 Core 2.5GHz. 128GB System Memory, Ubuntu 14.04 M40 bar: 8x M40 GPUs in a node P100: 8x P100 NVLink-enabled ディープラーニング トレーニング パフォーマンス Caffe AlexNet 2013 2014 2015 2016 Speed-upofImages/SecvsK40in2013
- 70. #MSTechSummit16 ディープラーニングに最適化 8 基の TeslaP100 NVLink システムインターコネクト 半精度 170 テラフロップス 主要 AI フレームワークを加速 NVIDIA DGX-1 世界初のディープラーニング用スーパーコンピュータ
- 71.
- 72. #MSTechSummit16 K80 M40 M4 P100 (SXM2) P100 (PCIE) P40P4 GPU 2x GK210 GM200 GM206 GP100 GP100 GP102 GP104 PEAK FP64 (TFLOPs) 2.9 NA NA 5.3 4.7 NA NA PEAK FP32 (TFLOPs) 8.7 7 2.2 10.6 9.3 12 5.5 PEAK FP16 (TFLOPs) NA NA NA 21.2 18.7 NA NA PEAK TIOPs NA NA NA NA NA 47 22 Memory Size 2x 12GB GDDR5 24 GB GDDR5 4 GB GDDR5 16 GB HBM2 16/12 GB HBM2 24 GB GDDR5 8 GB GDDR5 Memory BW 480 GB/s 288 GB/s 80 GB/s 732 GB/s 732/549 GB/s 346 GB/s 192 GB/s Interconnect PCIe Gen3 PCIe Gen3 PCIe Gen3 NVLINK + PCIe Gen3 PCIe Gen3 PCIe Gen3 PCIe Gen3 ECC Internal + GDDR5 GDDR5 GDDR5 Internal + HBM2 Internal + HBM2 GDDR5 GDDR5 Form Factor PCIE Dual Slot PCIE Dual Slot PCIE LP SXM2 PCIE Dual Slot PCIE Dual Slot PCIE LP Power 300 W 250 W 50-75 W 300 W 250 W 250 W 50-75 W TESLA 製品一覧
- 73.
- 74. #MSTechSummit16 何十億もの AI インテリジェントデバイス 「GPUの性能が今後向上するにつれ、何十億ものインテリジェントデバイス がディープラーニングを利用して、ユーザーごとのカスタマイズや自己位置 認識ができるようになるだろう」 — Tractica
- 75. #MSTechSummit16 JETSON TX1 組込み AIスーパーコンピューター 10W | 1 TF FP16 | 20+ イメージ/秒/W
- 76.
- 77. #MSTechSummit16 FANUC 未来の工場構築に NVIDIA AIプラットフォームを選択
- 78. #MSTechSummit16 FANUC 未来の工場構築に NVIDIA AIプラットフォームを選択 学習用 GPU FANUC AI ブレイン 推論用 GPU 全マシンの運用 GPU
- 79.
- 80.
- 81. #MSTechSummit16 AI トランスポーテーション —1000 兆円産業の創出 認識 自己位置推定 ドライビング ディープラーニング
- 82. #MSTechSummit16 NVIDIA DRIVE PX2 オートクルーズから完全自律運転まで 同一アーキテクチャで実現 Full Autonomy AutoChauffeur AutoCruise 自動運転 認識、判断、運転 AI スーパーコンピューティング、AI アルゴリズム、 ソフトウェアスケーラブルアーキテクチャ
- 83. #MSTechSummit16 NVIDIA DRIVE PX2 AUTOCRUISE 10W AI スーパーコンピューター | パッシブ クーリング | 車載 IO AI ハイウェイドライビング | 自己位置推定とマッピング
- 84.
- 85.
- 86.
- 87. #MSTechSummit16 プロジェクト XAVIER AI スーパーコンピューターSOC 70億トランジスタ 16m FinFET 8 コア カスタム ARM64 CPU 512 コア Volta GPU 新コンピュータービジョン アクセラレーター 2 基の 8K HDR ビデオプロセッサ ASIL Cレベルの機能安全
- 88. #MSTechSummit16 DRIVE PX 2 2PARKER + 2 PASCAL GPU | 20 TOPS DL | 120 SPECINT | 80W XAVIER 20 TOPS DL | 160 SPECINT | 20W プロジェクト XAVIER AI スーパーコンピューター SOC
- 89. #MSTechSummit16 DriveWorks Alpha 1 すべての領域にNVIDIA AI コンピューティング END-TO-END ディープラーニング AI 自動車 AI マニュファクチャリング AI の未来 Xavier