Downloaded 58 times
![ネットワークの定義
def linear_layer(input_var, output_dim):
input_dim = input_var.shape[0]
## Define weight W
weight_param = C.parameter(shape=(input_dim,
output_dim))
## Define bias b
bias_param = C.parameter(shape=(output_dim))
## Wx + b. Pay attention to the order of variables!!
return bias_param + C.times(input_var, weight_param)
z = linear_layer(input, num_outputs)](https://image.slidesharecdn.com/mfmn62fvts6j7sypnh5q-signature-8e85595b7892db5c3fb860713d633a0f31b999bcb2bc44dec3b2f8ed40493417-poli-180918214750/75/Deep-Learning-6-Library-13-2048.jpg)
![損失関数、最適化方法の定義
## 損失関数
loss = C.cross_entropy_with_softmax(z, label)
## 分類エラー("分類として"当たっているか否か)
eval_error = C.classification_error(z, label)
## 最適化
learner = C.sgd(z.parameters, lr_schedule)
trainer = C.Trainer(z, (loss, eval_error), [learner])](https://image.slidesharecdn.com/mfmn62fvts6j7sypnh5q-signature-8e85595b7892db5c3fb860713d633a0f31b999bcb2bc44dec3b2f8ed40493417-poli-180918214750/75/Deep-Learning-6-Library-14-2048.jpg)
![A Cloud-Scale Acceleration Architecture [MICRO’16]](https://image.slidesharecdn.com/mfmn62fvts6j7sypnh5q-signature-8e85595b7892db5c3fb860713d633a0f31b999bcb2bc44dec3b2f8ed40493417-poli-180918214750/75/Deep-Learning-6-Library-68-2048.jpg)
![Pretrained DNN モデル を ソフト DPU にコンパイルするため
の
フレームワーク中立の連合コンパイラとランタイム
狭精度 DNN 推論のための適応型 ISA
高速変化する AI アルゴリズムをサポートする柔軟性と拡張性
BrainWave Soft DPU マイクロアーキテクチャ
狭精度、低遅延バッチに最適
FPGA 上でモデルパラメータを完全に永続化するオンチップ
メモリは、
多数の FPGA にまたがってスケーリングすることにより、
大規模なモデルをサポート
Intel の FPGA を スケールする HW マイクロサービスに展開
[マイクロ ' 16]](https://image.slidesharecdn.com/mfmn62fvts6j7sypnh5q-signature-8e85595b7892db5c3fb860713d633a0f31b999bcb2bc44dec3b2f8ed40493417-poli-180918214750/75/Deep-Learning-6-Library-74-2048.jpg)
Uploaded byDaiyu Hatakeyama
機械学習 / Deep Learning 大全 (6) Library編
Deep Learning を行う上で、CTNKなどのライブラリーの利用は欠かせません。ここでは、CNTK、Windows MLそして、FPGAについて取り扱います。
More Related Content
![[基調講演] DLL_RealtimeAI](https://cdn.slidesharecdn.com/ss_thumbnails/dllabdaykeynotesakakibara-180710072423-thumbnail.jpg?width=640&height=640&fit=bounds)
![[GTCJ2018] Optimizing Deep Learning with Chainer PFN得居誠也](https://cdn.slidesharecdn.com/ss_thumbnails/gtcj2018optimizingdeeplearningwithpfnseiyatokui-181009073509-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db analytics showcase Sapporo 2017] B14: GPU コンピューティング最前線 by エヌビディア 佐々木邦暢](https://cdn.slidesharecdn.com/ss_thumbnails/20170630dbassprnvidia-170707074715-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to 機械学習 / Deep Learning 大全 (6) Library編
![[AI05] 目指せ、最先端 AI 技術の実活用！Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...](https://cdn.slidesharecdn.com/ss_thumbnails/ai05-170602095345-thumbnail.jpg?width=640&height=640&fit=bounds)
![[第2版]Python機械学習プログラミング 第15章](https://cdn.slidesharecdn.com/ss_thumbnails/15-190318023254-thumbnail.jpg?width=640&height=640&fit=bounds)
More from Daiyu Hatakeyama
機械学習 / Deep Learning 大全 (6) Library編
- 1.
- 3.
- 4.
- 5. https://arxiv.org/pdf/1608.07249.pdf DL F/W FCN-SAlexNet ResNet-50 LSTM-64 CNTK 0.017 0.031 0.168 0.017 Caffe 0.017 0.027 0.254 -- TensorFlow 0.020 0.317 0.227 0.065 Torch 0.016 0.043 0.144 0.324
- 8.
- 9.
- 10.
- 11.
- 12. 入力・出力変数の定義 import cntk asC ## 入力変数(年齢, 腫瘍の大きさ)の2種類あり input_dim = 2 ## 分類数(疾患の有無なので2値) num_output_classes = 2 ## 入力変数 feature = C.input_variable(input_dim, np.float32) ## 出力変数 label = C.input_variable(num_output_classes, np.float32)
- 13. ネットワークの定義 def linear_layer(input_var, output_dim): input_dim= input_var.shape[0] ## Define weight W weight_param = C.parameter(shape=(input_dim, output_dim)) ## Define bias b bias_param = C.parameter(shape=(output_dim)) ## Wx + b. Pay attention to the order of variables!! return bias_param + C.times(input_var, weight_param) z = linear_layer(input, num_outputs)
- 14. 損失関数、最適化方法の定義 ## 損失関数 loss =C.cross_entropy_with_softmax(z, label) ## 分類エラー("分類として"当たっているか否か) eval_error = C.classification_error(z, label) ## 最適化 learner = C.sgd(z.parameters, lr_schedule) trainer = C.Trainer(z, (loss, eval_error), [learner])
- 15. モデル学習 for i inrange(0, num_minibatches_to_train): ## Extract training data features, labels = generate_random_data_sample(minibatch_size, input_dim, num_output_classes) ## Train trainer.train_minibatch({feature : features, label : labels})
- 16. モデル評価 out = C.softmax(z) result= out.eval({feature : features})
- 17. with cntk.layers.default_options(activation=cntk.ops.relu, pad=False): conv1= cntk.layers.Convolution2D((5,5), 32, pad=True)(scaled_input) pool1 = cntk.layers.MaxPooling((3,3), (2,2))(conv1) conv2 = cntk.layers.Convolution2D((3,3), 48)(pool1) pool2 = cntk.layers.MaxPooling((3,3), (2,2))(conv2) conv3 = cntk.layers.Convolution2D((3,3), 64)(pool2) f4 = cntk.layers.Dense(96)(conv3) drop4 = cntk.layers.Dropout(0.5)(f4) z = cntk.layers.Dense(num_output_classes, activation=None)(drop4) 例：手書き文字認識 (MNIST)
- 19.
- 20. from cntk importdistributed ... learner = cntk.learner.momentum_sgd(...) # create local learner distributed_after = epoch_size # number of samples to warm start with distributed_learner = distributed.data_parallel_distributed_learner( learner = learner, num_quantization_bits = 32, # non-quantized gradient accumulation distributed_after = 0) # no warm start 損失関数の定義
- 21. minibatch_source = MinibatchSource(...) ... trainer= Trainer(z, ce, pe, distributed_learner) ... session = training_session(trainer=trainer, mb_source=minibatch_source, ...) session.train() ... distributed.Communicator.finalize() # must be called to finalize MPI in case of successful distributed training 最適化方法の定義 https://docs.microsoft.com/en-us/cognitive-toolkit/multiple-gpus-and- machines#2-configuring-parallel-training-in-cntk-in-python
- 22. # GPUを2つ利用し、学習用スクリプトがtraining.py > mpiexec–n 2 python training.py 分散学習の実行方法
- 23. import cntk ## CPU利用時 cntk.device.try_set_default_device(cntk.device.cpu()) ##GPU利用時 cntk.device.try_set_default_device(cntk.device.gpu()) CPU/GPU利用設定
- 24.
- 25.
- 26.
- 27. GPU 学習時間 精度(mAP) 1GPU (NC6) 7分22秒 0.9479 2 GPU (NC12) 3分43秒 0.9479
- 30.
- 31. Azure Machine Learning(Azure ML)
- 33.
- 34.
- 35. スクリーンショットは、RHmm モジュール を読み込んで利用している例。依存関係の ある MASSと nlme を含めている。
- 37.
- 38. Application #1 Application#2 WinML RT API WinML Win32 API WinML Runtime Model Inference Engine DirectML API CPUDirect3D GPU Input Surface Output Surface
- 39.
- 40.
- 41.
- 44.
- 60.
- 61. Catapult v0 Catapult v1 スケールv1 Catapult v2 2011 2012 2013 2014 2015 2016 ... Ignite 本番展開
- 62. Azure ML integration デプロイまでを含んだモデル ライフサイクル管理 Hardware Accelerated Model Gallery Brainwave Compiler & Runtime “Brainslice” Soft Neural Processing Unit
- 63. Performance Flexibility Scale Rapidlyadapt to evolving ML Inference-optimized numerical precision Exploit sparsity, deep compression Excellent inference at low batch sizes Ultra-low latency | 10x < CPU/GPU World’s largest cloud investment in FPGAs Multiple Exa-Ops of aggregate AI capacity Runs on Microsoft’s scale infrastructure Low cost $0.21/million images on Azure FPGA
- 64. F F F L0 L1 FF F L0 Pretrained DNN Model in CNTK, etc. Scalable DNN Hardware Microservice BrainWave Soft DPU Instr Decoder & Control Neural FU 64 Network switches FPGAs
- 65. Model Management Service Azure ML orchestratorPythonand TensorFlow Featurize images and train classifier Classifier (TF/LGBM) Preprocessing (TensorFlow, C++ API) Control Plane Service Brain Wave Runtime FPGA CPU
- 66.
- 67. Web search ranking Traditional software(CPU) server plane QPICPU QSFP 40Gb/s ToR FPGA CPU 40Gb/s QSFP QSFP Hardware acceleration plane 相互接続されたFPGAが従来のソ フトウェアレイヤーとは分離さ れて動作 CPUから独立して管理・使用が 可能 Web search ranking Deep neural networks SDN offload SQL CPUs FPGAs Routers
- 68. A Cloud-Scale AccelerationArchitecture [MICRO’16]
- 69.
- 70. Pretrained DNN モデルを ソフト DPU にコンパイルするため の フレームワーク中立の連合コンパイラとランタイム
- 71. Pretrained DNN モデルを ソフト DPU にコンパイルするため の フレームワーク中立の連合コンパイラとランタイム 狭精度 DNN 推論のための適応型 ISA 高速変化する AI アルゴリズムをサポートする柔軟性と拡張性
- 72. Pretrained DNN モデルを ソフト DPU にコンパイルするため の フレームワーク中立の連合コンパイラとランタイム 狭精度 DNN 推論のための適応型 ISA 高速変化する AI アルゴリズムをサポートする柔軟性と拡張性 BrainWave Soft DPU マイクロアーキテクチャ 狭精度、低遅延バッチに最適
- 73. Pretrained DNN モデルを ソフト DPU にコンパイルするため の フレームワーク中立の連合コンパイラとランタイム 狭精度 DNN 推論のための適応型 ISA 高速変化する AI アルゴリズムをサポートする柔軟性と拡張性 BrainWave Soft DPU マイクロアーキテクチャ 狭精度、低遅延バッチに最適 FPGA 上でモデルパラメータを完全に永続化するオンチップ メモリは、 多数の FPGA にまたがってスケーリングすることにより、 大規模なモデルをサポート
- 74. Pretrained DNN モデルを ソフト DPU にコンパイルするため の フレームワーク中立の連合コンパイラとランタイム 狭精度 DNN 推論のための適応型 ISA 高速変化する AI アルゴリズムをサポートする柔軟性と拡張性 BrainWave Soft DPU マイクロアーキテクチャ 狭精度、低遅延バッチに最適 FPGA 上でモデルパラメータを完全に永続化するオンチップ メモリは、 多数の FPGA にまたがってスケーリングすることにより、 大規模なモデルをサポート Intel の FPGA を スケールする HW マイクロサービスに展開 [マイクロ ' 16]
- 77. FPGA0 FPGA1 Add500 1000-dim ベクトル 1000-dimベクトル 分割 500x500 マトリックス MatMul500 500x500 マトリックス MatMul500 MatMul500 MatMul500 500x500 マトリックス Add500 Add500 Sigmoid500 Sigmoid500 分割 Add500 500 500 concat 500 500 500x500 マトリックス ターゲット コンパイラ FPGA ターゲット コンパイラ CPU-CNTK フロント ポータブル IR ターゲット コンパイラ CPU-カフェ トランスフォーム IRs グラフスプリッタ と オプティマイザ 展開パッケージ Caffe モデル FPGA ハードウェア マイクロサービス CNTK モデル Tensorflow モデル
- 78. = O(N2) data O(N2) compute 入力アクティベーション 出力前のアクティベーション Nウェイトカーネル O(N3) data O(N4K2) compute =
- 79. = O(N2) data O(N2) compute 入力アクティベーション 出力前のアクティベーション O(N3)data O(N4K2) compute =
- 80.
- 81.
- 82.
- 83.
- 84.
- 85.
- 86.
- 87.
- 88.
- 89.
- 91.
- 92.
- 93.
- 94.
- 95.
- 97.
- 98. Neural Functional Unit VRF Instruction Decoder TA TA TA TA TA Matrix-VectorUnit Convert to msft-fp Convert to float16 Multifunction Unit xbar x A + VRF VRF Multifunction Unit xbar x + VRF VRF Tensor Manager Matrix Memory Manager Vector Memory Manager DRAM x A + Activation Multiply Add/Sub Legend Memory Tensor data Instructions Commands TA Tensor Arbiter Input Message Processor Control Processor Output Message Processor A Kernel Matrix Vector Multiply VRFMatrix RF + Kernel Matrix Vector Multiply VRFMatrix RF Kernel Matrix Vector Multiply VRFMatrix RF NetworkIFC ...
- 99.
- 100.
- 101. 1.4 2.0 2.7 4.5 0.0 1.0 2.0 3.0 4.0 5.0 1 2 34 Tera-Operations/sec FPGA Performance vs. Data Type Series1
- 102. 1.4 2.0 2.7 4.5 0.0 1.0 2.0 3.0 4.0 5.0 1 2 34 Tera-Operations/sec FPGA Performance vs. Data Type Series1 0 10 20 30 40 50 60 70 80 90 100 1 2 3 4 Tera-Operations/sec FPGA Performance vs. Data Type Series1 Series3
- 103. 1.4 2.0 2.7 4.5 0.0 1.0 2.0 3.0 4.0 5.0 1 2 34 Tera-Operations/sec FPGA Performance vs. Data Type Series1 12 0 10 20 30 40 50 60 70 80 90 100 1 2 3 4 Tera-Operations/sec FPGA Performance vs. Data Type Series1 Series3
- 104. 1.4 2.0 2.7 4.5 0.0 1.0 2.0 3.0 4.0 5.0 1 2 34 Tera-Operations/sec FPGA Performance vs. Data Type Series1 12 31 0 10 20 30 40 50 60 70 80 90 100 1 2 3 4 Tera-Operations/sec FPGA Performance vs. Data Type Series1 Series3
- 105. 1.4 2.0 2.7 4.5 0.0 1.0 2.0 3.0 4.0 5.0 1 2 34 Tera-Operations/sec FPGA Performance vs. Data Type Series1 12 31 65 0 10 20 30 40 50 60 70 80 90 100 1 2 3 4 Tera-Operations/sec FPGA Performance vs. Data Type Series1 Series3
- 106. 1.4 2.0 2.7 4.5 0.0 1.0 2.0 3.0 4.0 5.0 1 2 34 Tera-Operations/sec FPGA Performance vs. Data Type Series1 12 31 65 90 0 10 20 30 40 50 60 70 80 90 100 1 2 3 4 Tera-Operations/sec FPGA Performance vs. Data Type Series1 Series3
- 107. 1.4 2.0 2.7 4.5 0.0 1.0 2.0 3.0 4.0 5.0 1 2 34 Tera-Operations/sec FPGA Performance vs. Data Type Series1 12 31 65 90 0 10 20 30 40 50 60 70 80 90 100 1 2 3 4 Tera-Operations/sec FPGA Performance vs. Data Type Series1 Series3 0.50 0.60 0.70 0.80 0.90 1.00 1 2 3 Accuracy Impact of Narrow Precison on Accuracy Series1 Series2 Series3
- 108. 15T 40T 65T 90T 0 10 20 30 40 50 60 70 80 90 100 1 2 34 PeakThroughput(Tera-Operations/sec) Single FPGA BrainWave Soft DPU Performance Arria 10 1150 (20nm) ms-fp9 316K ALMs (74%) 1442 DSPs (95%) 2,564 M20Ks (95%) 160 GOPS/W Stratix 10 280 Early Silicon (14nm) ms-fp9 858K ALMs (92%) 5,760 DSPs (100%) 8,151 M20Ks (70%) 320 GOPS/W 720 GOPS/W (production)
- 109. Model Management Service Azure ML orchestratorPythonand TensorFlow Featurize images and train classifier Classifier (TF/LGBM) Preprocessing (TensorFlow, C++ API) Control Plane Service Brain Wave Runtime FPGA CPU
- 110. EUS SEA WEU WUS Stamp: 20 racks Azurebox 24 CPU cores 4 FPGAs BrainWave Azure ML Wire service AML FPGA VM Extension Azure Host MonAgent DNN pipeline
- 111. http://aka.ms/aml-real-time-ai brainwave-edge@microsoft.com Models are easyto create and deploy into Azure cloud Write once, deploy anywhere – to intelligent cloud or edge Manage and update your models using Azure IoT Edge