Download as PDF, PPTX
![汎用プロセッサの性能向上の鈍化
[1] C Moore, “Data Processing in ExaScale-Class Computer Systems”, April 2011
9
シングルスレッド性能や周波数の
向上は頭打ち
一方で、搭載可能なトランジスタ数は増加
(が、まもなく頭打ちになると言われている )](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-9-2048.jpg)
![Raspberry Pi 4 Model B
14
►ARM製CPUを搭載した、標準的な
シングルボードコンピューター
-VideoCore GPUも搭載
CPU ARM Cortex-A57 1.5GHz
GPU Broadcom VideoCore VI
Memory LPDDR4 128-bit 8GB
Performance [FLOPS] 48G(FP32)
Power[W] 7.6](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-14-2048.jpg)
![NVIDIA Jetson Xavier NX
16
[1] NVIDIA, https://www.nvidia.com/ja-jp/autonomous-machines/embedded-systems/jetson-xavier-nx/
►NVIDIA製GPUが搭載されたSoC
-VoltaアーキテクチャのGPUを搭載
CPU ARM Cortex-A57 1.5GHz
GPU NVIDIA 384-core Volta
Memory LPDDR4 128-bit 8GB
Performance [OPS] 21T(int8) / 6T(fp16) [1]
Bandwidth[GB/s] 51.2 [1]
Power[W] 10 or 15 [1]](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-16-2048.jpg)
![GPU (Graphic Processing Unit)
17
►CPUに比べて大量の演算器を並べたプロセッサ
-その代わり、制御用の回路を少なくしている
[1] NVIDIA, “CUDA C++ Programming Guide”, CUDA TOOLKIT DOCUMENTATION v11.2.0](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-17-2048.jpg)
![Avnet Ultra96-V2
19
CPU ARM Cortex-A53 1.5GHz
GPU ARM Mali-400 MP2
Accelerator FPGA Xilinx 154K System Logic Cells
Memory LPDDR4
Performance [OPS] ??? (実装次第)
Power[W] ??? (実装次第)
►Xilinx製FPGAを搭載した評価用ボード](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-19-2048.jpg)
![Google Coral Dev Board
22
►EdgeTPUを搭載した開発用ボード
[1] https://coral.ai/products/dev-board/
CPU ARM Cortex-A53 1.6GHz / ARM Cortex-M4
GPU Vivante GC7000Lite
Accelerator Google Edge TPU ML accelerator coprocessor
Memory LPDDR4 4GB
Performance [OPS] 4T (int8) [1]
Power[W] 2TOP / W (TPU部のみ) [1]](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-22-2048.jpg)
![EdgeTPU
23
►行列積を高速に処理するアクセラレータ
-Int8同士の行列積のみを取り扱う
⇒量子化が必要
►Systolic Arrayのアーキテクチャを採用
[1] Google Cloud, Google の Tensor Processing Unit (TPU) で機械学習が 30 倍速くなるメカニズム
, https://cloud.google.com/blog/ja/products/gcp/an-in-depth-look-at-googles-first-tensor-processing-unit-tpu
Cloud用TPUのアーキテクチャ図[1]
(※EdgeTPUとは異なる可能性アリ)](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-23-2048.jpg)
![再掲: NVIDIA Jetson Xavier NX
28
►NVIDIA製GPUが搭載されたSoC
-VoltaアーキテクチャのGPUを搭載
CPU ARM Cortex-A57 1.5GHz
GPU NVIDIA 384-core Volta
Memory LPDDR4 128-bit 8GB
Performance [FLOPS] 21T(int8)/6T(fp16)
Bandwidth[GB/s] 51.2
Power[W] 10 or 15
この値に注目](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-28-2048.jpg)
![ルーフラインモデル
30
►演算強度に対するピーク性能の値をプロットしたグラフ
-演算強度[FLOPS/Byte] := 計算量 / メモリ帯域
[1] Norman P. Jouppi, et al, In-Datacenter Performance Analysis of a Tensor Processing Unit, https://arxiv.org/abs/1704.04760](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-30-2048.jpg)
![TensorCore[1]
31
►NVIDIA Volta世代以降のGPUに搭載されている演算器
-Volta世代では、4x4のFP16の行列積が1サイクルで計算可能
-Jetson Xavier NXではTensorCoreを使った場合にピーク性能が達成可能
[1] NVIDIA, NVIDIA Tensor コア, https://www.nvidia.com/ja-jp/data-center/tensor-cores/](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-31-2048.jpg)
![軽量なネットワークモデルを選ぼう
34
Network Profile MADDs[M] Params[M] ImageNet Top-1 Accuracy[%]
VGG-16[1]
15300 138 71.5
ResNet-18[2]
1800 5.8 69.8
ResNet-50[2]
3800 26 76.0
MobileNet V1[3]
1.0 569 4.2 70.6
MobileNet V2[4]
1.0 300 3.4 72.0
MobileNet V3[5]
Large-1.0 219 5.4 75.2
EfficientNet[6]
B0 390 5.3 77.1
[1] Karen Simonyan, et al, Very Deep Convolutional Networks for Large-Scale Image Recognition, https://arxiv.org/abs/1409.1556
[2] Kaiming He, et al, Deep Residual Learning for Image Recognition, https://arxiv.org/abs/1512.03385
[3] Andrew G. Howard, et al, MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, https://arxiv.org/abs/1704.04861
[4] Mark Sandler, et al, MobileNetV2: Inverted Residuals and Linear Bottlenecks, https://arxiv.org/abs/1801.04381
[5] Andrew Howard, et al, Searching for MobileNetV3, https://arxiv.org/abs/1905.02244
[6] Mingxing Tan, et al, EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, https://arxiv.org/abs/1905.11946
計算量・メモリ使用量
が少ない、軽量なネッ
トワークモデル](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-34-2048.jpg)
![Arm NN[1]
37
►ARM SoC向けのNNフレームワーク
-ARM製CPUだけでなく、
Mali GPU や
NPU(Neural Processing Unit)
向けのコード生成も可能
[1] arm, Arm NN Software Developer Kit (SDK), https://developer.arm.com/ip-products/processors/machine-learning/arm-nn](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-37-2048.jpg)
![TensorRT[1]
38
►NVIDIA GPU向けのDNN推論最適化エンジン
[1] NVIDIA, NVIDIA TensorRT, https://developer.nvidia.com/Tensorrt](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-38-2048.jpg)
![Vitis-AI[1]
39
►Xilinx製FPGA向けのDNN最適化フレームワーク
-DNNモデルに対して最適化を行い、DPU[2]
IP上で実行可能な命令を生成
-DPU IPはリソース使用量や対応レイヤに応じてカスタマイズが可能
[1] Xilinx, Vitis AI, https://japan.xilinx.com/products/design-tools/vitis/vitis-ai.html
[2] Xiilinx, DPU for Convolutional Neural Network, https://japan.xilinx.com/products/intellectual-property/dpu.html](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-39-2048.jpg)
![TVM[1]
40
►様々なアーキテクチャ向けの推論処理の最適化と
コード生成が可能なコンパイラフレームワーク
[1] Tianqi Chen et al, TVM: An Automated End-to-End Optimizing Compiler for Deep Learning, https://arxiv.org/abs/1802.04799](https://image.slidesharecdn.com/20210118-seminar-ai-iot-device-selection-210120044725/75/AI-IoT-40-2048.jpg)
Uploaded byFixstars Corporation
ソフト高速化の専門家が教える！AI・IoTエッジデバイスの選び方
2021年1月18日に、AI・IoTのエッジデバイス選定をするアーキテクト向けに、AI・IoTエッジデバイスを選ぶ際、どこに気を付けるべきかを紹介するウェビナーを開催しました。デバイスの特性とワークロードごとの相性などを踏まえた上で、注目すべきメトリクスを分かりやすく解説したほか、 アプリをエッジデバイスごとに自動最適化してベンチマーク比較を行うフィックスターズのSaaS「Genesis DevEnv」も紹介しています。 講演内容 ・AI・IoTエッジデバイスの現状 ・ソフトウェアの高速化とは ・デバイス選定時の重要なメトリクス ・画像処理用DSL「Halide」を利用した多デバイス向けのソフトウェア高速化 ・エッジAIデバイス向けベンチマークSaaS「Genesis DevEnv」のご紹介 ・質問応答 発表者 丸岡 晃（株式会社フィックスターズ, Genesis事業部ディレクター）
More Related Content
![[DLHacks]StyleGANとBigGANのStyle mixing, morphing](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks0805-190815052222-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets](https://cdn.slidesharecdn.com/ss_thumbnails/20220325okimura-220405024717-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to ソフト高速化の専門家が教える！AI・IoTエッジデバイスの選び方
![[Japan Tech summit 2017] MAI 001](https://cdn.slidesharecdn.com/ss_thumbnails/techsummit2017pdfmai001-171115034129-thumbnail.jpg?width=640&height=640&fit=bounds)
ソフト高速化の専門家が教える！AI・IoTエッジデバイスの選び方
- 1.
- 2. 丸岡 晃 (AkiraMaruoka) ►所属: 株式会社フィックスターズ -GENESIS DevEnv内で利用している 最適化コンパイラの研究開発 -アプリケーションの手動高速化 • アプリケーションは画像処理・画像認識がメイ ン • CPU/GPU/FPGA 一通り高速化します 2
- 3.
- 4. 会社概要 4 大崎本社 横浜事業所 Fixstars Solutions,Inc.（米国カリフォルニア州、 100%子会社） 株式会社 Fixstars Autonomous Technologies (株式会社ネクスティエレクトロニクスとの合弁会社 ) 株式会社 Sider (ソフトウェア品質解析や向上のための SaaSサービスを開発 ) 株式会社 Smart Opinion (乳がんAI画像診断支援事業 ) 設立 2002年8月 資本金 5億5,341万円 （2020年9月末 現在） 社員数 253名（2020年9月末 現在） 所在地 大崎（本社）、横浜 代表取締役社長 三木 聡 主な取引先 キオクシア、東芝、キヤノン、日立製作所、日立ハイテクノロジーズ、オリンパス、みずほ証券など 連結子会社 ソフトウェア 高速化サービス拠点 FixstarsAT拠点
- 5.
- 6.
- 7.
- 8.
- 9. 汎用プロセッサの性能向上の鈍化 [1] C Moore,“Data Processing in ExaScale-Class Computer Systems”, April 2011 9 シングルスレッド性能や周波数の 向上は頭打ち 一方で、搭載可能なトランジスタ数は増加 (が、まもなく頭打ちになると言われている )
- 10. 要求性能の増加 10 ►DNNを使った推論処理では 大量の演算性能が必要 Simone Bianco, etal, Benchmark Analysis of Representative Deep Neural Network Architectures, https://arxiv.org/abs/1810.00736
- 11.
- 12.
- 13. 4つのデバイスを取り上げて、それぞれの特徴を紹介 13 CPU (+ GPU)CPU + GPU CPU + FPGA CPU + 専用チップ
- 14. Raspberry Pi 4Model B 14 ►ARM製CPUを搭載した、標準的な シングルボードコンピューター -VideoCore GPUも搭載 CPU ARM Cortex-A57 1.5GHz GPU Broadcom VideoCore VI Memory LPDDR4 128-bit 8GB Performance [FLOPS] 48G(FP32) Power[W] 7.6
- 15.
- 16. NVIDIA Jetson XavierNX 16 [1] NVIDIA, https://www.nvidia.com/ja-jp/autonomous-machines/embedded-systems/jetson-xavier-nx/ ►NVIDIA製GPUが搭載されたSoC -VoltaアーキテクチャのGPUを搭載 CPU ARM Cortex-A57 1.5GHz GPU NVIDIA 384-core Volta Memory LPDDR4 128-bit 8GB Performance [OPS] 21T(int8) / 6T(fp16) [1] Bandwidth[GB/s] 51.2 [1] Power[W] 10 or 15 [1]
- 17. GPU (Graphic ProcessingUnit) 17 ►CPUに比べて大量の演算器を並べたプロセッサ -その代わり、制御用の回路を少なくしている [1] NVIDIA, “CUDA C++ Programming Guide”, CUDA TOOLKIT DOCUMENTATION v11.2.0
- 18.
- 19. Avnet Ultra96-V2 19 CPU ARMCortex-A53 1.5GHz GPU ARM Mali-400 MP2 Accelerator FPGA Xilinx 154K System Logic Cells Memory LPDDR4 Performance [OPS] ??? (実装次第) Power[W] ??? (実装次第) ►Xilinx製FPGAを搭載した評価用ボード
- 20. FPGA (Field ProgrammableGate Array) 20 ►製造後に購入者や設計者が構成を設定できる集積回路 -内部のハードウェア実装の書き換えが可能 ►様々なインターフェースに対応 -イメージセンサーから入力されたデータを メモリを介すことなく、直接処理可能 ⇒低レイテンシ処理が実現可能
- 21.
- 22. Google Coral DevBoard 22 ►EdgeTPUを搭載した開発用ボード [1] https://coral.ai/products/dev-board/ CPU ARM Cortex-A53 1.6GHz / ARM Cortex-M4 GPU Vivante GC7000Lite Accelerator Google Edge TPU ML accelerator coprocessor Memory LPDDR4 4GB Performance [OPS] 4T (int8) [1] Power[W] 2TOP / W (TPU部のみ) [1]
- 23. EdgeTPU 23 ►行列積を高速に処理するアクセラレータ -Int8同士の行列積のみを取り扱う ⇒量子化が必要 ►Systolic Arrayのアーキテクチャを採用 [1] GoogleCloud, Google の Tensor Processing Unit (TPU) で機械学習が 30 倍速くなるメカニズム , https://cloud.google.com/blog/ja/products/gcp/an-in-depth-look-at-googles-first-tensor-processing-unit-tpu Cloud用TPUのアーキテクチャ図[1] (※EdgeTPUとは異なる可能性アリ)
- 24.
- 25.
- 26.
- 27. が、強いてコツをあげるなら… 27 1. ピーク性能の値に注目しよう 2. メモリ帯域の値に注目しよう 3.ピーク性能が達成される条件を知ろう 4. アプリケーションの処理内容を知ろう
- 28. 再掲: NVIDIA JetsonXavier NX 28 ►NVIDIA製GPUが搭載されたSoC -VoltaアーキテクチャのGPUを搭載 CPU ARM Cortex-A57 1.5GHz GPU NVIDIA 384-core Volta Memory LPDDR4 128-bit 8GB Performance [FLOPS] 21T(int8)/6T(fp16) Bandwidth[GB/s] 51.2 Power[W] 10 or 15 この値に注目
- 29.
- 30. ルーフラインモデル 30 ►演算強度に対するピーク性能の値をプロットしたグラフ -演算強度[FLOPS/Byte] := 計算量/ メモリ帯域 [1] Norman P. Jouppi, et al, In-Datacenter Performance Analysis of a Tensor Processing Unit, https://arxiv.org/abs/1704.04760
- 31. TensorCore[1] 31 ►NVIDIA Volta世代以降のGPUに搭載されている演算器 -Volta世代では、4x4のFP16の行列積が1サイクルで計算可能 -Jetson XavierNXではTensorCoreを使った場合にピーク性能が達成可能 [1] NVIDIA, NVIDIA Tensor コア, https://www.nvidia.com/ja-jp/data-center/tensor-cores/
- 32.
- 33.
- 34. 軽量なネットワークモデルを選ぼう 34 Network Profile MADDs[M]Params[M] ImageNet Top-1 Accuracy[%] VGG-16[1] 15300 138 71.5 ResNet-18[2] 1800 5.8 69.8 ResNet-50[2] 3800 26 76.0 MobileNet V1[3] 1.0 569 4.2 70.6 MobileNet V2[4] 1.0 300 3.4 72.0 MobileNet V3[5] Large-1.0 219 5.4 75.2 EfficientNet[6] B0 390 5.3 77.1 [1] Karen Simonyan, et al, Very Deep Convolutional Networks for Large-Scale Image Recognition, https://arxiv.org/abs/1409.1556 [2] Kaiming He, et al, Deep Residual Learning for Image Recognition, https://arxiv.org/abs/1512.03385 [3] Andrew G. Howard, et al, MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, https://arxiv.org/abs/1704.04861 [4] Mark Sandler, et al, MobileNetV2: Inverted Residuals and Linear Bottlenecks, https://arxiv.org/abs/1801.04381 [5] Andrew Howard, et al, Searching for MobileNetV3, https://arxiv.org/abs/1905.02244 [6] Mingxing Tan, et al, EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, https://arxiv.org/abs/1905.11946 計算量・メモリ使用量 が少ない、軽量なネッ トワークモデル
- 35. ネットワーク軽量化技法を適用しよう 35 ► 量子化 -通常浮動小数点で扱われるアクティベーションや重みの値を整数に近似する手法 -量子化を適用することによって積和演算のスループットを上げられることが多い -メモリ使用量やメモリ帯域量も削減できることが可能 TensorFlow Blog,Quantization Aware Training with TensorFlow Model Optimization Toolkit - Performance with Accuracy, https://blog.tensorflow.org/2020/04/quantization-aware-training-with-tensorflow-model-optimization-toolkit.html
- 36.
- 37. Arm NN[1] 37 ►ARM SoC向けのNNフレームワーク -ARM製CPUだけでなく、 MaliGPU や NPU(Neural Processing Unit) 向けのコード生成も可能 [1] arm, Arm NN Software Developer Kit (SDK), https://developer.arm.com/ip-products/processors/machine-learning/arm-nn
- 38. TensorRT[1] 38 ►NVIDIA GPU向けのDNN推論最適化エンジン [1] NVIDIA,NVIDIA TensorRT, https://developer.nvidia.com/Tensorrt
- 39. Vitis-AI[1] 39 ►Xilinx製FPGA向けのDNN最適化フレームワーク -DNNモデルに対して最適化を行い、DPU[2] IP上で実行可能な命令を生成 -DPU IPはリソース使用量や対応レイヤに応じてカスタマイズが可能 [1] Xilinx,Vitis AI, https://japan.xilinx.com/products/design-tools/vitis/vitis-ai.html [2] Xiilinx, DPU for Convolutional Neural Network, https://japan.xilinx.com/products/intellectual-property/dpu.html
- 40. TVM[1] 40 ►様々なアーキテクチャ向けの推論処理の最適化と コード生成が可能なコンパイラフレームワーク [1] Tianqi Chenet al, TVM: An Automated End-to-End Optimizing Compiler for Deep Learning, https://arxiv.org/abs/1802.04799
- 41.
- 42.
- 43. Device pool GENESISの概要 Backend Frontend ● フロントエンド WebUI経由で容易にア プリケーション構築 横断的なベンチマーク 結果を表示 ● バックエンド 研究成果であるコンパ イラ基盤を用いて 様々なターゲットに 最適化・変換 ● デバイスプール 各種ハードウェアを セットアップし、 クラウド上での 性能評価が可能 1.モデルコンパイラ 開発者 CPU GPU FPGA AI Chip VSION Sensor Imaging Sensing ✔ チップボードやセンサーの性能 を活かしたサンプル使用例を公 開 ✔ クラウドベースの製品展示によ り、サポート工数を最小にし、 瞬時に世界中の見込み顧客に 届けられます。 モバイル ビジョン 自動モビリティ 産業用 画像処理 開発者所有のエッジデバイスにデ プロイも可能 エッジビジョンAIの開発・評価のための クラウドプラットフォーム Private サプライヤ 2.ドメイン固有 コンパイラ 3.高位合成 コンパイラ
- 44. GENESISの特長 1. クラウドで完結 ブラウザさえあれば、ビジョン処理の実装から実機を使った性能評価までできる 2. ドメイン固有コンパイラによる強力な開発支援 様々なハードウェア向けの大域的な最適化から、ハードウェアデザインの生成までやってくれる 3.モデルベースの直感的な操作 絶対性能や電力効率を比較しながら、アルゴリズムとハードウェアの最適な組み合わせを探せる 4. 開発者の手元で最適化されたコードを実行可能 コンパイラが最適化したコードを、開発者の手元のデバイスにもデプロイして実行することができる
- 45. GENESIS ワークフロー ① • テンプレート ✔アプリケーション例 • Stereo Matching • Object Detection • 6 Pipeline ISP • etc. ✔ 追加、修正に柔軟に対応 • アプリケーションの追加 • アプリケーションの登録 ✔ 使い方のサンプル枠 • 機能センサの使用例など
- 46. GENESIS ワークフロー ② • ビルディングブロック ✔最低限の機能単位 • フィルタ処理 • 深度推定 • オブジェクト認識 • SLAM • 各種I/O ✔ 追加、修正に柔軟に対応 • 機能ブロックの追加 • パラメータの変更 ✔ 差異化IPのサンプル枠
- 47. GENESIS ワークフロー ③ • アプリケーション作成 ✔キャンバス内操作 • ドラッグ＆ドロップ • コーディングレス ✔ ビルディングブロック接続 • 入出力を矢印で結合 ✔ プレビュー機能 • 出力画像確認
- 48. GENESIS ワークフロー ④ • ベンチマークレポート ✔機器上での実行結果 ✔ 性能指標 • 実行時間 • 消費電力 • スループット ✔ 性能指標の比較 • ハードウェア別 • ビルディングブロック別
- 49. GENESIS ワークフロー ⑤ • 最適化パターン ✔ハードウェア別に複数生成 ✔ スケジューリング • CPU • GPU • 専用アクセラレータ
- 50. GENESIS ワークフロー ⑥ • デプロイ ✔アプリケーション実行 • クラウド機器 • ローカル機器 ✔ 実行コード ✔ ファイルダウンロード可
- 51. Nurturing Promotion ・モジュール、IP提供 ・Online Project 参画 Cooperation Search ・実/仮想/モデル ・UserFeedback ・Online 教育 ・技術ブログ発信 ・デバイス探索 ・アルゴP最適化 University ・AI Research ・Machine Vision Maker ・AIoT Products Device Maker Device Distributor ・Imaging/Sensing ・CPU/GPU/FPGA Platformer ・SaaS GENESISが実現する共創モデル ➥ GENESISというプラットフォーム上でニューノーマル時代の 共創モデルを実現し、Society 5.0 の実現を加速します
- 52.
- 54. 業界向けテンプレート ビルディングブロック プロセッサ・センサ ジェスチャ認識 セグメン テーション 超解像変換 ノイズリダクション AIChip Various Sensor RSC-V SoC FPGA SoC モバイルビジョン 自動モビリティ 産業用画像処理 ロボット サービス正式公開に向け鋭意開発中
- 55.
- 56.