An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA

1. LeapMind, inc. Architecture Unit Leader 山田貴登 2018/2/17 FPGAX @ DOWANGO An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA

2. Contents 1. 発表者とLeapMindの紹介（ちょっと） 2. DeepLearningのおさらい（ちょっと） 3. FPGAのNNアクセラレーションの現状 4. FPGAのNNアクセラレーション技術の紹介 1. SWからのアプローチ（ちょっと） 2. HWからのアプローチ 3. 結果 5. 問題と解決策 6. まとめ

3. LeapMind, Inc. © 2017 山田貴登 Takato Yamada 役割 LeapMind株式会社でDNNの高速化手法やFPGAを用いたアクセラレータや各種機械学習フレームワークからマルチ環境で動作するプログラムを生成するツール Juiz-DLKの開発を担当。趣味 • コンピュータに関するもの笑 • バドミントンブログ http://cparch-mclearn.blogspot.jp/ 機会学習や計算機科学に関する内容を掲載中。去年の末に初めたばかりでほとんど記事がないのは内緒。(´-｀) Twitter @tkclimb0911 (ティーケークライムと読む？？）発表者紹介

4. LeapMind, Inc. © 2017 LeapMindの紹介: 会社概要 & ビジネス Company LeapMind株式会社 Established in 2012年12月25日 Capital 781,984,235円（総投資額 $14M） CEO 松田総一 Major Shareholder Intel capital、伊藤忠テクノロジーベンチャーズ、Visionnaire Ventures、NTTデータ、NECキャピタル Employees 47名 Head Office 渋谷区円山町28-1 渋谷道玄坂スカイビル 5F 研究ソリューションライセンスサービス提供共同研究技術提供

8. FPGAのNNアクセラレーションの現状

10. LeapMind, Inc. © 2017 FPGAのNNアクセラレーションの現状: ベースライン FPGAを用いたSW、HW共に工夫を加えていないNNアクセラレータ(GX1150)。 Optimizing FPGA-based Accelerator Design for Deep Convolutional Neural Networks, https://dl.acm.org/citation.cfm?id=2689060 スループット [GOPS] エネルギー効率 [GOPS/J] 866 20.75 主要なNNアクセラレータと比べてみると… ほぼ全てに負けている。。＿|￣|◯ スループット [GOPS] エネルギー効率 [GOPS/J] FPGA 866 20.75 V100 120000 400 TPU 92000 2300 Xavier 20000 1000 Miriad2 3000 6000 Google Pixel 24000 x

13. LeapMind, Inc. © 2017 NNのHWアクセラレーションの研究 : 概要 NNのHWアクセラレーションについてよくまとめられた３つのサーベイ論文。 • Efficient Processing of Deep Neural Networks: A Tutorial and Survey http://eyeriss.mit.edu/tutorial.html • Deep Learning on FPGAs: Past, Present, and Future https://arxiv.org/abs/1602.04283 • A Survey of FPGA Based Neural Network Accelerator https://arxiv.org/abs/1712.08934

14. LeapMind, Inc. © 2017 A Survey of FPGA Based Neural Network Accelerator 2017年12月24日(日曜日) クリスマスイブ! にarXiv上に公開されたある意味少し可哀想なサーベイ論文。この時、主も部屋で一人で論文を読んでいた記憶があるので感慨深い１本である。 FPGAにおける既存のNNアクセラレータについての紹介と速度とエネルギー効率の面から解析および比較を行っている。結論として、各技術を組み合わせた理想的なFPGA NNアクセラレータの性能見積もりを提示している。今回紹介する組み合わせ及び結果はほとんどこの論文に載っているので、気になる方はぜひ読んでみてください。（一部、計算過程が不明だったので最後の結果は多少改変している。）また、全文の日本語訳も本発表の後にブログにて掲載します。 A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934

15. LeapMind, Inc. © 2017 FPGAによるNNアクセラレータに用いられている手法の分類 A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 異なる領域に含まれる技術は組み合わせ可能!! 1. SWからのアプローチ - データの量子化 - モデルのプルーニング 2. HWからのアプローチ - 計算ユニットレベル 1. 低ビット幅ユニット 2. 高速コンボリューション 3. DSP最適化 4. 動作周波数最適化 -ループアンローリングレベル -システムデザインレベル

16. LeapMind, Inc. © 2017 DeepLearningのおさらい: FC layer（推論のみ）入力層のニューロン(xi)を重み(wij)を介して次の層のニューロン(yj) に接続する。２つの層における数式は単純な行列-ベクトル積で表すことができる。 Efficient Processing of Deep Neural Networks: A Tutorial and Survey, http://eyeriss.mit.edu/tutorial.html

17. LeapMind, Inc. © 2017 DeepLearningのおさらい: Recurrent & Sparse（推論のみ）応用として、各ニューロンを自身に接続するRecurrent (a)や、ニューロン間の結合を疎にするSparse Connection (b)などがある。 Efficient Processing of Deep Neural Networks: A Tutorial and Survey, http://eyeriss.mit.edu/tutorial.html

18. LeapMind, Inc. © 2017 DeepLearningのおさらい: Convolution layer（推論のみ） Efficient Processing of Deep Neural Networks: A Tutorial and Survey, http://eyeriss.mit.edu/tutorial.html 画像処理DNNでよく用いられる数式モデル。入力特徴マップ(I)とフィルタ(W)の畳み込みを行い、出力特徴マップの各要素を出力する。

20. LeapMind, Inc. © 2017 A Survey of FPGA Based Neural Network Accelerator 本文中において、FPGAによるNNアクセラレータは２つの問題があると述べられている。 • 動作周波数がCPU, GPUと比べて大幅に低い（100〜300Hz） • 実装が難しい（DNN開発フレームワークもサポートしてない） → これらを解決することがFPGA NNアクセラレータへの糸口？ A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934

21. LeapMind, Inc. © 2017 FPGA NNアクセラレータの評価基準提案されているNNアクセラレーション手法を、以下3つの指標で評価。 • モデルの精度言うまでもなく、必要。 • スループット • エネルギー効率 A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 動作周波数の向上量子化による演算器の低ビット化モデル圧縮による演算量の削減ループ最適化

22. LeapMind, Inc. © 2017 FPGA NNアクセラレータの評価基準 • モデルの精度の向上より深い層を構築子たり、層の種類変更するなど多岐にわたる。ただし、他の２つに影響を与えないように注意する必要がある。 • スループットの向上 workloadを減らす → データ量子化(SW) ピーク性能の改善 → 動作周波数の増加 → 計算ユニットの単純化 → データ量子化(SW) utilizationの改善 → 処理の並列度を上げる(HW) → メモリアクセスパターンの変更(SW) • エネルギー効率オペレーション数の改善 → モデル圧縮(SW) 性能の改善にはソフトウェアとハードウェアの協調設計が必須 A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934

23. LeapMind, Inc. © 2017 HWからのアプローチ: ベースラインの改善「Optimizing FPGA-based Accelerator Design for Deep Convolutional Neural Networks」で提案されている32-bit浮動小数点モデルをベースラインとして提案されているモデルを比較していく。(GX1150) A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 スループット [GOPS] エネルギー効率 [GOPS/J] 32-bit 浮動小数点 866 20.75 16-bit 固定小数点 1790 47.78 Alteraの方がいらっしゃったらごめんなさい。。(´∀｀；)

24. LeapMind, Inc. © 2017 FPGAによるNNアクセラレータに用いられている手法の分類 A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 今のFPGA NNアクセラレータの性能エネルギー効率 = 21 スループット = 866 1. SWからのアプローチ - データの量子化 - モデルのプルーニング 2. HWからのアプローチ - 計算ユニットレベル 1. 低ビット幅ユニット 2. 高速コンボリューション 3. DSP最適化 4. 動作周波数最適化 -ループアンローリングレベル -システムデザインレベル

25. LeapMind, Inc. © 2017 SWからのアプローチ（ちょっと）: Data Quantization 各ニューロンや重みに対してより少ないビット幅を用いることで、演算器が単純化になり、リソースの節約や動作周波数の向上につながる。また、メモリ帯域を縮小してシステムのストレージ要求も低下させる。 • Fixed Point: Integer * 2^nで表される実数表現。 • Linear Quantization: Fixed Pointより精度が良く、計算ユニットも単純になる。複雑なネットワークの場合精度が落ちやすい。 • Non-Linear Quantization: LQよりも精度が良いが単純な実装が難しい。LUTによる実装が現実的。 A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934

26. LeapMind, Inc. © 2017 SWからのアプローチ（ちょっと）: Data Quantization 量子化によるビット幅と各ネットワークの精度低下の関連性。 A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 1%程度の誤差低下における許容範囲 → つまり量子化の限界は8-bit（仮）

27. LeapMind, Inc. © 2017 SWからのアプローチ A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 今のFPGA NNアクセラレータの性能エネルギー効率 = 21 スループット = 866 1. SWからのアプローチ - データの量子化 - モデルのプルーニング 2. HWからのアプローチ - 計算ユニットレベル 1. 低ビット幅ユニット 2. 高速コンボリューション 3. DSP最適化 4. 動作周波数最適化 -ループアンローリングレベル -システムデザインレベル

28. LeapMind, Inc. © 2017 SWからのアプローチ（ちょっと）: Model Pruning ディープコンプレッションプルーニング、量子化、ハフマン符号化などを用いてモデルを圧縮する有名論文。結果として、AlexNetのモデル精度を維持したまま、89%の重みを削除可能であることを示した。上記ステップのプルーニングステップに於いてはx9 〜 x13の圧縮率。これは全体として計算量の削減させるためエネルギー効率に直結する。 Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding, https://arxiv.org/abs/1510.00149

29. LeapMind, Inc. © 2017 SWからのアプローチ A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 今のFPGA NNアクセラレータの性能エネルギー効率 = 21 x 10 スループット = 866 1. SWからのアプローチ - データの量子化 - モデルのプルーニング 2. HWからのアプローチ - 計算ユニットレベル 1. 低ビット幅ユニット 2. 高速コンボリューション 3. DSP最適化 4. 動作周波数最適化 -ループアンローリングレベル -システムデザインレベル

30. LeapMind, Inc. © 2017 補足: A Survey of Model Compression and Acceleration for Deep Neural Networks A Survey of Model Compression and Acceleration for Deep Neural Networks: https://arxiv.org/abs/1710.09282 実は２つだけじゃない、DNNにおけるモデルを圧縮・高速化手法。 1. Parameter pruning and sharing モデルパラメータの影響しないパラメータを削除することで、冗長性を減らす。 → 量子化、プルーニングなど 2. Low-rank factorization 行列、テンソル分解を利用して深いCNNにおける有益なパラメータを見積もる。 3. Transferred/Compact convolutional filters データの保持と計算の複雑性を削減ため、特別な構成のコンボリューションフィルタを設計する。 4. Knowledge distillation 蒸留を利用して、大きなネットワークの出力を再現するような小さなネットワークを学習する。

31. LeapMind, Inc. © 2017 HWからのアプローチ A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 今のFPGA NNアクセラレータの性能エネルギー効率 = 21 x 10 スループット = 866 1. SWからのアプローチ - データの量子化 - モデルのプルーニング 2. HWからのアプローチ - 計算ユニットレベル 1. 低ビット幅ユニット 2. 高速コンボリューション 3. DSP最適化 4. 動作周波数最適化 -ループアンローリングレベル -システムデザインレベル

32. LeapMind, Inc. © 2017 計算ユニットレベル: 低ビット幅ユニット NNの演算の殆どは単純な加算または乗算であるため、各演算器の合成に用いられるリソースを減らすことが有効。量子化のスライドで示した各ビット幅に対して、加算と乗算器の合成に必要なLUTとFFのリソースを示す。 (Vivado2017.2を利用、xilinx XC7VX69T?) A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934

33. LeapMind, Inc. © 2017 計算ユニットレベル: 低ビット幅ユニット Float32に対してfixed16は約70%のリソース節約! → 1.4倍の高速化 A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 NNの演算の殆どは単純な加算または乗算であるため、各演算器の合成に用いられるリソースを減らすことが有効。量子化のスライドで示した各ビット幅に対して、加算と乗算器の合成に必要なLUTとFFのリソースを示す。 (Vivado2017.2を利用、xilinx XC7VX69T?)

34. LeapMind, Inc. © 2017 計算ユニットレベル: 低ビット幅ユニット Float32に対してfixed8は約93%のリソース節約!! → 約14倍 A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 NNの演算の殆どは単純な加算または乗算であるため、各演算器の合成に用いられるリソースを減らすことが有効。量子化のスライドで示した各ビット幅に対して、加算と乗算器の合成に必要なLUTとFFのリソースを示す。 (Vivado2017.2を利用、xilinx XC7VX69T?)

35. LeapMind, Inc. © 2017 計算ユニットレベル: 低ビット幅ユニット Float32に対してfixed4は約98%のリソース節約!!!! → 約54倍 NNの演算の殆どは単純な加算または乗算であるため、各演算器の合成に用いられるリソースを減らすことが有効。量子化のスライドで示した各ビット幅に対して、加算と乗算器の合成に必要なLUTとFFのリソースを示す。 (Vivado2017.2を利用、xilinx XC7VX69T?)

36. LeapMind, Inc. © 2017 計算ユニットレベル: 低ビット幅ユニット Float32に対してfixed4は約98%のリソース節約!!!! → 約54倍 NNの演算の殆どは単純な加算または乗算であるため、各演算器の合成に用いられるリソースを減らすことが有効。量子化のスライドで示した各ビット幅に対して、加算と乗算器の合成に必要なLUTとFFのリソースを示す。 (Vivado2017.2を利用、xilinx XC7VX69T?) しかし、1%の誤差で許容可能なビット幅は8bitまで、最終的なスループット向上はx14倍。( ；∀；)

37. LeapMind, Inc. © 2017 HWからのアプローチ A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 エネルギー効率 = 21x 10 x 14 スループット = 866 x 14 今のFPGA NNアクセラレータの性能 1. SWからのアプローチ - データの量子化 - モデルのプルーニング 2. HWからのアプローチ - 計算ユニットレベル 1. 低ビット幅ユニット 2. 高速コンボリューション 3. DSP最適化 4. 動作周波数最適化 -ループアンローリングレベル -システムデザインレベル

38. LeapMind, Inc. © 2017 計算ユニットレベル: 高速コンボリューション単純にコンボリューションを計算する代わりに、特別なアルゴリズムを用いることで計算を高速化できる。離散フーリエ変換やWinograd等の方法がある。詳しくは、Ideinさんの素晴らしい資料があるのでそちらを http://sssslide.com/speakerdeck.com/nineties/convolutionfalsearugorizumu または、Modern Computer Algebraをご参照ください。

39. LeapMind, Inc. © 2017 計算ユニットレベル: Winogradとスライディングウィンド設計研究「 Evaluating Fast Algorithms for Convolutional Neural Networks on FPGAs」では F(6, 4)のWinogradと入力と出力にスライディングウィンドを用いた Evaluating Fast Algorithms for Convolutional Neural Networks on FPGAs: http://ieeexplore.ieee.org/document/7966660/ 16-bit 固定小数点とVGG16において3044GOPS、 124.6GOPS/Jを達成。ベースラインの速度で約4倍, エネルギー効率で約3倍の性能向上。

40. LeapMind, Inc. © 2017 HWからのアプローチ A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 エネルギー効率 = 21 x 10 x 14 x 3 スループット = 866 x 14 x 4 今のFPGA NNアクセラレータの性能 1. SWからのアプローチ - データの量子化 - モデルのプルーニング 2. HWからのアプローチ - 計算ユニットレベル 1. 低ビット幅ユニット 2. 高速コンボリューション 3. DSP最適化 4. 動作周波数最適化 -ループアンローリングレベル -システムデザインレベル

41. LeapMind, Inc. © 2017 システムレベルデザイン論文「Double MAC: Doubling the performance of convolutional neural networks on modern FPGAs」ではABとACは１つの乗算 (A ・(B<<k+C))として同時に計算することを提案した。kが十分に大きければ、ABとACのビットは乗算結果の内部で重複することなく直接分離が可能。(下は k == 9の場合) Double MAC: Doubling the performance of convolutional neural networks on modern FPGAs: http://ieeexplore.ieee.org/document/7927113/ データアクセス制約などを考慮しなければ理論上のスループットは2倍向上。

42. LeapMind, Inc. © 2017 HWからのアプローチ A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 エネルギー効率 = 21 x 10 x 14 x 3 スループット = 866 x 14 x 4 x 2 今のFPGA NNアクセラレータの性能 1. SWからのアプローチ - データの量子化 - モデルのプルーニング 2. HWからのアプローチ - 計算ユニットレベル 1. 低ビット幅ユニット 2. 高速コンボリューション 3. DSP最適化 4. 動作周波数最適化 -ループアンローリングレベル -システムデザインレベル

43. LeapMind, Inc. © 2017 計算ユニットレベル: 動作周波数の最適化研究「A High-Throughput Reconfigurable Processing Array for Neural Networks」では他のNNアクセラレータがDSPを理論周波数で動作させていないことに着目し、DSPのみをXilinx UltraScaleを741 MHzとUltraScale+を891 MHzで上で独立して動作させるデザインを提案。計算ユニットには２次元シストリックアレイを用いている。この技術を用いない既存デザインが300MHzで動作していることを考慮すると、その理論上の速度向上率は2倍。

44. LeapMind, Inc. © 2017 HWからのアプローチ A Survey of FPGA Based Neural Network Accelerator: https://arxiv.org/abs/1712.08934 エネルギー効率 = 21 x 10 x 14 x 3 スループット = 866 x 14 x 4 x 2 x 2 今のFPGA NNアクセラレータの性能周波数を上昇させるためエネルギー効率に影響がありそう。完全動作するNNアクセラレータとして提案されていない。上記の理由から理論見積もりには適用しません。 1. SWからのアプローチ - データの量子化 - モデルのプルーニング 2. HWからのアプローチ - 計算ユニットレベル 1. 低ビット幅ユニット 2. 高速コンボリューション 3. DSP最適化 4. 動作周波数最適化 -ループアンローリングレベル -システムデザインレベル

45. LeapMind, Inc. © 2017 NNのFPGAアクセラレーション技術: 結果最終的なスループットとエネルギー効率は?? エネルギー効率 = 21 x 10 x 14 x 3 = 8820 GOPS/J スループット = 866 x 14 x 4 x 2 = 96992 GOPS スループット [GOPS] エネルギー効率 [GOPS/J] FPGA 96992 8820 V100 120000 400 TPU 92000 2300 Xavier 20000 1000 Miriad2 3000 6000 Google Pixel 24000 x

49. LeapMind, Inc. © 2017 問題現実はそんなに甘くない。提案したFPGA NN Acceleratorは問題が満載 • 今回はあくまで理論、実装レベルで適用可能かどうか検証されていない • そもそも推論しかターゲットにしていない • SWとHWの協調設計を行う際、機械学習フレームワークによる学習から FPGAデザインの合成を行うまでフローが自動化されていない • 最小のビット幅は8-bit • 新しい技術が出るたびにそれを最適化するのが高コスト LeapMindの技術で改善可能？？

50. LeapMind, Inc. © 2017 解決策: JUIZ DLK SWとHWの協調設計を行う際、機械学習フレームワークによる学習から FPGAデザインの合成を行うまでフローが自動化されていない → Frameworkから出力できるフォーマットから、Device上で動作する最適化されたバイナリを直接生成。 GPU FPGA (SDSoC) CUDA OpenCL ARM Intel JUIZ DLK CoreML LLVM NNVM TVM

51. LeapMind, Inc. © 2017 解決策: JUIZ DLK 新しい技術が出るたびにそれを最適化するのが高コスト → スケジュールによる生成記述で行うことで、最新 GPU FPGA (SDSoC) CUDA OpenCL ARM Intel JUIZ DLK CoreML LLVM NNVM TVM Halideを参考にしている。アルゴリズムのスケジュールによる自動最適化。 LLVMを参考にしている。計算グラフをPassにより最適化

An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA

An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA

Recommended

More Related Content

What's hot

What's hot(20)

Similar to An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA

Similar to An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA(20)

More from LeapMind Inc

More from LeapMind Inc(17)

An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA