PBL1-v1-012j.pptx
•Download as PPTX, PDF•
0 likes•3 views
IMAX3: Amazing Dataflow-Centric CGRA and its Applications I present this slide to all hungry engineers who are tired of CPU, GPU, FPGA, tensor core, AI core, who want some challenging one with no black box inside, and who want to improve by themselves.
More Related Content
Similar to PBL1-v1-012j.pptx
Similar to PBL1-v1-012j.pptx (20)
More from NAIST
More from NAIST (19)
Recently uploaded
Recently uploaded (8)
PBL1-v1-012j.pptx
- 1. CPU GPU Ultimate CGRA w/ high-speed compiler CGRA for Energy-efficient Cryptography Beyond-Neuromorphic Systems Non-Deterministic Computing 1 ナレータ VOICEVOX:もち子(cv 明日葉よもぎ) はらぺこエンジニアに贈るCGRAの世界2022 （12.拡張性編）
- 2. 2 Scalar, SIMD and CGRA 20220202 time I1 L2 VST L2 VLD VLD VFMA I1 L2 VST L2 VLD VLD VFMA I1 L2 VST L2 VLD VLD VFMA I1 L2 VST L2 VLD VLD VFMA MM LD LM MM LD LM FMA LM ST LD LM LD LM FMA LM ST LD LM MM LD LM FMA LM ST LD LM LD LM FMA LM ST LD LM MM LD LM FMA LM ST LD LM LD LM FMA LM ST LD LM MM LD LM FMA LM ST LD LM LD LM FMA LM ST LD LD FMA ST D1 D1 D1 I1 I1 I1 L2 L2 LD LD FMA ST D1 D1 D1 I1 I1 I1 L2 L2 LD LD FMA ST D1 D1 D1 I1 I1 I1 L2 L2 LD LD FMA ST D1 D1 D1 I1 I1 I1 L2 L2 LD LD FMA ST D1 D1 D1 I1 I1 I1 L2 L2 LD LD FMA ST D1 D1 D1 I1 I1 I1 L2 L2 LD LD FMA ST D1 D1 D1 I1 I1 I1 L2 L2 LD LD FMA ST D1 D1 D1 I1 I1 I1 L2 L2 MM I1 I1 I1 I1 VST VST VST VST VFMA VFMA VFMA VFMA VLD VLD VLD VLD VLD VLD VLD VLD MM Scalar (VL=32) Vector1 (VL=256) Vector2 (VL=2048) CGRA (VL=16K)
- 6. IMAX (64units) x 120 modules = 307200 operations / 4 cycles 20210401 6 HBM2 HOST HOST IMAX (1.2mm2/8nm) x 120 modules ≃ 144mm2 ?
- 7. Top-down approach 20210401 7 HBM2 HOST HOST I/O I/O FFT CONV MM SORT SpMM
- 9. 20210401 9 HBM2 and VMK version will appear soon IMAX2: Ultra-speed compilable CGRA 2022/12/XX First CGRA, based on linear cores (not island-style) 32-unit, 1280-operations/4cycle (768-int32, 256-fp32, 256-media8/16, 512-load/store, 1024-stochastic-fma8, and 128-sparse-matrix) IMAX2 32 cores 250MHz 1280 operations per 4 cycles ALVEO-U280/U280 Memory/core: 64KB Operations/core: 32-load/8-store, quad-sparse-load, 3-cascaded octa-int/media, octa-single-float FMA, 32-stochastic FMA http://archlab.naist.jp/proj-arm64/fpga/U280-step4000-20221020.img.gz IMAX2 32 cores 250MHz 1280 operations per 4 cycles VMK180/VM1802 Memory/core: 64KB Operations/core: 32-load/8-store, quad-sparse-load, 3-cascaded octa-int/media, octa-single-float FMA, 32-stochastic FMA http://archlab.naist.jp/proj-arm64/fpga/VMK180-step4000-20221020.img.gz
- 10. You can test IMAX 20210401 10
Editor's Notes
- 様々なアプリケーションを取りあげて、アイマックスのポテンシャルを説明するシリーズです。第12回は、アイマックスの拡張性について説明します。
- 大規模化してみましょう。スカラ型のCPUにも、32要素くらいのSIMD命令はあります。コア数を増やすと性能が上がります。ただし、うまくプログラムしないと、キャッシュメモリに当たらなくなって、性能向上がすぐに頭打ちになります。256要素以上のSIMDは、ベクトルとも呼ばれます。ベクトルには２種類あります。ベクトル１は、キャッシュメモリにつながっています。キャッシュメモリは容量が小さいので、ベクトル演算の要素数は、256程度しかありません。ベクトル２は、しゅきおくにつながっていて、要素数を2048くらいまで長くできます。最後のCGRAには、様々な構成があります。この図は、演算器と64キロバイトのローカルメモリをサンドイッチ構造にしたものです。一度に扱える要素数は16000になりました。不規則なメモリ参照をローカルメモリが吸収することで、しゅきおく参照を規則的にして性能を上げます。また、複数のしゅきおく空間をパイプライン処理に組み込んで、全体として長いパイプラインを作ることもできます。
- 演算器だけ増やしても、なんの意味もないことは、もう知っていますね。アイマックスは、外部メモリバンド幅を有効利用できる特長を生かして、規模を拡張することができます。具体的には、HBM2という、ポートがたくさんあるメモリを使います。普通は、たくさんのCPUをつないでおしまいですが、アイマックスの場合、HBM2の1レーンに、アイマックスをつなぐことで、普通のシステムではありえない規模の並列実行ができます。
- 前の図は、一般的なCGRAのマイクロパイプライン動作でした。次はダブルバッファリングを使ったミディアムパイプライニングです。FFTや、マージソートに使いました。
- そして、これが、アイマックスならではの、マイクロパイプライニングと、ミディアムパイプライニングと、マクロパイプライニングの混成パイプラインです。HBM2の各レーンに、異なる機能を写像し、HBM2を介して、複数レーンをパイプライン動作させます。例えば、上にFFT、真ん中に疎行列圧縮、下に疎行列積といった具合です。全部のレーンが、同じ計算をするだけでは、芸がないですよね。こんな使い方もできて当然です。
- 例えば、1レーンに、64ユニットかける4基のアイマックスをつなぐと、1レーンに10240オペレーションが写像できます。30レーンある場合は、307200オペレーションが写像できることになります。ちなみに、この場合、64ユニットのアイマックスが、120基繋がります。1基の面積は、8ナノメータで作ると、1.2平行ミリなので、合計144平方ミリ、600平方ミリのGPGPUの、4分の1の面積です。
- 改めて、アプリケーションからトップダウンに考えます。主記憶内に、このように、様々なデータが配置されていて、パイプライン的に加工されていくとします。主記憶に対する複数のデータの流れを邪魔しないように、データの加工に必要な途中結果は、主記憶以外の場所を使うことが望ましいです。そこで、アイマックスの出番です。リング構造と、ローカルメモリを最大限利用して、主記憶の外にパイプラインを作ることができます。
- たとえばこんな感じです。途中、複雑な条件分岐を必要とする処理があれば、CPUを組み込むこともできます。
- ということで、HBM2が使えるタンデムアイマックスを準備中です。ついでに、VMKバージョンも準備中です。そのうち、ダウンロードできるようになります。
- こんな場所に置くので、あとで探してみてください。では、今回はここまで。