This document discusses GPU programming with CUDA. It begins with an introduction to Nvidia graphics cards and the CUDA programming model. It then covers Nvidia GPU architecture such as the evolution of GPU generations from Tesla to Volta. The CUDA programming model is also summarized, including its use of kernels, threads, and memory access. Finally, a case study on implementing dot product parallelization on a GPU is presented to demonstrate CUDA programming.

1. CUDA
Programming
GPU programming with CUDA
Filipo Mór
Plauto Neto
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

2. CUDA
Programming
AGENDA
 INTRODUÇÃO
 NVIDIA GPU ARCHITECTURE
 CUDA PROGRAMMING MODEL
 CASE STUDY
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

3. CUDA
Programming
INTRODUCTION
NVIDIA FIRST GRAPHIC ACCELERATOR
 NVIDIA NV1 – 90’S
 DirectX – 1996
 First GPU – 1999
 NVIDIA GeForce 256
 22 million transistors
 10 million polygons
 32/64MB
 T&L engine (vertex)
 challenging programming
 CUDA – 2006
Compute Unified Device Architecture
GPGPU
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

4. CUDA
Programming
MULTICORE vs MANY-CORE
CPU vs GPU
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

5. CUDA
Programming
MULTICORE vs MANY-CORE
CPU
GPU
•
Based on pipeline philosophy
•
Big amount of parallel data
•
A lot of strucutres for cache and
•
Less strucutres for cache and
control
control
•
More flexible
•
Less flexibility
•
MIMD – task parallelism
•
SIMD – data parallelism
•
Latency sensible
•
Latency tolerant
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

6. CUDA
Programming
NVIDIA GPU ROADMAP
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

7. CUDA
Programming
NVIDIA GPU ROADMAP
GENERATIONS
•
•
•
•
•
TESLA/GEFORCE
• 2006
• Float point algebra
• CUDA
FERMI
• improvements on shared memory
• SLI
KEPLER
• Dynamic Parallelism
• MIMD
MAXWELL
• Unified Virtual Memory
VOLTA
• Stacked DRAM
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

8. CUDA
Programming
DYNAMIC PARALLELISM
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

9. CUDA
Programming
DYNAMIC PARALLELISM
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

10. CUDA
Programming
COMPUTE CAPABILITY
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

11. CUDA
Programming
CUDA PROGRAMMING MODEL
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

12. CUDA
Programming
CUDA PROGRAMMING MODEL
thread ID
•
Basic unit – kernel
•
2
3
4
…
Thread array
•
1
Synchronous or asynchronous
•
0
Array / matrix / cube
[1] Keutzer, K.,Malik, S. Newton, A.R., Rabaye, J.M. and Sangiovanni Vincentelli, A.: System-level design: orthogonolization of concerns and platform-based
design. IEEE Trans. Comput. Aided Des. Integr. Circuits Syst.,2000,19, (12), pp. 1523-1543
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

13. CUDA
Programming
CUDA PROGRAMMING MODEL
•
Basic unit – kernel
•
Synchronous or asynchronous
•
Thread array
•
Array / matrix / cube
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

14. CUDA
Programming
CUDA PROGRAMMING MODEL
Coalesced memory access!
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

15. CUDA
Programming
CASE STUDY
•
DOT PRODUCT
𝑛
𝐴∙ 𝐵=
𝑎 𝑖 𝑏 𝑖 = 𝑎1 𝑏1 + 𝑎2 𝑏2 + ⋯ + 𝑎 𝑛 𝑏 𝑛
𝑖=1
𝐴 = 𝑎1 , 𝑎2 , … , 𝑎 𝑛
𝐵 = (𝑏1 , 𝑏2 , … , 𝑏 𝑛 )
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

16. CUDA
Programming
CASE STUDY
•
DOT PRODUCT
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

17. CUDA
Programming
CASE STUDY
•
DOT PRODUCT
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

18. CUDA
Programming
CASE STUDY
•
DOT PRODUCT
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

19. CUDA
Programming
CASE STUDY
•
DOT PRODUCT
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

20. CUDA
Programming
Perguntas !!!
PUCRS - PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO