COMPUTACIÓN HETEROGÉNEA:APLICACIONES YMODELADO DE RENDIMIENTOUnai Lopezunai.lopez@ehu.esIntelligent Systems GroupDepartame...
Índice           ① Estado del arte   ② Ejemplos de aplicaciones         ③ Dificultades (y retos)
ESTADO DEL ARTE
¿Computación Heterogénea?• Usar diferentes tipos de procesadores para maximizar el rendimiento de una aplicación• Motivaci...
Visión general del área      1º Doble                          1ª Chips Tarjeta       Nucleo                           Híb...
GPUs (Graphics Processing Units)• Hardware diseñado para procesamiento de imágenes• Compuesto (entre otros) por:  • Ciento...
Intel Xeon Phi• Tarjeta aceleradora de Intel• 60 Cores x86 @ 1 Ghz * 4 SMT• Máx. 8 GB Memoria dedicada• Dos modos de funci...
FPGAs    • Chips internamente reprogramables: posibilidad de       adaptar el hardware a tu programa    • Principales fabr...
Chips Heterogéneos• Distintos tipos de cores en un mismo chip (P.e. AMD Fusion)• Posibilidad de ofrecer un espacio unifica...
GPGPU (General Purpose computing on GPUs)• Cómputo de propósito general en GPUs• Popular debido a  • Capacidad de procesam...
APLICACIONES
Aplicaciones GPGPU: Subrutinas• BLAS  • Rutinas algebraicas (p.e. multiplicación de matrices)  • CuBLAS 6x a 17x de aceler...
Aplicaciones GPGPU: Stencil• Códigos stencil• Sistemas que actualizan su superficie en cada iteración  • Simulaciones de d...
Aplicaciones GPGPU: KDE• Estimación de densidad (basada en kernels)• Calcular la función de densidad de un espacio  1D:   ...
Aplicaciones GPGPU: KDE• Nuestro enfoque:                        Densidad 2D           Multiprocesador GPU• Las muestras e...
DIFICULTADESEntendidas como retos
Top500 (Nov 2012)
Top500 (Nov 2012) Top3 SINAceleradores Top3 CONAceleradores
Reto 1º: Eficiencia computacional• Aprovechar eficazmente el hardware disponible• A pesar de la enorme capacidad de estas ...
Respuestas al reto 1º• Entender que no todas las aplicaciones son adaptables a  todos las plataformas (GPGPU Hype!)• Hacer...
Reto 2º: Eficiencia energética• Minimizar el consumo manteniendo el rendimiento• El incremento en rendimiento (FLOPS) ha i...
Respuestas al reto 2º• Aprovechar el hardware eficientemente: un acelerador  bien aprovechado resulta en relaciones coste ...
Reto 3º: Herramientas de desarrollo• En la actualidad la mayoría de los programas acelerados  con GPUs se basan en la plat...
Respuesta al reto 3º: OpenCL• Estándar para el desarrollo de aplicaciones paralelas• Soportado en la mayoría de procesador...
Reto 4º: Complejidad de programación• CUDA/OpenCL ofrecen un bajo nivel de abstracción• Ambos requieren como mínimo:  • Co...
Respuesta al reto 4º: OpenACC• «Solución para las masas»• API para descarga de trabajos a aceleradores• Basado en directiv...
CONCLUSIONES
Conclusiones• La computación heterogénea está entre nosotros  • Cada vez hay más jugadores en el área (fabricantes y hardw...
Bibliografía• Unai López, Alexander Mendiburu, Jose Miguel-Alonso. A Survey of    Performance Modeling Techniques for Acce...
Sitios Web relacionados• http://www.top500.org• http://www.green500.org• http://www.graph500.org• http://www.openacc-stand...
COMPUTACIÓN HETEROGÉNEA:APLICACIONES YMODELADO DE RENDIMIENTOUnai Lopezunai.lopez@ehu.esIntelligent Systems GroupDepartame...
Upcoming SlideShare
Loading in …5
×

Computación Heterogénea: Aplicaciones y Modelado de Rendimiento

1,229 views

Published on

Charla realizada en el Master de Sistemas Informáticos Avanzados, UPV/EHU, 16/04/2013

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,229
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
19
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Computación Heterogénea: Aplicaciones y Modelado de Rendimiento

  1. 1. COMPUTACIÓN HETEROGÉNEA:APLICACIONES YMODELADO DE RENDIMIENTOUnai Lopezunai.lopez@ehu.esIntelligent Systems GroupDepartamento de Arquitectura y Tecnología de ComputadoresUPV/EHU
  2. 2. Índice ① Estado del arte ② Ejemplos de aplicaciones ③ Dificultades (y retos)
  3. 3. ESTADO DEL ARTE
  4. 4. ¿Computación Heterogénea?• Usar diferentes tipos de procesadores para maximizar el rendimiento de una aplicación• Motivación: • Los sistemas actuales incluyen procesadores de distinta naturaleza (pero potentes en todo caso) • Hay tipos de procesadores que realizan tareas particulares más eficientemente que otros • Intentar explotar todos los recursos que las máquinas actuales ofrecen• Hoy por hoy lo más común: combinar CPUs + GPUs
  5. 5. Visión general del área 1º Doble 1ª Chips Tarjeta Nucleo Híbridos Aceleradora 1º Doble 1ª Gen 2ª Gen 1ª Chips Nucleo GPGPU GPGPU Híbridos 1ª Gen 2ª Gen 3ª Gen 4ª Gen GPGPU GPGPU GPGPU GPGPU 1ª Gen 2ª Gen CELL CELL 2006 2008 2010 2012
  6. 6. GPUs (Graphics Processing Units)• Hardware diseñado para procesamiento de imágenes• Compuesto (entre otros) por: • Cientos de cores STMD • Varios GBs de memoria dedicada• Las GPUs proporcionan: • Capacidad de manejar miles de hilos activos • Cambio de contexto ligero entre hilos• NVIDIA GTX660: ~ 2 TFLOPS (200€)• Intel i5 Series: 80 ~ 100 GFLOPS
  7. 7. Intel Xeon Phi• Tarjeta aceleradora de Intel• 60 Cores x86 @ 1 Ghz * 4 SMT• Máx. 8 GB Memoria dedicada• Dos modos de funcionamiento: • Descarga de trabajo (coprocesador, estilo GPGPU) • Acceso vía SSH• 1 TeraFlop por 2000€ (http://www.amazon.com/Intel-SC5110P-Xeon-5110P-Coprocessor/dp/B00B133YNK)
  8. 8. FPGAs • Chips internamente reprogramables: posibilidad de adaptar el hardware a tu programa • Principales fabricantes: Altera y Xillinx • A priori: más flexibles pero más difíciles de programar (VHDL) • Hoy en día: entornos de programación propios de GPGPU adaptados a FPGA(http://www.canadianelectronics.ca/embedded-systems/fpga-accelerator-card-supports-opencl-for-high-performance-computing)
  9. 9. Chips Heterogéneos• Distintos tipos de cores en un mismo chip (P.e. AMD Fusion)• Posibilidad de ofrecer un espacio unificado de memoria• Nuevo «jugador»: ARM • Diseñador de microprocesadores con sede en Cambridge • Mercados más conocidos: smartphones, sist. embebidos • Actual CPU Cortex A-57 de 64 Bits • Línea de GPUs MALI (compatible con GPGPU) • Tecnología Big.LITTLE de balanceo• Inicialmente enfocados al bajo consumo, ahora saltan a la supercomputación: Mont Blanc, HP Moonshot
  10. 10. GPGPU (General Purpose computing on GPUs)• Cómputo de propósito general en GPUs• Popular debido a • Capacidad de procesamiento SIMD para paralelismo de datos • Creciente potencial (más FLOPS y hardware a cada generación) • Decreciente precio • Facilidad de acceso• Apoyado por los fabricantes (SDKs, hardware diseñado no sólo para gráficos)• Hoy en día: modelos y herramientas saltan desde las GPUs a otros tipos de aceleradores
  11. 11. APLICACIONES
  12. 12. Aplicaciones GPGPU: Subrutinas• BLAS • Rutinas algebraicas (p.e. multiplicación de matrices) • CuBLAS 6x a 17x de aceleración frente a MKL• FFT • Usada en física computacional, procesado de señal… • CuFFT 10x de aceleración frente a MKL• SPARSE • Tratamiento de matrices dispersas • CuSPARSE 6x a 40x de aceleración frente a MKL• RNG • Algoritmos para generación de números aleatorios • CuRAND “Blazing fast” aceleración frente a MKL
  13. 13. Aplicaciones GPGPU: Stencil• Códigos stencil• Sistemas que actualizan su superficie en cada iteración • Simulaciones de dinámica molecular • Funciones de Machine Learning (ej.: K-NN) • Procesado de imagen Meng, J., & Skadron, K. (2009, June). Performance modeling• Aceleración variable and automatic ghost zone optimization for iterative stencil loops on GPUs. In Proceedings of the 23rd international conference on Supercomputing (pp. 256-265). ACM
  14. 14. Aplicaciones GPGPU: KDE• Estimación de densidad (basada en kernels)• Calcular la función de densidad de un espacio 1D: 2D:• Usado en: • Predicción meteorológica • Bioinformática• Aceleración de 600x (Simple Precisión) y 50x (Doble Precisión) frente al código serie en una sóla GPU (Trabajo en curso)
  15. 15. Aplicaciones GPGPU: KDE• Nuestro enfoque: Densidad 2D Multiprocesador GPU• Las muestras están repartidas por el espacio• Un kernel define el peso de cada muestra en el espacio• Objetivo: función de densidad sobre varios puntos de evaluación• Implementación: cada hilo representa un punto de evaluación que lee y computa las muestras que le afectan• Actual versión multi-dispositivo. Work-in-progress: balanceo de carga adaptativo para entornos heterogéneos
  16. 16. DIFICULTADESEntendidas como retos
  17. 17. Top500 (Nov 2012)
  18. 18. Top500 (Nov 2012) Top3 SINAceleradores Top3 CONAceleradores
  19. 19. Reto 1º: Eficiencia computacional• Aprovechar eficazmente el hardware disponible• A pesar de la enorme capacidad de estas máquinas, el hardware no está usado al 100%• Diferencia media de FLOPS entre máximo teórico y real: Top3 SIN Acel. Top3 CON Acel. 17.99 % 62.05 %• Las nuevas arquitecturas • Implican nuevos paradigmas de programación • No disponen de herramientas de desarrollo tan elaboradas como las pre-acelerador• En muchos casos no se utilizan todos los recursos simultáneamente (CPU ociosa mientras GPU computa, o al revés)
  20. 20. Respuestas al reto 1º• Entender que no todas las aplicaciones son adaptables a todos las plataformas (GPGPU Hype!)• Hacer buen uso de las herramientas en los SDKs: • Debuggers • Profilers • Manuales de buenas prácticas• Valernos del ecosistema de herramientas GPGPU, p.e.: • Ocelot: Emulador y traductor de CUDA a otras arquitecturas • Par4All: Auto-paralelizador • rCuda: Framework para ejecución remota de códigos CUDA • GPGPU-Sim: Simulador de tarjetas NVIDIA • SWAN: Traductor de CUDA a OpenCL
  21. 21. Reto 2º: Eficiencia energética• Minimizar el consumo manteniendo el rendimiento• El incremento en rendimiento (FLOPS) ha implicado • Mayor consumo eléctrico • Mayores emisiones de calor• Para medir esta eficiencia: MFLOPS/W (Lista Green500)
  22. 22. Respuestas al reto 2º• Aprovechar el hardware eficientemente: un acelerador bien aprovechado resulta en relaciones coste / rendimiento y consumo / rendimiento muy favorables• Lista Green500, Noviembre 2012: Heterogeneous Systems Re-Claim Green500 List Dominance• Utilización de muchos nodos de bajo consumo • IBM BlueGene: PowerPC (predominantes en el Green500) • Intel: procesadores tipo Atom (enfocados a movilidad) • ARM: Tecnología diseñada para sistemas empotrados y móviles: supercomputación basada en procesadores ARM
  23. 23. Reto 3º: Herramientas de desarrollo• En la actualidad la mayoría de los programas acelerados con GPUs se basan en la plataforma de NVIDIA: CUDA• CUDA ofrece • Rendimiento • Amplia comunidad de usuarios • Ecosistema de aplicaciones• Ratio de aceleradores en el Top500 (Nov, 2012):• Limitación: sólo válido para tarjetas NVIDIA (en principio)
  24. 24. Respuesta al reto 3º: OpenCL• Estándar para el desarrollo de aplicaciones paralelas• Soportado en la mayoría de procesadores actuales• Proporciona portabilidad de código• Problema 1: no proporciona portabilidad de rendimiento • «Tunear» la aplicación está en manos del desarrollador • Cuanto más eficiente un código, más optimizado para un hardware, y menos portable• Problema 2: más farragoso de programar que CUDA
  25. 25. Reto 4º: Complejidad de programación• CUDA/OpenCL ofrecen un bajo nivel de abstracción• Ambos requieren como mínimo: • Conocer el hardware objetivo (con sus limitaciones) • Programar código tanto para el host como para el acelerador• Y además si se quiere optimizar • Conocer aún mejor el hardware objetivo • Dominar el entorno de programación y sus recursos• Nota: nunca está de mas mirar si alguien lo ha hecho antes
  26. 26. Respuesta al reto 4º: OpenACC• «Solución para las masas»• API para descarga de trabajos a aceleradores• Basado en directivas tipo OpenMP• Ejemplo simple: (http://www.olcf.ornl.gov/tutorials/openacc-vector-addition)• Creado por NVIDIA, CAPS, CRAY, PGI entre otras• Actualmente borrador de la versión 2.0 (Marzo 2013)
  27. 27. CONCLUSIONES
  28. 28. Conclusiones• La computación heterogénea está entre nosotros • Cada vez hay más jugadores en el área (fabricantes y hardware) • Las nuevas arquitecturas son cada vez más complejas • Los sistemas cada vez evolucionan más rápido• Los nuevos sistemas implican nuevos retos • Y a veces el resurgir de algunos no tan nuevos• Los recursos disponibles son amplios • Herramientas, documentación y comunidad de usuarios
  29. 29. Bibliografía• Unai López, Alexander Mendiburu, Jose Miguel-Alonso. A Survey of Performance Modeling Techniques for Accelerator-based Computing. Technical report EHU-KAT-IK-06-13. Department of Computer Architecture and Technology, University of the Basque Country UPV/EHU.• Brodtkorb, A. R., Dyken, C., Hagen, T. R., Hjelmervik, J. M., & Storaasli, O. O. (2010). State-of-the-art in heterogeneous computing. Scientific Programming, 18(1), 1-33.• Nickolls, J., & Dally, W. J. (2010). The GPU computing era. Micro, IEEE, 30(2), 56-69.• Hyesoon Kim, Richard W. Vuduc, Sara S. Baghsorkhi, JeeWhan Choi, Wen- mei W. Hwu: Performance Analysis and Tuning for General Purpose Graphics Processing Units (GPGPU). Synthesis Lectures on Computer Architecture, Morgan & Claypool Publishers 2012• Kirk, D. B., & Wen-mei, W. H. (2010). Programming massively parallel processors: a hands-on approach. Morgan Kaufmann.
  30. 30. Sitios Web relacionados• http://www.top500.org• http://www.green500.org• http://www.graph500.org• http://www.openacc-standard.org• http://www.gpgpu.org• http://www.hgpu.org• http://www.hpcwire.com• https://developer.nvidia.com/cuda-tools-ecosystem• http://developer.amd.com/resources/heterogeneous- computing/opencl-zone/
  31. 31. COMPUTACIÓN HETEROGÉNEA:APLICACIONES YMODELADO DE RENDIMIENTOUnai Lopezunai.lopez@ehu.esIntelligent Systems GroupDepartamento de Arquitectura y Tecnología de ComputadoresUPV/EHU

×