Computacion

1,405 views

Published on

Published in: Travel, Technology
  • Be the first to comment

  • Be the first to like this

Computacion

  1. 1. Computación Grid en la UDC María José Martín Santamaría Grupo de Arquitectura de Computadores Universidad de A Coruña mariam@udc.es
  2. 2. Presentación • Grupo de investigación: Grupo de Arquitectura de Computadores Departamento de Electrónica y Sistemas Universidad de A Coruña http://www.des.udc.es • Componentes del grupo implicado en computación Grid: • María José Martín Santamaría mariam@udc.es • Patricia González Gómez pglez@udc.es • Juan Touriño Domínguez juan@udc.es • Ramón Doallo Biempica doallo@udc.es Computación Grid en la UDC Red Temática Middleware GRID.
  3. 3. Líneas de investigación • Actividades de investigación en las que estamos implicados: – Aplicaciones científicas en entornos Grid – Gestión y Monitorización de Recursos Grid – Construcción de portales basados en tecnología Grid – Tolerancia a Fallos en aplicaciones MPI Computación Grid en la UDC Red Temática Middleware GRID.
  4. 4. Aplicaciones científicas en entornos GRID • Objetivo: Obtener una simulación de alto rendimiento del modelo de calidad del aire STEM-II sobre una plataforma Grid.  Utilización de Globus y MPICH-G2  Estudio y mejora de la distribución de datos inicial para adaptar la aplicación al Grid y conseguir mayor eficiencia  Inclusión de algún mecanismo de tolerancia a fallos  Desarrollo de un interfaz gráfico adaptado a las características de esta aplicación que permita al usuario un acceso lo más transparente posible al Grid Computación Grid en la UDC Red Temática Middleware GRID.
  5. 5. Aplicaciones científicas en entornos GRID • Estudio y mejora de la distribución de datos inicial: 0 1 2 3 balanceo block 1148s 777s 1607s 1813s 0.74 cyclic 1458s 1340s 1338s 1340s 0.92 dynamic 1337s 1336s 1374s 1361s 0.97 PPC tool 1321s 1355s 1365s 1321s 0.97 • Tolerancia a fallos manual: file size ckpt time 1 64 Mb 4.18s 2 38.8 Mb 2.5s 3 30.5 Mb 2.0s 4 26.2 Mb 1.6s Computación Grid en la UDC Red Temática Middleware GRID.
  6. 6. Aplicaciones científicas en entornos GRID • Interfaz gráfica que permite acceso transparente al GRID Computación Grid en la UDC Red Temática Middleware GRID.
  7. 7. Aplicaciones científicas en entornos GRID • Financiación: – Convenio colaboración USC – UDC enmarcado dentro del proyecto europeo CROSSGRID, Development of Grid Environment for Interactive Applications (V Programa Marco de Investigación y Desarrollo Tecnológico de la Unión Europea, IST-2001-32243) • Publicaciones: • M.J. Martín, P. Gónzalez, J.C. Mouriño, R. Doallo, M. Boullón y F.F. Rivera. Migración de una Aplicación MPI a una Plataforma Grid. XIII Jornadas de Paralelismo, pp.377-381, Lleida, 2002. • J.C. Mouriño, M.J. Martín, P. González, M. Boullón, J.C. Cabaleiro, T.F. Pena, F.F. Rivera and R. Doallo. A Grid-Enable Air Quality Simulation. First European Across Grids Conference, CD-ROM, 4 pages, Santiago de Compostela, Spain, 2003. Computación Grid en la UDC Red Temática Middleware GRID.
  8. 8. Aplicaciones científicas en entornos GRID • J. C. Mouriño, P. González, M. J. Martín y R. Doallo. A Grid-Enable Air Quality Simulation. En F. F. Rivera, M. Bubak, A. Gómez-Tato and R. Doallo editores, Grid Computing, tomo 2970 de LNCS, pags. 155-162. Springer-Verlag, 2004. ISBN: 3-540-21048-2 • J.C. Mouriño, M.J. Martín, P. González y R. Doallo. AirPollution Modelling in the CrossGrid Project. International Conference on Computational Science (ICCS´2004), Krakow, Polonia. Junio (2004). Publicado en Computational Science, tomo 3036 de LNCS, pags. 132-139. Springer-Verlag, 2004. ISBN: 3-540-22114-X • D. R. Martínez, J. C. Mouriño, T. F. Pena, M. J. Martín, P. González y R. Doallo. Balanceo dinámico de la carga en la simulación de la dispersión atmosférica de contaminantes. En XV Jornadas de Paralelismo, Almería, septiembre 2004. ISBN: 84-8240-714-7. Computación Grid en la UDC Red Temática Middleware GRID.
  9. 9. Gestión y monitorización de recursos • Objetivo: Aumentar el rendimiento del entorno distribuido compuesto por las máquinas disponibles en nuestro departamento utilizando tecnología Grid.  Desarrollo de una herramienta de monitorización y planificación de recursos basada en globus. – Admite trabajos secuenciales y paralelos con MPI – Gestiona los recursos CPU proporcionando un buen balanceo de la carga – Proporciona de manera transparente al usuario tolerancia a fallos a nivel de aplicación para trabajos secuenciales Computación Grid en la UDC Red Temática Middleware GRID.
  10. 10. Gestión y monitorización de recursos Parámetros a la hora de desarrollar la solución: –Horario de trabajo –Carga de CPU Computación Grid en la UDC Red Temática Middleware GRID.
  11. 11. Gestión y monitorización de recursos • Financiación: – Convenio colaboración CESGA-UDC enmarcado dentro del proyecto Xunta de Galicia PGIDT02TIC00103CT, Estudio e implementación de una plataforma de computación basada en tecnologías Grid. – Red Galega de Computación Paralela e Distribuida e Tecnoloxía GRID. Financiada por Xunta de Galicia PGIDT-PR426A-02/4 • Publicaciones: • P. González, J.R. Luaces, J.A. Becerra, R.J. Duro y I. López. Managing Distributed Resources in the SVG Project. 10th EUROMICRO Workshop on Parallel and Distributed Processing PDP´2002, Gran Canaria, 2002. Computación Grid en la UDC Red Temática Middleware GRID.
  12. 12. Gestión y monitorización de recursos • P. González, M.J. Martín, J.C. Mouriño and R. Doallo. Increasing the Throughput of Available Resources Using Management Tools Based on Grid Technologies. Int. Workshop on Parallel and Distributed Scientific and Engineering Computing with Applications – The 17th Int. Parallel and Distributed Processing Symposium, IPDPS-PDSECA 2003, CD-ROM, 8 pages, Nice, France, 2003. • P. González, M.J. Martín, J.C. Mouriño and R. Doallo. Increasing the Throughput of Available Resources Using Management Tools Based on Grid Technologies. Parallel and Distributed Scientific and Engineering Computing: Practice and Experience, Nova Science Publishers. Aceptado (2004) • G. Vázquez. Diseño de un gestor de recursos en un entorno distribuido. Proyecto Fin de Carrera, septiembre 2004. Computación Grid en la UDC Red Temática Middleware GRID.
  13. 13. Construcción de portales basados en tecnología GRID • Objetivo: permitir el acceso a los recursos de un GRID de forma transparente a los usuarios.  Construcción de un portal web basado en globus:  Que facilita al acceso y utilización de recursos distribuidos  Totalmente transparente para los usuarios: - obtención de información sobre recursos - transferencia de ficheros transparente - ejecución de programas y monitorización de los mismos  Con utilidades también para los administrados del Grid  Construcción usando GPDK (solucionando la incompatibilidad existente con las nuevas versiones de Globus) Computación Grid en la UDC Red Temática Middleware GRID.
  14. 14. Construcción de portales basados en tecnología GRID http://gridportal.des.udc.es Computación Grid en la UDC Red Temática Middleware GRID.
  15. 15. Construcción de portales basados en tecnología GRID • Financiación: – Convenio colaboración CESGA-UDC enmarcado dentro del proyecto Xunta de Galicia PGIDT02TIC00103CT, Estudio e implementación de una plataforma de computación basada en tecnologías Grid. – Red Galega de Computación Paralela e Distribuida e Tecnoloxía GRID. Financiada por Xunta de Galicia PGIDT-PR426A-02/4 • Publicaciones: • J. Tarrío, J. Touriño, M.J. Martín, P. González y R. Doallo. A Grid Portal for Support High-Performance Scientific Computing on Distributed Resources. Special Issue of IEICE Transations on Information and Systems on Hardware/Software Support for High Performance Scientific and EngineeringComputing. 87(7):1843-1849, 2004. • J. Tarrío. Diseño e implementación de un portal basado en tecnologías Grid para el acceso a recursos de supercomputación. Proyecto Fin de Carrera, julio 2003. Computación Grid en la UDC Red Temática Middleware GRID.
  16. 16. Tolerancia a fallos en códigos MPI • Objetivo: Conseguir aplicaciones MPI tolerantes a fallos hardware  Proponemos una estrategia basada en el almacenamiento periódico del estado del proceso en un fichero.  Buscamos soluciones portables que puedan ser útiles a entornos Grid y, por tanto, heterogéneos  Nuestra investigación se centra en la automatización del proceso de forma que la herramienta final sea transparente al usuario Computación Grid en la UDC Red Temática Middleware GRID.
  17. 17. Tolerancia a fallos en códigos MPI Checkpointing a nivel de variable Datos relevantes para la recuperación Almacén Segmento de datos de la aplicación Checkpointing a nivel de segmento Computación Grid de datos en la UDC Red Temática Middleware GRID.
  18. 18. Tolerancia a fallos en códigos MPI • Alta modularidad: – Estrategias de escritura – Estrategias de compresión – Portabilidad del código • Utilizable desde diversos lenguajes anfitrión • Genera ficheros de estado portables • Reinicio de la aplicación sobre prácticamente cualquier infraestructura hardware/software • Técnica de checkpointing escalable y eficiente Computación Grid en la UDC Red Temática Middleware GRID.
  19. 19. Tolerancia a fallos en códigos MPI Infraestructura de TF Aplicación cliente (C, C++, Fortran, ...) Analizador (?) Aplicación con directivas CCCP Precompilador (SUIF) Aplicación integrada con CCCP Librería (C++) Computación Grid en la UDC Red Temática Middleware GRID.
  20. 20. Tolerancia a fallos en códigos MPI • Financiación: – Red Galega de Computación Paralela e Distribuida e Tecnoloxía GRID. Financiada por Xunta de Galicia PGIDT- PR426A-02/4 – Proyecto Xunta de Galicia PGIDT04TIC105004PR. Aplicaciones distribuidas tolerantes a fallos: extensión a computación Grid. • Publicaciones: • G. Rodríguez, M.J. Martín, P. González, J. Touriño y R. Doallo. Controlador/Precompilador de Checkpoints Portables. En XV Jornadas de Paralelismo, Almería, septiembre 2004. ISBN: 84-8240-714-7. • G. Rodríguez. Librería y precompilador para dotar de tolerancia a fallos a aplicaciones MPI. Proyecto Fin de Carrera, septiembre 2004. Computación Grid en la UDC Red Temática Middleware GRID.
  21. 21. Computación Grid en la UDC Difusión y explotación de los resultados:  Publicación en revistas y presentaciones a congresos y reuniones científicas.  Difusión a través de Internet. http://www.des.udc.es/grid  Aplicación práctica de las herramientas desarrolladas  Proyectos Fin de Carrera y Tesis Doctorales. Computación Grid en la UDC Red Temática Middleware GRID.

×