• Save
Una grid una solución oportunista para la HPC en colombia
Upcoming SlideShare
Loading in...5
×
 

Una grid una solución oportunista para la HPC en colombia

on

  • 1,364 views

Presenta el diseño y la implementación de una infraestructura grid virtual oportunista que permite aprovechar las capacidades de procesamiento existentes en los equipos pertenecientes a los ...

Presenta el diseño y la implementación de una infraestructura grid virtual oportunista que permite aprovechar las capacidades de procesamiento existentes en los equipos pertenecientes a los laboratorios de cómputo de un campus universitario, permitiendo a los usuarios locales tener prioridad para el acceso a los recursos, mientras en forma paralela un cluster virtual aprovecha los recursos no utilizados por los usuarios.

Statistics

Views

Total Views
1,364
Views on SlideShare
1,151
Embed Views
213

Actions

Likes
0
Downloads
0
Comments
0

2 Embeds 213

http://jorgeportella.wordpress.com 212
http://www.linkedin.com 1

Accessibility

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Una grid una solución oportunista para la HPC en colombia Una grid una solución oportunista para la HPC en colombia Presentation Transcript

  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN 2010 UnaGrid: Una solución oportunista para la HPC en ColombiaHarold Castro, Mario Villamizar, Eduardo Rosales, Artur Jiménez Grupo de Tecnologías de Información y Comunicación (COMIT) Departamento de Ingeniería de Sistemas y Computación Universidad de los Andes, Bogotá D.C., Colombia
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN AgendaProblemaArquitectura de UnaGridImplementación realizada de UnaGridPruebas de rendimiento de la infraestructuraResultados de proyectos soportados por UnaGridConclusiones y trabajo futuro
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN AgendaProblemaArquitectura de UnaGridImplementación realizada de UnaGridPruebas de rendimiento de la infraestructuraResultados de proyectos soportados por UnaGridConclusiones y trabajo futuro
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Problema Ing. Química Ing. Industrial ds Bioinformática OtrosEn la universidades e instituciones colombianas hay proyectos deeCiencia que requieren grandes capacidades de procesamiento.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Ejemplo Trabajo 1 Trabajo 2 ….. Trabajo N ServidorSe requieren ejecutar 2000 procesos (N=2000) que tienen un tiempo deejecución promedio de 3 horas.Tiempo de procesamiento total = 6000 horas = 250 días de procesamiento.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Estado del Arte – Cluster Computing Nodo Maestro Nodo Esclavo Nodo Esclavo Nodo Esclavo Nodo Esclavo Trabajo 1 Trabajo 2 ……. Trabajo NAgrupar un conjunto de computadores homogeneos con el fin de obtenergrandes capacidades de procesamiento.Creado y administrado por una sola organización.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Estado del Arte – Grid Computing Trabajo 2 Trabajo 3 Trabajo 1 Trabajo 4 Trabajo N ……...Agrupar un conjunto de computadores heterogéneos con el fin de obtenermayores grandes capacidades de procesamiento.Creado y administrado por varias organizaciones (VOs) con un objetivocomún.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Estado del Arte – Cluster y Grid ComputingLa infraestructuras cluster y grid regularmente tienen recursos dedicados porlo tanto su implementación requiere grandes recursos financieros.Proyectos a nivel mundial con grandes recursos financieros.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Estado del Arte – Infraestructuras OportunistasLa infraestructuras de computación oportunista buscan aprovechar losrecursos computaciones subutilizados en equipos existentes.Obtener recursos a bajo costo (cero). Millones de usuarios.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN ¿Qué es lo que se tiene para solucionar el problema? Infraestructuras dedicadas son inviables en organizaciones con bajosrecursos económicos. Organizaciones con bajos recursos económicos tienen varios laboratoriosde cómputo que no son utilizados completamente (15 %).
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN ¿Cómo Solucionar El Problema?Las capacidades de procesamiento de los equipos de las salas de cómputono son aprovechadas al 100%.¿Cómo aprovechar las capacidades subutilizadas de los equipos de salas de cómputo convencionales?
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Requerimientos de la Solución Los equipos de los laboratorios de cómputo tienen sistemas operativosWindows, Linux, Mac o Solaris. La aplicaciones de los proyectos de eCiencia en su mayoría funcionan enentornos Linux. Aprovechar capacidad de procesamiento subutilizada de un equipo decómputo. Agrupar la capacidad de procesamiento subutilizada de varios equipos decómputo. Compartir y agrupar los equipos de cómputo de diferentes grupos deinvestigación. Aprovechar las capacidades subutilizadas en el momento en que serequieran (bajo demanda).
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Motivación Proveer a bajo costo grandes capacidades deprocesamiento para apoyar el desarrollo de proyectos deeCiencia. Disminuir el tiempo que toma la generación de resultados enproyectos de eCiencia. Contribuir al desarrollo de nuevos proyectos de investigaciónen el país inviables debido a la dificultad de obtener recursosdedicados.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN AgendaProblemaArquitectura de UnaGridImplementación realizada de UnaGridPruebas de rendimiento de la infraestructuraResultados de proyectos soportados por UnaGridConclusiones y trabajo futuro
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Solución: Para un Equipo de Cómputo X X Cores Cores Linux Linux Máquina Virtual de Máquina Virtual de Procesamiento Procesamiento Máquina Física de una Máquina Física de una Sala de Cómputo Sala de Cómputo a. Cuando hay un usuario final b. a. Cuando NO hay un usuario final utilizando la máquina física. utilizando la máquina física.Un equipo ejecuta una máquina virtual (VM) en background como unproceso de baja prioridad por medio del uso de tecnologías devirtualización como VMware, Sun Virtual Box, Microsoft Hyper-V, etc.Esta máquina virtual consume la capacidad de procesamiento no utilizadaen un equipo de un campus universitario.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Solución: Cluster Virtual Oportunista Sala de Cómputo VM VM VM VM VM VM VM VM VMUna máquina virtual es ejecutada en cada computador de una sala decómputo cumpliendo el rol de un esclavo. Todas estas máquinas enejecución conforman un cluster virtual de procesamiento. Un nodo dedicadopara cumplir el rol de maestro del cluster virtual es necesario..
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Solución: Cluster Virtual Oportunista (2) Sala de Cómputo VM VM VM VM VM VM VM VM VM Computadores en una sala de cómputo – Esclavos del CVPUna máquina virtual es ejecutada en cada computador de una sala decómputo cumpliendo el rol de un esclavo. Todas estas máquinas enejecución conforman un cluster virtual de procesamiento. Un nodo dedicadopara cumplir el rol de maestro del cluster virtual es necesario.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Solución: Cluster Virtual Oportunista (3) Sala de Cómputo VM VM VM VM VM VM Maestro Computador dedicado fuera de la sala de cómputo VM VM VM Computadores en una sala de cómputo – Esclavos del CVPUna máquina virtual es ejecutada en cada computador de una sala decómputo cumpliendo el rol de un esclavo. Todas estas máquinas enejecución conforman un cluster virtual de procesamiento. Un nodo dedicadopara cumplir el rol de maestro del cluster virtual es necesario.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN UnaGrid - Clusters Virtuales Personalizados (CVPs) Cluster Virtual Grupo Inv. C Usuario Cluster/Grid Cluster Virtual Esclavo Esclavo Grupo Inv. A Usuario Cluster/Grid Maestro Esclavo Esclavo Esclavo Esclavo Cluster Virtual Maestro Grupo Inv. B Esclavo Esclavo Usuario Cluster/Grid Esclavo Esclavo Maestro Esclavo EsclavoUna infraestructura de propósito general.Una infraestructura virtual compuesta de clusters virtuales.Varios CVPs puede ser ejecutado sobre la misma infraestructura física.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN UnaGrid - Clusters Virtuales Personalizados (CVPs) COMUNIDAD GRID Cluster Virtual Grupo Inv. B Cluster/Grid User Autoridad Cluster Virtual Certificadora (CA) Grupo Inv. A Esclavo Esclavo Usuario Cluster/Grid Maestro Esclavo Esclavo Middleware Esclavo Esclavo Grid Cluster Virtual Maestro Grupo Inv. C Esclavo Esclavo Usuario Cluster/Grid Esclavo Esclavo Maestro Esclavo Esclavo Cada grupos de investigación puede definir sus propios CVPs conambientes personalizados (middlewares, aplicaciones, etc.) Varios CVPs (Una Solución Grid) pueden ser ejecutados para soportarlas capacidades de procesamiento requeridas por algunas aplicaciones.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓNUnaGrid: Infraestructura Grid Virtual Oportunista PropuestaLa estrategia propuesta soluciona el problema asociado a la subutilizaciónde los equipos de una sala de cómputo y provee nuevas oportunidades: El trabajo colaborativo entre grupos de investigación. El desarrollo de proyectos de eCiencia que requieren grandescapacidades de procesamiento, a bajo costo.Limitaciones Enfoque de mejor esfuerzo. No hay calidad de servicio (QoS) garantizada. Las capacidades de un cluster virtual dependen de su configuración. Aplicaciones de bolsas de tareas.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN AgendaProblemaArquitectura de UnaGridImplementación realizada de UnaGridPruebas de rendimiento de la infraestructuraResultados de proyectos soportados por UnaGridConclusiones y trabajo futuro
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Infraestructura Grid Virtual Oportunista Desplegada Envío de Envío de Envío de Trabajos Trabajos Trabajos Usuario Usuario Usuario Cluster/Grid Cluster/Grid Cluster/Grid Tres salas de cómputo, Servidor VMWare ESXcada una con 35 Middleware Globus Middleware Globuscomputadores y Windows XP Máquina Virtual Máquina Virtual Máquina Virtual Master Cluster Turing Maestro Cluster Wuaira1 Maestro Cluster Wuaira2como sistema operativo base. Salas de Cómputo Procesadores Core 2 Duo Cluster Virtual Turing Cluster Virtual Wuaira 1 Cluster Virtual Wuaira 2 Sala de Cómputo Sala de Cómputo Sala de Cómputo(1,86GHz) y 4 GB de RAM. Tres CVPs. ¿Como desplegar las máquinas virtuales? Software de virtualización Si las máquinas virtuales están siempre enVMware. ejecución, estas estarán consumiendo energía incluyendo cuando los usuarios cluster o grid no Middleware Globus . están utilizando la infraestructura virtual. Una solución Green es necesaria.
  • Infraestructura Grid Virtual Oportunista Desplegada Envío de Envío de Envío de Trabajos Trabajos Trabajos Usuario Usuario Usuario Tres salas de cómputo, Cluster/Grid Cluster/Grid Cluster/Grid Servidor VMWare ESXcada una con 35computadores y Windows XPcomo sistema operativo base. Máquina Virtual Master Cluster Turing Máquina Virtual Maestro Cluster Wuaira1 Máquina Virtual Maestro Cluster Wuaira2 Procesadores Core 2 Duo Salas de Cómputo(1,86GHz) y 4 GB de RAM. Cluster Virtual Turing Sala de Cómputo Cluster Virtual Wuaira 1 Sala de Cómputo Cluster Virtual Wuaira 2 Sala de Cómputo Tres CVPs. Centro de Datos Software de virtualización Controlador de Dominio Windows 2008 Server Controlador de Dominio Windows 2003 ServerVMware. GUMA Admin. ADMONSIS Servidor Admin. Middleware Globus . Domini Web CAPRICA Dominio Usuario Usuario Usuario Cluster/Grid Cluster/Grid Cluster/Grid
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Despliegue Bajo Demanda de la Infraestructura Vitual El despliegue de CVPs esrealizado bajo demanda por mediode GUMA. Esta aplicación permite ejecutar yadministrar CVPs bajo demanda yprovee múltiples servicios paraadministrar la grid desde clienteslivianos. GUMA permite monitorearlas máquinas físicas y las virtuales.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN AgendaProblemaArquitectura de UnaGridImplementación realizada de UnaGridPruebas de rendimiento de la infraestructuraResultados de proyectos soportados por UnaGridConclusiones y trabajo futuro
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Pruebas de Rendimiento – Intrusión a Usuarios 0 Cores Linux Tiempo de Ejecución de la Tarea del Máquina Virtual de Procesamiento Ambiente/Prueba Usuario (segundos) Prueba 1 Prueba 2 Prueba 3 Prueba 4 Sin Máquina Virtual 53,94 81,01 108,05 134,99 Tareas Con una MV (1 Core) 54,16 81,42 108,39 135,58 Procesamiento (100% CPU) Con una MV (2 Cores) 54,21 81,46 108,58 135,60Máquina Física de una Sala de CómputoComo se ve afectada la calidad del servicio (QoS) del usuario final, cuandoeste ejecuta tareas intensivas en procesamiento.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Pruebas de Rendimiento – Intrusión a Usuarios 1 Cores Tareas Linux Procesamiento (50% CPU) Tiempo de Ejecución de la Tarea del Máquina Virtual de Procesamiento Ambiente/Prueba Usuario (segundos) Prueba 1 Prueba 2 Prueba 3 Prueba 4 Sin Máquina Virtual 53,94 81,01 108,05 134,99 Tareas Con una MV (1 Core) 54,16 81,42 108,39 135,58 Procesamiento (100% CPU) Con una MV (2 Cores) 54,21 81,46 108,58 135,60Máquina Física de una Sala de CómputoComo se ve afectada la calidad del servicio (QoS) del usuario final, cuandoeste ejecuta tareas intensivas en procesamiento.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Pruebas de Rendimiento – Intrusión a Usuarios 2 Cores Tareas Linux Procesamiento (100% CPU) Tiempo de Ejecución de la Tarea del Máquina Virtual de Procesamiento Ambiente/Prueba Usuario (segundos) Prueba 1 Prueba 2 Prueba 3 Prueba 4 Sin Máquina Virtual 53,94 81,01 108,05 134,99 Tareas Con una MV (1 Core) 54,16 81,42 108,39 135,58 Procesamiento (100% CPU) Con una MV (2 Cores) 54,21 81,46 108,58 135,60Máquina Física de una Sala de CómputoComo se ve afectada la calidad del servicio (QoS) del usuario final, cuandoeste ejecuta tareas intensivas en procesamiento. El rendimiento se ve afectado en menos del 1%.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Pruebas de Rendimiento – Intrusión a Usuarios 0 Cores Linux Tiempo de Ejecución de la Tarea del Máquina Virtual de Procesamiento Ambiente/Prueba Usuario (segundos) Prueba 1 Prueba 2 Prueba 3 Prueba 4 Sin Máquina Virtual 104,10 259,85 521,16 1041,42 Tareas Con una MV (1 Core) 105,66 262,43 526,63 1060,75 Almacenamiento (100% CPU) Con una MV (2 Cores) 106,02 263,03 527,06 1063,07Máquina Física de una Sala de CómputoComo se ve afectada la calidad del servicio (QoS) del usuario final, cuandoeste ejecuta tareas intensivas en almacenamiento.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Pruebas de Rendimiento – Intrusión a Usuarios 1 Cores Tareas Linux Procesamiento (50% CPU) Tiempo de Ejecución de la Tarea del Máquina Virtual de Procesamiento Ambiente/Prueba Usuario (segundos) Prueba 1 Prueba 2 Prueba 3 Prueba 4 Sin Máquina Virtual 104,10 259,85 521,16 1041,42 Tareas Con una MV (1 Core) 105,66 262,43 526,63 1060,75 Almacenamiento (100% CPU) Con una MV (2 Cores) 106,02 263,03 527,06 1063,07Máquina Física de una Sala de CómputoComo se ve afectada la calidad del servicio (QoS) del usuario final, cuandoeste ejecuta tareas intensivas en almacenamiento.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Pruebas de Rendimiento – Intrusión a Usuarios 2 Cores Tareas Linux Procesamiento (100% CPU) Tiempo de Ejecución de la Tarea del Máquina Virtual de Procesamiento Ambiente/Prueba Usuario (segundos) Prueba 1 Prueba 2 Prueba 3 Prueba 4 Sin Máquina Virtual 104,10 259,85 521,16 1041,42 Tareas Con una MV (1 Core) 105,66 262,43 526,63 1060,75 Almacenamiento (100% CPU) Con una MV (2 Cores) 106,02 263,03 527,06 1063,07Máquina Física de una Sala de CómputoComo se ve afectada la calidad del servicio (QoS) del usuario final, cuandoeste ejecuta tareas intensivas en almacenamiento. El rendimiento se ve afectado en menos del 3%.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Pruebas de Rendimiento – Intrusión a Usuarios 120,0 100,0 80,0 60,0 40,0 20,0 0,0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Proceso Máquina Virtual Procesos del UsuarioMonitorear al uso del procesador por parte del usuario y de la máquinavirtual.La máquina solo consume la capacidad de procesamiento que no esutilizada por el usuario.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Pruebas de Rendimiento – Sobrecarga de un CVP Tiempo de Ejecución Promedio Sobrecarga Aplicación Infraestructura por Trabajo (sg) (%) HMMER Dedicada 164,0 12,4 (Bioinformática) Oportunista 184,3 BSGrid Dedicada 10,2 16,7 (Ing. Química) Oportunista 11,9 BLAST Dedicada 302,6 9,3 (Bioinformática) Oportunista 330,7 Comparar el tiempo de ejecución de un trabajo en un cluster dedicado yen un CVP. Las pruebas evidencian una sobrecarga de menos del 17% para laejecución de un trabajo en un CVP.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN AgendaProblemaArquitectura de UnaGridImplementación realizada de UnaGridPruebas de rendimiento de la infraestructuraResultados de proyectos soportados por UnaGridConclusiones y trabajo futuro
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Resultados de Proyectos Ejecutados en UnaGrid Tiempo Total Nombre de la Infraestructura Número de Número de Tiempo por de Ejecución Aplicación Utilizada CPUs Trabajos Trabajo (sg) (días) JG2A PC 2 2880 3000 50,10 (Ing. Industrial) CVP Turing 70 2880 3120 1,50 BSGrid Modelo A PC 2 150000 35 30,38 (Ing, Química) CVP Wuaira1 70 150000 85 2,11 BSGrid Modelo B PC 2 150000 63 54,69 (Ing. Química) CVP Wuaira1 70 150000 111 2,75 PC 2 4200 11700 284,40 HMMER CVP Wuaira1 and (Bioinformática) 140 4200 12900 4,50 CVP Wuaira 2 Tres aplicaciones han sido ejecutadas en UnaGrid. Los resultados de la ejecución de estas aplicaciones evidencian que losCVPs disminuyen el tiempo que toma la generación de resultados.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN AgendaProblemaArquitectura de UnaGridImplementación realizada de UnaGridPruebas de rendimiento de la infraestructuraResultados de proyectos soportados por UnaGridConclusiones y trabajo futuro
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Conclusiones UnaGrid: Infraestructura grid virtual oportunista La infraestructura propuesta permite la ejecución de diferentes aplicacionesutilizando una estrategia oportunista (costo cero). Ejecución transparente ante los usuarios de las salas de cómputo. Agregación de grandes capacidades de cómputo para apoyar proyectos deeCiencia. Gran reducción del tiempo requerido para generar resultados.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN Trabajo Futuro Ejecutar aplicaciones que demanden mayores capacidades deprocesamiento. Despliegue de UnaGrid a una escala mayor (500 PCs). Integración de UnaGrid con una infraestructura dedicada. Aprovechar las capacidades de almacenamiento disponibles. Definir una GUI para facilitar el envío de trabajos a UnaGrid.
  • 5 CONGRESO COLOMBIANO DE COMPUTACIÓN!Gracias por su atención! ¿Preguntas?