Your SlideShare is downloading. ×
0
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva

1,139

Published on

Jornadas en Huelva, campus de El Carmen para exponer las opciones de HPC/HTC disponiblesn en CICA para las universidades andaluzas.

Jornadas en Huelva, campus de El Carmen para exponer las opciones de HPC/HTC disponiblesn en CICA para las universidades andaluzas.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,139
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
32
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. CICA: Supercomputación y Cloud Computing Juan Antonio Ortega Ramírez – Director de CICA Marceliano Marrón Báez – Responsable área HPCJuan Carlos Rubio Pineda – Jefe de Desarrollo, Mantenimiento de Sistemas y HPC http://www.cica.es
  • 2. Índice• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos http://www.cica.es
  • 3. Presentación de CICA● El Centro Informático Científico de Andalucía (CICA) se creó en el año 1989. Actualmente depende de la Dirección General de Invest- igación ,Tecnología y Empresa de la Junta de Andalucía, que da ser- vicio a la comunidad investigadora de Andalucía.● Las actividades que se realizan en el CICA persiguen: ● Potenciar y proporcionar herramientas para la investigación ● El fomento de la e-Ciencia ● Tratar de acercar estas tecnologías al mayor número posible de usuarios, tanto en lo relativo al recursos físicos como en servicios y actividades formativas o de divulgación http://www.cica.es
  • 4. Presentación de CICA Centro Informático Científico de Andalucía• Funciones principales: • Coordinación, implantación y mantenimiento de la red RICA • Explotación y mantenimiento de SICA • Apoyo e infraestructura a la comunidad Científica y Universitaria • Eciencia • Servicios FTP, mirrors (Guadalinex, Ubuntu, etc.), Forja, Correo, etc. • Hosting/Housing de proyectos de investigación • Diseven2 • CBUA • Virtualización y Cloud (reCarta) http://www.cica.es
  • 5. Presentación de CICA RICA+Red Informática Científica de Andalucía· Primera conexión Granada-Málaga-CICA en 1993 a 2Mbps· Implantación Tecnología ATM en 1998 a 155Mbps· Implantación FCoE para RICA+ (1Gbps y 2Gbps sobre varios nodos)· Conexión CICA-RedIRIS a 10Gbps· Futuro con fibra óptica e interconexión nacional e internacional(RicaNova) http://www.cica.es
  • 6. Presentación de CICABeneficiarios de RICA+:● Investigadores intercambian grandes volúmenes de datos para su explotación.● La Docencia virtual rica en contenidos multimedia, se podrá realizar usando herramientas y plataformas basadas en la web, ya que RICA+ ofrece una capacidad suficiente para desarrollar en Campus Virtual Andaluz.● La administración electrónica de las universidades andaluzas (rápida comunicación para los ESBs)● El proyecto de supercomputación autonómico basado en tecnología GRID y conocido como RASCI (Red Andaluza de Supercomputación Científica).● El proyecto Acces-GRID, que interconecta distintas salas de videoconferencia de altas prestaciones para recrear una sala de reuniones real en el mundo virtual. http://www.cica.es
  • 7. Presentación de CICA http://www.cica.es
  • 8. Índice• ¿Qué es CICA?• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos http://www.cica.es
  • 9. Supercomputación• Capacidad de resolver cálculos muy complejos en un tiempo razonable • Tuvo sus comienzos en los años 80 • Se basó en sus inicios en diseños arquitéctonicos de procesadores muy específicos. • Aplicación militar, física cuántica, meteorología, química, … • MUY caros http://www.cica.es
  • 10. Supercomputación• CERN (Francia & Suiza) • CERN - the European Organization for Nuclear Research • Análisis investigaciones física nuclear• TianHe (China) ● supercomputadora ubicada en el National Super Computer Center en Tianjin, China. ● En octubre de 2010 se presentó una nueva versión denominada Tianhe-IA, hasta el momento la supercomputadora más potente del mundo, llegando a alcanzar los 2.507 petaflops.● Earth Simulator (Japan) ● superordenador desarrollado por las agencias japonesas NASDA, JAERI y JAMSTEC y en operación desde finales del año 2001, para aplicaciones de carácter científico. Es utilizado principalmente en simulaciones climáticas y de convección en el interior terrestre. ● Hasta finales del año 2003, ostentó el título de superordenador más rápido del mundo, con una capacitad computacional de más de 35 Teraflops. http://www.cica.es
  • 11. Supercomputación• En España: • Barcelona Supercomputing Center (BSC) • CESGA (Galicia) • CeSViMA (Madrid) • CICA (Andalucía) • … •• BSC: 5º Ordenador más potente en el mundo (2006) http://www.cica.es
  • 12. Supercomputación• Tipos de Supercomputación • HPC (High Performance Computing) ● Uso de superordenadores y clusters de ordenadores para resolver problemas de computación avanzada. ● Cortos periodos de tiempo (horas o días) • HTC (High Throughput Computing) ● Término para describir el uso de muchos recursos de computación durante largos periodos de tiempo para llevar a cabo una tarea de cálculo intensivo. ● Largos periodos de tiempo (meses o años)• Aproximaciones: • HTC: Servidores «Superdome 2» (Superdome 2 tiene entre 2-32 sockets (esto es, hasta128 cores) y 4 TB de memoria. • HPC: Sistema distribuido de computación: clusters de equipos baratos • Servidores conectados entre sí • ¿Cómo? ¿Qué hacen? http://www.cica.es
  • 13. Supercomputación Servidores deCluster Distribuido CICA  Memoria Compartida – Sun x4600- Cluster de Memoria distribuida. – 16 Cores.- 220 nodos biprocesadores (440 cores). – 64 GB RAM. – Almacenamiento de ~12 TB- 4 Gb de RAM por nodo. – Cluster NovaScale BULL:- Arquitectura de 64 bits. – [16x2]x4x2 Intel Xeon quadcore de 3.0 GHz- Sistema de almacenamiento de ~12 Teras – 256 Cores. – 2 GB RAM/Core        – Conexión Infiniband       ...Y CRECIENDO – Servidor IBM pSeries 550 :4 x POWER6 dual core modelo P550, a 4.2 Ghz.16 GB RAM http://www.cica.es
  • 14. Supercomputación http://www.cica.es
  • 15. Supercomputación• Administración simultánea de cientos de servidores: • Gestión de la Conectividad • Gestión del Almacenamiento • Gestión de colas • Gestión de usuarios • Mantenimiento servidores • Herramientas para el cálculo http://www.cica.es
  • 16. Supercomputación ¿Por qué no con Software Libre?• Sistema Operativo • CentOS (basado en RedHat)• Software de soporte a la infraestructura: • Cobbler (para despliegues, o instalación a través de red) • Puppet (Mantenimiento de configuraciones) • OpenNebula: para infraestructura de Cloud (reCarta) http://www.cica.es
  • 17. Supercomputación• Almacenamiento? • Lustre • Recientemente, disponible la versión 2.0• Gestión de usuarios? • LDAP• Gestión de colas? • Sun Grid Engine (SGE)• Comunicaciones entre nodos? • OpenMPI http://www.cica.es
  • 18. Supercomputación http://www.cica.es
  • 19. Supercomputación• SOFTWARE: relación 70 – 30 (libre vs No libre)• Matemáticas ● FreeFem (Eq. Diferenciales), Scilab (C. Numérico), R (Cálculo estadístico), Sage (alternativa open source ta Magma, Maple, Mathematica y Matlab), Octave (cálculo Numérico)...• Química • OpenFOAM (dinámica de fluidos), NwCHEM (biomoléculas), Gamess (estructura electrónica molecular y atómica)• Física, Minería de Datos, Meteorología, … http://www.cica.es
  • 20. Supercomputación• Distribución de los trabajos?• Sun Grid Engine (ahora bajo Oracle licencia SISSL) • Organización automática de prioridades • Múltiples entornos (paralelo, memoria compartida) • Ejecución a través de scripts → Facilidad de uso• Varias colas de ejecución, dependiendo de las necesidades del usuario http://www.cica.es
  • 21. Supercomputación● Colas de ejecución disponibles en CICA: ● eca: esta cola está compuesta por servidores de 2 y 4 cores con 4GB y 8GB de RAM respectivamente e interconexión 1G Ethernet , su uso es principalmente para trabajos que no tengan requisitos hardware muy elevados (1 ó 2 cores o con poca comunicación entre ellos, máximo 4 GB de RAM/servidor). ● ibnodes: servidores de 8 cores, 16GB de RAM e interconexión mediante red de baja latencia Infiniband. Esta cola está destinada a trabajos que requieran de al menos 8 cores y comunicación entre ellos. ● smnodes: en esta cola se incluyen varios servidores de memoria compartida, destinada a trabajos que requieran de gran capacidad RAM en los servidores. ● nh_ib: dispone de 4 servidores Nehalem de con 8 cores cada uno, 24GB de RAM e intereconexión de baja latencia. Trabajos que requieran gran cantidad de RAM y mucha potencia de procesador. http://www.cica.es
  • 22. Supercomputación• Nuestra experiencia: • Cálculos Científicos muy delimitados (áreas y herramientas) • Investigadores ya utilizan una aplicación libre / no libre. Desean seguir usándola. • Usuarios ya experimentados. Know-how aprendido, aunque estático. • Un número importante de investigadores solicitan software propietario • Posible desconocimiento de alternativas mejores en determinados casos... http://www.cica.es
  • 23. Supercomputación● Ejemplo de soluciones alternativas: servidores que agregan tarjetas gráficas (NVIDIA Tesla, con CUDA) ● En determinados problemas, presentan rendimientos altísimos. ● Ya no es necesario aprender CUDA para todos los escenarios: – HMPP: Te permite portar directamente código hecho en C y Fortran a GPU. En septiembre 2011 se puede disponer de version para C++. – Jacket de Accelereyes: aceleración para problemas enfocados mediante MATLAB ● Otras posibilidades que sacan provecho de CUDA: – Numerix, CompatibL, MATLAB, PyCUDA, Pegasys, BadaBOOM, S3FotoPro, SciFinance, B-spline, Parallel Computing Toolbox, Datafeed Toolbox , Fixed- Income, Toolbox, Financial Toolbox [...] http://www.cica.es
  • 24. Supercomputación Áreas de Investigación Porcentaje de áreas 1,6 3,2 6,4 Química Ing. Mecánica 27,2 Estadística / Biotecnología Investigación 16,8 Operativa / Mineria de Datos Matemáticas Genética Física 20,8 24 http://www.cica.es
  • 25. Supercomputación % Tareas por Universidad Tareas con duración < 24 horas Huelva Sevilla Jaén Córdoba Otros http://www.cica.es
  • 26. Supercomputación350000300000 294473 · Desde el año 2007, ha250000 habido un crecimiento constante en usuarios y200000 ejecuciones. 2007 2008 2009 2010 · Ejecuciones de tipo150000 137460 – Minería de datos (45%)100000 – Químico (35%) – Físico (10 %) – Matemático (7 %) 50000 – Otras (3 %) 25212 10000 0 Ejecuciones http://www.cica.es
  • 27. ¿Supercomputación?● ¿Cómo empezar? ● http://eciencia.cica.es (Área Documentación)● Recursos? ● Cluster looking glass: https://cube.cica.es/clg-web/ ● Ver el estado de las colas (ver el estado de las tareas) http://cube.cica.es/sge/sge.php ● Consulta el estado de los nodos: http://cube.cica.es/sge/hostStatus.php ● Proyecto RECARTA: http://cloudserv.recarta.cica.es:8080 ● Monitorización con Ganglia de los recursos HPC de CICA http://cube.cica.es/ http://www.cica.es
  • 28. Cluster looking glass http://www.cica.es
  • 29. Cluster looking glass http://www.cica.es
  • 30. Cluster looking glass http://www.cica.es
  • 31. Sun Grid Engine: comandos básicos● Tendremos credenciales de acceso a la máquina pool.cica.es por SSH● Comandos básicos: ● qsub: Para el envío de tareas a la cola. ● qstat: Para monitorizar el estado de las tareas, así como de lacola en general. ● qdel: Para eliminar las tareas que están ejecutándose en ese momento o estén a la espera de ejecución. ● qhost, qmod, qconf, etc: Estos comandos están reservados aladministrador para la configuración de las colas y del sistema SGE. http://www.cica.es
  • 32. Sun Grid Engine: qmon● Necesitamos entrar a pool.cica.es tunelizando las X windows ● Putty+Compresión SSH + X-Forwarding + Xming ● Sesión FREE NX de tipo “Custom” (mucho más rápido) ● Ejemplo: http://www.cica.es
  • 33. Sun Grid Engine: qmon● Envío de trabajos (Submit jobs) http://www.cica.es
  • 34. Sun Grid Engine: qmon● Borrado y estado de los trabajos: http://www.cica.es
  • 35. Sun Grid Engine: qmon● … Y mucho, mucho más.● Incluso labores de administración de nodos si disponemos del perfil adecuado.● Ver nuestros trabajos, borrarlos, ver los trabajos de otros usuarios, ver estado de las colas, etc. etc. http://www.cica.es
  • 36. Índice• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos http://www.cica.es
  • 37. Virtualización y cloud computing● Proyecto reCarta (pre-Alpha) ● Permite la creación de infraestructura de cloud a medida ● Elegimos cores, memoria y número de máquinas. ● Interfaz web: http://cloudserv.recarta.cica.es:8080 ● Actualmente: OpenNebula + Xen ● Alternativas: virtualización de sistema operativo (openvz, linux vserver) – En vías de estudio. http://www.cica.es
  • 38. Índice• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos http://www.cica.es
  • 39. Próximos Objetivos / Futuros proyectos● Dar a conocer nuestros servicios en todas las universidades de Andalucía.● Establecer lazos de colaboración● Difundir las ventajas del housing de cómputo como modelo de ahorro de costes, eficiencia energética, bien común y parcelado de responsabilidades http://www.cica.es
  • 40. Housing de infraestructura de cálculo● Housing: Cesión de una máquina de nuestra propiedad a un tercero, para que la aloje en sus instalaciones● CICA os permite utiliza este servicio si os interesa, conforme a un acuerdo de colaboración.● Se establecen unas bases de beneficios propios y ajenos, y se os mantiene la infraestructura física (frío, electricidad, seguridad, comunicaciones) y lógica (S.O., software, creación de colas, etc.) conforme a dicho acuerdo. http://www.cica.es
  • 41. Housing de infraestructura de cálculo● El acuerdo de colaboración, establece que: ● El cedente puede comenzar y finalizar la cesión con CICA cuando quiera ● CICA se compromete a: – Dar suministro eléctrico. – Proporcionar refrigeración adecuada – Albergar los equipos en un entorno controlado, con personal de seguridad 24 horas en el centro. – Instalación del entorno e infraestructura http://www.cica.es
  • 42. Housing de infraestructura de cálculo● Instalación de infraestructura. ¿Cómo? ● CICA instala el S.O. ● CICA instalamos las herramientas que el cedente demande ● CICA creamos una cola de trabajos con prioridad absoluta para el cedente sobre las máquinas que cede ● CICA aporta el direccionamiento de red e infraestructura de comunicaciones adecuada. ● CICA crea los usuarios necesarios para lanzar tareas http://www.cica.es
  • 43. Housing de infraestructura de cálculo● ¿Obligaciones del cedente? ● Responsabilidad del buen uso del servicio, de manera adecuada y respetuosa con los demás ● No obtener beneficios económicos directos de los recursos mantenidos por CICA (no se puede “revender” el servicio de cómputo a otros aunque las máquinas sean nuestras, si CICA alimenta, refrigera y mantiene las máquinas) http://www.cica.es
  • 44. Housing de infraestructura de cálculo● ¿Ventajas? ● El cedente tiene la máxima prioridad sobre la cola que gestione sus equipos. Sus trabajos se encolan directamente en su equipo, sin esperas. ● El cedente puede tener sus trabajos en otras colas existentes aparte de la suya. Sus trabajos pueden así terminar antes que si tuviese sólo sus máquinas. ● Otros investigadores pueden usar la cola de su infraestructura si esta se encuentra desaprovechada para trabajos de corta duración (< 24H). ● El investigador usa todo su tiempo en su campo, mientras que CICA invierte los esfuerzos necesarios en mantener la infraestructura lógica y física. – El investigador se despreocupa del hardware y del software, sólo se centra en realizar su investigación. http://www.cica.es
  • 45. Housing de infraestructura de cálculo● ¿Existe? ¿Quién lo ha hecho hasta ahora? ● Prestamos este servicio desde Marzo del 2011 ● Dos grupos de investigación ya lo están utilizando ● GRUPO 1: Un rack completo con nodos de cálculo y un rack adicional que está en camino incluyendo electrónica de red infiniband y switch ethernet convencional para gestión. ● GRUPO 2: Un rack completo de cálculo, y otro que se recibe en Junio, donde CICA aporta la electrónica de comunicaciones http://www.cica.es
  • 46. Más información• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros Proyectos• MÁS INFORMACIÓN: • Mail: eciencia@cica.es • Web: eciencia.cica.es http://www.cica.es

×