Your SlideShare is downloading. ×
0
CICA: Supercomputación y Cloud Computing               Juan Antonio Ortega Ramírez – Director de CICA               Marcel...
Índice• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos  ...
Presentación de CICA●     El Centro Informático Científico de Andalucía (CICA) se creó en el    año 1989. Actualmente depe...
Presentación de CICA    Centro Informático Científico de Andalucía•   Funciones principales:    •   Coordinación, implanta...
Presentación de CICA                               RICA+Red Informática Científica de Andalucía· Primera conexión Granada-...
Presentación de CICABeneficiarios de RICA+:●   Investigadores intercambian grandes volúmenes de datos para su explotación....
Presentación de CICA                http://www.cica.es
Índice• ¿Qué es CICA?• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos         ...
Supercomputación• Capacidad de resolver cálculos muy complejos en un tiempo    razonable    • Tuvo sus comienzos en los añ...
Supercomputación• CERN (Francia & Suiza)    • CERN - the European Organization for Nuclear Research    • Análisis investig...
Supercomputación• En España:    • Barcelona Supercomputing Center (BSC)    • CESGA (Galicia)    • CeSViMA (Madrid)    • CI...
Supercomputación• Tipos de Supercomputación    • HPC (High Performance Computing)         ●   Uso de superordenadores y cl...
Supercomputación                                                        Servidores deCluster Distribuido CICA             ...
Supercomputación               http://www.cica.es
Supercomputación• Administración simultánea de cientos de   servidores: •   Gestión de la Conectividad •   Gestión del Alm...
Supercomputación  ¿Por qué no con Software Libre?• Sistema Operativo     • CentOS (basado en RedHat)• Software de soporte ...
Supercomputación• Almacenamiento?    • Lustre    • Recientemente, disponible la versión 2.0• Gestión de usuarios?    • LDA...
Supercomputación                   http://www.cica.es
Supercomputación• SOFTWARE: relación 70 – 30 (libre vs No libre)• Matemáticas   ●        FreeFem (Eq. Diferenciales), Scil...
Supercomputación• Distribución de los trabajos?• Sun Grid Engine (ahora bajo Oracle licencia SISSL)     • Organización aut...
Supercomputación●   Colas de ejecución disponibles en CICA:    ●   eca: esta cola está compuesta por servidores de 2 y 4 c...
Supercomputación• Nuestra experiencia:  • Cálculos Científicos muy delimitados (áreas y    herramientas)  • Investigadores...
Supercomputación●   Ejemplo de soluciones alternativas: servidores que agregan    tarjetas gráficas (NVIDIA Tesla, con CUD...
Supercomputación                               Áreas de Investigación                                     Porcentaje de ár...
Supercomputación                        % Tareas por Universidad                    Tareas con duración < 24 horas        ...
Supercomputación350000300000                                294473                                                        ...
¿Supercomputación?●    ¿Cómo empezar?    ●        http://eciencia.cica.es (Área Documentación)●    Recursos?    ●        C...
Cluster looking glass                   http://www.cica.es
Cluster looking glass                   http://www.cica.es
Cluster looking glass                   http://www.cica.es
Sun Grid Engine: comandos básicos●   Tendremos credenciales de acceso a la máquina    pool.cica.es por SSH●   Comandos bás...
Sun Grid Engine: qmon●   Necesitamos entrar a pool.cica.es tunelizando las X    windows    ●   Putty+Compresión SSH + X-Fo...
Sun Grid Engine: qmon●   Envío de trabajos (Submit jobs)                http://www.cica.es
Sun Grid Engine: qmon●   Borrado y estado de los trabajos:                http://www.cica.es
Sun Grid Engine: qmon●   … Y mucho, mucho más.●   Incluso labores de administración de    nodos si disponemos del perfil  ...
Índice• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos  ...
Virtualización y cloud computing●   Proyecto reCarta (pre-Alpha)    ●   Permite la creación de infraestructura de cloud a ...
Índice• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos  ...
Próximos Objetivos / Futuros proyectos●   Dar a conocer nuestros servicios en todas    las universidades de Andalucía.●   ...
Housing de infraestructura de cálculo●   Housing: Cesión de una máquina de nuestra propiedad a un    tercero, para que la ...
Housing de infraestructura de cálculo●   El acuerdo de colaboración, establece que:    ●   El cedente puede comenzar y fin...
Housing de infraestructura de cálculo●   Instalación de infraestructura. ¿Cómo?    ●   CICA instala el S.O.    ●   CICA in...
Housing de infraestructura de cálculo●   ¿Obligaciones del cedente?    ●   Responsabilidad del buen uso del servicio, de  ...
Housing de infraestructura de cálculo●   ¿Ventajas?    ●   El cedente tiene la máxima prioridad sobre la cola que gestione...
Housing de infraestructura de cálculo●   ¿Existe? ¿Quién lo ha hecho hasta ahora?    ●   Prestamos este servicio desde Mar...
Más información• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros Pr...
Upcoming SlideShare
Loading in...5
×

Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva

1,147

Published on

Jornadas en Huelva, campus de El Carmen para exponer las opciones de HPC/HTC disponiblesn en CICA para las universidades andaluzas.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,147
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
32
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva"

  1. 1. CICA: Supercomputación y Cloud Computing Juan Antonio Ortega Ramírez – Director de CICA Marceliano Marrón Báez – Responsable área HPCJuan Carlos Rubio Pineda – Jefe de Desarrollo, Mantenimiento de Sistemas y HPC http://www.cica.es
  2. 2. Índice• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos http://www.cica.es
  3. 3. Presentación de CICA● El Centro Informático Científico de Andalucía (CICA) se creó en el año 1989. Actualmente depende de la Dirección General de Invest- igación ,Tecnología y Empresa de la Junta de Andalucía, que da ser- vicio a la comunidad investigadora de Andalucía.● Las actividades que se realizan en el CICA persiguen: ● Potenciar y proporcionar herramientas para la investigación ● El fomento de la e-Ciencia ● Tratar de acercar estas tecnologías al mayor número posible de usuarios, tanto en lo relativo al recursos físicos como en servicios y actividades formativas o de divulgación http://www.cica.es
  4. 4. Presentación de CICA Centro Informático Científico de Andalucía• Funciones principales: • Coordinación, implantación y mantenimiento de la red RICA • Explotación y mantenimiento de SICA • Apoyo e infraestructura a la comunidad Científica y Universitaria • Eciencia • Servicios FTP, mirrors (Guadalinex, Ubuntu, etc.), Forja, Correo, etc. • Hosting/Housing de proyectos de investigación • Diseven2 • CBUA • Virtualización y Cloud (reCarta) http://www.cica.es
  5. 5. Presentación de CICA RICA+Red Informática Científica de Andalucía· Primera conexión Granada-Málaga-CICA en 1993 a 2Mbps· Implantación Tecnología ATM en 1998 a 155Mbps· Implantación FCoE para RICA+ (1Gbps y 2Gbps sobre varios nodos)· Conexión CICA-RedIRIS a 10Gbps· Futuro con fibra óptica e interconexión nacional e internacional(RicaNova) http://www.cica.es
  6. 6. Presentación de CICABeneficiarios de RICA+:● Investigadores intercambian grandes volúmenes de datos para su explotación.● La Docencia virtual rica en contenidos multimedia, se podrá realizar usando herramientas y plataformas basadas en la web, ya que RICA+ ofrece una capacidad suficiente para desarrollar en Campus Virtual Andaluz.● La administración electrónica de las universidades andaluzas (rápida comunicación para los ESBs)● El proyecto de supercomputación autonómico basado en tecnología GRID y conocido como RASCI (Red Andaluza de Supercomputación Científica).● El proyecto Acces-GRID, que interconecta distintas salas de videoconferencia de altas prestaciones para recrear una sala de reuniones real en el mundo virtual. http://www.cica.es
  7. 7. Presentación de CICA http://www.cica.es
  8. 8. Índice• ¿Qué es CICA?• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos http://www.cica.es
  9. 9. Supercomputación• Capacidad de resolver cálculos muy complejos en un tiempo razonable • Tuvo sus comienzos en los años 80 • Se basó en sus inicios en diseños arquitéctonicos de procesadores muy específicos. • Aplicación militar, física cuántica, meteorología, química, … • MUY caros http://www.cica.es
  10. 10. Supercomputación• CERN (Francia & Suiza) • CERN - the European Organization for Nuclear Research • Análisis investigaciones física nuclear• TianHe (China) ● supercomputadora ubicada en el National Super Computer Center en Tianjin, China. ● En octubre de 2010 se presentó una nueva versión denominada Tianhe-IA, hasta el momento la supercomputadora más potente del mundo, llegando a alcanzar los 2.507 petaflops.● Earth Simulator (Japan) ● superordenador desarrollado por las agencias japonesas NASDA, JAERI y JAMSTEC y en operación desde finales del año 2001, para aplicaciones de carácter científico. Es utilizado principalmente en simulaciones climáticas y de convección en el interior terrestre. ● Hasta finales del año 2003, ostentó el título de superordenador más rápido del mundo, con una capacitad computacional de más de 35 Teraflops. http://www.cica.es
  11. 11. Supercomputación• En España: • Barcelona Supercomputing Center (BSC) • CESGA (Galicia) • CeSViMA (Madrid) • CICA (Andalucía) • … •• BSC: 5º Ordenador más potente en el mundo (2006) http://www.cica.es
  12. 12. Supercomputación• Tipos de Supercomputación • HPC (High Performance Computing) ● Uso de superordenadores y clusters de ordenadores para resolver problemas de computación avanzada. ● Cortos periodos de tiempo (horas o días) • HTC (High Throughput Computing) ● Término para describir el uso de muchos recursos de computación durante largos periodos de tiempo para llevar a cabo una tarea de cálculo intensivo. ● Largos periodos de tiempo (meses o años)• Aproximaciones: • HTC: Servidores «Superdome 2» (Superdome 2 tiene entre 2-32 sockets (esto es, hasta128 cores) y 4 TB de memoria. • HPC: Sistema distribuido de computación: clusters de equipos baratos • Servidores conectados entre sí • ¿Cómo? ¿Qué hacen? http://www.cica.es
  13. 13. Supercomputación Servidores deCluster Distribuido CICA  Memoria Compartida – Sun x4600- Cluster de Memoria distribuida. – 16 Cores.- 220 nodos biprocesadores (440 cores). – 64 GB RAM. – Almacenamiento de ~12 TB- 4 Gb de RAM por nodo. – Cluster NovaScale BULL:- Arquitectura de 64 bits. – [16x2]x4x2 Intel Xeon quadcore de 3.0 GHz- Sistema de almacenamiento de ~12 Teras – 256 Cores. – 2 GB RAM/Core        – Conexión Infiniband       ...Y CRECIENDO – Servidor IBM pSeries 550 :4 x POWER6 dual core modelo P550, a 4.2 Ghz.16 GB RAM http://www.cica.es
  14. 14. Supercomputación http://www.cica.es
  15. 15. Supercomputación• Administración simultánea de cientos de servidores: • Gestión de la Conectividad • Gestión del Almacenamiento • Gestión de colas • Gestión de usuarios • Mantenimiento servidores • Herramientas para el cálculo http://www.cica.es
  16. 16. Supercomputación ¿Por qué no con Software Libre?• Sistema Operativo • CentOS (basado en RedHat)• Software de soporte a la infraestructura: • Cobbler (para despliegues, o instalación a través de red) • Puppet (Mantenimiento de configuraciones) • OpenNebula: para infraestructura de Cloud (reCarta) http://www.cica.es
  17. 17. Supercomputación• Almacenamiento? • Lustre • Recientemente, disponible la versión 2.0• Gestión de usuarios? • LDAP• Gestión de colas? • Sun Grid Engine (SGE)• Comunicaciones entre nodos? • OpenMPI http://www.cica.es
  18. 18. Supercomputación http://www.cica.es
  19. 19. Supercomputación• SOFTWARE: relación 70 – 30 (libre vs No libre)• Matemáticas ● FreeFem (Eq. Diferenciales), Scilab (C. Numérico), R (Cálculo estadístico), Sage (alternativa open source ta Magma, Maple, Mathematica y Matlab), Octave (cálculo Numérico)...• Química • OpenFOAM (dinámica de fluidos), NwCHEM (biomoléculas), Gamess (estructura electrónica molecular y atómica)• Física, Minería de Datos, Meteorología, … http://www.cica.es
  20. 20. Supercomputación• Distribución de los trabajos?• Sun Grid Engine (ahora bajo Oracle licencia SISSL) • Organización automática de prioridades • Múltiples entornos (paralelo, memoria compartida) • Ejecución a través de scripts → Facilidad de uso• Varias colas de ejecución, dependiendo de las necesidades del usuario http://www.cica.es
  21. 21. Supercomputación● Colas de ejecución disponibles en CICA: ● eca: esta cola está compuesta por servidores de 2 y 4 cores con 4GB y 8GB de RAM respectivamente e interconexión 1G Ethernet , su uso es principalmente para trabajos que no tengan requisitos hardware muy elevados (1 ó 2 cores o con poca comunicación entre ellos, máximo 4 GB de RAM/servidor). ● ibnodes: servidores de 8 cores, 16GB de RAM e interconexión mediante red de baja latencia Infiniband. Esta cola está destinada a trabajos que requieran de al menos 8 cores y comunicación entre ellos. ● smnodes: en esta cola se incluyen varios servidores de memoria compartida, destinada a trabajos que requieran de gran capacidad RAM en los servidores. ● nh_ib: dispone de 4 servidores Nehalem de con 8 cores cada uno, 24GB de RAM e intereconexión de baja latencia. Trabajos que requieran gran cantidad de RAM y mucha potencia de procesador. http://www.cica.es
  22. 22. Supercomputación• Nuestra experiencia: • Cálculos Científicos muy delimitados (áreas y herramientas) • Investigadores ya utilizan una aplicación libre / no libre. Desean seguir usándola. • Usuarios ya experimentados. Know-how aprendido, aunque estático. • Un número importante de investigadores solicitan software propietario • Posible desconocimiento de alternativas mejores en determinados casos... http://www.cica.es
  23. 23. Supercomputación● Ejemplo de soluciones alternativas: servidores que agregan tarjetas gráficas (NVIDIA Tesla, con CUDA) ● En determinados problemas, presentan rendimientos altísimos. ● Ya no es necesario aprender CUDA para todos los escenarios: – HMPP: Te permite portar directamente código hecho en C y Fortran a GPU. En septiembre 2011 se puede disponer de version para C++. – Jacket de Accelereyes: aceleración para problemas enfocados mediante MATLAB ● Otras posibilidades que sacan provecho de CUDA: – Numerix, CompatibL, MATLAB, PyCUDA, Pegasys, BadaBOOM, S3FotoPro, SciFinance, B-spline, Parallel Computing Toolbox, Datafeed Toolbox , Fixed- Income, Toolbox, Financial Toolbox [...] http://www.cica.es
  24. 24. Supercomputación Áreas de Investigación Porcentaje de áreas 1,6 3,2 6,4 Química Ing. Mecánica 27,2 Estadística / Biotecnología Investigación 16,8 Operativa / Mineria de Datos Matemáticas Genética Física 20,8 24 http://www.cica.es
  25. 25. Supercomputación % Tareas por Universidad Tareas con duración < 24 horas Huelva Sevilla Jaén Córdoba Otros http://www.cica.es
  26. 26. Supercomputación350000300000 294473 · Desde el año 2007, ha250000 habido un crecimiento constante en usuarios y200000 ejecuciones. 2007 2008 2009 2010 · Ejecuciones de tipo150000 137460 – Minería de datos (45%)100000 – Químico (35%) – Físico (10 %) – Matemático (7 %) 50000 – Otras (3 %) 25212 10000 0 Ejecuciones http://www.cica.es
  27. 27. ¿Supercomputación?● ¿Cómo empezar? ● http://eciencia.cica.es (Área Documentación)● Recursos? ● Cluster looking glass: https://cube.cica.es/clg-web/ ● Ver el estado de las colas (ver el estado de las tareas) http://cube.cica.es/sge/sge.php ● Consulta el estado de los nodos: http://cube.cica.es/sge/hostStatus.php ● Proyecto RECARTA: http://cloudserv.recarta.cica.es:8080 ● Monitorización con Ganglia de los recursos HPC de CICA http://cube.cica.es/ http://www.cica.es
  28. 28. Cluster looking glass http://www.cica.es
  29. 29. Cluster looking glass http://www.cica.es
  30. 30. Cluster looking glass http://www.cica.es
  31. 31. Sun Grid Engine: comandos básicos● Tendremos credenciales de acceso a la máquina pool.cica.es por SSH● Comandos básicos: ● qsub: Para el envío de tareas a la cola. ● qstat: Para monitorizar el estado de las tareas, así como de lacola en general. ● qdel: Para eliminar las tareas que están ejecutándose en ese momento o estén a la espera de ejecución. ● qhost, qmod, qconf, etc: Estos comandos están reservados aladministrador para la configuración de las colas y del sistema SGE. http://www.cica.es
  32. 32. Sun Grid Engine: qmon● Necesitamos entrar a pool.cica.es tunelizando las X windows ● Putty+Compresión SSH + X-Forwarding + Xming ● Sesión FREE NX de tipo “Custom” (mucho más rápido) ● Ejemplo: http://www.cica.es
  33. 33. Sun Grid Engine: qmon● Envío de trabajos (Submit jobs) http://www.cica.es
  34. 34. Sun Grid Engine: qmon● Borrado y estado de los trabajos: http://www.cica.es
  35. 35. Sun Grid Engine: qmon● … Y mucho, mucho más.● Incluso labores de administración de nodos si disponemos del perfil adecuado.● Ver nuestros trabajos, borrarlos, ver los trabajos de otros usuarios, ver estado de las colas, etc. etc. http://www.cica.es
  36. 36. Índice• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos http://www.cica.es
  37. 37. Virtualización y cloud computing● Proyecto reCarta (pre-Alpha) ● Permite la creación de infraestructura de cloud a medida ● Elegimos cores, memoria y número de máquinas. ● Interfaz web: http://cloudserv.recarta.cica.es:8080 ● Actualmente: OpenNebula + Xen ● Alternativas: virtualización de sistema operativo (openvz, linux vserver) – En vías de estudio. http://www.cica.es
  38. 38. Índice• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros proyectos http://www.cica.es
  39. 39. Próximos Objetivos / Futuros proyectos● Dar a conocer nuestros servicios en todas las universidades de Andalucía.● Establecer lazos de colaboración● Difundir las ventajas del housing de cómputo como modelo de ahorro de costes, eficiencia energética, bien común y parcelado de responsabilidades http://www.cica.es
  40. 40. Housing de infraestructura de cálculo● Housing: Cesión de una máquina de nuestra propiedad a un tercero, para que la aloje en sus instalaciones● CICA os permite utiliza este servicio si os interesa, conforme a un acuerdo de colaboración.● Se establecen unas bases de beneficios propios y ajenos, y se os mantiene la infraestructura física (frío, electricidad, seguridad, comunicaciones) y lógica (S.O., software, creación de colas, etc.) conforme a dicho acuerdo. http://www.cica.es
  41. 41. Housing de infraestructura de cálculo● El acuerdo de colaboración, establece que: ● El cedente puede comenzar y finalizar la cesión con CICA cuando quiera ● CICA se compromete a: – Dar suministro eléctrico. – Proporcionar refrigeración adecuada – Albergar los equipos en un entorno controlado, con personal de seguridad 24 horas en el centro. – Instalación del entorno e infraestructura http://www.cica.es
  42. 42. Housing de infraestructura de cálculo● Instalación de infraestructura. ¿Cómo? ● CICA instala el S.O. ● CICA instalamos las herramientas que el cedente demande ● CICA creamos una cola de trabajos con prioridad absoluta para el cedente sobre las máquinas que cede ● CICA aporta el direccionamiento de red e infraestructura de comunicaciones adecuada. ● CICA crea los usuarios necesarios para lanzar tareas http://www.cica.es
  43. 43. Housing de infraestructura de cálculo● ¿Obligaciones del cedente? ● Responsabilidad del buen uso del servicio, de manera adecuada y respetuosa con los demás ● No obtener beneficios económicos directos de los recursos mantenidos por CICA (no se puede “revender” el servicio de cómputo a otros aunque las máquinas sean nuestras, si CICA alimenta, refrigera y mantiene las máquinas) http://www.cica.es
  44. 44. Housing de infraestructura de cálculo● ¿Ventajas? ● El cedente tiene la máxima prioridad sobre la cola que gestione sus equipos. Sus trabajos se encolan directamente en su equipo, sin esperas. ● El cedente puede tener sus trabajos en otras colas existentes aparte de la suya. Sus trabajos pueden así terminar antes que si tuviese sólo sus máquinas. ● Otros investigadores pueden usar la cola de su infraestructura si esta se encuentra desaprovechada para trabajos de corta duración (< 24H). ● El investigador usa todo su tiempo en su campo, mientras que CICA invierte los esfuerzos necesarios en mantener la infraestructura lógica y física. – El investigador se despreocupa del hardware y del software, sólo se centra en realizar su investigación. http://www.cica.es
  45. 45. Housing de infraestructura de cálculo● ¿Existe? ¿Quién lo ha hecho hasta ahora? ● Prestamos este servicio desde Marzo del 2011 ● Dos grupos de investigación ya lo están utilizando ● GRUPO 1: Un rack completo con nodos de cálculo y un rack adicional que está en camino incluyendo electrónica de red infiniband y switch ethernet convencional para gestión. ● GRUPO 2: Un rack completo de cálculo, y otro que se recibe en Junio, donde CICA aporta la electrónica de comunicaciones http://www.cica.es
  46. 46. Más información• Presentación de CICA• Supercomputación• Virtualización y Cloud Computing• Próximos Objetivos / Futuros Proyectos• MÁS INFORMACIÓN: • Mail: eciencia@cica.es • Web: eciencia.cica.es http://www.cica.es
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×