Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva

CICA: Supercomputación y Cloud Computing

Juan Antonio Ortega Ramírez – Director de CICA
Marceliano Marrón Báez – Responsable área HPC
Juan Carlos Rubio Pineda – Jefe de Desarrollo, Mantenimiento de Sistemas y HPC

http://www.cica.es

Índice

• Presentación de CICA

• Supercomputación

• Virtualización y Cloud Computing

• Próximos Objetivos / Futuros proyectos

http://www.cica.es

Presentación de CICA

●
El Centro Informático Científico de Andalucía (CICA) se creó en el
año 1989. Actualmente depende de la Dirección General de Invest-
igación ,Tecnología y Empresa de la Junta de Andalucía, que da ser-
vicio a la comunidad investigadora de Andalucía.

●
Las actividades que se realizan en el CICA persiguen:
●
Potenciar y proporcionar herramientas para la investigación
●
El fomento de la e-Ciencia
●
Tratar de acercar estas tecnologías al mayor número posible de
usuarios, tanto en lo relativo al recursos físicos como en servicios
y actividades formativas o de divulgación

http://www.cica.es


Centro Informático Científico de Andalucía

• Funciones principales:
• Coordinación, implantación y mantenimiento de la red RICA
• Explotación y mantenimiento de SICA
• Apoyo e infraestructura a la comunidad Científica y Universitaria
• Eciencia
• Servicios FTP, mirrors (Guadalinex, Ubuntu, etc.), Forja, Correo, etc.
• Hosting/Housing de proyectos de investigación
• Diseven2
• CBUA
• Virtualización y Cloud (reCarta)

http://www.cica.es

RICA+
Red Informática Científica de Andalucía
· Primera conexión Granada-Málaga-CICA en 1993 a 2Mbps
· Implantación Tecnología ATM en 1998 a 155Mbps
· Implantación FCoE para RICA+ (1Gbps y 2Gbps sobre varios
nodos)
· Conexión CICA-RedIRIS a 10Gbps
· Futuro con fibra óptica e interconexión nacional e internacional
(RicaNova)

http://www.cica.es


Beneficiarios de RICA+:

● Investigadores intercambian grandes volúmenes de datos para su explotación.
● La Docencia virtual rica en contenidos multimedia, se podrá realizar usando
herramientas y plataformas basadas en la web, ya que RICA+ ofrece una capacidad
suficiente para desarrollar en Campus Virtual Andaluz.
● La administración electrónica de las universidades andaluzas (rápida comunicación
para los ESB's)
● El proyecto de supercomputación autonómico basado en tecnología GRID y conocido
como RASCI (Red Andaluza de Supercomputación Científica).
● El proyecto Acces-GRID, que interconecta distintas salas de videoconferencia de altas
prestaciones para recrear una sala de reuniones real en el mundo virtual.

http://www.cica.es


http://www.cica.es

Índice
• ¿Qué es CICA?




http://www.cica.es

Supercomputación

• Capacidad de resolver cálculos muy complejos en un tiempo
razonable
• Tuvo sus comienzos en los años 80
• Se basó en sus inicios en diseños arquitéctonicos de procesadores
muy específicos.
• Aplicación militar, física cuántica, meteorología, química, …
• MUY caros

http://www.cica.es

Supercomputación

• CERN (Francia & Suiza)
• CERN - the European Organization for Nuclear Research
• Análisis investigaciones física nuclear

• TianHe (China)
● supercomputadora ubicada en el National Super Computer Center en Tianjin, China.
● En octubre de 2010 se presentó una nueva versión denominada Tianhe-IA, hasta el
momento la supercomputadora más potente del mundo, llegando a alcanzar los 2.507
petaflops.
● Earth Simulator (Japan)
● superordenador desarrollado por las agencias japonesas NASDA, JAERI y JAMSTEC y
en operación desde finales del año 2001, para aplicaciones de carácter científico. Es
utilizado principalmente en simulaciones climáticas y de convección en el interior terrestre.
● Hasta finales del año 2003, ostentó el título de superordenador más rápido del mundo, con
una capacitad computacional de más de 35 Teraflops.

http://www.cica.es

Supercomputación

• En España:

• Barcelona Supercomputing Center (BSC)
• CESGA (Galicia)
• CeSViMA (Madrid)
• CICA (Andalucía)
• …
•
• BSC: 5º Ordenador más potente en el mundo (2006)

http://www.cica.es

Supercomputación
• Tipos de Supercomputación
• HPC (High Performance Computing)
● Uso de superordenadores y clusters de ordenadores para resolver
problemas de computación avanzada.
● Cortos periodos de tiempo (horas o días)
• HTC (High Throughput Computing)
● Término para describir el uso de muchos recursos de computación
durante largos periodos de tiempo para llevar a cabo una tarea de
cálculo intensivo.
● Largos periodos de tiempo (meses o años)
• Aproximaciones:
• HTC: Servidores «Superdome 2» (Superdome 2 tiene entre 2-32 sockets
(esto es, hasta128 cores) y 4 TB de memoria.
• HPC: Sistema distribuido de computación: clusters de equipos baratos
• Servidores conectados entre sí
• ¿Cómo? ¿Qué hacen?

http://www.cica.es

Supercomputación
Servidores de
Cluster Distribuido CICA Memoria
Compartida
– Sun x4600
- Cluster de Memoria distribuida.
– 16 Cores.
- 220 nodos biprocesadores (440
cores). – 64 GB RAM.

– Almacenamiento de ~12 TB
- 4 Gb de RAM por nodo.
– Cluster NovaScale BULL:
- Arquitectura de 64 bits.
– [16x2]x4x2 Intel Xeon quadcore de 3.0
GHz
- Sistema de almacenamiento de ~12
Teras – 256 Cores.

– 2 GB RAM/Core

– Conexión Infiniband
...Y CRECIENDO
– Servidor IBM pSeries 550 :4 x POWER6 dual
core modelo P550, a 4.2 Ghz.16 GB RAM

http://www.cica.es

Supercomputación

http://www.cica.es

Supercomputación

• Administración simultánea de cientos de
servidores:
• Gestión de la Conectividad
• Gestión del Almacenamiento
• Gestión de colas
• Gestión de usuarios
• Mantenimiento servidores
• Herramientas para el cálculo

http://www.cica.es

Supercomputación

¿Por qué no con Software Libre?

• Sistema Operativo
• CentOS (basado en RedHat)
• Software de soporte a la infraestructura:
• Cobbler (para despliegues, o instalación a través de red)
• Puppet (Mantenimiento de configuraciones)
• OpenNebula: para infraestructura de Cloud (reCarta)

http://www.cica.es

Supercomputación

• Almacenamiento?
• Lustre
• Recientemente, disponible la versión 2.0
• Gestión de usuarios?
• LDAP
• Gestión de colas?
• Sun Grid Engine (SGE)
• Comunicaciones entre nodos?
• OpenMPI

http://www.cica.es

Supercomputación

• SOFTWARE: relación 70 – 30 (libre vs No libre)
• Matemáticas
●
FreeFem (Eq. Diferenciales), Scilab (C. Numérico), R (Cálculo
estadístico), Sage (alternativa open source ta Magma, Maple,
Mathematica y Matlab), Octave (cálculo Numérico)...
• Química
• OpenFOAM (dinámica de fluidos), NwCHEM (biomoléculas),
Gamess (estructura electrónica molecular y atómica)
• Física, Minería de Datos, Meteorología, …

http://www.cica.es

Supercomputación

• Distribución de los trabajos?
• Sun Grid Engine (ahora bajo Oracle licencia SISSL)
• Organización automática de prioridades
• Múltiples entornos (paralelo, memoria compartida)
• Ejecución a través de scripts → Facilidad de uso

• Varias colas de ejecución, dependiendo de las necesidades del
usuario

http://www.cica.es

Supercomputación
● Colas de ejecución disponibles en CICA:
● eca: esta cola está compuesta por servidores de 2 y 4 cores con 4GB y 8GB de RAM respectivamente e
interconexión 1G Ethernet , su uso es principalmente para trabajos que no tengan requisitos hardware muy
elevados (1 ó 2 cores o con poca comunicación entre ellos, máximo 4 GB de RAM/servidor).
● ibnodes: servidores de 8 cores, 16GB de RAM e interconexión mediante red de baja latencia Infiniband.
Esta cola está destinada a trabajos que requieran de al menos 8 cores y comunicación entre ellos.
● smnodes: en esta cola se incluyen varios servidores de memoria compartida, destinada a trabajos que
requieran de gran capacidad RAM en los servidores.
● nh_ib: dispone de 4 servidores Nehalem de con 8 cores cada uno, 24GB de RAM e intereconexión de baja
latencia. Trabajos que requieran gran cantidad de RAM y mucha potencia de procesador.

http://www.cica.es

Supercomputación

• Nuestra experiencia:
• Cálculos Científicos muy delimitados (áreas y
herramientas)
• Investigadores ya utilizan una aplicación libre / no libre.
Desean seguir usándola.
• Usuarios ya experimentados. Know-how aprendido,
aunque estático.
• Un número importante de investigadores solicitan software
propietario
• Posible desconocimiento de alternativas mejores en determinados
casos...

http://www.cica.es

Supercomputación

● Ejemplo de soluciones alternativas: servidores que agregan
tarjetas gráficas (NVIDIA Tesla, con CUDA)
● En determinados problemas, presentan rendimientos altísimos.
● Ya no es necesario aprender CUDA para todos los escenarios:
– HMPP: Te permite portar directamente código hecho en C y Fortran a GPU.
En septiembre 2011 se puede disponer de version para C++.
– Jacket de Accelereyes: aceleración para problemas enfocados mediante
MATLAB
● Otras posibilidades que sacan provecho de CUDA:
– Numerix, CompatibL, MATLAB, PyCUDA, Pegasys, BadaBOOM, S3FotoPro,
SciFinance, B-spline, Parallel Computing Toolbox, Datafeed Toolbox , Fixed-
Income, Toolbox, Financial Toolbox [...]

http://www.cica.es

Supercomputación

Áreas de Investigación
Porcentaje de áreas
1,6 3,2
6,4 Química Ing. Mecánica
27,2 Estadística / Biotecnología
Investigación
16,8 Operativa / Mineria
de Datos
Matemáticas Genética
Física

20,8
24

http://www.cica.es

Supercomputación

% Tareas por Universidad
Tareas con duración < 24 horas
Huelva
Sevilla
Jaén
Córdoba
Otros

http://www.cica.es

Supercomputación
350000

300000 294473

· Desde el año 2007, ha
250000 habido un crecimiento
constante en usuarios y
200000 ejecuciones.
2007
2008
2009
2010
· Ejecuciones de tipo
150000
137460

– Minería de datos (45%)
100000 – Químico (35%)
– Físico (10 %)
– Matemático (7 %)
50000
– Otras (3 %)
25212

10000

0
Ejecuciones

http://www.cica.es

¿Supercomputación?
●
¿Cómo empezar?
●
http://eciencia.cica.es (Área Documentación)
●
Recursos?
●
Cluster looking glass: https://cube.cica.es/clg-web/
●
Ver el estado de las colas (ver el estado de las tareas)
http://cube.cica.es/sge/sge.php
●
Consulta el estado de los nodos: http://cube.cica.es/sge/hostStatus.php
●
Proyecto RECARTA: http://cloudserv.recarta.cica.es:8080
●
Monitorización con Ganglia de los recursos HPC de CICA
http://cube.cica.es/

http://www.cica.es

Cluster looking glass

http://www.cica.es

Sun Grid Engine: comandos básicos

● Tendremos credenciales de acceso a la máquina
pool.cica.es por SSH
● Comandos básicos:
● qsub: Para el envío de tareas a la cola.
● qstat: Para monitorizar el estado de las tareas, así como de
lacola en general.
● qdel: Para eliminar las tareas que están ejecutándose en ese
momento o estén a la espera de ejecución.
● qhost, qmod, qconf, etc: Estos comandos están reservados
aladministrador para la configuración de las colas y del sistema
SGE.

http://www.cica.es

Sun Grid Engine: qmon

● Necesitamos entrar a pool.cica.es tunelizando las X
windows
● Putty+Compresión SSH + X-Forwarding + Xming
● Sesión FREE NX de tipo “Custom” (mucho más rápido)
● Ejemplo:

http://www.cica.es


● Envío de trabajos (Submit jobs)

http://www.cica.es


● Borrado y estado de los trabajos:

http://www.cica.es


● … Y mucho, mucho más.
● Incluso labores de administración de
nodos si disponemos del perfil
adecuado.
● Ver nuestros trabajos, borrarlos, ver
los trabajos de otros usuarios, ver
estado de las colas, etc. etc.
http://www.cica.es

Índice




http://www.cica.es

Virtualización y cloud computing

● Proyecto reCarta (pre-Alpha)
● Permite la creación de infraestructura de cloud a medida
● Elegimos cores, memoria y número de máquinas.
● Interfaz web:
http://cloudserv.recarta.cica.es:8080
● Actualmente: OpenNebula + Xen
● Alternativas: virtualización de sistema operativo (openvz,
linux vserver)
– En vías de estudio.

http://www.cica.es

Próximos Objetivos / Futuros proyectos

● Dar a conocer nuestros servicios en todas
las universidades de Andalucía.
● Establecer lazos de colaboración
● Difundir las ventajas del housing de cómputo
como modelo de ahorro de costes, eficiencia
energética, bien común y parcelado de
responsabilidades

http://www.cica.es

Housing de infraestructura de cálculo

● Housing: Cesión de una máquina de nuestra propiedad a un
tercero, para que la aloje en sus instalaciones
● CICA os permite utiliza este servicio si os interesa, conforme a
un acuerdo de colaboración.
● Se establecen unas bases de beneficios propios y ajenos, y
se os mantiene la infraestructura física (frío, electricidad,
seguridad, comunicaciones) y lógica (S.O., software, creación
de colas, etc.) conforme a dicho acuerdo.

http://www.cica.es


● El acuerdo de colaboración, establece que:
● El cedente puede comenzar y finalizar la cesión
con CICA cuando quiera
● CICA se compromete a:
– Dar suministro eléctrico.
– Proporcionar refrigeración adecuada
– Albergar los equipos en un entorno controlado, con
personal de seguridad 24 horas en el centro.
– Instalación del entorno e infraestructura

http://www.cica.es


● Instalación de infraestructura. ¿Cómo?
● CICA instala el S.O.
● CICA instalamos las herramientas que el cedente demande
● CICA creamos una cola de trabajos con prioridad absoluta para
el cedente sobre las máquinas que cede
● CICA aporta el direccionamiento de red e infraestructura de
comunicaciones adecuada.
● CICA crea los usuarios necesarios para lanzar tareas

http://www.cica.es


● ¿Obligaciones del cedente?
● Responsabilidad del buen uso del servicio, de
manera adecuada y respetuosa con los demás
● No obtener beneficios económicos directos de
los recursos mantenidos por CICA (no se puede
“revender” el servicio de cómputo a otros
aunque las máquinas sean nuestras, si CICA
alimenta, refrigera y mantiene las máquinas)

http://www.cica.es


● ¿Ventajas?
● El cedente tiene la máxima prioridad sobre la cola que gestione sus equipos.
Sus trabajos se encolan directamente en su equipo, sin esperas.
● El cedente puede tener sus trabajos en otras colas existentes aparte de la
suya. Sus trabajos pueden así terminar antes que si tuviese sólo sus máquinas.
● Otros investigadores pueden usar la cola de su infraestructura si esta se
encuentra desaprovechada para trabajos de corta duración (< 24H).
● El investigador usa todo su tiempo en su campo, mientras que CICA invierte los
esfuerzos necesarios en mantener la infraestructura lógica y física.
– El investigador se despreocupa del hardware y del software, sólo se centra en realizar su
investigación.

http://www.cica.es


● ¿Existe? ¿Quién lo ha hecho hasta ahora?
● Prestamos este servicio desde Marzo del 2011
● Dos grupos de investigación ya lo están utilizando
● GRUPO 1: Un rack completo con nodos de cálculo y un rack adicional que
está en camino incluyendo electrónica de red infiniband y switch ethernet
convencional para gestión.
● GRUPO 2: Un rack completo de cálculo, y otro que se recibe en Junio,
donde CICA aporta la electrónica de comunicaciones

http://www.cica.es

Más información



• Próximos Objetivos / Futuros Proyectos

• MÁS INFORMACIÓN:
• Mail: eciencia@cica.es
• Web: eciencia.cica.es

http://www.cica.es

Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva

Similar to Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva (20)

More from Juan Carlos Rubio Pineda

More from Juan Carlos Rubio Pineda (20)

Recently uploaded

Recently uploaded (15)

Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva