La Virtualización y el Cloud en el CESGA: Proyecto de Escritorios Virtuales en las Escuelas Rurales

620 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
620
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

La Virtualización y el Cloud en el CESGA: Proyecto de Escritorios Virtuales en las Escuelas Rurales

  1. 1. La Virtualización y el Cloud en el CESGA: Proyecto de Escritorios Virtuales en las Escuelas Rurales José Ignacio López Cabido Centro de Supercomputación de Galicia Reunión Grupo de Usuarios VMware Galicia Santiago, 8 de mayo de 2013
  2. 2. Agenda • Qué es el Cesga • Usos de la Virtualización y el Cloud en CESGA – En Servicios – En Proyectos • Proyecto de Escritorios Virtuales en las Escuelas Rurales
  3. 3. To provide high performance computing and advanced communications resources and services to the scientific community of Galicia and to the Spanish National Research Council (CSIC), as well as, to institutions and enterprises with R&D activity. To promote high quality research in Computational Science in close collaboration with the research community from Galicia as well as from other regions or countries all over the world; contributing in this way to the advancement of science, to transfer technology to industry and administrations , and as consequence, to the welfare of society as a whole. Mission Statement
  4. 4. • Non Profit Foundation • Regional Government of Galicia • National Research Council of Spain PARTNERS Legal Status
  5. 5. Spanish Unique HPC Infrastructures (ICTS)
  6. 6.  Universities of Galicia  Regional Research Centers  National research Council Centers  Other Institutions:  Hospitals: RTD Departments  Private Companies: RTD Departments  Technological Centers  Other Non Profit RTD Centers Excellence in Management ISO 9001:2008 Quality Management UNE166002 R&D Management User Community
  7. 7. CESGA Áreas Funcionales
  8. 8. HPC Technology Evolution at CESGA
  9. 9. RECETGA Nova
  10. 10. 2012 Informe Anual 2012: HECHOS RELEVANTES • El número de horas de computación se incrementó en un 1.3%, alcanzando 27.2 millones de horas. • El número de cuentas de usuarios se redujo en un 9.1%. • Incremento de eficiencia energética y contención del gasto. Reducción del consumo de energía eléctrica en un 21.2%. • La red troncal de RECETGA multiplica su ancho de banda por 10. • Participación en 11 proyectos internacionales, 9 financiados por la CE y 2 por empresas. • 3ª edición del HPC Master – UDC, USC, y CESGA.
  11. 11. 2012 HECHOS RELEVANTES • DISTRIBUCIÓN DE LAS FUENTES DE FINANCIACIÓN DEL CENTRO EN 2012: • Proyectos competitivos y servicios: 48,8% • Xunta de Galicia (GAIN): 35,4% • CSIC: 15,8% 100%
  12. 12. PROYECTOS
  13. 13. CESGA: a selection of some of the most relevant services
  14. 14. Galician Regional Weather Forecasting Service
  15. 15. Galician Regional Weather Ocean Service
  16. 16. Puertos del Estado Spanish Port Authority Enrique Álvarez Fanjul European IBI Area: Ocean Forecasting Service
  17. 17. Galician Public Health Administration ULTRASEQUENCING SERVICE: complete genomes sequencing FGMX – USC – CHUS - CESGA Ángel Carracedo Fundación Galega de Medicina Xenómica
  18. 18. European Grid Initiative (EGI): Monitoring & Accounting Service
  19. 19. COMPUTING  Computing Services to Research Community and Industry: Galician Universities and Technological Centres Spanish National Research Council (CSIC) Others from Spanish Research Community  HPC, HTC, GRID & CLOUD computing time  Consulting and technical support  User & Developer Training STORAGE  Backup service and Data Storage CESGA’s users community Other Spanish Supercomputing Centres Computing & Storage related Services
  20. 20.  CESGA operates, manages and provides Network services though the Galician Regional Science & Technology Network (RECETGA): • Galician Universities • Regional Research Centres • Galician Hospitals (R&D Departments) • Galician Technological Centres • National Research Centres located in Galicia  Network Connectivity  Multicast  Videoconferencing  Access Grid Room Network Network Communications related Services
  21. 21.  Aula CESGA: e-Learning Platform • Over 32,000 Users, More than 1000 active courses and seminars Professors and students from all levels of education, from kindergarden to Ph.D. AULA CESGA: e-Learning Platform Services
  22. 22.  Web and Data Base Hosting Service • CESGA User Community  Physical and Virtual Server & Cluster Housing Service • CESGA User Community Hosting & Housing Service
  23. 23.  Serving Maps and georreferenced data since 1999 • Administration, Industry and CESGA research user community Galician Map & Georreferenced data base Server
  24. 24. CESGA: A selection of significant Projects
  25. 25. More detailed Climate simulations to better inform the Intergovernmental Panel on Climate change (IPCC) UVIGO Juan Antonio Añel Cabanelas
  26. 26. Oceanographic simulation to better understand fisheries population dynamics Instituto Español de Oceanografía Manuel Ruiz Villarreal
  27. 27. Molecular Docking to Design of malaria drugs on the fast track Scientists Against Malaria Hugo Gutierrez de Terán Fundación Galega de Medicina Xenómica
  28. 28. Computational fluid dynamics for new turbine design CENER Sugoi Gómez
  29. 29. Large scale electromagnetism simulation for improved radar systems UVIGO – UNEX – CESGA Fernando Obelleiro Basteiro
  30. 30. Simulation aimed at the optimization of radiotherapy treatment dosage CHUVI-CHUS-USC-CESGA Proxecto e-IMRT
  31. 31. Spanish National Unique Scientific & Technology Infrastructure More than: 16,000 GFLOPS 2,580 CPUs 19,640 GB Memory
  32. 32. Usos de la Virtualización y el Cloud en CESGA SERVICIOS
  33. 33. Usos de la Virtualización en Cesga • Consolidación de servidores • Aprovisionamiento de servidores/clusters • Entornos desarrollo • Uso en proyectos • Computación cluster • Grid • Docencia. Virtualización de aulas • Virtualización escritorios (VDI)
  34. 34. • Realidad – Existen más de 300 servidores en el CPD – Soportan servicios del CESGA y los proyectos en los que participa el CESGA ( 38 actualmente) – Prácticamente la totalidad están en S.O. linux, aunque en diferentes distribuciones (Suse, Redhat, Scientific Linux, Fedora, Debian) – Hay muchos servicios que requieren configuraciones distintas de los diferentes paquetes – Los mismos servidores se utilizan en diferentes proyectos – A veces cuesta mucho adaptar el software a hardware nuevo
  35. 35. Virtualización de Servicios: Infraestructura 2008 (Xen) • Infraestructura: – Rack Blades HP Proliant (2GB RAM) – 16 en un mismo chasis. – Cabina de discos EVA3000 – Switches Fiber Channel – Xen 3.03 (paravirtualización, mejor rendimiento) • Almacenamiento compartido por todas las máquinas anfitrionas. – OCFS2 (Oracle Cluster FileSystem v2) – VBD (Virtual Backend Device) : fichero de imagen, mayor versatilidad sin usar LVM o GFS (cluster suite de RHEL) – Necesidad de sincronización entre anfitriones • Configuración bridged (VM’s en misma LAN que maquina anfitriona). Igualmente son válidas otras configuraciones más complejas
  36. 36. Virtualización de Servicios: Infraestructura 2013 (Xen/KVM) • Infraestructura: – Rack HP Proliant BL460c (8 GB RAM) – 16 en un mismo chasis. – HP DL180 (4x16GB) + 4TB almacenamiento local – Cabina de discos EMC VNX5700 – Xen 4.X (paravirtualización) y Xen (hvm)/KVM • Almacenamiento compartido por todas las máquinas anfitrionas. – NFSv4 / Pto montaje comun – Migración en caliente • Configuración bridged + uso VLANs para aislar despliegues. • Uso de Plataformas Cloud (OpenNebula, Cloudstack)
  37. 37. Sunstone (OpenNebula)
  38. 38. Sunstone (OpenNebula)
  39. 39. CloudStack
  40. 40. Servicios virtualizados • webs alojados (hostingX.cesga.es) • Email/Calendarios (Zimbra suite), listas de distribución • Streaming/Videoconferencia (Lifesize UVC). OpenMeetings • proxy regional (eduroam) • plataformas colaborativas/enseñanza (chamillo/dokeos) • Gestión documental (Alfresco) • VoIP (asterisk-trixbox) • HostingX.cesga.es (VM base para servicios web) • AntispamX.cesga.es (VM de procesado antivir/antispam) • VMs especificas de proyectos • VMs desarrollo y testing
  41. 41. Uso de memoria
  42. 42. Ventajas e inconvenientes • Ventajas – Rápido despliegue de servicios – Servicios complejos o especiales se sirven con una o varias VMs específicas. – Fácilmente escalable. Se pueden clusterizar VM’s – Migración de máquina anfitriona en caliente (gracias al almacenamiento compartido). T < 0.5 seg (la VM mantiene las conexiones). – En gral. VM’s pequeñas, facilmente clonables (copiar un fichero de unos cuantos GB) – Alto rendimiento (90-95% en comparación a sin virtualización) – Actualización de versiones – Facilita la recuperación ante desastres • Inconvenientes – Más consumo de memoria. – El “backup” es algo más complejo, salvo que se haga directamente de las máquinas virtuales. (rsync, data protector). – Aprovechamiento no óptimo del almacenamiento. (cada VM tiene su SO) – Rendimiento (red/disco) en VMs con S.O. Windows.
  43. 43. Usos de la Virtualización y el Cloud en CESGA PROYECTOS
  44. 44. 46 • Financia: Ministerio de Industria, Turismo y Comercio (TSI-020301.1009-3) • Socios: Telefónica I+D, BSC, Xeridia, UCM, Atos Origin, Catón sistemas alternativos, eyeOS • Objetivo – Desarrollo de una plataforma Cloud federada IaaS que facilite el despliegue de servicios empresariales en Internet de forma sencilla y automática, permitiendo el escalado dinámico en base a criterios de rendimiento y objetivos de negocio. • Actividades Cesga – PT5.2 – Sistema de monitorización, contabilidad y facturación – PT6.1 – Desarrollo y gestión del entorno de pruebas – PT7.2 – Caso de Uso de Radioterapia para Hospitales NUBA: Normalized Usage of Business- Oriented Architectures
  45. 45. 3 – Esquema Cloud CESGA
  46. 46. Cloud Infrastructure 46 HP ProLiant SL165z G7 – Compute node (node configuration) Processor • 2 x AMD Opteron™ Processor 6174 (2.2 GHz, 12MB Level 3 Cache, 80W) Memory • 64 GB (19 nodes) & 32 GB (23 nodes) Storage • 1 x 500GB 3G SATA 7.2K NHP Networking • 2 Embedded Dual Port Intel 1GbE NICs (4 total NICs) I/O Expansion • 1 x16 LP PCIe Gen 2 slot • 1 x4 LP internal PCIe Gen 2 slot Management • LO100i Management • IPMI 2.0 & DCMI • Dedicated NIC Total Processor • 1200 cores 2.2GHz Memory • 2400 GB Storage • 56 TB Networking • Dedicated MPI GbE Performance • 10240 TFlops
  47. 47. Virtualización en Grid (EGEE) HARDWARE HP ClaseC Blades PE1955 Proliants Fujitsu BL35P VIRTUALIZATION HYPERVISOR Xen – Dom0 Dom0Dom0Dom0 VIRTUAL MACHINE SL 3 SL 4 PRODUCTION PRE-PRODUCTION CERTIFICATION UISE VOMS WN WN WN WN NODES MON CESEMON WN CESE MON WN www2 www3www RBWMS SITE SERVICES GLOBAL SERVICES NODES SITE SERVICES GLOBAL SERVICES RGMA-SERVER NODES SITE SERVICES CE GRIDICE PPS-GRIDICE Varios clusters sobre la misma infraestructura (producción, preproducción, certificación), que a su vez requieren múltiples servicios.
  48. 48. Cloud Federado EGI/Ibergrid
  49. 49. Cloud Federado EGI/Ibergrid CNRS LMU OerC Masaryk TUD IFAE Cyfronet SixSq BSC CESNET TCD SRCE DANTE FZJ GRNET GWDG Utrecht STFC SARA KTH INFN CESGA EGI.eu Impulsado por una comunidad de: • 60 personas. • 23 instituciones. • 13 paises.
  50. 50. Formiga-Cloud Usuario UI VOMS CE CE Aula 1 Aula 2 WN WN WN WN WN WN Autentificación Envío trabajo CESGA RB PXE SE Proyecto de reaprovechamiento de capacidad de computación de aulas informáticas en períodos de no utilización. Necesidad de no interferir con la producción de las aulas.
  51. 51. • Arquitectura Formiga CLOUD-Aula Cesga
  52. 52. ULTRASECUENCIACIÓN Secuenciación de Xenomas Completos FGMX – USC – CHUS - CESGA Ángel Carracedo Fundación Galega de Medicina Xenómica
  53. 53. FGMX: Solución implementada • Cluster de computación sobre cloud OpenNebula • Utiliza recursos de computación estándar (cluster SVG) • 1 nodo frontal + 5 nodos de computación (8 cores y 32GB por nodo) • Contabilidad de recursos • En funcionamiento desde 2010
  54. 54. Simulación para PYMES en el sector manufacturero en Galicia y Norte de Portugal CLOUD- PYME • Type of project: Interreg IV A • Project coordinator:. Jefe Filas CESGA • Project start date: 1 Enero 2011 • Duration: 24 + 6 meses (Jun 2013) • Budget: 417.280 Euros • Max EC contribution: 312.960 Euros • Consortium: 4 partners • Website: www.cloudpyme.eu El objetivo del proyecto es diseñar, crear y probar una infraestructura sostenible de soporte a las Pequeñas y Medianas Empresas del sector manufacturero, para mejorar su competitividad internacional a través de la inclusión de software libre de CAD y CAE que les ayuden a mejorar el diseño de sus productos y procesos. Simulación para PYMES en el sector manufacturero en Galicia y Norte de Portugal CLOUD-PYME
  55. 55. Arquitectura Usuario Computación local Distribución USB Servicios Comput. Computación Almacenamiento Visualización Cloud Cálculo Servicios Soporte Soporte Formación Difusión Colas S. tradicional Portal CloudPYME Almacenamiento Incidencias OsTicket Formación AulaCesga Difusión Web proyecto
  56. 56. Building service testbeds on FIRE Virtual Clusters on Federated Clouds
  57. 57. Source: http://www.bonfire-project.eu/infrastructure (August 2012) MultiSite Cloud More information: http://www.bonfire-project.eu/infrastructure BonFIRE INFRASTRUCTURE
  58. 58. Experiment Agent Workflow Cluster ready
  59. 59. Rural Schools

×