Cluster beowulf javier condori flores

4,272 views

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
4,272
On SlideShare
0
From Embeds
0
Number of Embeds
131
Actions
Shares
0
Downloads
136
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Cluster beowulf javier condori flores

  1. 1. Cluster BeowulfPor: Javier Condori FloresAsignatura: Herramientas paraMultiprocesadores y MulticomputadoresProfesor: Javier Fernández Baldomero
  2. 2. IntroducciónI. Que es un clusterII. Cluster BEOWULFIII. Elementos de un Cluster BEOWULFIV. Implementación
  3. 3. Introducción Los Clusters Permiten realizar: Operaciones complejas con herramientas de bajo costo Códigos paralelizados Computo paralelo Y Alto rendimiento
  4. 4. I. Que es un cluster1. Definición2. Beneficios de la Tecnología Cluster3. Clasificación de los Clusters4. Componentes de un Cluster5. Uso de los Clusters6. Clusters en Aplicaciones Científicas7. Clusters en AplicacionesEmpresariales
  5. 5. Definición de Cluster Conjunto de computadoras construidos mediante la utilización de componentes de hardware comunes y que se comportan como si fuesen una única computadora.Mayoritariamente para uso de: Super computo Servidores web y comercio electrónico Bases de datos de alto rendimiento Entre otros
  6. 6. Beneficios de la Tecnología Cluster Incremento de velocidad de procesamiento ofrecidopor los clusters de alto rendimiento. Incremento del número de transacciones o velocidadde respuesta ofrecido por los clusters de balanceo decarga. Incremento de la confiabilidad y la robustezofrecido por los clusters de alta disponibilidad.
  7. 7. Clasificación de los Clusters Alto Rendimiento (HPC): Son clusters en los cuales seejecutan tareas que requieren de gran capacidadcomputacional Alta Disponibilidad (HA): Son clusters cuyo objetivo dediseño es el de proveer disponibilidad y confiabilidad Alta Eficiencia (HT): Son clusters cuyo objetivo de diseñoes el ejecutar la mayor cantidad de tareas en el menortiempo posible
  8. 8. Componentes de un Cluster NODOS ALMACENAMIENTO Interno NAS/SAN Protocolo NIS No dedicados DedicadosConección de Red Sist. Operativo Middleware - MOSIX
  9. 9. Componentes de un ClusterProtocolo de Comunicación Aplicaciones Ambientes de Programación Paralela
  10. 10. Uso de los ClustersAplicaciones Científicas Se suelen caracterizar por ser aplicaciones computacionalmenteintensivas. Sus necesidades de recursos son muy importantes enalmacenamiento y especialmente memoriaAplicaciones Empresariales Suelen ser aplicaciones no especialmente intensivascomputacionalmente, pero que demandan alta disponibilidad yrespuesta inmediata.
  11. 11. II. Cluster BEOWULFHardwareSoftwareClasificaciones de BEOWULF Clase I Clase II
  12. 12. BEOWULFBeowulf es unatecnología para agruparcomputadores basadosen el sistema operativoLinux para formar unsupercomputador virtualparalelo.
  13. 13. HARDWAREBeowulf posee una arquitectura basada en multicomputadores el cualpuede ser utilizado para computación paralela, esta compuesto por:
  14. 14. HARDWARE Arreglos RAID, ayudan aunir varios discos duroscomo si fueran uno solo. Se recomienda que losdispositivos que van a formarparte del arreglo, sean de lamisma capacidad.
  15. 15. SOFTWAREBeowulf utiliza: Cualquier distribución de Linux Bibliotecas de paso de mensajes como PVM o MPI(Bibliotecas de programación paralela) MOSIX: realiza el balanceo de carga del cluster
  16. 16. Clases de Cluster BEOWULFCLASE I: Certificación “Computer Shopper”Adquisición de componentes en cualquier tiendaNo tienen ningún requerimiento especificoCLASE II: No pasa la Certificación “Computer Shopper”Componentes no son de uso común.Están diseñados para algo especifico
  17. 17. III. Elementos de un Cluster BEOWULFDiscoClientes sin disco (Disk-less)Instalación Local Completa en los ClientesNFS EstándarSistemas de Archivos DistribuidosMemoriaProcesadorTipos de Procesamientos SMP y MPPRed
  18. 18. DiscoDos métodos para mejorar el rendimiento del cluster: Clientes DiskLess (clientes sin discos) Se modifica el nodo maestro Se aumenta el trafico de la red Local completa en clientes Se reduce a 0 el trafico de la red. Se deben modificar uno por unoAmbos difieren relacion precio/rendimiento/facilidad deadministracion
  19. 19. NFS y Archivos DistribuidosNFS Los nodos obtienen los HOME de los usuarios desde el nodo maestro.Sistema de Archivos Distribuidos Cada nodo posee un pedazo del sistema de archivos lo que ayuda a incrementar la velocidad en los accesos No se recomienda fase experimental
  20. 20. Memoria y ProcesadoresMemoria Dos factores primordiales Los recursos económicos con que se cuentan Los requerimientos de memoria de las aplicaciones quese ejecutarán en el clusterProcesadores Los clusters son construidos con procesadores Alpha oIntel.
  21. 21. Multiprocesadores Simetricos SMPComparten globalmente una sola RAM simplifican elsistema fisico como la programacion de aplicaciones.Al ser maquinas con mas de un procesador aumentan elpoder del Cluster.
  22. 22. Procesamiento Masivo Paralelo MPPEvitan los cuellos de botella del bus de memoriaLa RAM se distribuye entre los procesadores
  23. 23. RED La topología de red recomendada es un Bus o barra, debido a la facilidad para proporcionar escalabilidad a la hora de agregar nuevos nodos al cluster. Protocolo  ETHERNET  FASTEHTERNET Son apropiados para BEOWULFÚnico canal donde se conectantodos los nodos del cluster.
  24. 24. IV. ImplementaciónConsideraciones HARDWARE SOFTWARE Arranque Sistema Operativo, Comunicación Nodos, asignaciones de IP, TFTP, kernel en los nodos, NFS. NFS Configuraciones por Nodos
  25. 25. Consideraciones Como comunicamos los nodos? Que tipo de nodo utilizo? Que software permite lograr el paralelismo en las aplicaciones? Como cargo archivos remotos? Como organizo los archivos?
  26. 26. HARDWARE Comunicacion entre nodosEl uso de la tecnología Ethernet aumenta la escalabilidad y eluso de switch reduce el trafico en el bus, las colisiones y lasaturación. Uso de nodos disklessSe recomiendan porque requieren mínimo de mantenimientoy configuración ya que todas se hacen en el servidor centralel recurso de interés en las estaciones es su procesador ymemoria, como elementos de trabajo básicos del cluster.
  27. 27. DisklessPermite la centralización de los datos en el servidorcentral.Desventajas La primera es que se incrementa el uso de disco duro en el servidor central. La segunda es un bajo desempeño en el acceso a archivos por parte de los nodos, si no se cuenta con una red rápida puede tomar tiempo
  28. 28. SOFTWAREArranque de Nodos El sistema operativo en el servidor central servirá como base para la creación de los directorios o sistemas de archivos para los nodosInstalación y Configuración de los nodos (diskless) Arrancar el PC y cargar el “Arrancador de red” El arrancador obtiene la dirección IP usando BOOTP o DHCP El arrancador usa TFTP para transferir los archivos desde el servidor (normalmente el kernel) Cuando se carga el kernel termina el trabajo del arrancador de red. Y se realiza el procedimiento de inicio
  29. 29. Asignaciones de IP El BOOTP como DHCP se encargan de esto. DHCP es un protocolo mas sofisticado y mas claro que BOOTP. En el archivo de configuración de DHCP se definen los nodos de la siguiente forma:host nodo1 { fixed-address 192.168.1.68; hardware ethernet 00:60:08:0B:5A:9E; filename "/tftpboot/vmlinuz-nbi-2.2"; next-server 192.168.10.1; option host-name "nodo1";}
  30. 30. Servidor de Arranque TFTP El protocolo TFTP (Trivial File Transfer Protocol) es un protocolo muy sencillo, basado en UDP, que permite bajar archivos de un servidor. Su principal utilidad es, precisamente, para proporcionar archivos de arranque a equipos que no cuentan con almacenamiento local. Para habilitarlo se debe agregar la siguiente línea en el archivo de configuración /etc/inetd.conftftp dgram udp wait root /usr/sbin/tcpd in.tftpd /tftpbootEl último parámetro (/tftpboot) indica el directorio que contiene los archivos a compartir por medio de TFTP.
  31. 31. Cargador de Arranque Para realizar esto existen dos paquetes que son Netboot yEtherboot. Netboot utiliza manejadores de paquetes que se incluyen en lamayoría de las tarjeta de red del mercado. Etherboot genera una ROM para cada tipo de tarjeta de redsoportada. No se recomienda Etherboot si la tarjeta no esta soportada, perosi el Netboot tiene un soporte mas extenso.
  32. 32. Creación del Kernel para los nodosEl archivo que el servidor TFTP entregará a los nodos unkernel Linux funcional. Este asume el control del sistemay realiza el arranque normal.El kernel para cada nodo debe estar compilado con lassiguientes opciones: Kernel level autoconfiguration. Obtiene info del kernel atraves de algún protocolo como DHCP DHCP support BOOTP support NFS Root File System on NFD Soporte para la tarjeta de red que se vaya a utilizar
  33. 33. Sistema de Archivos y Servidor NFSEl sistema de archivo para cada nodo queda en eldirectorio /tftpboot y se crean directorios con elhostname correspondiente: /tftpboot/nodo1 El servidor NFS nos permitirá acceder a los archivos ubicados en sistemas remotos, su configuración se hace en el archivo /etc/exports y debe quedar de la siguiente forma: /tftpboot 192.168.1.0/255.255.255.0(rw,no_root_squash) /home 192.168.1.0/255.255.255.0(rw,no_root_squash) /usr 192.168.1.0/255.255.255.0(rw,no_root_squash)
  34. 34. Configuración del NISPara compartir la información de un servidor se requierede un dominio NIS, asi cuando se realicen peticionesestas puedan obtenerse del servidor NIS y no de loslocales.El cliente NIS requiere fijar el dominio NIS al quepertenece por medio del programa domainame: # domainame DOMINIOEn el servidor en el archivo /etc/sysconfig/network añadirla siguiente linea NISDOMAIN=”DOMINIO”Indicar que NISDOMAIN atenderá peticiones. Editar elarchivo /etc/yp.conf y añadir: ypserver [ip del servidor]
  35. 35. Direcciones de los nodosEl archivo /etc/hosts contiene el mapa de nombresa direcciones IP.Este contiene las direcciones de la siguienteforma: 127.0.0.1 localhost 192.168.1.1 DOMINIO #nodos 192.168.1.3 nodo1 192.168.1.4 nodo2 192.168.1.5 nodo3 192.168.1.6 nodo4
  36. 36. ABC (Automated Beowulf Cluster)Gnu/Linux para el uso en clustering
  37. 37. Automated Beowulf ClusterFue creado en la universidad del paísVasco www.ehu.esABC GNU/Linux esta desarrollado en base ala distribución Ubuntu.Su principal uso es para equipos querealicen cálculos paralelos.
  38. 38. Automated Beowulf ClusterEsta distribución es capaz de configurarautomáticamente un clúster de hasta 254ordenadores en modo live.También se puede instalar en el front-End,y arrancar desde la red conectado a unswitch los demás nodos.No es necesario instalar ABC GNU/Linux enlos nodos.El clúster viene configurado con LAM,OPENMPI Y GANGLIA.
  39. 39. Automated Beowulf Cluster Implementación Utilizar más de un PC y todos los PCs integren256 MB de memoria RAM y que al menos seanprocesadores P3 500Mhz o equivalente. En caso de que se quiera construir un cluster enmodo “live” no es preciso utilizar disco duroalguno, en caso de querer instalar la distribuciónen el front-end (el PC donde se inserta el disco deABC) será necesario que ese PC tenga disco duro.
  40. 40. Automated Beowulf Cluster Implementación Los PCs deben están interconectados a travésde un switch. No debe utilizar un router para interconectar losPCs. La velocidad del switch y la categoría delcableado empleado han de ser la mayor posibleya que en caso de que el cluster este formado porun gran numero de PCs la latencia perjudicaría elrendimiento del sistema.
  41. 41. Automated Beowulf ClusterArranque del Front-EndEn este PC escogeremos en su BIOS que el dispositivo preferido para elarranque sea el DVD. Una vez arrancado el disco se mostrara en lapantalla lo siguiente:
  42. 42. Automated Beowulf Cluster Modos de arranque:Modo “live”. Este modo de arranque se hace sin necesidad de instalación alguna, todo el sistema arranca en RAM.Modo “installer”. Mediante este modo se instalara la distribución en el disco duro del front-end. La instalación se lleva a cabo mediante el instalador de Ubuntu. Es muy importante que durante la instalación se cree el usuario “master” con clave “master” y que al PC le pongamos como hostname “master”.
  43. 43. Automated Beowulf Cluster Modos de arranque: Modo “checkdisk”. Es utilizado para comprobar laintegridad del soporte óptico. Modo “memtest” Es utilizado para comprobar elestado de la memoria RAM. En caso de que se opte por arrancar del disco durotan solo se debe teclear “hd” y presionar la tecla“enter”.
  44. 44. Automated Beowulf ClusterTanto si se arranca en modo “live” o si se arranca una instalaciónde ABC GNU/Linux que se encuentre en el disco duro,accederemos al escritorio GNOME como se muestra en lasiguiente captura de pantalla:
  45. 45. Automated Beowulf ClusterArranque de los nodosSe debe configurar la BIOS especificando que el dispositivo dearranque sea la NIC mediante PXE. Una vez configurada la BIOSel arranque de cada nodo se llevara a cabo como se muestra enlas siguientes capturas de pantalla:
  46. 46. Automated Beowulf ClusterComo puede observarse cada nodo obtendrá una IP yarrancara a través del front-end.
  47. 47. Automated Beowulf ClusterEjecución en el clúster
  48. 48. Automated Beowulf ClusterEjecución en el clúster
  49. 49. Automated Beowulf ClusterEjecución en el clúster
  50. 50. Automated Beowulf ClusterEjecución en el clústermaster@master:~/Fuentes$ mpiexec.openmpi -o hello.c hellomaster@master:~/Fuentes$ mpiexec.openmpi -c 2 helloHello MPI_COMM_WORLD, Im 1/2 @ master:/home/master/FuentesHello MPI_COMM_WORLD, Im 0/2 @ master:/home/master/Fuentes
  51. 51. Automated Beowulf ClusterEjecución en el clúster
  52. 52. ReferenciasABC Gnu/Linux, IEEE article: http://bit.ly/iqhVcW ABC Gnu/Linux http://bit.ly/lWYZ6vhttp://es.wikipedia.org/wiki/ABC_GNU/Linuxhttp://www.cecalc.ula.ve/documentacion/tutoriales/beowulf/Cluster (Informatica) http://bit.ly/gaIwuP

×