Un Clúster con SLURM, uso y configuración

Un Clúster con SLURM Uso y configuración Miguel Oliván ANAIS GIFNA Universidad de Zaragoza

Clúster Agrupación coordinada de ordenadores que se comportan como uno solo Tipos según servicio esperado:  Alto rendimiento  Alta disponibilidad  Balanceo de carga

Componentes SLURM → Distribuye el trabajo en los nodos NIS → Sincroniza los usuarios NFS/SMB → Sistema de ficheros en red NTP → Sincronización de relojes Cfengine → Gestiona configuraciones

SLURM SLURM →Sistema gestor de recursos  Clusters heterogéneos  Tolerante a fallos  Configurable (gestión de nodos, trabajos, tareas reservas, grupos, ...)  Extensible

Imagen única NIS →Network Information Service  Gestión centralizada de usuarios NFS → Network File System  Permite compartir el sistema de ficheros para dar una imagen común del arbol de directorios a todos los nodos SMB/CIFS→Server Message Block/Common Internet File System  Análogo a NFS – típico en NAS

sultan 4 nodos  1 nodo acceso + cómputo (4 procesadores)  3 nodos cómputo  dos monoprocesador  Uno 4 procesadores → 10 procesadores Red local Gigabit Ethernet Recusos de almacenamiento compartido

Sistema de ficheros Compartidos por todos los nodos:  NFS (a Gigabit Ethernet ext3)  /scratch (~50 Gb)  SMB (a Gigabit Ethernet – NAS RAID 5)  /media/hardstorage (2 Tb) Ideales para fich. entrada/salida si el volumen no es grande  SMB (a 10Mb Ethernet) /media/next /media/tpc  /media/megas Replicado para todos los nodos /programas

Uso SLURM Uso básico: sbatch script [parametros] El script contiene:  Variables de entorno adecuadas (PATH, LD_LIBRARY_PATH, ROOTSYS, G4INSTALL,...)  Llama al programa: srun program Puede usar variables de entorno definidas por SLURM (SLURM_JOB_ID, SLURM_JOB_CPUS_PER_NODE,...) Asumimos tareas secuenciales, no multithread, no MPI  Si no, reserva de CPUs: sbatch -n4 script

Uso SLURM - Ejemplo#!/bin/sh#Available variables in sbatch scriptecho $SLURM_JOB_IDecho $SLURM_JOB_CPUS_PER_NODE#Environment variables###GEANT4G4SYSTEM=Linux-g++G4WORKDIR=/media/next/SimData/laura/GeantWork/#[...]export PATH=$PATH:$G4WORKDIR/bin/$G4SYSTEM#call slurmsrun next225 "$@"

Uso SLURM - prioridades Encolar tarea con más prioridad: sbatch -p prior script [parametros] La partición prior es más prioritaria que la de defecto Esto se salta la cola de menos prioritarias (si las hay)  Permite tener dos vías (o más) con distintas prioridades (y usuarios/grupos)  Existe opciones de configuración para expulsar a las menos prioritarias: cancelarlas o reencolarlas (demasiado expeditivas), suspenderlas (cambia la planificación) crear y restaurar y puntos checkpoints (no trivial)

Supervisión sview (visualización, cancelación, gestión, ...)

Configuración de SLURM Configurado el gestor de recursos para pensando en aplicaciones secuenciales que demandan procesador CPU recurso escaso + aplicación secuencial → SchedulerType=sched/backfill Especialmente indicado para SPMD (Un sólo programa, distintos datos) Válido para simulación GEANT4 ¿Válido para análisis de datos? Planificación FIFO (First in, first out)

Configuración de SLURM Prioridades Partición: conjunto de nodos Asignación de prioridades por partición sin expulsión de menos prioritario: PartitionName=debug Nodes=sultan,nodo01,nodo02,nodo03 Default=YES MaxTime=INFINITE State=UP PartitionName=prior Nodes=sultan,nodo01,nodo02,nodo03 Priority=10 Default=NO MaxTime=INFINITE State=UPPreemptType=preempt/partition_prio Existen también prioridades basadas en otras métricas) Existen expulsiones de menos prioritarias → suspensión, cancelación, reencolado

Configuración Slurm → /etc/slurm-llnl/slurm.conf NIS → /etc/hosts.allow /etc/default/portmap /etc/default/nis /etc/yp.conf NFS/SMB → /etc/fstab /etc/exports NTP → /etc/ntp.conf

Enlaces Slurm  Quick Start Administrator Guide  Generador de configuración  Configuración de expulsión de tareas NIS  Guía rápida para Ubuntu Cfengine

http://yapw.blogspot.com	294
http://yapw.blogspot.com.es	11
http://yapw.blogspot.mx	7
http://yapw.blogspot.com.ar	6
http://www.slideshare.net	2
http://translate.googleusercontent.com	1
http://yapw.blogspot.co.uk	1

Un Clúster con SLURM, uso y configuración

by miguelolivan on Jun 13, 2011

Accessibility

Tags

Upload Details

Usage Rights

7 Embeds 322

Statistics

Un Clúster con SLURM, uso y configuración — Presentation Transcript