El servei de càlcul científic del CSUC: presentació

Servei de càlcul científic del CSUC: Presentació

Sumari
1. Cinc cèntims sobre el CSUC
2. Càlcul científic
3. Infraestructures: Pirineus III i storage
4. Torn de preguntes

Qui som
❑ Entitat de dret públic creada després de la fusió del CESCA i el CBUC.
❑ Adscrit a la Generalitat de Catalunya mitjançant el departament de Recerca i Universitats i a les
universitats públiques catalanes (les altres són membres agregats).
❑ Mitjà propi de totes les entitats consorciades i, d’acord amb la llei de contractes del sector públic, també
de les entitats que en depenen de les anteriors (grups universitaris, entitats del sector públic de la
Generalitat, etc.).
❑ D’acord amb els Estatuts:
▪ L’objectiu fonamental és la compartició o mancomunació de serveis acadèmics, científics, bibliotecaris, de
transferència de coneixement i de gestió de les entitats consorciades que aquestes li encomanin, així com també
de serveis informàtics i tecnològics, en especial aquells que tinguin per finalitat garantir la compatibilitat, la
comunicabilitat i la seguretat de xarxes i sistemes.
▪ Es crea una central de contractació com a servei instrumental del CSUC a disposició de les entitats consorciades i
de les altres entitats que s'hi vulguin adherir.

Àmbits fonamentals de serveis
TIC
Serveis de connectivitat, grans infraestructures per a la recerca, serveis
d’infraestructura al núvol, serveis d’administració digital i servei de dades.
Aprenentatge, Recerca i Ciència Oberta
Impuls a la ciència oberta, gestió de dades de recerca (plans de gestió i datasets),
Portal de la Recerca de Catalunya, repositoris, Biblioteca Digital de Catalunya, sistema
de gestió bibliotecària, catàleg col·lectiu (CCUC), GEPA.
Compres Conjuntes
Contractació de productes i serveis de qualitat de manera àgil, eficaç, eficient i amb
preus avantatjosos gràcies a l’acció conjunta.

Serveis per tot el cicle de vida de les dades de recerca
Infraestructura
Emmagatzematge
Càlcul
Servidors

Node de còmput, dades i IA de la Red Española de Supercomputación (RES)
La RES és una infraestructura Científica i Tècnica Singular (ICTS) amb 16
supercomputadors distribuïts en 14 nodes coordinada per el BSC
El CSUC es va incorporar a la RES el 2015 i hi aporta el 20% de la
seva infraestructura de còmput
Nodes de supercomputació (HPC). El CSUC hi participa des del 2015
amb aprox. 4 grups d'investigació a cada convocatòria (cada 4 mesos)
Nodes de dades. Projectes de 4-5 anys d'aprox. 300 TB. El CSUC hi
participa des del principi del servei, al 2020. Actualment 1 projecte
de dades i 3 de backup
Nodes de IA. Similar a HPC per IA. 1a convocatòria al 2024, el CSUC
hi participarà a partir de la següent, al 2025
En el futur, també s'accedirà a l'ordinador quàntic del projecte Quantum Spain.
El CSUC hi participa al projecte amb un tècnic de suport

Què fem a càlcul científic?

Què fem a càlcul científic?
Proporcionem infraestructura i suport per
tal que les persones investigadores
puguin fer
Simulacions

Arquitectura Pirineus III
Pirineus III
Partició AMD
50 nodes
2x Epyc 9654 96
nuclis
384 GB
memòria/node
Partició FAT
8 nodes
2x Epyc 9654 96
nuclis
3 TB
memòria/node
Partició GPU
29 nodes
2x Epyc 9334 32
nuclis & 2x GPU
Nvidia H100
384 GB
memòria/node
Partició Intel
40 nodes
2x Xeon Gold 6342
24 nuclis
256 GB
memòria/node
Sistema d'scratch
20 nodes
2 PB d'scratch
Accessible
per xarxa IB

Particions AMD i FAT
50 nodes estàndard + 8 nodes fat
2x CPUs AMD Epyc 9654 de 96 nuclis a 2.4 GHz per node
Memòria: 384 GB (nodes estàndard) i 3 TB (nodes fat)
Sistema scratch d'alt rendiment basat en el sistema d'arxius Beegfs (~ 2 PB)
Nodes interconnectats amb xarxa Infiniband HDR a 200 Gb/s

Partició GPU
29 nodes
2x CPUs AMD Epyc 9334 de 32 nuclis a 2.7 GHz per node
Memòria de 384 GB
Sistema scratch d'alt rendiment basat en el sistema d'arxius Beegfs (~ 2 PB)
2x GPU Nvidia H100

Partició Intel
40 nodes en format blade
2x CPUs Intel Xeon Gold 6342 de 24 nuclis a 2.8 GHz
Memòria: 256 GB
Sistema scratch d'alt rendiment Beegfs (~ 2 PB) + Disc local de 2 TB/node

Pirineus III en xifres
Pirineus II Pirineus III Increment
# Nuclis 3.888 14.240 266 %
# GPUs 4 58 1.350 %
Rpeak (Pflop/s) 0,4 2,2 458 %
HC/any (milions) 34 124 264 %
Consum (kW) 60 140 133 %
Tflop/s/kW 9,8 15,6 59 %
Milions d'HC/kW 0,6 0,9 56 %

Evolució de la potència de còmput (en Tflop/s)
0
500
1000
1500
2000
2500
10 x
4 x
Pirineus III
Pirineus II
2,2 Pflop/s

Comparativa de rendiment i consum respecte a la generació anterior
OpenFOAM
Orca
0
500
1000
1500
2000
2500
3000
12 24 48 96 144 192 240
Temps
de
CPU
(s)
Nombre de nuclis
Pirineus II Pirineus III
0
50
100
150
200
250
300
350
12 24 48 96 144 192 240
Consum
(kWh)
Nombre de nuclis
0
2000
4000
6000
8000
10000
12000
1 4 8 16 24 32 48 64
Temps
de
CPU
(s)
Nombre de nuclis
0
100
200
300
400
500
600
700
800
900
1000
1 4 8 16 24 32 48 64
Consum
(kWh)
Nombre de nuclis

Configuració de l'emmagatzematge
Cabina d'emmagatzematge de Huawei
All-Flash SAN&NAS Storage Pool (3.8PB)
OceanStor Dorado 6000 V6
File/Object Storage Pool (43PB)
OceanStor Pacific 9920 OceanStor Pacific 9550
VM, Bases de dades, … Fitxers, Objectes, HPC, Backup, …
▪ Discs E2E NVMe, alt
rendimient i menor latència
▪ 36 discs por xassis/safata
(2U), alta densitat
▪ Consum d’energia ＜1.8 W/TB
▪ Connexions multiprotocol d'alta eficiència
▪ 43 PB en 4 armaris rack, alta densitat
▪ Consum d’energia: 1 W/TB
Disponibilitat
Eficiència en l’accés
a arxius
Reducció de l’espai
físic
Estalvi d’energia

Seguretat de l'emmagatzematge
OceanStor Pacific
OceanCyber
CUC
Sistema de fitxers
Alarma de
comportament anòmal
Copiar alarma
d’excepció
Còpia de les
dadess de
l’escaneig de
seguretat
Intercepció
per regles de
configuració
Anàlisis de
l’E/S en
temps real
OceanStor Dorado
99.9% precisió en la identificació
Detecció de l’incident abans, durant i després dels
esdeveniments
Detecció i recuperació mitjançant snapshots
Protecció integral de 3 capes
Snapshots comencen en segons
Recuperació ràpida
Els atacs de Ransomware es
converteixen en la major amenaça a la
seguretat informàtica
Factors
subjectius
Error Lògic
Mal funcionamient
Atacs de
Ransomware
Protecció global contra ransomware

Configuració de la llibreria de cintes
Llibreria de cintes de Quantum
Màxima velocitat de
còpia
Reducció de l’espai
físic
Estalvi d’energia
▪ 16 drives LTO-9
▪ Connexió FC 8 Gb c/u
▪ 1000 cel·les llicenciades
▪ 700 cintes configurades
▪ Capacitat d’emmagatzematge de 18 TB/45
TB natiu/comprimit
▪ Velocitats de transferència
nativa/comprimida de fins a 400/1000 MB
per segon
▪ Consum d’energia: 2 W/TB
Quantum iScalar 6000 FujiFilm LTO Ultrium9

Serveis associats a la infraestructura
✓ Preservació
✓ Sistemes de fitxers NAS (NFS, CIFS)1
✓ Emmagatzematge d’objectes (S3)
✓ Sistemes de fitxers Hadoop (HDFS)
✓ Backup remot
✓ Disc per compartir dades per usuaris (UNIDISC)2
✓ Disc per compartir grans volums de dades3,*
✓ Transferència de grans volums de dades4,*
✓ Entorns amb lectura i escriptura ràpida
✓ Accés a Bloc (SAN, FC i iSCSI)
✓ Màquines virtuals
✓ Bases de dades
1 VLAN extesa a través de la connexió de l’Anella Científica, 2 Software base OwnCloud Server, 3 Software base OwnCloud Infinitie Scale, 4 Software base ASPERA
* Primer trimestre 2025

CPD actual
CPD
- Espai de 135 m2 (2 illes fredes)
- Espai de 85 m2 (portes fredes HPC + InRows a illa calenta emmagatzematge, ocupació al
80%)
Electricitat
- Transformador de 1.000 kVA + backup de 800 kVA (CSUC)
- Grup electrògen de 1.100 kVA / 880 kW
- SAI de 400 kVA (n+1) amb bateries de liti
Climatització
- Refrigeració per aigua
▪ CPD 1: 3 equips sala (màxim 217 kW)
▪ CPD 2: 2 equips sala (màxim 132 kW) + 3 InRow (màxim 83,4 kW) + 5 portes fredes
(màxim 175 kW)
▪ Sala SAI: 2 Mitsubishi (màxim 76 kW)
- 6 unitats exteriors CPDs (màxim 500 kW) + col·lector
- 1 unitat exterior ambient sales (màxim 54 kW)
Monitorització
- BMS (temperatura, humitat, inundació, fum)
- Control predictiu

El servei de càlcul científic
Servei de càlcul científic
Maquinari: Pirineus III + Storage
Programari: qualsevol aplicació de codi obert o amb llicència (de
l'usuari) que es requereixi
Suport: equip tècnic especialitzat en computació d'alt rendiment
que:
• Instal·len, configuren, optimitzen i mantenen tant el programari
científic com l'entorn de treball
• Proporcionen suport als usuaris en l'ús del maquinari i la instal·lació i
ús del programari
• Contacte: https://hpc.csuc.cat

El servei de càlcul científic del CSUC: presentació

More Related Content

Similar to El servei de càlcul científic del CSUC: presentació

More from CSUC - Consorci de Serveis Universitaris de Catalunya

El servei de càlcul científic del CSUC: presentació