2005

1. A ClusterGrid rendszer - avagy hogyan
üzemeltessünk több, mint 1000 csomópontból
álló Linux rendszereket
Szalai Ferenc
NIIF Iroda
(szferi@niif.hu)
www.clustergrid.hu

2. Bevezető
● Mi az a ClusterGrid?
● Hogyan építettük fel?
● Mire használjuk, mire jó?
● Hova tovább, hovatovább?

3. Mi a szösz az a ClusterGrid?
● Mi van a Seti@Home-on túl?
● Születés nap: 2002 július, OM pályázat 1200
gépre, 20 gépes egyetemi laborokra
● Miért hagynák parlagon ekkor számitási
kapcitást? – éjjel számoljunk velük!
● Terv: biztonságos és könnyen üzemeltethető
megoldás kell! - clusterek lazan kapcsolt
rendszere

4. ClusterGrid architektúra

5. ClusterGrid Architektúra
● Kulcsszerep: Hálózat + szerepáció
– MPLS VPN, 802.1q vlan
● Minden helyi labort klaszterbe szervezünk:
dualboot-os rendszer
● Operációs rendszer: GNU/Debian Linux
● Központi kiszolgáló infrastuktúra: root DNS,
debian mirror, monitorozás stb

6. Hálózat

7. Klaszter
● Kettôs üzemmód: nappal – oktatás (általában
Windows-al), éjszaka grid - linux-al
● Éjszakai üzemmód: dedikált n0 frontend, NFS
Root diskless kliensek
● Állapot mentés, visszaállítás (checkpoint)
alkalmazás szinten
● Klaszter ütemezõ: Condor ill. saját fejlesztés

8. Klaszter
● N0: Klaszter frontend
– Telepítés: modosítot debian-installer
– Szolgáltatások: ssh, klaszter ütemezõ, tftp, nfs,
ntp, grid szoftver, syslog-ng, dhcp, exim4
– nincs DNS, klinesek MAC szam szerint vannak
azonositva (arp tábla jó barát)
– /home, /usr/local NFS share
– LVM, XFS
● Kliensek: PXE boot, 802.1q támogató initrd

9. Monitorozás/Felügyelet
● Központi felügyelet, helyi rendszergazdák
segítségével
● Saját fejlesztésû monitorozó rendszer

10. Monitorizás/felügyelet

11. Mit akar a felhasználó?
● Futtatni egyerűen: jelszavunk “Just run”!
● Hagyományos mosópor nem vált be!
(Condor,SGE, Globus, LCG stb)
● Saját megoldás kell: egyszerű és hatékony
legyen -> korábban apache/php/postgresql
alapú megoldás -> grid underground
framework

12. Grid Underground
● Python alapú rendszer
● SOAP/XML Web/Grid szolgáltatás keretrendszer
● Megvalósított szolgáltatások: job futtatás, elosztott
tároló rendszer, elosztott authentikáció (X509),
elosztott katalógus (DHC).
● Szabványok: JSDL, OGSA-BES, WSDM, XML,
WSDL, SOAP, HTTPS
● Nem csak grid-re jó!
● http://gug.grid.niif.hu, http://www.sf.net/projects/gug

13. Fejlesztések
● CoLinux alapú vituális klaszter -> hogyan
terjeszük ki 24h-ra a mûködést
● Desktop erõforrások bevonása: általános
Seti@Home
● Egyszerûbb felhasználó interfész
● Elosztott tároló rendszer: cél 1Petabyte