Problémák
●
Informatika egyre kritikusabb
infrastruktúra és egyre nagyobb
rendelkezésre állást várnak el tőle
●
Növekvő teljesítmény igényeket nem
lehet erősebb gépekkel kielégíteni
gazdaságosan
●
Növekvő bonyolultságú informatikai
infrastruktúra (egyre több szerver a
szerverszobában)
●
Növekvő tárolandó adatmennyiség (kép,
videó, adatbázisok)
3.
Kinek a problémája?
●
Üzemeltető:
– gyorsan, olcsón, egyszerűen valami ütőset
– kevés emberem van!
●
Fejlesztő:
– lusta vagyok módosítani a kódom, oldja meg
az infrastruktúra a párhuzamosítást, elosztást
(program, adat szinten egyaránt)
●
Felhasználó:
– Nagy méretű probléma, kis méretű házi
PC/klaszter
Ismert elosztott szolgáltatások
● Filecserélő hálózatok: adatterület
megosztás, sávszélesség megosztás
(torrent)
● SETI@Home jellegű rendszerek:
szabad számítási teljesítmény megosztás
6.
Ismert elosztott szolgáltatások
problémái
●
Gyenge átjárhatóság a rendszerek között
●
Nem szabványos kommunikációs
protokollok
●
biztonság
Általánosítás: GRID
7.
Mi a szöszaz a grid? (ezen a héten)
●
Fogalmam sincs! De:
●
Szolgáltatás orientált szoftver infrastruktúra
virtuális szervezetek számára
●
Elemei szolgáltatások halmaza:
– információs rendszer: „hol vannak a
szolgáltatások, és milyenek azok?”
– feladat végrehajtás: „futtasd ezt, valahol, ahol
a legjobb”
– adattárolás: „az ország diskje”
– biztonság
– monitorozás, elosztott management
8.
Mi nem grid?
●
A klaszter
●
A „Desktop Grid” - nincs virtuális
szervezet fogalom, nincs felhasználó
●
Elosztott adatbázis szerver, mert nem
infrastruktúra, hanem alkalmazás
●
P2P, mert mond semmit az alkalmazás
interfészekről
9.
Kell-e nekem grid?
●
Kell, ha:
– >10 felhasználó, >10 -féle feladatot akar
futtatni rendszeresen
– nincs pénzed dedikált klaszerert építeni
– > 50TB adatterületre van szükséged
– autonóm rendszerek központi felügyeletére van
szükséged
– autonóm szervezeti egységek között
biztonságos szolgáltatás hozzáférést kell
biztosítanod (authentikáció, authorizáció)
– a megoldandó feladatod paraméter térképzés
jellegű
10.
Hogyan építsünk?
●
Összetevők:
– Elosztott azonosítási rendszer: PKI, AAI
– köztes réteg, elemi szolgáltatásokkal
– komplex szolgáltatások
– alkalmazás portálok
●
Köztes réteg elvárások:
– pehelysúlyú
– multi-platform
– általános szolgáltatás konténer
– különféle protokollok támogatása (HTTP, SOAP,
BEEP, stb.)
Grid Underground
●
kutatási projekt (2005-től intenzíven)
●
általános web és grid szolgáltatás
keretrendszer és elosztott szolgáltatás
gyűjtemény
●
szabad szoftver: www.sf.net/projects/gug
Elosztott Szolgáltatások:
●
program futtatás (klaszter- és világméterben)
●
megbízható adattárolás - „az ország diszkje”
●
katalógus és információs rendszer
●
jogosultság kezelés és biztonság
●
szabványok megvalósítása
13.
Célkitűzés
●
Web szolgáltatás orientált szabvány (W3C,
OGSA) implementációkat tartalmazó
általános keretrendszer
●
Konkrét grid szolgáltatások megvalósítása
●
Kicsi egyszerűen telepíthető, kezelhető
rendszer
●
több platform, OS támogatása
●
desktopon és szupergépeken is használható
legyen
●
kicsi memória és CPU használat az
erőforrásokon
14.
Megoldás
●
Komponensek:
– Python programozási nyelv
– saját web alkalmazás keretrendszer
– ZSI – SOAP parser
– saját openssl wrapper - X509 tanúsítványok és
TLS kezelése
●
Core rendszer:
– minden szolgáltatás egy dinamikusan betölthető
interfész osztály + backendek
– kommunikációs réteget elrejti a szolgáltatások
elöl
– szolgáltatás életciklus kezelés
15.
GUG Core
●
gugctl daemon
●
Két speciális szolgáltatás: Manager, Grid
Információs rendszer (GIS)
●
Szálkezelés
●
Manager:
– szolgáltatások életciklus kezelése: leállítás,
indítás, status, hirdetések begyűjtése stb.
– maga is web szolgáltatás -> távoli
szolgáltatás management
16.
GUG Core
– GIS:
●
p2p rendszer a szolgáltatás hirdetések
terjesztésére és keresésére;
●
adat és meta adat szétválasztása
●
adat bármi lehet
17.
GUG szolgáltatások: feladat
végrehajtás
●
SuperScheduler: grid (opcionálisan
klaszter) szintű ütemezés
– OGSA BES interfész, OGSA JSDL feladat leíró
– moduláris erőforrás és döntéshozási interfész
●
Job Controller: egységes interfész a
különféle helyi erőforrás kezelő
rendszerekhez (Condor, LSF, PBS, stb.)
– OGSA BES interfész, OGSA JSDL feladat leíró
– nem ütemező
18.
GUG szolgáltatások: feladat
végrehajtás
– CM: Cluster Manager – klaszer szintű
ütemező, JSDL, BES, checkpointing
– Exec: SMP gépen programvégrehajtás
●
architektúra függő modulok
– Fordítás: a gridben elérhető összes
architektúrára lefordítja az alkalmazást és
előkészíti a feladat végrehajtásra
19.
GUG szolgáltatások
●
Egyszerű követelmények:
– bármilyen Python osztály lehet
– a konstruktor megkapja: service id, local_gis_url,
konfigurációs állomány neve
– legyen egy get_description függvénye
– _ kezdődő függvények nem hívhatóak SOAP-on
keresztül
– opcionálisan lehet _clean függvénye takarításra
– publikus függvény első argumentuma az
authorizációs információt tartalmazza
●
A get_description a szolgáltatás leírását adja vissza
amit a GIS terjeszt. Bármilyen formátum lehet. Jelenleg
XML használatos
20.
Egyéb GUG szolgáltatások
●
Virtuális szervezetek (VO): minden
feladat, felhasználó, szolgáltatás egy
vagy több VO-nak tagja. A VO határozza
meg az hozzáférési jogosultságokat. A
tagságot tagsági igazolvánnyal igazolja
●
Elosztott katalógus
●
Elosztott adattárolás: storage manager
(StM), storage controller (StC)
●
Állomány megosztás
Objektum alapú rendszerek
●
Válasszuk szét a Title:/home/szferi/my/presentations/bm
Creator:Dia v۰.۹٥
CreationDate:Fri Feb ۲۳ ۱۲: ۰۰: ۲۲ ۲۰۰۷
۰
metaadatot az
adattól!
●
Legyen az adat egy
objektum
●
Nagy teljesítmény
●
Optimális hálózat
●
kihasználás
●
Probléma:
egyszeres
hibapontok
(MDS, SAN)
32.
Title:/home/szferi/my/presentations/li
Creator:Dia v ۰.۹٥
CreationDate:Thu Nov ۲۳ ۲۱ :۰ :۲۲ ۲۰۰
۲
SAN klaszter
●
Adattároló klaszter nem csak
Xen-hez.
●
Moduláris adatkapcsolat,
igény szerint
●
Egyszerű elemek
●
Skálázható a sávszélesség és
a switchek erejéig
●
management eszköz kell
hozzá
●
storage virtualizáció képesség
NONSTOP =
NONSTOP Network Storage Platform
33.
Grid szerű klaszterrendszerek I.
●
Sun ZFS:
– 128 bit állományrendszer
Title:/home/szferi/my/presentations/bm
– egyszerű adminisztráció Creator:Dia v۰. ۹٥
CreationDate:Fri Feb ۲۳ ۱۱:۱۷:٥۱ ۲۰۰۷
(RAID, LVM egyben)
– adatintegritás orientált:
minden copy-on-write
– tranzakció orientált
– Jelenleg csak Solarison
elérhető (Linux, FreeBSD,
Mac OS X folyamatban)
– Nem kell SAN
34.
Grid szerű klaszterrendszerek II.
●
Isilon System ONEfs:
– RAID, Volume management egyben
– Linux, Windows, Mac OS X támogatás
●
Rackable System:
– Vigyünk mindent blokk szintre
– Klaszterizált iSCSI protokoll
– blokk szintű hozzáférés és lock
Példa: cp (put)
$grid storage cp proba /grid/tmp
cp: 'proba' is a directory.
$ grid storage cp -R proba /grid/tmp
entering directory proba
put proba/submit to /grid/tmp/proba/submit... done.
entering directory proba/bin
put proba/bin/ls to /grid/tmp/proba/bin/ls... done.
put proba/bin to /grid/tmp/proba/bin finished.
put proba to /grid/tmp/proba finished.
38.
Példa: ls kimenet(storage)
$ grid storage ls -R /grid/tmp/proba
/grid/tmp/proba:
- 58 2006-04-12 17:09 submit
d 2006-04-12 17:09 bin
/grid/tmp/proba/bin:
x 75948 2006-04-12 17:09 ls
