Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Grid és adattárolás

2007

  • Login to see the comments

Grid és adattárolás

  1. 1. Grid és Adattárolás (storage) Szalai Ferenc szferi@niif.hu
  2. 2. Problémák● Informatika egyre kritikusabb infrastruktúra és egyre nagyobb rendelkezésre állást várnak el tőle● Növekvő teljesítmény igényeket nem lehet erősebb gépekkel kielégíteni gazdaságosan● Növekvő bonyolultságú informatikai infrastruktúra (egyre több szerver a szerverszobában)● Növekvő tárolandó adatmennyiség (kép, videó, adatbázisok)
  3. 3. Kinek a problémája?● Üzemeltető: – gyorsan, olcsón, egyszerűen valami ütőset – kevés emberem van!● Fejlesztő: – lusta vagyok módosítani a kódom, oldja meg az infrastruktúra a párhuzamosítást, elosztást (program, adat szinten egyaránt)● Felhasználó: – Nagy méretű probléma, kis méretű házi PC/klaszter
  4. 4. Megoldás● Infrastruktúra konszolidáció – szerverek: vizualizáció (következő tutorial) – adattárolás: központi, hálózati adattároló hálózat (SAN) – elosztott működés: klaszter rendszerek – fejlesztés, üzemeltetés: Szolgáltatás orientált architektúra (SOA), Grid
  5. 5. Ismert elosztott szolgáltatások● Filecserélő hálózatok: adatterület megosztás, sávszélesség megosztás (torrent)● SETI@Home jellegű rendszerek: szabad számítási teljesítmény megosztás
  6. 6. Ismert elosztott szolgáltatások problémái● Gyenge átjárhatóság a rendszerek között● Nem szabványos kommunikációs protokollok● biztonság Általánosítás: GRID
  7. 7. Mi a szösz az a grid? (ezen a héten)● Fogalmam sincs! De:● Szolgáltatás orientált szoftver infrastruktúra virtuális szervezetek számára● Elemei szolgáltatások halmaza: – információs rendszer: „hol vannak a szolgáltatások, és milyenek azok?” – feladat végrehajtás: „futtasd ezt, valahol, ahol a legjobb” – adattárolás: „az ország diskje” – biztonság – monitorozás, elosztott management
  8. 8. Mi nem grid?● A klaszter● A „Desktop Grid” - nincs virtuális szervezet fogalom, nincs felhasználó● Elosztott adatbázis szerver, mert nem infrastruktúra, hanem alkalmazás● P2P, mert mond semmit az alkalmazás interfészekről
  9. 9. Kell-e nekem grid?● Kell, ha: – >10 felhasználó, >10 -féle feladatot akar futtatni rendszeresen – nincs pénzed dedikált klaszerert építeni – > 50TB adatterületre van szükséged – autonóm rendszerek központi felügyeletére van szükséged – autonóm szervezeti egységek között biztonságos szolgáltatás hozzáférést kell biztosítanod (authentikáció, authorizáció) – a megoldandó feladatod paraméter térképzés jellegű
  10. 10. Hogyan építsünk?● Összetevők: – Elosztott azonosítási rendszer: PKI, AAI – köztes réteg, elemi szolgáltatásokkal – komplex szolgáltatások – alkalmazás portálok● Köztes réteg elvárások: – pehelysúlyú – multi-platform – általános szolgáltatás konténer – különféle protokollok támogatása (HTTP, SOAP, BEEP, stb.)
  11. 11. Title:/home/szferi/my/presentations/nwCreator:Dia v۰. ۹٥CreationDate:Mon Apr ۹ ۱۳: ۰٥ :٥٥ ۲۰۰۷
  12. 12. Grid Underground● kutatási projekt (2005-től intenzíven)● általános web és grid szolgáltatás keretrendszer és elosztott szolgáltatás gyűjtemény● szabad szoftver: www.sf.net/projects/gugElosztott Szolgáltatások:● program futtatás (klaszter- és világméterben)● megbízható adattárolás - „az ország diszkje”● katalógus és információs rendszer● jogosultság kezelés és biztonság● szabványok megvalósítása
  13. 13. Célkitűzés● Web szolgáltatás orientált szabvány (W3C, OGSA) implementációkat tartalmazó általános keretrendszer● Konkrét grid szolgáltatások megvalósítása● Kicsi egyszerűen telepíthető, kezelhető rendszer● több platform, OS támogatása● desktopon és szupergépeken is használható legyen● kicsi memória és CPU használat az erőforrásokon
  14. 14. Megoldás● Komponensek: – Python programozási nyelv – saját web alkalmazás keretrendszer – ZSI – SOAP parser – saját openssl wrapper - X509 tanúsítványok és TLS kezelése● Core rendszer: – minden szolgáltatás egy dinamikusan betölthető interfész osztály + backendek – kommunikációs réteget elrejti a szolgáltatások elöl – szolgáltatás életciklus kezelés
  15. 15. GUG Core● gugctl daemon● Két speciális szolgáltatás: Manager, Grid Információs rendszer (GIS)● Szálkezelés● Manager: – szolgáltatások életciklus kezelése: leállítás, indítás, status, hirdetések begyűjtése stb. – maga is web szolgáltatás -> távoli szolgáltatás management
  16. 16. GUG Core– GIS: ● p2p rendszer a szolgáltatás hirdetések terjesztésére és keresésére; ● adat és meta adat szétválasztása ● adat bármi lehet
  17. 17. GUG szolgáltatások: feladat végrehajtás● SuperScheduler: grid (opcionálisan klaszter) szintű ütemezés – OGSA BES interfész, OGSA JSDL feladat leíró – moduláris erőforrás és döntéshozási interfész● Job Controller: egységes interfész a különféle helyi erőforrás kezelő rendszerekhez (Condor, LSF, PBS, stb.) – OGSA BES interfész, OGSA JSDL feladat leíró – nem ütemező
  18. 18. GUG szolgáltatások: feladat végrehajtás– CM: Cluster Manager – klaszer szintű ütemező, JSDL, BES, checkpointing– Exec: SMP gépen programvégrehajtás ● architektúra függő modulok– Fordítás: a gridben elérhető összes architektúrára lefordítja az alkalmazást és előkészíti a feladat végrehajtásra
  19. 19. GUG szolgáltatások● Egyszerű követelmények: – bármilyen Python osztály lehet – a konstruktor megkapja: service id, local_gis_url, konfigurációs állomány neve – legyen egy get_description függvénye – _ kezdődő függvények nem hívhatóak SOAP-on keresztül – opcionálisan lehet _clean függvénye takarításra – publikus függvény első argumentuma az authorizációs információt tartalmazza● A get_description a szolgáltatás leírását adja vissza amit a GIS terjeszt. Bármilyen formátum lehet. Jelenleg XML használatos
  20. 20. Egyéb GUG szolgáltatások● Virtuális szervezetek (VO): minden feladat, felhasználó, szolgáltatás egy vagy több VO-nak tagja. A VO határozza meg az hozzáférési jogosultságokat. A tagságot tagsági igazolvánnyal igazolja● Elosztott katalógus● Elosztott adattárolás: storage manager (StM), storage controller (StC)● Állomány megosztás
  21. 21. Use case - klaszter
  22. 22. Use case -ClusterGrid
  23. 23. Use case – destop grid
  24. 24. Grid felhasználói szemmel● Mit? – Paraméter térképezés típusú alkalmazásokat – Sok független komponensre bontható alkalmazásokat● Hogyan? – Alkalmazás leíró állomány: subáit fájl (pl.: XML, név-érték pár, stb) – submit, status, remove ciklus
  25. 25. Adattárolás
  26. 26. Bevezető● Adatot márpedig tárolni kell!● Klaszterek: – nagy számítási kapacitás, egyszerű komponensekből. – Nagy rendelkezésre állás – Terheléselosztás● Trend: adattároló klaszterek, adattároló grid rendszerek
  27. 27. Amit mindenki ismerhet: NAS● Hálózati állomány megosztó protokollok (NAS rendszerek): – NFS, AFS, SMB (Samba, Windows)● Előny: könnyen kezelhető,● Hátrány: biztonság, klaszterezhetőség hiánya, egyszeres hibapont, rossz skálázhatóság
  28. 28. Title:/home/szferi/my/presentations/bmCreator:Dia v۰.۹٥CreationDate:Fri Feb ۲۳ ۱۰ :۳۳:۰ ۲۰۰۷ ۳
  29. 29. Megosztott állományrendszerek● Valódi állományrendszer● Közös hálózati adattároló alrendszerre (SAN) épít● állomány szintű lockolási megoldások● volume management● Hátrány: skálázhatóság, sebesség● Példa: RedHat GFS, IBM GPFS, Oracle OCFS2
  30. 30. Title:/home/szferi/my/presentations/bmCreator:Dia v ۰.۹٥CreationDate:Fri Feb ۲۳ ۱۰ : ۱ :۲ ۲۰۰۷ Use case- RedHat ● GFS ● ● Klaszter infrastruktúra: „kik vannak éppen most a klaszteben” - CMON ● Klaszter Volume Management – CLVM ● Állományrendszer - GFS
  31. 31. Objektum alapú rendszerek● Válasszuk szét a Title:/home/szferi/my/presentations/bm Creator:Dia v۰.۹٥ CreationDate:Fri Feb ۲۳ ۱۲: ۰۰: ۲۲ ۲۰۰۷ ۰ metaadatot az adattól!● Legyen az adat egy objektum● Nagy teljesítmény● Optimális hálózat● kihasználás● Probléma: egyszeres hibapontok (MDS, SAN)
  32. 32. Title:/home/szferi/my/presentations/li Creator:Dia v ۰.۹٥ CreationDate:Thu Nov ۲۳ ۲۱ :۰ :۲۲ ۲۰۰ ۲ SAN klaszter● Adattároló klaszter nem csak Xen-hez.● Moduláris adatkapcsolat, igény szerint● Egyszerű elemek● Skálázható a sávszélesség és a switchek erejéig● management eszköz kell hozzá● storage virtualizáció képesség NONSTOP = NONSTOP Network Storage Platform
  33. 33. Grid szerű klaszter rendszerek I.● Sun ZFS: – 128 bit állományrendszer Title:/home/szferi/my/presentations/bm – egyszerű adminisztráció Creator:Dia v۰. ۹٥ CreationDate:Fri Feb ۲۳ ۱۱:۱۷:٥۱ ۲۰۰۷ (RAID, LVM egyben) – adatintegritás orientált: minden copy-on-write – tranzakció orientált – Jelenleg csak Solarison elérhető (Linux, FreeBSD, Mac OS X folyamatban) – Nem kell SAN
  34. 34. Grid szerű klaszter rendszerek II. ● Isilon System ONEfs: – RAID, Volume management egyben – Linux, Windows, Mac OS X támogatás ● Rackable System: – Vigyünk mindent blokk szintre – Klaszterizált iSCSI protokoll – blokk szintű hozzáférés és lock
  35. 35. Lépjünk alkalmazás szintre!● Peer-to-peer állomány-megosztás: – „Read-only” működés – Oceanstore, Bittorent, Cleverstore● Xroot: CERN, Alkalmazás szintű állomány hozzáférés, HSM modell● Amazon S3: Web szolgáltatás orientált (WSDL, REST interface). Ár: Tárolt adat, adatforgalom
  36. 36. A teljes GUG storage rendszer architektúrája
  37. 37. Példa: cp (put)$ grid storage cp proba /grid/tmpcp: proba is a directory.$ grid storage cp -R proba /grid/tmpentering directory probaput proba/submit to /grid/tmp/proba/submit... done.entering directory proba/binput proba/bin/ls to /grid/tmp/proba/bin/ls... done.put proba/bin to /grid/tmp/proba/bin finished.put proba to /grid/tmp/proba finished.
  38. 38. Példa: ls kimenet (storage)$ grid storage ls -R /grid/tmp/proba/grid/tmp/proba:- 58 2006-04-12 17:09 submitd 2006-04-12 17:09 bin/grid/tmp/proba/bin:x 75948 2006-04-12 17:09 ls
  39. 39. Példa: file feltöltése
  40. 40. GUG Storage felhasználás● Elosztott backup – titkosítás még hiányzik● Elosztott archiválás – meta adat indexelés hiányzik● Általános on-line adattároló – FUSE modul, Windows Shell Extension hiányzik

×