Your SlideShare is downloading. ×
Grid és adattárolás
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Saving this for later?

Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime - even offline.

Text the download link to your phone

Standard text messaging rates apply

Grid és adattárolás

417
views

Published on

2007

2007

Published in: Technology

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
417
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Grid és Adattárolás (storage) Szalai Ferenc szferi@niif.hu
  • 2. Problémák● Informatika egyre kritikusabb infrastruktúra és egyre nagyobb rendelkezésre állást várnak el tőle● Növekvő teljesítmény igényeket nem lehet erősebb gépekkel kielégíteni gazdaságosan● Növekvő bonyolultságú informatikai infrastruktúra (egyre több szerver a szerverszobában)● Növekvő tárolandó adatmennyiség (kép, videó, adatbázisok)
  • 3. Kinek a problémája?● Üzemeltető: – gyorsan, olcsón, egyszerűen valami ütőset – kevés emberem van!● Fejlesztő: – lusta vagyok módosítani a kódom, oldja meg az infrastruktúra a párhuzamosítást, elosztást (program, adat szinten egyaránt)● Felhasználó: – Nagy méretű probléma, kis méretű házi PC/klaszter
  • 4. Megoldás● Infrastruktúra konszolidáció – szerverek: vizualizáció (következő tutorial) – adattárolás: központi, hálózati adattároló hálózat (SAN) – elosztott működés: klaszter rendszerek – fejlesztés, üzemeltetés: Szolgáltatás orientált architektúra (SOA), Grid
  • 5. Ismert elosztott szolgáltatások● Filecserélő hálózatok: adatterület megosztás, sávszélesség megosztás (torrent)● SETI@Home jellegű rendszerek: szabad számítási teljesítmény megosztás
  • 6. Ismert elosztott szolgáltatások problémái● Gyenge átjárhatóság a rendszerek között● Nem szabványos kommunikációs protokollok● biztonság Általánosítás: GRID
  • 7. Mi a szösz az a grid? (ezen a héten)● Fogalmam sincs! De:● Szolgáltatás orientált szoftver infrastruktúra virtuális szervezetek számára● Elemei szolgáltatások halmaza: – információs rendszer: „hol vannak a szolgáltatások, és milyenek azok?” – feladat végrehajtás: „futtasd ezt, valahol, ahol a legjobb” – adattárolás: „az ország diskje” – biztonság – monitorozás, elosztott management
  • 8. Mi nem grid?● A klaszter● A „Desktop Grid” - nincs virtuális szervezet fogalom, nincs felhasználó● Elosztott adatbázis szerver, mert nem infrastruktúra, hanem alkalmazás● P2P, mert mond semmit az alkalmazás interfészekről
  • 9. Kell-e nekem grid?● Kell, ha: – >10 felhasználó, >10 -féle feladatot akar futtatni rendszeresen – nincs pénzed dedikált klaszerert építeni – > 50TB adatterületre van szükséged – autonóm rendszerek központi felügyeletére van szükséged – autonóm szervezeti egységek között biztonságos szolgáltatás hozzáférést kell biztosítanod (authentikáció, authorizáció) – a megoldandó feladatod paraméter térképzés jellegű
  • 10. Hogyan építsünk?● Összetevők: – Elosztott azonosítási rendszer: PKI, AAI – köztes réteg, elemi szolgáltatásokkal – komplex szolgáltatások – alkalmazás portálok● Köztes réteg elvárások: – pehelysúlyú – multi-platform – általános szolgáltatás konténer – különféle protokollok támogatása (HTTP, SOAP, BEEP, stb.)
  • 11. Title:/home/szferi/my/presentations/nwCreator:Dia v۰. ۹٥CreationDate:Mon Apr ۹ ۱۳: ۰٥ :٥٥ ۲۰۰۷
  • 12. Grid Underground● kutatási projekt (2005-től intenzíven)● általános web és grid szolgáltatás keretrendszer és elosztott szolgáltatás gyűjtemény● szabad szoftver: www.sf.net/projects/gugElosztott Szolgáltatások:● program futtatás (klaszter- és világméterben)● megbízható adattárolás - „az ország diszkje”● katalógus és információs rendszer● jogosultság kezelés és biztonság● szabványok megvalósítása
  • 13. Célkitűzés● Web szolgáltatás orientált szabvány (W3C, OGSA) implementációkat tartalmazó általános keretrendszer● Konkrét grid szolgáltatások megvalósítása● Kicsi egyszerűen telepíthető, kezelhető rendszer● több platform, OS támogatása● desktopon és szupergépeken is használható legyen● kicsi memória és CPU használat az erőforrásokon
  • 14. Megoldás● Komponensek: – Python programozási nyelv – saját web alkalmazás keretrendszer – ZSI – SOAP parser – saját openssl wrapper - X509 tanúsítványok és TLS kezelése● Core rendszer: – minden szolgáltatás egy dinamikusan betölthető interfész osztály + backendek – kommunikációs réteget elrejti a szolgáltatások elöl – szolgáltatás életciklus kezelés
  • 15. GUG Core● gugctl daemon● Két speciális szolgáltatás: Manager, Grid Információs rendszer (GIS)● Szálkezelés● Manager: – szolgáltatások életciklus kezelése: leállítás, indítás, status, hirdetések begyűjtése stb. – maga is web szolgáltatás -> távoli szolgáltatás management
  • 16. GUG Core– GIS: ● p2p rendszer a szolgáltatás hirdetések terjesztésére és keresésére; ● adat és meta adat szétválasztása ● adat bármi lehet
  • 17. GUG szolgáltatások: feladat végrehajtás● SuperScheduler: grid (opcionálisan klaszter) szintű ütemezés – OGSA BES interfész, OGSA JSDL feladat leíró – moduláris erőforrás és döntéshozási interfész● Job Controller: egységes interfész a különféle helyi erőforrás kezelő rendszerekhez (Condor, LSF, PBS, stb.) – OGSA BES interfész, OGSA JSDL feladat leíró – nem ütemező
  • 18. GUG szolgáltatások: feladat végrehajtás– CM: Cluster Manager – klaszer szintű ütemező, JSDL, BES, checkpointing– Exec: SMP gépen programvégrehajtás ● architektúra függő modulok– Fordítás: a gridben elérhető összes architektúrára lefordítja az alkalmazást és előkészíti a feladat végrehajtásra
  • 19. GUG szolgáltatások● Egyszerű követelmények: – bármilyen Python osztály lehet – a konstruktor megkapja: service id, local_gis_url, konfigurációs állomány neve – legyen egy get_description függvénye – _ kezdődő függvények nem hívhatóak SOAP-on keresztül – opcionálisan lehet _clean függvénye takarításra – publikus függvény első argumentuma az authorizációs információt tartalmazza● A get_description a szolgáltatás leírását adja vissza amit a GIS terjeszt. Bármilyen formátum lehet. Jelenleg XML használatos
  • 20. Egyéb GUG szolgáltatások● Virtuális szervezetek (VO): minden feladat, felhasználó, szolgáltatás egy vagy több VO-nak tagja. A VO határozza meg az hozzáférési jogosultságokat. A tagságot tagsági igazolvánnyal igazolja● Elosztott katalógus● Elosztott adattárolás: storage manager (StM), storage controller (StC)● Állomány megosztás
  • 21. Use case - klaszter
  • 22. Use case -ClusterGrid
  • 23. Use case – destop grid
  • 24. Grid felhasználói szemmel● Mit? – Paraméter térképezés típusú alkalmazásokat – Sok független komponensre bontható alkalmazásokat● Hogyan? – Alkalmazás leíró állomány: subáit fájl (pl.: XML, név-érték pár, stb) – submit, status, remove ciklus
  • 25. Adattárolás
  • 26. Bevezető● Adatot márpedig tárolni kell!● Klaszterek: – nagy számítási kapacitás, egyszerű komponensekből. – Nagy rendelkezésre állás – Terheléselosztás● Trend: adattároló klaszterek, adattároló grid rendszerek
  • 27. Amit mindenki ismerhet: NAS● Hálózati állomány megosztó protokollok (NAS rendszerek): – NFS, AFS, SMB (Samba, Windows)● Előny: könnyen kezelhető,● Hátrány: biztonság, klaszterezhetőség hiánya, egyszeres hibapont, rossz skálázhatóság
  • 28. Title:/home/szferi/my/presentations/bmCreator:Dia v۰.۹٥CreationDate:Fri Feb ۲۳ ۱۰ :۳۳:۰ ۲۰۰۷ ۳
  • 29. Megosztott állományrendszerek● Valódi állományrendszer● Közös hálózati adattároló alrendszerre (SAN) épít● állomány szintű lockolási megoldások● volume management● Hátrány: skálázhatóság, sebesség● Példa: RedHat GFS, IBM GPFS, Oracle OCFS2
  • 30. Title:/home/szferi/my/presentations/bmCreator:Dia v ۰.۹٥CreationDate:Fri Feb ۲۳ ۱۰ : ۱ :۲ ۲۰۰۷ Use case- RedHat ● GFS ● ● Klaszter infrastruktúra: „kik vannak éppen most a klaszteben” - CMON ● Klaszter Volume Management – CLVM ● Állományrendszer - GFS
  • 31. Objektum alapú rendszerek● Válasszuk szét a Title:/home/szferi/my/presentations/bm Creator:Dia v۰.۹٥ CreationDate:Fri Feb ۲۳ ۱۲: ۰۰: ۲۲ ۲۰۰۷ ۰ metaadatot az adattól!● Legyen az adat egy objektum● Nagy teljesítmény● Optimális hálózat● kihasználás● Probléma: egyszeres hibapontok (MDS, SAN)
  • 32. Title:/home/szferi/my/presentations/li Creator:Dia v ۰.۹٥ CreationDate:Thu Nov ۲۳ ۲۱ :۰ :۲۲ ۲۰۰ ۲ SAN klaszter● Adattároló klaszter nem csak Xen-hez.● Moduláris adatkapcsolat, igény szerint● Egyszerű elemek● Skálázható a sávszélesség és a switchek erejéig● management eszköz kell hozzá● storage virtualizáció képesség NONSTOP = NONSTOP Network Storage Platform
  • 33. Grid szerű klaszter rendszerek I.● Sun ZFS: – 128 bit állományrendszer Title:/home/szferi/my/presentations/bm – egyszerű adminisztráció Creator:Dia v۰. ۹٥ CreationDate:Fri Feb ۲۳ ۱۱:۱۷:٥۱ ۲۰۰۷ (RAID, LVM egyben) – adatintegritás orientált: minden copy-on-write – tranzakció orientált – Jelenleg csak Solarison elérhető (Linux, FreeBSD, Mac OS X folyamatban) – Nem kell SAN
  • 34. Grid szerű klaszter rendszerek II. ● Isilon System ONEfs: – RAID, Volume management egyben – Linux, Windows, Mac OS X támogatás ● Rackable System: – Vigyünk mindent blokk szintre – Klaszterizált iSCSI protokoll – blokk szintű hozzáférés és lock
  • 35. Lépjünk alkalmazás szintre!● Peer-to-peer állomány-megosztás: – „Read-only” működés – Oceanstore, Bittorent, Cleverstore● Xroot: CERN, Alkalmazás szintű állomány hozzáférés, HSM modell● Amazon S3: Web szolgáltatás orientált (WSDL, REST interface). Ár: Tárolt adat, adatforgalom
  • 36. A teljes GUG storage rendszer architektúrája
  • 37. Példa: cp (put)$ grid storage cp proba /grid/tmpcp: proba is a directory.$ grid storage cp -R proba /grid/tmpentering directory probaput proba/submit to /grid/tmp/proba/submit... done.entering directory proba/binput proba/bin/ls to /grid/tmp/proba/bin/ls... done.put proba/bin to /grid/tmp/proba/bin finished.put proba to /grid/tmp/proba finished.
  • 38. Példa: ls kimenet (storage)$ grid storage ls -R /grid/tmp/proba/grid/tmp/proba:- 58 2006-04-12 17:09 submitd 2006-04-12 17:09 bin/grid/tmp/proba/bin:x 75948 2006-04-12 17:09 ls
  • 39. Példa: file feltöltése
  • 40. GUG Storage felhasználás● Elosztott backup – titkosítás még hiányzik● Elosztott archiválás – meta adat indexelés hiányzik● Általános on-line adattároló – FUSE modul, Windows Shell Extension hiányzik