Základní funkce MetaCentra a jejich využití

179 views

Published on

Prezentace z Velkého semináře o komplexu služeb e-infrastruktury CESNET

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
179
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Základní funkce MetaCentra a jejich využití

  1. 1. Základní funkce MetaCentra a jejich využití Miroslav Ruda CESNET z.s.p.o. Praha, 2013
  2. 2. Agenda Národní gridová infrastruktura pˇ rehled služeb MetaCentra aktuální stav Konkrétní pˇ ríklady nabízených služeb jednotlivec menší uživatelská skupina projekt s mezinárodní spoluprácí M. Ruda (CESNET) Gridy Praha, 2013 2 / 14
  3. 3. Národní gridová infrastruktura Grid = distribuované prostˇ redí pro sdílení výpoˇetních zdroj˚ c u motivací je optimální využití zdroj˚ u pˇ renesení nárazové zátˇže na volnˇjší zdroje e e a využití jiných zdroj˚ pˇ výpadku u ri poskytnutí vlastních doˇasnˇ volných zdroj˚ c e u možnost poˇ rídit si cluster jen na standardní požadavky spolupráce tým˚ z r˚zných organizací, sdílení dat u u myšlenka platí i pro další zdroje, vˇetnˇ software c e MetaCentrum souˇást e-infrastruktury spravované CESNETem c jednotný úˇet, propojené služby c pracuje v koordinaci s dalšími projekty IT4 a CERIT-SC snažíme se rozšíˇ rozsah služeb, typ˚ výpoˇt˚ rit u cu rozšiˇ rujeme zábˇr do zpracování rozsáhlých dat e M. Ruda (CESNET) Gridy Praha, 2013 3 / 14
  4. 4. Výpoˇetní grid c clustery a výkonné servery, úložné kapacity ˇ Plzeˇ, Praha, Brno, Ostrava, CB n aktuálnˇ 9000 jader, 3700 vlastní CESNET e ˇ ˇ clustery CEITEC, CERIT-SC, ZCU, JCU, UK, MU pˇ 1000 TB diskových prostor na zpracování dat res centrální správa uzl˚, úˇt˚, úloh, aplikaˇního software u cu c dalších 4000 jader a 2 PB pˇ FZU do EGI (LHC) res orientace na dávkové úlohy, hromadné zpracování, dlouhé vˇdecké výpoˇty e c "placení" formou publikací s podˇkováním e pˇ rístup všem akademickým pracovník˚m a student˚m u u bez omezení, bez podávání projekt˚ u publikace využívány pro urˇení priority uživatele c M. Ruda (CESNET) Gridy Praha, 2013 4 / 14
  5. 5. Novinky v oblast hardware CESNET GPU cluster, pˇ redpokládáné zprovoznˇní v listopadu e 30 uzl˚ po 16 jádrech, 64 GB RAM, u každý uzel 2x NVIDIA Tesla K20 100 TB home CERIT-SC cluster v Jihlavˇ e zigur, 32 uzl˚ po 8 CPU a 128 GB RAM u zapat, 112 uzl˚ po 16 jádrech a 128 GB RAM u 370 TB home SGI UV v Brnˇ, pˇ e redpokládáné zprovoznˇní v listopadu e 48x Intel E5-4617, tj. celkem 288 jader, 6 TB RAM 72 TB scratch M. Ruda (CESNET) Gridy Praha, 2013 6 / 14
  6. 6. Pˇíklad ˇ.1 r c Samostatný, zaˇínající uživatel c otevˇ rený pˇ rístup pro všechny akademické uživatele priorita ˇ rízená propoˇítaným ˇasem (-) a publikacemi(+) c c pˇ rístup k odlišným konfiguracím cluster˚ u SMP stroje s velkou pamˇtí versus menší servery e nˇkteré clustery se sdíleným scratch filesystémem pro e paralelní zpracování velkých dat NVIDIA GPU karty, podpora v aplikaˇním software c aplikaˇní software c dlouhý seznam, komerˇní i opensource c matematika, výpoˇetní chemie, molekulární biologie, c bioinformatika, technické a materiálové simulace snaha poˇ rizovat licence pokrývající celé Metacentrum ˇ nebo dokonce celou CR Fluent, použitelný na vlastní pracovní stanici pro nejpoužívanˇjší podrobnˇjší dokumentace e e pˇ ríklady pro paralelní úlohy, využití GPU karet ... M. Ruda (CESNET) Gridy Praha, 2013 7 / 14
  7. 7. Pˇíklad ˇ.2 I r c Menší skupina úspˇšnˇ u nás poˇítají, skupina se rozr˚stá e e c u aplikaˇní software c vývojové prostˇ redí, MPI, debuggery instalace volnˇ dostupného software podle požadavk˚ e u možnost instalace uživatelského software do našeho prostoru, zviditelnˇní ostatním e pˇ Peruna vlastní skupina res adresᡠpˇ re rístupné jen jim data pˇ rístupná pˇ NFSv4, pˇ res rístup i na svazky DU plánuje poˇ rízení vlastní clusteru pomoc pˇ vyladˇní zadaní technické specifikace ri e možnost zkusit si pˇ redem r˚zné možnosti u pomoc pˇ pˇ ri rípravˇ výbˇrového ˇ e e rízení M. Ruda (CESNET) Gridy Praha, 2013 8 / 14
  8. 8. Pˇíklad ˇ.2 II r c Zapojení clusteru do MetaCentra zaˇlenˇní clusteru do Metacentra c e možnost pˇ cení úloh na centrální zdroje reteˇ možnost poskytnout vlastní doˇasnˇ volné zdroje c e kde licence dovolí, aplikaˇní software pokryje i cluster c r˚zná úroveˇ integrace do MetaCentra u n vlastní správce versus centrální správa oddˇlený versus centrální dávkový systém e pˇ rístup ostatních uživatel˚ volný, omezený, zakázaný u možnost využití našich nástroj˚ pro správu u systému, uživatel˚, úloh u instalace lokálního clusteru pˇ ritáhne další zájemce poskytujeme školení na místˇ, obecné nebo ladˇné na e e speciální aplikaci M. Ruda (CESNET) Gridy Praha, 2013 9 / 14
  9. 9. Pˇíklad ˇ.3 I r c Skupiny s odlišným typem práce s úlohami dávkové úlohy a jednotné prostˇ redí nevyhovuje všem virtualizovaná infrastruktura umožˇuje zmˇny n e upravený nebo vlastní systém na pracovních uzlech vlastní ovládání uzl˚ nebo úloh (BOINC) u uzavˇ rené ve VLAN VLAN m˚že být tunelována i do lokální sítˇ uživatele u e cloud pˇ rístup dává možnost pˇ ripravit si celé prostˇ redí jiný operaˇní systém, odlišná verze knihoven ... c vlastní grafické rozhraní (napˇ Galaxy portal) r. po odladˇní provozováno v cloudu nebo obraz pˇ e renesen i do MetaCentra pˇ možnosti využití dalšími uživateli pomoc s integrací ri autentizace, pˇ rístup k našemu software offload úloh do MetaCentra M. Ruda (CESNET) Gridy Praha, 2013 10 / 14
  10. 10. Pˇíklad ˇ.3 II r c zpracování velkých dat na clusteru sdílené velké scratch filesystémy desítky TB pro data vzniklá/zpracovávaná výpoˇtem c v každém mˇstˇ sdílený home filesysten e e stovky TB, semipermanentní data, dostupná všude možnost pˇ renášet data na archivní úložištˇ DU e pokusy s Hadoop výpoˇty na cloudu i gridu c odlišné verze, ladˇní prostˇ e redí ... naším cílem je pomoci s odladˇním provozní verze e M. Ruda (CESNET) Gridy Praha, 2013 11 / 14
  11. 11. Pˇíklad ˇ.4 I r c Projekt vznikající jako ˇást mezinárodní infrastruktury, ESFRI c zdroje MetaCentra pro rychlé nastartování pro zaˇátek i dedikovány (CESNET, CERIT-SC) c nebudou použity pro produkˇní provoz c mezinárodní projekt ˇasto vyžaduje svoje prostˇ c redí clustery zaˇlenˇné do EGI beži SL6 c e odlišné nástroje pro správu dat, úloh EGI – evropská gridová infrastruktura spravujeme služby nutné pro zaˇlenˇní uživatelské c e skupiny do EGI (jejich VO) podpora projekt˚ Auger, Belle u vˇetnˇ poskytnutí našich zdroj˚ do mezinárodní c e u spolupráce se spolupráci s CERIT-SC i analýza výpoˇetních úloh, c optimalizace, spoleˇný vývoj nových metod c M. Ruda (CESNET) Gridy Praha, 2013 12 / 14
  12. 12. Pˇíklad ˇ.4 II r c Pˇ ríklad Elixir zrychlení pˇ ristoupení do Elixir konsorcia lepší pochopení požadavk˚ nové uživatelské komunity u odladˇní prostˇ e redí podle jejich potˇ reb rozšíˇ rení aplikaˇního portfolia podle potˇ c reb bioinformatik˚ pro celé MetaCentrum u na prvních skupinách odladˇno základní prostˇ e redí, pˇ ridáváme další aplikaˇní skupiny c diskuze nad zprovoznˇním webového rozhraní pro další e bioinformatiky, optimalizacemi aplikací (nebo jejich správou) M. Ruda (CESNET) Gridy Praha, 2013 13 / 14
  13. 13. Shrnutí na závˇr – služby NGI e Uživatelé: pˇ rístup k distribuované výpoˇetní infrastruktuˇ c re gridový i cloudový pˇ rístup, virtualizovaná infrastruktura HTC, HPC, zpracování dat zahrnuje i pˇ rístup k centrálnˇ spravovanému e aplikaˇnímu software c Organizace: zapojení clusteru do infrastruktury do MetaCentra, EGI, cloudu správa, pˇ rípadnˇ i hostování, instalace, výbˇr e e M. Ruda (CESNET) Gridy Praha, 2013 14 / 14

×