Successfully reported this slideshow.
Your SlideShare is downloading. ×

Superračunalništvo v Mariboru (2021, CIS11, ZID)

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad

Check these out next

1 of 31 Ad

Superračunalništvo v Mariboru (2021, CIS11, ZID)

In Slovene: predavanje na daljavo: SUPERRAČUNALNIŠTVO V MARIBORU (izr. prof. dr. Aleš Zamuda), torek, 21. decembra 2021 ob 20:00 na daljavo preko MS Teams.

The event report for IEEE CIS11:
https://events.vtools.ieee.org/m/295510

In Slovene: predavanje na daljavo: SUPERRAČUNALNIŠTVO V MARIBORU (izr. prof. dr. Aleš Zamuda), torek, 21. decembra 2021 ob 20:00 na daljavo preko MS Teams.

The event report for IEEE CIS11:
https://events.vtools.ieee.org/m/295510

Advertisement
Advertisement

More Related Content

Similar to Superračunalništvo v Mariboru (2021, CIS11, ZID) (20)

Recently uploaded (20)

Advertisement

Superračunalništvo v Mariboru (2021, CIS11, ZID)

  1. 1. Introduction Izzivi Pobude Orodja Zaključek Reference Superračunalništvo v Mariboru Strokovno predavanje na daljavo za ZID MB in IEEE CIS11 21. december 2021 izr. prof. dr. Aleš Zamuda ales.zamuda@um.si izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 1/ 31
  2. 2. Introduction Izzivi Pobude Orodja Zaključek Reference Predstavitev: cilji tega predavanja Predavanje je osredotočeno na I zbiranje, analiziranje in vizualizacijo skozi superračunalništvo (HPC) I sistemskih kot tudi aplikacijskih podatkov (MODA) I ter moje mnenje o tem, kako je mogoče osmisliti podatke za uporabne izsledke ob uporabi HPC. I Razloženo s primeri: iz vidika uporabe HPC (zakaj HPC?). Rešitve v praksi: znanost in HPC izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 2/ 31
  3. 3. Introduction Izzivi Pobude Orodja Zaključek Reference Uvod: razdelitev vsebine predavanja I Prvi del (5 minut): izzivi izzivi, ki so vodili v potrebo po uporabi superračunalniških arhitektur (HPC) za eksperimente primerjalne analize, I Drugi del (2 minuti): pobude predstavitev pobud HPC, na voljo v Mariboru, v Sloveniji in širše. I Tretji del (7 minut): MODA MODA orodja uporabljena na primeru uporabe HPC za izdelavo povzetkov besedila. izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 3/ 31
  4. 4. Introduction Izzivi Pobude Orodja Zaključek Reference Izzivi (Prvi del) Soočeni s 5 vrstami izzivov, ki so privedli do potrebe za uporabo arhitektur HPC za analize v aktualnih tematikah iz 1. modeliranja, simulacije in vizualizacije gozdnih ekosistemov, 2. načrtovanje misij za podoceanske robote, 3. načrtovanje proizvodnje energije za hidroelektrarne in termoelektrarne, 4. razumevanje evolucijskih algoritmov in 5. povzemanje besedila. izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 4/ 31
  5. 5. Introduction Izzivi Pobude Orodja Zaključek Reference Izzivi 1: modeliranje, simulacija in vizualizacija gozdnih ekosistemov I HPC uporabljen za obdelavo prostorskih podatkov in dodajanje postopkovnih vsebin. Videji: https://www.youtube.com/watch?list=PL7pmTW8neV7tZf2qx1wV5zbD74sUyHL3B&v=V9YJgYO_sIA izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 5/ 31
  6. 6. Introduction Izzivi Pobude Orodja Zaključek Reference Izzivi 2: načrtovanje misij za podoceanske robote I Prostorsko-časovni računalniški model dinamike tekočin (CFD) oceanskih tokov za avtonomno načrtovanje poti podoceanskega vozila — UGPP. I Optimizacija z omejeno diferencialno evolucijo (DE) načrtovanja podvodnih poti vozil za vzorčenje vrtincev (turbolenc) srednjih velikosti. I Koridorsko omejena optimizacija: vzorčenje robu regije vrtinca (turbolence) — nov izziv za UGPP & DE. I Veljavno območje poti je omejeno — pot v koridorju okoli meje oceanskega vrtinca. Cilj jadralne sonde je učinkovitejše vzorčenje oceanografskih spremenljivk, pri tem pa ohraniti omejeno trajektorijo. HPC: razviti nove metode in jih ovrednotiti. Video: https://www.youtube.com/watch?v=4kCsXAehAmU izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 6/ 31
  7. 7. Introduction Izzivi Pobude Orodja Zaključek Reference Izzivi 3: načrtovanje proizvodnje energije za hidroelektrarne in termoelektrarne A. Glotić, A. Zamuda. Short-term combined economic and emission hydrothermal optimization by surrogate differential evolution. Applied Energy, 1 March 2015, vol. 141, pp. 42-56. DOI: 10.1016/j.apenergy.2014.12.020 izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 7/ 31
  8. 8. Introduction Izzivi Pobude Orodja Zaključek Reference Izzivi 4: razumevanje evolucijskih algoritmov I Vrednotenje evolucijskih algoritmov za razumevanje računske inteligence teh algoritmov (→ zahteva po shrambi!), I cilj: strojno učenje za oblikovanje optimizacijskega algoritma (učenje učenja). I Primer načrtovanja mehanizma algoritma RI: samoprilagoditev krmilnih parametrov (v DE). Video: https://www.youtube.com/watch?v=R244LZpZSG0 Aplikacijski skladi z dejansko kodo: po navdihu prejšnjih tekmovanj v računski optimizaciji v zveznih prostorih, ki so uporabljala testne funkcije za domene aplikacij iz optimizacije: I enokriterijsko: CEC 2005, 2013, 2014, 2015 I omejeno: CEC 2006, CEC 2007, CEC 2010 I večmodalno: CEC 2010, SWEVO 2016 I črne škatle (ciljna vrednost): BBOB 2009, COCO 2016 I hrupna optimizacija: BBOB 2009 I obsežno: CEC 2008, CEC 2010 I dinamično: CEC 2009, CEC 2014 I resnični svet: CEC 2011 I računsko intenzivno: CEC 2013, CEC 2015 I na osnovi učenja: CEC 2015 I 100-ciferno (50% tarče): 2019 skupno CEC, SEMCCO, GECCO I večkriterijsko: CEC 2002, CEC 2007, CEC 2009, CEC 2014 I dvokriterijsko: CEC 2008 I velikokriterijsko: CEC 2018 Uporaba uglaševanja / razvrščanja / hiperhevristike. → DEji kot navadno zmagovalni algoritmi. izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 8/ 31
  9. 9. Introduction Izzivi Pobude Orodja Zaključek Reference Izzivi 5: povzemanje besedil Za NLP, del ”velepodatkov”. Izrazi v stavkih so določeni z uporabo semantične analize z uporabo: I iskanja sopojavitev (z uporabo WordNet) in I konceptualnih matrik (iz Freeling). INPUT CORPUS NATURAL LANGUAGE PROCESSING ANALYSIS CONCEPTS DISTRIBUTION PER SENTENCES MATRIX OF CONCEPTS PROCESSING CORPUS PREPROCESSING PHASE OPTIMIZATION TASKS EXECUTION PHASE ASSEMBLE TASK DESCRIPTION SUBMIT TASKS TO PARALLEL EXECUTION OPTIMIZER + TASK DATA ROUGE EVALUATION Podrobna nova metoda, imenovana CaBiSDETS je razvita v pristopu s HPC, ki obsega: I različico evolucijskega algoritma (diferencialna evolucija, DE), I samoprilagajanje, binarizacija, prilagajanje omejitev in še nekaj predizračunavanja, I optimiziranje vhodov za definiranje optimizacijskega modela povzetka. Aleš Zamuda, Elena Lloret. Optimizing Data-Driven Models for Summarization as Parallel Tasks. Journal of Computational Science, 2020, vol. 42, pp. 101101. DOI: 10.1016/j.jocs.2020.101101 izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 9/ 31
  10. 10. Introduction Izzivi Pobude Orodja Zaključek Reference Pobude (Drugi del) Časovnica (kot član) nedavnih uspešnih HPC pobud, vključno s Slovenijo: I SLING: Slovensko nacionalno superračunalniško omrežje, 2010-05-03–, I SIHPC: Superračunalniški konzorcij Slovenije, 2016-03-04– I ImAppNIO: Izboljšanje uporabnosti naravno navdihnjene optimizacije s povezovanjem teorije in prakse, 2016-03-09–2020-10-31 I cHiPSet: Visoko zmogljivo modeliranje in simulacija za velepodatkovne aplikacije, 2015-04-08–2019-04-07, I HPC RIVR: Nadgradnja nacionalnih raziskovalnih infrastruktur, investicijksi program, 2018-03-01–2020-09-15, I TFoB: IEEE CIS Task Force on Benchmarking, January 2020–, I EuroCC: National Competence Centres in the framework of EuroHPC, 2020-09-01–(2022-08-31), I DAPHNE: Integracija kanalov za analizo podatkov za upravljanje velikih podatkov, HPC in strojno učenje, 2020-12-01–(2024-11-24). izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 10/ 31
  11. 11. Introduction Izzivi Pobude Orodja Zaključek Reference Pobude: SLING, SIHPC, HPC RIVR, EuroCC I Združenje in koordiniranje HPC infrastrukture v Sloveniji, skozi: I SLING: Slovensko nacionalno superračunalniško omrežje → združilo pobudo orkestracije virov HPC po vsej državi. I SIHPC: Superračunalniški konzorcij Slovenije → koordiniral prvo prijavo za sredstva EU za HPC Teaming v državi (in sodelovanje Slovenije v programu PRACE 2). I HPC RIVR: Nadgradnja nacionalnih raziskovalnih infrastruktur, investicijksi program → je zagotovil naložbo v eksperimentalno infrastrukturo HPC. I EuroCC: National Competence Centres in the framework of EuroHPC → je zagotovil nacionalni kompetenčni center, EuroHPC. Vega supercomputer operativen izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 11/ 31
  12. 12. Introduction Izzivi Pobude Orodja Zaključek Reference O prvi prijavi EU Teaming HPC z UM: SIHPC, marec 2016 I Sem predstavnik SIHPC za UM FERI ter podpredsednik konzorcija SIHPC (poleg UM FERI še UL FS, FIŠ, UL FRI, UL FGG, IMT in Arctur), v katerem je vključenih 7 laboratorijev iz UM FERI: I Laboratorij za računalniške arhitekture in jezike https://labraj.feri.um.si/ I Laboratorij za geoprostorsko modeliranje, multimedijo in umetno inteligenco https://gemma.feri.um.si/ I Laboratorij za heterogene računalniške sisteme https://lhrs.feri.um.si/ I Laboratorij za električne stroje in vodenje https://ime.feri.um.si/elektricni-stroji-in-vodenje/ I Laboratorij za aplikativno elektromagnetiko https://ime.feri.um.si/aplikativna-elektromagnetika I Laboratorij za energetiko https://ime.feri.um.si/energetika/ I Laboratorij za sisteme v realnem času https://ii.feri.um.si/sl/o-institutu/laboratoriji/ izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 12/ 31
  13. 13. Introduction Izzivi Pobude Orodja Zaključek Reference Pobuda: Partnership for Advanced Computing in Europe (PRACE) 2 Consortium Slovenian High-Performance Computing Centre Aškerčeva ulica 6 SI-1000 Ljubljana Slovenia Ljubljana, 22. 2. 2017 prof. dr. Anwar Osseyran PRACE Council Chair Subject: Participation of Slovenia in PRACE 2 Dear professor Osseyran, In March 2016 a consortium Slovenski superračunalniški center (Slovenian High-Performance Computing Centre - SIHPC) was established with a founding act (Attachment 1) where article 6 claims that the consortium will join PRACE and that University of Ljubljana, Faculty of mechanical engineering (ULFME) will represent the consortium in the PRACE. The legal representative of ULFME in the consortium and therefore, also in the PRACE (i.e., the delegate in PRACE Council with full authorization) is prof. dr. Jožef Duhovnik, as follows from appointment of the dean of ULFME (Attachment 2). The consortium has also agreed that it joins PRACE 2 optional programme as contributing GP. With best regards, assist. prof. dr. Aleš Zamuda, vice-president of SIHPC izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 13/ 31
  14. 14. Introduction Izzivi Pobude Orodja Zaključek Reference Računalništvo: ImAppNIO, cHiPSet, TFoB, DAPHNE Raziskovalni projekti s cilji v smeri programja za poganjanje HPC in izboljševanja zmogljivosti (super)računalništva (#1 od 2): I ImAppNIO: Izboljšanje uporabnosti naravno navdihnjene optimizacije s povezovanjem teorije in prakse (angl. Improving Applicability of Nature-Inspired Optimisation by Joining Theory and Practice), → izboljšati zmogljivosti skozi vrednotenje (za razumevanje (in učenje učenja)) postopkov RI. I cHiPSet: Visoko zmogljivo modeliranje in simulacija za velepodatkovne aplikacije (angl. High-Performance Modelling and Simulation for Big Data Applications), → vključi HPC v modeliranje in simulacijo (procesa, ki se ga je treba naučiti) I TFoB: IEEE CIS Task Force on Benchmarking, → vključuje priložnosti za primerjalno analizo RI, kjer bi HPC omogočil nove zmogljivosti. izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 14/ 31
  15. 15. Introduction Izzivi Pobude Orodja Zaključek Reference Računalništvo: ImAppNIO, cHiPSet, TFoB, DAPHNE Raziskovalni projekti s cilji v smeri programja za poganjanje HPC in izboljševanja zmogljivosti (super)računalništva (#2 od 2): I DAPHNE: Integracija kanalov za analizo podatkov za upravljanje velikih podatkov, HPC in strojno učenje (angl. Integrated Data Analysis Pipelines for Large-Scale Data Management, HPC, and Machine Learning). → opredeliti in zgraditi odprto in razširljivo sistemsko infrastrukturo za integrirane cevovode analize podatkov, vključno z upravljanjem in obdelavo podatkov, visokozmogljivim računalništvom (HPC) ter usposabljanjem in ocenjevanjem strojnega učenja (ML). https://daphne-eu.github.io/ https://daphne-eu.eu/ izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 15/ 31
  16. 16. Introduction Izzivi Pobude Orodja Zaključek Reference Orodja (Tretji del) Orodja za MODA (Monitoring and Operational Data Analytics): I moda21 : Second International Workshop on Monitoring and Operational Data Analytics https://moda21.sciencesconf.org/ I zbiranje, analiziranje in vizualizacijo skozi superračunalništvo (HPC) I sistemskih kot tudi aplikacijskih podatkov (MODA) I kako je mogoče osmisliti podatke za uporabne izsledke, I razloženo s primeri iz vidika uporabe HPC (zakaj HPC?). izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 16/ 31
  17. 17. Introduction Izzivi Pobude Orodja Zaključek Reference MODA Actionable Insights, Explained From a HPC User Perspective, Through the Example of Summarization Najbolj zanimive ugotovitve povzemanja na primeru HPC so I zmogljivost modela NLP se s podaljšanjem namenjenih virov HPC nenehno povečuje (glej spodaj) in da I je izmerjeno izboljšanje ustreznosti povezano z oceno ROUGE, t.j. boljšimi povzetki. -0.05 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 1 10 100 1000 10000 ROUGE-1R ROUGE-2R ROUGE-LR ROUGE-SU4R Fitness (scaled) Zato uporaba HPC bistveno prispeva k zmogljivosti izziva NLP. Z vpogledom MODA dobimo tudi uporabno povratno informacijo o izvajalnih časih in uporabi virov. izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 17/ 31
  18. 18. Introduction Izzivi Pobude Orodja Zaključek Reference Izvajanje nalog na HPC: priprava nalog z ARC Vzporedne naloge povzemanja na HPC pripravljene z ARC. izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 18/ 31
  19. 19. Introduction Izzivi Pobude Orodja Zaključek Reference Izvajanje nalog na HPC: pošiljanje nalog z ARC, prejemanje in združitev rezultatov [JoCS2020] S pristopom HPC in z vzporednostjo nalog: optimizacija modela povzemanja na podlagi podatkov – izboljšani rezultati primerjalnih meritev (narisani z združitvijo v Gnuplot). MODA je potrebna za ponovni zagon in izboljšanje, za napoved, kako nastaviti zahtevani čas izvajanja naloge in vire (napovedovanje odziva sistema). izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 19/ 31
  20. 20. Introduction Izzivi Pobude Orodja Zaključek Reference Spremljanje in analitika operativnih podatkov (angl. Monitoring and Operational Data Analytics – MODA) I Uporabljen spremljevalnik (nalog, CPE/stenskega časa, itd.): Smirnova, Oxana. The Grid Monitor. Usage manual, Tech. Rep. NORDUGRID-MANUAL-5, The NorduGrid Collaboration, 2003. http://www.nordugrid.org/documents/ http://www.nordugrid.org/manuals.html http://www.nordugrid.org/documents/monitor.pdf I Nameščen na: www.nordugrid.org/monitor/ I NorduGrid Grid Monitor Vzorčen: 2021-06-28 at 17-57-08 I Po Sloveniji: https://www.sling.si/gridmonitor/loadmon.php http://www.nordugrid.org/monitor/index.php? display=vo=Slovenia izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 20/ 31
  21. 21. Introduction Izzivi Pobude Orodja Zaključek Reference MODA primer iz: ARC na Jost Primeri eksperimentov iz DOI: 10.1016/j.swevo.2015.10.007 (SPSRDEMMS) – naloga YYULDmGOXpmnmmR0Xox1SiGmABFKDmABFKDmrtMKDmABFKDm66faPo. Primer datoteke ARC gridlog/diag (2–3 dni časa dejanske stenske ure). runtimeenvironments=APPS/ARNES/MPI−1.6−R; CPUUsage=99% MaxResidentMemory=5824kB AverageUnsharedMemory=0kB AverageUnsharedStack=0kB AverageSharedMemory=0kB PageSize =4096B MajorPageFaults=4 MinorPageFaults =1213758 Swaps=0 ForcedSwitches =36371494 WaitSwitches =170435 I n p u t s =45608 Outputs =477168 SocketReceived=0 SocketSent=0 S i g n a l s=0 nodename=wn003 . arnes . s i WallTime=148332 s P r o c e s s o r s =16 UserTime =147921.14 s KernelTime =2.54 s AverageTotalMemory=0kB AverageResidentMemory=0kB LRMSStartTime =20150906104626Z LRMSEndTime=20150908035838Z e x i t c o d e=0 izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 21/ 31
  22. 22. Introduction Izzivi Pobude Orodja Zaključek Reference EuroCC HPC: Vega (TOP500 #106, HPCG #56 — junij 2021) I Raziskovalci se lahko prijavijo na razpise EuroHPC JU za dostop. I Redni klici so se pričeli to jesen (Benchmark & Development). I https://prace-ri.eu/benchmark-and-development-access-information-for-applicants/ I 60% zmogljivosti za nacionalni delež (70% OA, 20% komercialno, 10% gostitelj (skupnost, nujna prioriteta državnega pomena, vzdrževanje)) + 35% EuroHPC JU delež (odobrenih vlog) I Ima SLURM dev razdelki za prijavo SSH (SLURM razdelki z CPEji: login[0001-0004]=128; login[0005-0008]=64; cn[0001-384,0577-0960]=256; cn[0385-0576]=256; gn[01-60]=256). Listing 1: Postavitev na Vega — dostop do razdelka slurm dev (login). 1 [ a l e s . zamuda@vglogin0007 ˜] $ s i n g u l a r i t y p u l l qmake . s i f docker :// ak352/qmake−opencv 2 [ a l e s . zamuda@vglogin0007 ˜] $ s i n g u l a r i t y run qmake . s i f bash 3 cd sum ; qmake ; make c l e a n ; make 4 5 [ a l e s . zamuda@vglogin0007 ˜] $ cat runme . sh 6 #!/ bin / bash 7 cd sum && time mpirun 8 − −mca b t l o p e n i b w a r n n o d e v i c e p a r a m s f o u n d 0 9 ./ summarizer 10 − −useBinaryDEMPI − −i n p u t f i l e mRNA−1273−t x t 11 − −withoutStatementMarkersInput 12 − −printPreprocessProgress calcInverseTermFrequencyndTermWeights 13 − −p r i n t O p t i m i z a t i o n B e s t I n G e n e r a t i o n 14 − −summarylength 600 − −NP 200 15 − − GMAX 400 16 > summarizer . out . $SLURM PROCID 17 2> summarizer . e r r . $SLURM PROCID -0.65 -0.6 -0.55 -0.5 -0.45 -0.4 -0.35 -0.3 -0.25 -0.2 -0.15 -0.1 1 10 100 Evaluation izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 22/ 31
  23. 23. Introduction Izzivi Pobude Orodja Zaključek Reference MODA na prvem EuroCC HPC Vega superračunalniku Listing 2: Izvajanje na Vega & MODA. 1 ===================================================================== GMAX=200 ===== 2 [ a l e s . zamuda@vglogin0002 ˜] $ srun − −cpu−bind=c o r e s − −nodes=1 − −ntasks−per−node=101 3 − −cpus−per−task=2 − −mem=180G s i n g u l a r i t y run qmake . s i f bash 4 srun : job 4531374 queued and w a i t i n g f o r r e s o u r c e s 5 srun : job 4531374 has been a l l o c a t e d r e s o u r c e s 6 [ ”$SLURM PROCID” = 0 ] && ./ runme . sh 7 r e a l 5m22.475 s 8 u s e r 484m42.262 s 9 s y s 1m38.304 s 10 ===================================================================== NODES=51 ===== 11 [ a l e s . zamuda@vglogin0002 ˜] $ srun − −cpu−bind=c o r e s − −nodes=1 − −ntasks−per−node=51 12 − −cpus−per−task=2 − −mem=180G s i n g u l a r i t y run qmake . s i f bash 13 srun : job 4531746 queued and w a i t i n g f o r r e s o u r c e s 14 srun : job 4531746 has been a l l o c a t e d r e s o u r c e s 15 [ ”$SLURM PROCID” = 0 ] && ./ runme . sh 16 r e a l 13m57.851 s 17 u s e r 431m25.833 s 18 s y s 0m29.272 s 19 ===================================================================== GMAX=400 ===== 20 [ a l e s . zamuda@vglogin0002 ˜] $ srun − −cpu−bind=c o r e s − −nodes=1 − −ntasks−per−node=101 21 − −cpus−per−task=2 − −mem=180G s i n g u l a r i t y run qmake . s i f bash 22 srun : job 4532697 queued and w a i t i n g f o r r e s o u r c e s 23 srun : job 4532697 has been a l l o c a t e d r e s o u r c e s 24 [ ”$SLURM PROCID” = 0 ] && ./ runme . sh 25 r e a l 6m14.687 s 26 u s e r 590m45.641 s 27 s y s 1m40.930 s izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 23/ 31
  24. 24. Introduction Izzivi Pobude Orodja Zaključek Reference Več izpisov: združevanje lupinskih programov Listing 3: Primer orodja za obračunavanje na Vega: sacct. [ a l e s . zamuda@vglogin0002 ˜] $ s a c c t 4531374. ext+ e x t e r n vega−u s e r s 202 COMPLETED 0:0 4531746. ext+ e x t e r n vega−u s e r s 102 COMPLETED 0:0 4532697. ext+ e x t e r n vega−u s e r s 202 COMPLETED 0:0 [ a l e s . zamuda@vglogin0002 ˜] $ s a c c t −j 4531374 −j 4531746 −j 4532697 −o MaxRSS , MaxVMSize , AvePages MaxRSS MaxVMSize AvePages − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − 0 217052K 0 26403828K 1264384K 22 0 217052K 0 13325268K 1264380K 0 0 217052K 0 26404356K 1264384K 30 Nadaljnji MODA testi: I testiranje spletnega vmesnika za analizo delovnih nalog (kot je na voljo pri HPC RIVR); I profiliranje komunikacije med vozlišči MPI; I uporabiti profilirnike in orodja za spremljanje, ki so na voljo — v kontekstu heterogenih postavitev, kot npr. I TAU Performance System — http://www.cs.uoregon.edu/research/tau/home.php, I LIKWID Performance Tools — https://hpc.fau.de/research/tools/likwid/. izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 24/ 31
  25. 25. Introduction Izzivi Pobude Orodja Zaključek Reference Več o uporabniškem vidiku HPC iz Slovenije Več: na Univerzi v Mariboru, bolonjski študijski predmeti za poučevanje (usposabljanje) v računalništvu po stopnjah: I stopnja 1 (UN) I leto 1: Programiranje I – npr. sintaksa C++ I leto 2: Računalniške arhitekture – npr. zbirnik, vmesna/mikro koda I leto 3: Paralelno in porazdeljeno računanje – npr. OpenMP, MPI, CUDA I stopnja 2 (MAG) I leto 1: Postavitev in upravljanje računalniških oblakov – npr. arc, slurm, Hadoop, vsebniki (docker, singularity) skozi virtualizacijo I stopnja 3 (DR) I EU in drugi domači raziskovalni projekti: HPC RIVR, EuroCC, DAPHNE, ... – npr. skaliranje novih sistemov RI & Operacijske raziskave ... s pomočjo HPC I IEEE Computational Intelligence Task Force on Benchmarking I znanstvene revije (npr. SWEVO, TEVC, JoCS, ASOC, INS) Te prispevajo k trajnostnemu razvoju HPC. izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 25/ 31
  26. 26. Introduction Izzivi Pobude Orodja Zaključek Reference Zaključek Povzetek: HPC izzivi, pobude in računalniška orodja. Hvala! Vprašanja? -0.05 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 1 10 100 1000 10000 ROUGE-1R ROUGE-2R ROUGE-LR ROUGE-SU4R Fitness (scaled) izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 26/ 31
  27. 27. Introduction Izzivi Pobude Orodja Zaključek Reference Biography and References: Organizations I Associate Professor at University of Maribor, Slovenia I Continuous research programme funded by Slovenian Research Agency, P2-0041: Computer Systems, Methodologies, and Intelligent Services I Associate Editor: Swarm and Evolutionary Computation I IEEE (Institute of Electrical and Electronics Engineers) senior I IEEE Computational Intelligence Society (CIS), senior member I IEEE CIS Task Force on Benchmarking, chair Website link I IEEE CIS, Slovenia Section Chapter (CH08873), chair I IEEE Slovenia Section, 2018–2021 vice chair I IEEE Young Professionals Slovenia, past chair I ACM SIGEVO (Special Interest Group on Genetic and Evolutionary Computation); EurAI; SLAIS I Co-operation in Science and Techology (COST) Association Management Committee, member: I CA COST Action CA15140: Improving Applicability of Nature-Inspired Optimisation by Joining Theory and Practice (ImAppNIO), WG3 VC I ICT COST Action IC1406 High-Performance Modelling and Simulation for Big Data Applications (cHiPSet); SI-HPC; HPC-RIVR user I EU H2020 Research and Innovation project, holder for UM part: Integrated Data Analysis Pipelines for Large-Scale Data Management, HPC, and Machine Learning (DAPHNE), https://cordis.europa.eu/project/id/957407 izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 27/ 31
  28. 28. Introduction Izzivi Pobude Orodja Zaključek Reference Biography and References: Top Publications I Aleš Zamuda, Elena Lloret. Optimizing Data-Driven Models for Summarization as Parallel Tasks. Journal of Computational Science, 2020, vol. 42, pp. 101101. DOI 10.1016/j.jocs.2020.101101. I A. Zamuda, J. D. Hernández Sosa. Success history applied to expert system for underwater glider path planning using differential evolution. Expert Systems with Applications, 2019, vol. 119, pp. 155-170. DOI 10.1016/j.eswa.2018.10.048 I A. Viktorin, R. Senkerik, M. Pluhacek, T. Kadavy, A. Zamuda. Distance Based Parameter Adaptation for Success-History based Differential Evolution. Swarm and Evolutionary Computation, 2019, vol. 50, pp. 100462. DOI 10.1016/j.swevo.2018.10.013. I A. Zamuda, J. Brest. Self-adaptive control parameters’ randomization frequency and propagations in differential evolution. Swarm and Evolutionary Computation, 2015, vol. 25C, pp. 72-99. DOI 10.1016/j.swevo.2015.10.007. I A. Zamuda, J. D. Hernández Sosa, L. Adler. Constrained Differential Evolution Optimization for Underwater Glider Path Planning in Sub-mesoscale Eddy Sampling. Applied Soft Computing, 2016, vol. 42, pp. 93-118. DOI 10.1016/j.asoc.2016.01.038. I A. Zamuda, J. D. Hernández Sosa. Differential Evolution and Underwater Glider Path Planning Applied to the Short-Term Opportunistic Sampling of Dynamic Mesoscale Ocean Structures. Applied Soft Computing, vol. 24, November 2014, pp. 95-108. DOI 10.1016/j.asoc.2014.06.048. I A. Zamuda, J. Brest. Vectorized Procedural Models for Animated Trees Reconstruction using Differential Evolution. Information Sciences, vol. 278, pp. 1-21, 2014. DOI 10.1016/j.ins.2014.04.037. I A. Zamuda, J. Brest. Environmental Framework to Visualize Emergent Artificial Forest Ecosystems. Information Sciences, vol. 220, pp. 522-540, 2013. DOI 10.1016/j.ins.2012.07.031. I A. Glotić, A. Zamuda. Short-term combined economic and emission hydrothermal optimization by surrogate differential evolution. Applied Energy, 1 March 2015, vol. 141, pp. 42-56. DOI 10.1016/j.apenergy.2014.12.020. I H. Hamann, Y. Khaluf, J. Botev, M. Divband Soorati, E. Ferrante, O. Kosak, J.-M. Montanier, S. Mostaghim, R. Redpath, J. Timmis, F. Veenstra, M. Wahby and A. Zamuda. Hybrid Societies: Challenges and Perspectives in the Design of Collective Behavior in Self-organizing Systems. Frontiers in Robotics and AI, 2016, vol. 3, no. 14. DOI 10.3389/frobt.2016.00014. I J. Šilc, A. Zamuda. Special Issue on ”Bioinspired Optimization” (guest editors). Informatica - An International Journal of Computing and Informatics, 2015, vol. 39, no. 2, pp. 1-122. izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 28/ 31
  29. 29. Introduction Izzivi Pobude Orodja Zaključek Reference Biography and References: Bound Specific to HPC PROJECTS: I DAPHNE: Integrated Data Analysis Pipelines for Large-Scale Data Management, HPC, and Machine Learning I ICT COST Action IC1406 High-Performance Modelling and Simulation for Big Data Applications I SLING: Slovenian national supercomputing network I SI-HPC: Slovenian corsortium for High-Performance Computing I UM HPC-RIVR: Supercomputer at UM, https://www.hpc-rivr.si/ I SmartVillages: Smart digital transformation of villages in the Alpine Space I Interreg Alpine Space, https://www.alpine-space.eu/projects/smartvillages/en/home I Interactive multimedia digital signage (PKP, Adin DS) EDITOR: I SWEVO (Top Journal), Associate Editor I Mathematics-MDPI, Special Issue: Evolutionary Algorithms in Engineering Design Optimization I Journal of advanced engineering and computation (member of editorial board since 2019). Viet Nam: Ton Duc Thang University, 2017-. ISSN 2588-123X. I Cloud Computing and Data Science (Associate Editor, since 2019). Universal Wiser Publisher Pte.Ltd. I D. Gleich, P. Planinšič, A. Zamuda. 2018 25th International Conference on Systems, Signals and Image Processing (IWSSIP). IEEE Xplore, Maribor, 20-22 June 2018. I General Chair: 7-th Joint International Conferences on Swarm, Evolutionary and Memetic Computing Conference (SEMCCO 2019) & Fuzzy And Neural Computing Conference (FANCCO 2019), Maribor, Slovenia, EU, 10-12 July 2019; co-editors: Aleš Zamuda, Swagatam Das, Ponnuthurai Nagaratnam Suganthan, Bijaya Ketan Panigrahi. izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 29/ 31
  30. 30. Introduction Izzivi Pobude Orodja Zaključek Reference Biography and References: More on HPC RESEARCH PUBLICATIONS: I Aleš Zamuda, Elena Lloret. Optimizing Data-Driven Models for Summarization as Parallel Tasks. Journal of Computational Science, 2020, vol. 42, pp. 101101. DOI 10.1016/j.jocs.2020.101101. I Aleš Zamuda, Vincenzo Crescimanna, Juan C. Burguillo, Joana Matos Dias, Katarzyna Wegrzyn-Wolska, Imen Rached, Horacio González-Vélez, Roman Senkerik, Claudia Pop, Tudor Cioara, Ioan Salomie, Andrea Bracciali. Forecasting Cryptocurrency Value by Sentiment Analysis: An HPC-Oriented Survey of the State-of-the-Art in the Cloud Era. Kolodziej J., González-Vélez H. (eds) High-Performance Modelling and Simulation for Big Data Applications. Lecture Notes in Computer Science, vol 11400, 2019, pp. 325-349. DOI 10.1007/978-3-030-16272-6 12. I Nenad Karolija, Aleš Zamuda. On cloud-supported web-based integrated development environment for programming dataflow architectures. MILUTINOVIĆ, Veljko (ur.), KOTLAR, Milos (ur.). Exploring the DataFlow supercomputing paradigm: example algorithms for selected applications, (Computer communications and networks (Internet), ISSN 2197-8433), 2019, pp. 41-51. DOI 10.1007/978-3-030-13803-5 2. I Simone Spolaor, Marco Gribaudo, Mauro Iacono, Tomas Kadavy, Zuzana Komı́nková Oplatková, Giancarlo Mauri, Sabri Pllana, Roman Senkerik, Natalija Stojanovic, Esko Turunen, Adam Viktorin, Salvatore Vitabile, Aleš Zamuda, Marco S. Nobile. Towards Human Cell Simulation. Kolodziej J., González-Vélez H. (eds) High-Performance Modelling and Simulation for Big Data Applications. Lecture Notes in Computer Science, vol 11400, 2019, pp. 221-249. DOI 10.1007/978-3-030-16272-6 8. I A. Zamuda, J. D. Hernandez Sosa, L. Adler. Improving Constrained Glider Trajectories for Ocean Eddy Border Sampling within Extended Mission Planning Time. IEEE Congress on Evolutionary Computation (CEC) 2016, 2016, pp. 1727-1734. I A. Zamuda. Function evaluations upto 1e+12 and large population sizes assessed in distance-based success history differential evolution for 100-digit challenge and numerical optimization scenarios (DISHchain 1e+12): a competition entry for ”100-digit challenge, and four other numerical optimization competitions” at the genetic and evolutionary computation conference (GECCO) 2019. Proceedings of the Genetic and Evolutionary Computation Conference Companion (GECCO 2019), 2019, pp. 11-12. I ... several more experiments for papers run using HPCs. I ... also, pedagogic materials in Slovenian and English — see Conclusion . izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 30/ 31
  31. 31. Introduction Izzivi Pobude Orodja Zaključek Reference Promo materials: Calls for Papers, Informational Websites CS FERI WWW CIS TFoB CFPs WWW LinkedIn Twitter izr. prof. dr. Aleš Zamuda 7@aleszamuda Superračunalništvo v Mariboru 31/ 31

×