Recommended
Recommended
More Related Content
Similar to Klub Innowacji UW - Życie Danych: od początku do końca
Similar to Klub Innowacji UW - Życie Danych: od początku do końca (20)
More from UOTT UW
More from UOTT UW (10)
Klub Innowacji UW - Życie Danych: od początku do końca
- 5. www.icm.edu.pl The Square Kilometre Array Western Australia South Africa https://www.skatelescope.org Precursor (fully operational) Murchison Widefield Array (MWA) Precursor MeerKAT from Dr Chen Wu talk at “Supercompu?ng Fron?ers 2015, Singapore, March 17-19 Big Data in Science Przykład: Tworzenie danych
- 6. www.icm.edu.pl Correlation Antenna & Front End Systems Data Product Generation Temporary Storage On Demand Processing Long Term Storage High Availability Storage/DB VO Services & Query Interface SKA Science 2 ~ 157 TB/s ≈ 845 PB/day Google ingests raw data ~ 20 PB / day 2.2 ~ 2.6 TB/s 900 TB/day 18 ~ 180 PB/year SKA-1 Data Challenge (rebaselined) Facebook ~ 105 TB/day LHC at CERN ~ 4 PB / year 200,000 HDD/day ! Epoch of Reionisation ! Pulsars ! Neutral Hydrogen (HI) ! Transients ! …… SKA-1 LOW Western Australia SKA-1 MID South Africa – Full partners • Canadian Astronomy Data Centre • Canadian Universities Collaboration • Chinese Universities Collaboration • Commonwealth Scientific and Industrial Research Organisation • International Centre for Radio Astronomy Research • Netherlands Institute for Radio Astronomy • New Zealand SKA Alliance - AUT • New Zealand SKA Alliance - VUW • Science and Technology Facilities Council - Hartree • SKA South Africa • University of Cambridge • University of Manchester • University of Oxford • University of Southampton – Supercomputing Partners • Centre for High Performance Computing • Centro Nacional de Supercomputación • Forschungszentrum Jülich GmbH: JUELICH • Pawsey Supercomputing Centre Big Data in Science from Dr Chen Wu talk at “Supercompu?ng Fron?ers 2015, Singapore, March 17-19 Przykład: Transport i przechowywanie danych
- 7. www.icm.edu.pl Experimental Facili?es New mathema?cal models Unified Compu?ng Facili?es Network for Big Data Science Fast Implementa?ons on latest computers Real-?me analysis and Data management Superfacility Vision: A network of connected facilities, software and expertise to enable new modes of discovery - 8 - Source: Katie Antypas,“Superfacility: How new workflows in the DOE Office of Science are influencing storage system requirements” May 3, 2016
- 8. www.icm.edu.pl Interdisciplinary Centre for Mathematical and Computational Modelling University of Warsaw, Poland
- 9. www.icm.edu.pl OKEANOS OBLICZENIA WIELKOSKALOWE I SYMULACJE Cray XC40 o 1084 węzłach obliczeniowych, każdy węzeł wyposażony jest w 24 rdzenie procesora Intel Xeon i posiada 128 GB pamięci operacyjnej TETYDA PRZECHOWYWANIE I UDOSTĘPNIANIE DANYCH DataDirect Networks - 12,6 PB brutto, szybkości transferu danych ponad 150 GB/s HGST EasiScale - 9,4 PB brutto, szybkości transferu danych 7 GB/s LABORATORIUM WIZUALIZACJI WIELKOSKALOWEJ I RENDERINGU Ściana wideo o powierzchni 15 m² oraz serwery generujące na podstawie danych z obliczeń obraz w rozdzielczości 8K Ultra HD ENIGMA PRZETWARZANIE i ANALIZA DUŻYCH DANYCH Klaster Huawei w technologii Apache Spark: 8000 rdzeni obliczeniowych, 43TB pamięci RAM, 8 PB przestrzeni dyskowej
- 11. www.icm.edu.pl Infrastruktura telekomunikacyjna ICM ! Połączenie pomiędzy serwerowniami 100Gb/s + Nx10Gb/s ! Redundantne połączenia do sieci Pionier (100Gb/s, Nx10Gb/s) ! Połączenia do 5xKDM – 100Gb/s ! Własna infrastruktura światłowodowa w Warszawie
- 16. 16 10Gbps InfiniBand 100Gbps InfiniBand 100Gbps InfiniBand East-ward link: Singapore-trans-Pacific-USA-trans-Atlan?c-Europe 10Gbps InfiniBand West-ward link: Singapore-Europe (via TEIN*CC) InfiniCortex 2015 InfiniBand ring-around the World TITECH (Tokyo) NCI (Canberra) Seattle GA Tech (Atlanta)SC15 (Austin,TX) ICM & PSNC POLSKA A*STAR (Singapore) ANA200/Internet2/GEANT ESnet/Internet2 100Gbps shared Internet 2-SingARENTEIN*CC - SingAREN URCA (Reims)
- 17. NCI (Canberra) SC15 (Austin) GA TECH (Atlanta) SBU (New York) UAlberta (Edmonton) A*CRC (Singapore) PSNC (Poznań) URCA (Reims) largest spanning InfiniBand network: ring- around-the-world with up-to100Gbps secUons Singapore-USA InfiniBand routing across 7 subnets over 4 continents
- 19. NCI (Canberra) SC15 (Austin) GA TECH (Atlanta) SBU (New York) UAlberta (Edmonton) A*CRC (Singapore) PSNC (Poznań) URCA (Reims) InfiniCloud 2015 True HPC Cloud around the Globe
- 20. (most) Project Partners 2014-2016 Huawei, HPE, Fujitsu, Aspera, Bright Cluster, Altair, ByteScale, AristaFermiLab, George Washington University Team Europe GEANT, TEIN, France: University of Reims, Poland: PSNC, ICM
- 22. Prognozy meteorologiczne ICM UW (meteo.pl) Trzy różne modele meteorologiczne: • UM (Unified Model) UK Met Office, rozdzielczość przestrzenna 4 i 1.5 km. • WRF (Weather Researcg and Forecasting Model), rozdzielczość przestrzenna 3.4 km. • COAMPS (Coupled Ocean/Atmosphere Mesoscale Prediction System), rozdzielczość 13 km.
- 23. Produkty oparte na prognozach meteorologicznych ICM UW (meteo.pl) - przykład 1. Monitorowanie jakości powietrza – w chwili obecnej głównie na podstawie wskazań czujników (stan na „teraz”). 2. Uwzględnienie prognozowanej, szczegółowej, informacji meteorologicznej pozwala na określenie warunków sprzyjających powstawaniu smogu (brak wiatru, brak opadów, inwersja termiczna). 3. W tym celu konieczne jest wykorzystanie prognoz meteorologicznych na różnej wysokości – profile pionowe zadanych parametrów (wartości dla różnych wysokości w funkcji czasu). 4. Produkt mający zastosowanie m.in. do planowania aktywności czy w procesie podejmowania decyzji przez zarządców. TEMPERATURAZACHMURZENIE
- 25. www.icm.edu.pl • W pełni zintegrowane, regularnie aktualizowane Repozytorium Przewozów/ Rozkładów/Parametrów/Prognoz (tracking podróży lotniczych dla blisko 4 mld pasażerów rocznie) • Wielostopniowy , globalny model połączeń lotniczych wraz z wyznaczaniem kierunkowego potencjału popytu. • Szybkie generowanie wysokiej rozdzielczości diagnozy przewozów „state-of-the-art” (w skali Globalnej/Regionalnej/Krajowej/Sieciowej/Trasowej/Miast/Lotnisk/Wysp). Wspólnie wykonana Aplikacja GATO (Global Air Transport Optimiser) wprowadza nową jakość w obszarze analiz lotniczych Narzędzie najnowszej generacji dedykowane dla planistów oraz decydentów lotniczych.
- 26. www.icm.edu.pl SESAR: Safety suport tools for avoiding runway excursion • Cel: • Środek: ciągła informacja o stanie drogi startowej (pomiędzy inspekcjami) • Rozwiązanie: połączmy rożne źródła danych • Produkt: RCAMS
- 30. www.icm.edu.pl Osiągnięcia studentów ICM Great Programming Challenges Hackathons Studenci inżynierii obliczeniowa zajmują czołowe miejsca w hackathonach Wielkie Wyzwania Programistyczne podejmując równą walkę ze studentami czołowych kierunków informatycznych w kraju (UJ, MIM UW). II i III miejsce w hackathonie zajęli studenci inżynierii obliczeniowej – kierunku prowadzonego przez ICM UW. I miejsce w hackathonie zajęli studenci inżynierii obliczeniowej – kierunku prowadzonego przez ICM UW. I miejsce w hackathonie zajęli studenci inżynierii obliczeniowej – kierunku prowadzonego przez ICM UW.