Вычислительная и коммуникационная инфраструктура Академгородка и СО РАН

Институт вычислительной математики и математической геофизики СО РАН www.sscc.ru Сибирский суперкомпьютерный центр www2.sscc.ru Совет по супервычислениям при президиуме СО РАНВычислительная и коммуникационная инфраструктура Академгородка и СО РАН Максим Александрович Городничев maxim@ssd.sscc.ru http://ssd.sscc.ru

О чем будет разговор• Какие компьютеры нужны науке?• Задачи вычислительных центров СО РАН и развитие вычислительных ресурсов• Коммуникационная инфраструктура Академгородка• Потребности в развитии сетей связи

Компоненты научного метода• Теория• Натурный эксперимент• Компьютерное моделирование

«Страна, желающая победить в конкуренции, должна победить в вычислениях» Deborah Wince-Smith, Президент Совета по конкурентоспособности США Из Указа Президента РФ от 7 июня 2011г № 899• Приоритетные направления развития науки, технологий и техники Российской Федерации п.3 «Информационно-телекоммуникационные системы»• Перечень критических технологий Российской Федерации п. 18 «Технологии и программное обеспечение распределенных и высокопроизводительных вычислительных систем»

Потребности в вычислительных мощностях на примере задачи моделирования климатаЛишь атмосфера, период 100 лет:1017 операций*Производительность компьютеровизмеряется в операциях в секунду: 1 Pflops = 103 Tflops = 106 Gflops = 1015 операций в секундуПотребности в производительности:Решить задачу за час: 27,8 TflopsРешить задачу за 12 часов: 2,3 Tflops WikipediaРешить задачу за месяц: 0,04 Tflops*В.В. Воеводин. Вычислительная математика и структура алгоритмов. М.:МГУ, 2006: сетка с ячейкой 1°, 40 слоев по высоте, шаг по времени -- 10 минут.

Рейтинги производительности вычислительных систем (в Tflops)Top-50 СНГ, сентябрь 2011 Top-500, ноябрь 2011http://top50.supercomputers.ru http://top500.orgПоз. Организация Ppeak Pmax Поз. Страна Ppeak Pmax1 МГУ 1373,06 674,11 1 Япония 11280,38 10510,002 Курчатовский 123,65 101,21 2 Китай 2566,00 4701,00 институт 3 США 2331,00 1759,003 Челябинск, 117,67 100,33 ЮУрГУ 9 Франция 1254,55 1050,0010 Томск, ТГУ 62,35 42,53 12 Германия 1043,94 831,4023 НГУ 29,28 17,32 18 Россия 1373,06 674,1131 Красноярск, 13,06 16,87 19 Великобр 829,03 660,24 СФУ итания32 ССКЦ 30,01 12,55 Ppeak – по спецификации процессоров ИВМиМГ+ИЦиГ СО РАН Pmax – на тесте Linpack

Распределение производительностивычислительных систем в списке Top-500 по странам http://top500.org

Суперкомпьютерные центры СО РАН•Омск•Новосибирск•Томск•Красноярск•Иркутск Google Maps

Основные направления деятельности суперцентров Сибирского отделения РАН• Обеспечение работ институтов СО РАН и университетов Сибири по математическому моделированию в фундаментальных и прикладных исследованиях• Обучение специалистов СО РАН и студентов университетов методам параллельных вычислений на суперкомпьютерах, методам моделирования больших задач• Интеграция вычислительных ресурсов Суперцентров СО РАНКоординация работ по развитию суперкомпьютерных центров СО РАН, осуществляется Советом по супервычислениям при Президиуме СО РАН

Примеры задач, решаемых в СО РАН

Суперкомпьютерное моделирование эволюции галактик и протопланетных дисковИВМиМГ СО РАН, ИК СО РАН, Новосибирск

Моделирование карбонатных резервуаров Расчет проводился на 512 процессорах. Работа заняла первое место в Конкурсе проектов в сфере высокопроизводительных вычислений под девизом «Невозможное стало возможным», организованного корпорацией Intel совместно с Российской корпорацией нанотехнологий («РОСНАНО») в 2010 году. ИВМиМГ СО РАН, Новосибирск

Моделирование обтекания перспективных спускаемых космических аппаратов ИТПМ СО РАН, Новосибирск

Исследование конформационной подвижности мутантных форм белковИЦиГ СО РАН, Новосибирск Предсказаны потенциальные сайты связывания иона Zn2+, включающие в себя аминокислоты, не характерные для нормального сайта связывания цинка в белке P53, а также было предсказано положение иона Zn2+ в найденных потенциальных сайтах.

Моделирование движения людей и расчет эвакуациив задачах пожарной безопасности ИВМ СО РАН, Красноярск  Непрерывно-дискретная полевая модель движения людей во время пожара является весьма ресурсоемкой.  Для моделирования движения одного человека в течение 1 мин. требуется около 20*107 расчетных шагов.  При решении практических задач эвакуации количество человек измеряется сотнями и тысячами.

Теоретическое исследование перспектив использования графеноподобной планарной структуры BС3 в качестве анодов для построения нового типа литий-ионных аккумуляторов ИВМ СО РАН, КрасноярскГеометрическая структура ВС3с адсорбированным литием Зависимость энергии адсорбирования лития внутри графита и ВС3 от его массовой доли

Развитие ресурсов центров и решаемые задачи

ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР Институт динамики систем и теории управления СО РАН ДЕЙСТВУЮЩИЕ ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫКластер GPU-серверов Вычислительный кластер Вычислительный кластер“TESLA” «Blackford» МВС-1000/16Общее число GPU – 8 40 CPU Quad-Core Intel Xeon 32 CPU Intel XeonЧисло потоковых ядер – E5345,1920 интерконнект – 2 x Gigabit DP, интерконнект – MyrinetИнтерконнект – Ethernet 2000 & Gigabit EthernetGigaEthernet Пиковая производ. ~ 1,5 TFlops Пиковая производительностьRpeak (GPU): 7,45 TFlops Реальная производ.(HPL) – 924 ~ 0,17 TFlops(SPI) GFlops 624 GFlops (DPI) РАЗВИТИЕ ВЫЧИСЛИТЕЛЬНОЙ БАЗЫ Запускается первая очередь кластерной вычислительной системы нового поколения на базе архитектуры x86_64 (16-core CPU AMD Opteron 6276 Bulldozer) общей пиковой производительностью 33,7 Tflops Прогнозная реальная производительность на тесте LINPACK > 27 TFlops

ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут динамики систем и теории управления СО РАН РАЗВИТИЕ ВЫЧИСЛИТЕЛЬНОЙ БАЗЫ Кластер на базе AMD Bulldozer 33,7 TFlops Кластер Кластер “Blackford” на базе Intel Xeon QC МВС-1000 Серверы 1,5 TFlops на базе 0,17 TFlops GPU Tesla 7,45 TFlops (SPI)

ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР Институт динамики систем и теории управления СО РАНОБЛАСТИ ПРИМЕНЕНИЯ РЕСУРСОВ РАСПРЕДЕЛЕНИЕ МАШИННОГО ВРЕМЕНИ • Лимнологический институт СО РАН Биоинформатика, геномика, фи (биоинформатика, геномика, филогенетика, логенетика биология рыб, …) ~50% • Физика твердого Институт динамики систем и теории управления СО РАН (дискретная тела, квантовая химия математика, криптография, физика плазмы, …) • Физика высоких ~25% энергий, теория поля Институт геохимии им. А.П. Виноградова СО РАН • Дискретная (квантово-химические расчеты, физика математика, криптоанализ твердого тела) ~20% • Оптимальное ИрИХ СО РАН, ИГУ, ИрГТУ и другие управление, методы ~5% оптимизации

КРАСНОЯРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР Институт вычислительного моделирования СО РАН ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ1. МВС-1000/146 – производительность 0.65 Тflops, модернизирована в 2011 г.2. МВС-1000/16 – тренажер3. IBM System x 3755 (СФУ) – производительность 1 Тflops4. Tesla C-2050 - три вычислительных комплекса, каждый производительностью 1 Тflops5. Flagman RX 240T – производительность 8.24 Тflops, закуплен по проекту РФФИ в 2011 г.

КРАСНОЯРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР Институт вычислительного моделирования СО РАН СТАТИСТИКА МВС-1000/146Направления Запусков Вклад в научных Организация задач загрузку (%)исследованийМолекулярная 1500 ИФ СО РАН 84 динамикаМолекулярная 1050 ИХХТ СО РАН 14 динамика Динамика вязких и 220 ИВМ СО РАН 1сыпучих средГазодинамика 87 ИВМ СО РАН 0.3 ИВМ СО РАН, Прочее 2770 1 СибГТУ и др. Всего 5540 100

ТОМСКИЙ НАУЧНЫЙ ЦЕНТР Институт сильноточной электроники СО РАН ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫКластер на базе процессоров Intel Itanium2 –5 вычислительных узлов (ВУ) + 1 управляющийузел (УУ)Характеристики ВУ кластера: - 2 процессора Intel Itanium2Madison, 1595.706 Mгц; - оперативная память 4 Гб; - жесткий диск 40 Гб (SCSI); - сеть: Mellanox SDR Infiniband, GigabitEthernet.Вычисл-ная система на базе Tesla/Fermi – 4 ВУ +1 УУ: - 2 ВУ с Tesla C2050; - 1 ВУ с Tesla C2070; - 1 ВУ с 2 Tesla C1060 (~ 1 ТФлопс каждый); - Quadro NVS 290; - сеть: Gigabit Ethernet. Текущее состояние СИСТЕМА ПЕРЕДАЧИ ДАННЫХ сетевой инфраструктуры ТНЦ СО РАН 1) В 2011 году был реализован вариант расширения полосы пропускания данных с томским научно-образовательнымкомплексом за счет увеличения числа параллельных каналов, а также построение дополнительных линий связи.Выполненные работы дают возможность подключать вычислительные кластеры университетов как минимум на скоростях 1 Гб. 2) Запущен внешний поток ННЦ СО РАН – ТНЦ СО РАН для возможности подключения высокопроизводительныхвычислительных ресурсов ТНЦ СО РАН и университетов Томска к распределенной GRID-сети СО РАН.

ТОМСКИЙ НАУЧНЫЙ ЦЕНТР Институт сильноточной электроники СО РАН РЕШАЕМЫЕ ЗАДАЧИ• Разработка и реализация параллельных вычислений на распределенных вычислительных системах в рамках метода подвижных клеточных автоматов (ПКА). ИФПМ СО РАН• Параллельная реализация алгоритма решения задач динамики пучков заряженных частиц для самосогласованного электромагнитного поля методом "частицы-в-ячейках" в r-z геометрии. ИСЭ СО РАН• Моделирование развития пробоя газонаполненного диода импульсом напряжения наносекундной длительности. ИСЭ СО РАН• Тестовый запуск модели Weather Research and Forecast (WRF ARW) версии 3.0 в многопроцессорном режиме на кластере SGI Altix-4700 РСМЦ ЗС УГМА (г.Новосибирск), ИМКЭС СО РАН

ОМСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР Омский филиал Института математики СО РАН ОСНОВНАЯ ТЕХНИЧЕСКАЯ БАЗА2-х модульный суперкомпьютерный кластер TeslaMeijin. Построен с использованиемчетырехъядерного процессора Intel Core i7Extreme на базе вычислителей NVIDIA Tesla C1060.Кластер в настоящее время состоит из 2узлов, каждый из которых содержит по 3вычислителя NVIDIA Tesla C1060;Телекоммуникационные возможностикомпьютерной сети, созданной по проекту КС«ОКНО»;Кластерный суперкомпьютер МВС-1000/128перенесен из ОФ ИМ СО РАН на факультеткомпьютерных наук Ом ГУ для обеспеченияучебного процесса.

ОМСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР Омский филиал Института математики СО РАН РЕШАЕМЫЕ ЗАДАЧИ• Ведется разработка точного алгоритма решения USApHMP. В настоящее время реализована процедура локального поиска для USApHMP на основе технологии CUDA.• Квадратичная задача о назначениях с минисуммным критерием для произвольного графа связей на древовидной сети с применением параллельного алгоритма динамического программирования.• Разрабатываются параллельные многопоточные алгоритмы формирования табличных представлений данных по технологии OLAP.• Создание моделирующих программ для стохастических моделей динамики социально-значимых заболеваний и выявления больных индивидуумов.

СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительной математики и математической геофизики СО РАН ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ 576 (2688 ядер) Кластер HKC-160 !!! NEW процессоров (hp rx1620) Кластер Intel Xeon Е5450/E5540/X5670 гибридной 168 процессор. архитектуры 80 процессор. CPU (X5670) – Itanium 2, HKC-30T+GPU HKC-30T 480 ядер; 1,6 ГГц; InfiniBand, 120 процессор. Gigabit Ethernet (GE); GPU (Tesla M 2090) – > 1 ТФлопс 61440 ядер. Общая пиковая производ. 115 ТФлопс GigabitEthernet Сеть ИВМиМГ GE InfiniBand СИСТЕМЫ ХРАНЕНИЯ GE …………… …………… ДАННЫХ (СХД) Сеть Internet ННЦ СХД для НКС-30Т 36 Тбайт (max - 120 Тбайт) Системное Параллельная файловая система Общематематическое !!! NEW IBRIX Прикладное (ППП) для НКС-30Т 32 Тбайта Сервер с общей памятью (hp DL980 G7) Сервер 4 процессора (40 ядер) Intel Е7-4870,с общей памятью ОП - 512 Гбайт , 384 ГФлопс. (hp DL580 G5) Max: 8 процессоров (80 ядер), СХД 4 процессора для НКС-160 (16 ядер) 2048 ГБайт, 768 ГФлопс 3,2 Тбайт Intel Xeon Quad Core Х7350, 2.93 ГГц; СХД сервера с общей памятью 256 ГБайт - общая память; 9 Тбайт (max-48 Тбайт) 187,5 ГФлопс

СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительной математики и математической геофизики СО РАН РОСТ Гибридный ВЫЧИСЛИТЕЛЬНЫХ кластер 115 ТФлопс РЕСУРСОВ НКС-30Т 30 ТФлопс 116 ТФлопс НКС-30Т 31 2012 г. 16,5 ТФлопс ТФлопс 17,5 2011 г. ТФлопс НКС-30Т 7,1 2010 г. 4,8 ТФлопс ТФлопс 2009 г. 5,8 ТФлопс НКС-160 > 1 ТФлопс > 1 ТФлопс 2008 г. 2007 г.МВС-1000/128М 0,247 ТФлопс НКС-160 0,246 2006 г. 1 ТФлопс ТФлопс 2005 г. НКС-160 МВС-1000/32 НКС-160

СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительной математики и математической геофизики СО РАН ИСПОЛЬЗОВАНИЕ ПРОЦЕССОРНОГО ВРЕМЕНИ 2011 г. (часы) ОРГАНИЗАЦИИ НКС-160 НКС-30T ∑ % ИЦиГ 2401720,56 2401720,56 47,65 ИВМиМГ 8006,70 888407,04 896413,74 17,79 ИХиХТ (Красноярск) 126673,66 380176,56 506850,22 10,06 ИК 42701,40 400436,88 443138,28 8,79 НГУ 12157,30 134954,88 147112,18 2,92 ИХКиГ 37188,62 88826,16 126014,78 2,50 ИТПМ 59904,45 61830,24 121734,69 2,42 ИЯФ 25591,94 59264,64 84856,58 1,68 ИТ 176,74 62445,84 62622,58 1,24 СИСТЕМА 0,19 56874,24 56874,43 1,13 ИАТЭ (Обнинск) 54518,88 54518,88 1,08 ИХБиФМ 33858,96 33858,96 0,67 ИНХ 20860,80 20860,80 0,41 НГТУ 18734,13 89,76 18823,89 0,37 ИВТ 17819,28 17819,28 0,35 ИНГиГ 1316,84 10297,92 11614,76 0,23 НИЦЭВТ (Москва) 10430,88 10430,88 0,21 ИКЗ (Тюмень) 1605,49 8327,04 9932,53 0,20 СибНИА 6730,63 6730,63 0,13 ИФП 4945,44 4945,44 0,10 ИМ 1572,42 4,32 1576,74 0,03 Комп. Котес 916,51 916,51 0,02 ОФ ИМ (Омск) 437,28 437,28 0,01 Другие 134,76 2,40 137,16 0,003 ИТОГО 343411,76 4696530 5039941,76 100,00 Статистика по кластерам (НКС-160 + НКС-30Т) 2009 2010 2011 ∑ производительность (тфлопс) 7,1 17,5 31,0 ∑ CPU (час.) 1 924 308,38 2 908 834,93 5 039 941,76 ∑ количество заданий 38 914 39 750 35 952 29

СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительной математики и математической геофизики СО РАН СУПЕРКОМПЬЮТЕРНАЯ СЕТЬ ННЦ СО РАН 30

Потребности в развитии сетей связи: задачи• Перенос данных между вычислительными системами, доступ пользователей к данным• Объединение вычислительных систем для решения сверхбольших задач и разделения ресурсов• Распределение задач между вычислительными системами с целью балансировки нагрузки

Объединение суперкомпьютеров 0 1 2 … n-2 n-1 в NumGridКластер 1 TCP/IP NG-GatewayTCP/IP WAN NG-Gateway Время решения волнового уравненияКластер 2 явным методом, сек. TCP/IP «P (NxS)» означает «всего P ядер, из них N на кластере ССКЦ и S – на кластере НГУ» n n+1 n+2 …

Потребности в развитии сетей связи: ориентиры• GridMPI (Япония): 1-10 Гб/с на расстоянии до 500 миль позволяют объединять суперкомьютеры для совместного решения задач• Abilene Network (США):10 Гб/с между 230 центрами в 2004 г.• TeraGrid (США) (проект 2004-2011): 10 Гб/с между вычислительными центрами• National LambdaRail (США): 10 Гб/с -> 40 Гб/с -> 100, 280 центров

Спасибо за внимание!

Вычислительная и коммуникационная инфраструктура Академгородка и СО РАН

by BDA on Feb 22, 2012

Accessibility

Upload Details

Usage Rights

2 Embeds 183

Statistics

Вычислительная и коммуникационная инфраструктура Академгородка и СО РАН — Presentation Transcript

http://askbda.ru	175
http://www.askbda.ru	8