РАЗВИТИЕ И ПРИМЕНЕНИЕ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ СЕРВИСОВ НА БАЗЕ СУПЕРКОМПЬЮТЕРОВ ПЕРМСКОГО ГОСУДАРСТВЕННОГО НАЦИОНАЛЬНОГО ИССЛЕДОВАТЕЛЬСКОГО УНИВЕРСИТЕТА. Пленарный доклад II Всероссийской научно-практической конференции с международным участием с элементами научной школы для молодежи «Высокопроизводительные вычисления на графических процессорах» (Пермь, ПГНИУ, 2-6 июня 2014 г.)

1. II Всероссийская научно-практической конференции с международным
участием с элементами научной школы для молодежи
«Высокопроизводительные вычисления на графических процессорах»
(Пермь, ПГНИУ, 2-6 июня 2014 г.)
Деменев Алексей Геннадьевич, доц., к.ф.-м.н., директор
Научно-образовательного центра «Параллельные и
распределённые вычисления», доцент кафедры прикладной
математики и информатики механико-математического
факультета ПГНИУ
РАЗВИТИЕ И ПРИМЕНЕНИЕ
ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ СЕРВИСОВ НА
БАЗЕ СУПЕРКОМПЬЮТЕРОВ ПЕРМСКОГО
ГОСУДАРСТВЕННОГО НАЦИОНАЛЬНОГО
ИССЛЕДОВАТЕЛЬСКОГО УНИВЕРСИТЕТА
Пленарный доклад

2. Актуальность
Мультиядерные и многоядерные
центральные процессоры (CPU)
содержат от нескольких до десятков
вычислительных ядер.
Многоядерные графические
процессоры общего назначения
(GPGPU) содержат от сотни до
нескольких тысяч потоковых ядер.
Объединяют высокоскоростными
каналами связи
• компьютеры внутри лаборатории →
вычислительные кластеры;
• вычислительные кластеры разных
лабораторий → грид-сети.
Суперкомпьютеры - вычислительные
системы из списков TOP500 мира и
TOP50 СНГ по производительности.

3. Актуальность
Современный компьютерный мир уже
массово стал «параллельным» и
«распределенным»
Поэтому требуются специалисты,
компетентные в области технологий
параллельных и распределенных
вычислений.
Современные наука и техника не могут
обойтись без применения
суперкомпьютеров.
Поэтому требуются «элитные»
специалисты, компетентные в области
суперкомпьютерных технологий.
Ведущие университеты России должны
создать научно-образовательную среду
для подготовки таких специалистов.
Суперкомпьютерные технологии,
в т.ч.облачные
Технологии параллельных и
распределенных вычислений
Информационные и
коммуникационные
технологии

4. Требуемые компетенции
• формулировать математическую
постановку задачи и выбирать
численный метод так, чтобы был
большой потенциал для
распараллеливания вычислений;
• выбирать соответствующий или
конструировать новый алгоритм
такой, чтобы он допускал
эффективную реализацию на
многоядерных вычислительных
системах;
• свободно владеть современными
технологиями разработки
параллельных и распределенных
программ.

5. Научно-образовательный центр «Параллельные и
распределённые вычисления» (2009). Цели
• обеспечение высокого уровня подготовки, переподготовки и
повышения квалификации специалистов, в том числе высшей
квалификации, по приоритетным и перспективным направлениям
науки и технологий, используя новейшие результаты
исследований и разработок в области параллельных и
распределенных вычислений;
• повышение эффективности научных исследований и
инновационной деятельности путем объединения усилий и
ресурсов с Партнерами (ВУЗами, институтами, предприятиями).

6. Образовательные инновации в
ПГНИУ
Особенности инновационных учебных курсов:
• самостоятельная работа студентов предусматривает использование
средств систем дистанционного обучения, а также активное
использование Интернет-ресурсов в качестве источника информации;
• лабораторный практикум предусматривает проведение
микроисследований в составе команды из двух-трех студентов.
Использование ресурсов Партнеров:
• членов Суперкомпьютерного консорциума университетов России;
• членов Национальной Суперкомпьютерной Технологической
Платформы;
• участников инновационной программы «Университетский кластер»;
• участников академических программ, инициируемых компьютерными
компаниями (IBM, Intel, HP, Nvidia и др.)

7. Суперкомпьютерный консорциум университетов России
ПГНИУ – постоянный член СКУР;
СКУР – исполнитель президентского проекта “Создание системы
подготовки высококвалифицированных кадров в области
суперкомпьютерных технологий и специализированного ПО”.
http://hpc-
russia.ru
http://hpc-education.ru

8. Инфраструктура программы «Университетский
кластер» Сайт Программы:
• http://unicluster.ru
• Ресурсы
• Вычислительные кластеры,
• системы хранения данных,
• системы визуализации,
• иные технические средства.
Каналы связи объединяют
Ресурсы в единую
распределенную
вычислительную
инфраструктуру.
Технологическая платформа
UniHUB.ru:
• http://unihub.ru

9. Научно-образовательные комплексы ПГНИУ
Программа развития ПГНИУ реализуется в рамках 4 научно-
образовательных комплексов:
•«Технологии изучения, освоения, прогнозирования и управления
георесурсами и геосистемами» (НОК1),
•«Моделирование и управление физическими и химическими процессами,
развитие технологий» (НОК2),
•«Наукоёмкие технологии управления живыми системами» (НОК3),
•«Прогнозирование и управление процессами социально-экономического
развития стран и территорий на основе современных информационных
технологий» (НОК4).
Новые высокопроизводительные сервисы создаются по проекту
«Развитие центра коллективного пользования высокопроизводительными
вычислительными ресурсами – НОЦ ПиРВ» (руководитель Деменев А.Г.) в
рамках НОК2

10. Центр коллективного пользования высокопроизводительными
вычислительными ресурсами ПГНИУ
Миссия ЦКП ВВР - устранение барьеров, которые затрудняют
исследователям и разработчикам доступ к суперкомпьютерным ресурсам.
Барьеры –
•высокая стоимость суперкомпьютерного оборудования и
специализированного ПО,
•дефицит специалистов, способных качественно выполнить сложные
расчеты.
Коллектив ЦКП ВВР:
•помогает более эффективно управлять существующими
суперкомпьютерными ресурсами
•предоставляет вычислительные мощности и ПО в пользование;
•выполняет расчеты силами собственных экспертов.
Ожидания увеличения конкурентоспособности заказчиков:
•новые продукты (товары, услуги);
•существенное повышение скорости внедрения инноваций;
•кардинальное снижение издержек.

11. Суперкомпьютеры ПГНИУ
Позволяют решать:
• научные или инженерные задачи с
широкой областью применения,
эффективное решение которых
возможно только с использованием
мощных вычислительных ресурсов;
• проблему подготовки специалистов,
обладающих компетенциями
эффективно решать задачи в
приоритетных направлениях науки и
техники, а также развивать
критические и прорывные
технологии.

12. ПГНИУ в суперкомпьютерном ТОП50
стран СНГ (Март, 2011)

13. МВК с гибридной архитектурой (декабрь 2010)
• до 240 задач на вычислительных ядрах
CPU Intel Xeon 5670,
• до 5376 подзадач на вычислительных
ядрах GPGPU Nvidia Tesla S2050;
• высокоскоростная сеть QDR Infiniband
позволяет в 40 раз быстрее
обмениваться информацией между
задачами, чем обычная сеть Gigabit
Ethernet;
• 9,0 Терафлопс – пиковая (на
операциях с вещественными числами
двойной точности);
• 4,9 Терафлопс – на тесте Linpack
(большие задачи линейной алгебры);
• суммарный объем оперативной памяти
вычислительных узлов – 960 Гб
DDR3+36 Гб GDDR5;
• система хранения данных – 20
Терабайт.

14. ПГНИУ в суперкомпьютерном ТОП50
стран СНГ (Март, 2014)

15. МВК с гибридной архитектурой (декабрь 2012)
Вычислительный кластер IBM
• до 128 задач на вычислительных ядрах CPU Intel
Xeon E5-2680,
• до 40 тыс. подзадач на вычислительных ядрах
GPGPU Nvidia Tesla K20;
• высокоскоростная сеть FDR10 Infiniband позволяет
в 40 раз быстрее обмениваться информацией
между задачами, чем обычная сеть Gigabit
Ethernet;
• 21,5 Терафлопс – пиковая (на операциях с
вещественными числами двойной точности);
• 17,5 Терафлопс – на тесте Linpack (большие
задачи линейной алгебры);
• суммарный объем оперативной памяти
вычислительных узлов – 512 Гб DDR3+80 Гб
GDDR5;
• подсистема хранения данных – параллельная
файловая система GPFS, доступно 30 Тбайт.

16. Задачи для суперкомпьютеров
ПГНИУ
Исследователи университета решают научно-технические
задачи:
• разработка вычислительных и информационных технологий, в
том числе суперкомпьютерных и грид-технологий;
• математическое моделирование и обработка данных
лабораторных экспериментов в области области био- и
нанотехнологий, нелинейной физики, механики, математики,
информатики, химии, наук о Земле и других;
• оптимизация конфигураций инженерно-технических сооружений
и установок, а также соответствующих технологических
процессов.

17. Пример решения гидродинамических 3D-задач
на суперкомпьютере «ПГУ-Тесла»
Температура и скорость в ячейке Хеле – Шоу с размерами 40:20:2 в
различные моменты времени
Рис. а – развитие «пальчиковой» неустойчивости,
Рис. б – этап формирования конвективных структур.
Источник: К.А. Гаврилов, В.А. Демин «ОБ ИСПОЛЬЗОВАНИИ
ПАКЕТА OPENFOAM ДЛЯ МОДЕЛИРОВАНИЯ КОНВЕКТИВНЫХ
ТЕЧЕНИЙ В ЯЧЕЙКЕ ХЕЛЕ – ШОУ» (Отчет 2011 г.)

18. Пример решения задач прогноза погоды на
суперкомпьютере «ПГУ-Тесла»
• Сетка 199 на 199
узлов, шаг сетки 10 км,
модель WRF-ARW.
Ветров А.Л. , Свиязов
Е.М. «Поля
метеорологических
величин полученные
по данным модели
WRF с помощью
суперкомпьютера ПГУ-
Тесла (Отчёт 2012)
Рис. Обложные осадки в мм 1 ноября 2012 г. прогноз на 6 часа вперед
(показано цветом), поле давления в гПа – сплошные черные изолинии.

19. Пример решения задач теплообмена в руднике
на суперкомпьютере «ПГУ-Тесла»
Устройство Время решения Ускорение
Intel Dual-Core T4200 34 ч. 28 мин. 11 сек. ̶
Intel Xeon 5670 21 ч. 09 мин. 44 сек. 1.65x
Nvidia Tesla S2050 (OpenACC) 03 ч. 37 мин. 48 сек. 9.4x
Nvidia Tesla S2050 (CUDA C) 00 ч. 46 мин. 35 сек. 45х
Результаты
решения
задачи
нестационар-
ного процесса
сопряженного
теплообмена
между горным
массивом и
рудничным
воздухом.
Куцев А.В.,
Русаков С.В.
(Отчет 2012)

20. Пример решения задач магнитодинамики на
суперкомпьютере «ПГНИУ-Кеплер»
Деменев А.Г., Белозёрова Т.С., Поляков А.В., Харебов П.В.,
Хеннер В.К., Хеннер Е.К. (Отчет 2013)

21. Облачные сервисы НОЦ ПиРВ ПГУ
SaaS
• на базе открытых пакетов OpenFOAM, Salome, Paraview;
• возможность решения задач механики сплошной среды;
• визуализации больших объемов научных данных;
• инструмент построения сложных расчетных сеток.
PaaS
• на базе ОС Linux (CentOS, Ubuntu, Open Suse);
• средства разработки параллельного ПО;
• возможность создания собственного ПО и участие в проектах Open
Source.
IaaS
• на базе Xen Cloud Platform 1.6;
• возможность создания системного ПО и участие в проектах Open Source
по созданию ОС.

22. Облачные сервисы НОЦ ПиРВ ПГУ
HPCaaS ПГУ-Тесла
• на базе менеджера ресурсов Torque и системы мониторинга
Ganglia;
• возможность решения задач высокой вычислительной сложности
на программном обеспечении, распространяемом как Open
Source без лицензионных отчислений.
HPCaaS ПГНИУ-Кеплер
• на базе IBM Platform HPС - полном комплекте компонентов для
управления кластерами - от предоставления кластеров,
мониторинга и управления ими до управления рабочей нагрузкой
и создания отчетов.C;
• возможность решения задач высокой вычислительной сложности
на проприетарном программном обеспечении, требующем
лицензионных отчислений для коммерческого использования.

23. Услуги НОЦ ПиРВ
НОЦ ПиРВ готов оказывать различные услуги, в том числе:
• предоставление вычислительных ресурсов для математического
моделирования, вычислительного эксперимента, обработки
информации в научно-образовательных и инновационных целях;
• производственная, эксплуатационная деятельность по
программному обеспечению функционированию
высокопроизводительных ресурсов университета.
В числе потенциальных пользователей услуг НОЦ ПиРВ
высокотехнологичные предприятия, реализующие
инновационные программы развития и входящие в:
• национальную суперкомпьютерную технологическую платформу;
• инновационных территориальных кластеров Пермского края;
• пояс ПГНИУ из малых инновационных предприятий.

24. Список прочностных тестовых задач ОАО
«Авиадвигатель»
N
наименова-
ние
приблизи-
тельный
размер
сеточной
модели
приблизитель-
ный размер на
диске, Мб
тип
реша-
тель
1
Рабочая
лопатка ПС-
12
163671 узлов;
567317
элементов
351
Расчет на
прочность
ANSYS
2
Корпус
вентилятора
ПС-90А2
1094876
узлов; 984493
элементов
136
Расчет
пробиваемо-
сти корпуса
LS-
DYNA

25. Газодинамические тестовые задачи ОАО
«Авиадвигатель»
N
наименова-
ние
размер
сеточной
модели
размер на
диске, Мб
тип
ре-
ша-
тель
1
Сопло
Boeing
5 млн
элементов
660
газодинамический
нестационарный
Fluent
2
Вентилятор-
ная ступень
ПС-90
4.5 млн узлов 2000
газодинамический
нестационарный
ротор-статор
CFX
3
Камера
сгорания ПС-
90
5 млн.
элементов (1
млн. узлов)
110
газодинамический
стационарный с
горением
CFX
4 Сопло Д30
30 млн
элементов
3800
газодинамический
нестационарный
Fluent
5
Подпорная
ступень ПС-
90
18 млн узлов 8900
газодинамический
нестационарный
ротор-статор
CFX

26. Пример решения прочностных задач ОАО
«Авиадвигатель» на суперкомпьютере «ПГУ-
Тесла»
«О реализации
совместного плана работ и
по оценке эффективности
использования
суперкомпьютера «ПГУ-
Тесла» для решения задач
ОАО «Авиадвигатель»
(Отчёт 2011г.)

27. Пример решения задач литья ОАО «ПМЗ» на
суперкомпьютере «ПГУ-Тесла»
Монокристальное литьё: заливка и кристаллизация блока плоских
образцов. Число элементов: 1226426; число узлов: 276053.
Распределение температур:
Рис. а – в отливке,
Рис. б – в печи, форме и отливке
«О тестировании эффективности суперкомпьютера «ПГУ-ТЕСЛА»
в пакете ProCAST» (Отчет 2011 г.)

28. Пример разработки газодинамического решателя для
ОАО «Авиадвигатель» на суперкомпьютере «ПГУ-
Тесла»
С применением суперкомпьютерных технологий, в частности –
графических процессоров, удалось создать пакет, способный решать (в
первом приближении) инженерные газодинамические задачи,
связанные с улучшением экологических характеристик авиационного
двигателя.
Коромыслов Е.В., Гомзиков Л.Ю., Синер А.А., Усанин М.В.
«РАЗРАБОТКА И ОТЛАДКА ГАЗОДИНАМИЧЕСКОГО РЕШАТЕЛЯ
ДЛЯ ИНЖЕНЕРНЫХ ЗАДАЧ - GHOST CFD.» (Отчет 2012 г.)

29. Заключение
ПГНИУ выпускает специалистов с высоким уровнем компетентностей в
области параллельных и распределённых вычислений, в т.ч.
суперкомпьютерных и «облачных».
Создание в 2009 г. Научно-образовательного центра «Параллельные и
распределенные вычисления» университета нацелено на обеспечение
еще более высокого уровня выпускников в этой области.
При реализации своих проектов ПГНИУ может опираться на ресурсы,
компетенции и помощь своих партнеров.
Проект «Развитие центра коллективного пользования
высокопроизводительных вычислительных ресурсов – НОЦ ПиРВ»
Пермского государственного национального исследовательского
университета создает:
высокопроизводительные ресурсы и сервисы на базе
суперкомпьютерных комплексов;
коллектив исследователей и разработчиков, способных обеспечивать
выполнение комплексных междисциплинарных проектов, эффективно
используя суперкомпьютеры.

30. Надеюсь на плодотворное и взаимовыгодное
сотрудничество!
Пермский государственный
национальный исследовательский
университет: [сайт].
URL: http://www.psu.ru/
Деменев Алексей Геннадьевич
• Тел. (342)2396409
• Факс (342)2396584
E-mail: A-demenev@psu.ru
http://Demenev.livejournal.com