Документ описывает методы имитационного моделирования для оценки масштабируемости параллельных программ на современных суперкомпьютерах с экзафлопсной производительностью. Основное внимание уделяется созданию агентно-ориентированной системы AGNES, которая позволяет анализировать структуру алгоритмов и оптимизировать их для работы на большом количестве ядер. Работа выполнена в рамках госконтракта и поддержана научными проектами, включая разработку программных решений для повышения эффективности параллельных вычислений.

1. МОДЕЛИРОВАНИЕ
ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ
ВЫЧИСЛЕНИЙ ДЛЯ ОЦЕНКИ
МАСШТАБИРУЕМОСТИ
ПАРАЛЛЕЛЬНЫХ ПРОГРАММ
А.С. Родионов
Институт вычислительной математики и
математической геофизики СО РАН
1Новосибирск - 2013

2. 2
Благодарности
Работа выполнена в рамках выполнения Госконтракта
Минобрнауки № 07.514.11.4016 (2011-2012гг)
«Исследования и разработка методов имитационного
моделирования функционирования гибридных
экзафлопсных вычислительных систем»
Поддержана научной школой 2171.2012.9 и проектами РФФИ
№12-01-00034-а и №12-01-00727-а
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
Новосибирск - 2013

3. 3
Возможные цели моделирования
1.Оценка схемотехнических решений.
2.Анализ системы управления ВС (балансировка
нагрузки, очередь заданий, распределение
ресурсов…)
3.Прогноз масштабируемости параллельных
программ
4.Настройка параметров алгоритмов
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
Новосибирск - 2013

4. 4
ЦЕЛИ РАБОТЫ
1. Разработка методов имитационного моделирования
параллельных программ, предназначенных для
исполнения на суперкомпьютерах с пета и
экзафлопсным уровнем производительности, на
существующих высокопроизводительных ЭВМ
2. Разработка программных решений в области создания
агентно-ориентированной системы имитационного
моделирования исполнения параллельных алгоритмов
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
Новосибирск - 2013

5. ПРОБЛЕМЫ МАСШТАБИРОВАНИЯ АЛГОРИТМОВ
(тезисы)
5
• Исследование свойств масштабируемости параллельных
алгоритмов является важной задачей при оценке
эффективности их реализации, как для настоящих, так и
будущих суперкомпьютеров пета- и экзафлопсного уровня.
• Данная проблема выходит за уровень технологических задач и
требует научно-исследовательского подхода к ее решению.
• Вычислительные алгоритмы, как правило, являются более
консервативными по сравнению с развитием средств
вычислительной техники.
• Оценить поведение алгоритмов можно путем реализации их на
имитационной модели.
• Имитационная модель позволяет выявить узкие места в
алгоритмах, понять, как нужно модифицировать алгоритм, какие
параметры необходимо настраивать при его масштабировании
на большое количество ядер при заданной архитектуре
вычислительной системы.
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
Новосибирск - 2013

6. Что у других?
1. Наиболее известна система BigSim
(http://charm.cs.uiuc.edu/research/bigsim), проект проводимый в
США (Университет Урбана-Шампань, Иллинойс) – требует слишком
подробного описания, но и даёт исчерпывающий результат
2. В Институте системного программирования РАН (г. Москва) под
руководством академика В.П. Иванникова разработана система
ParJava – только программы на Java
3. Проект PARSIT (University of Oklahoma) – замечательный проект, но
для малых параллельных систем (до сотен процессов)
4. MapReduce (Cornell University) – ориентирован на решение задач
вычислительной геометрии
5. … … …
Новосибирск - 2013 6
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН

7. 1. НЕ ставится задача моделирования «железа». Архитектура
исполнительной среды задаётся полунеявно посредством задания
системы координат и определения функции вычисления задержек на
передачу данных. Вполне возможно, что такая функция для
конкретных архитектур будет иметь весьма сложный вид.
2. НЕ ставится задача возможно более точного оценивания времени
исполнения моделируемой программы, требуется оценить ускорение
при увеличении объёма используемых ресурсов.
3. Модель программы представляется взвешенным графом переходов
между блоками программы с указанием параллельных ветвей.
Временные задержки в блоках определяются на основе измерений,
производимых в тестовых прогонах реальных программ на ЭВМ с
возможно большим количеством ядер, что позволяют надеяться на
учёт в измеренных задержках эффектов от системной составляющей.
4. Система управления вычислениями должна моделироваться как
независимая часть модели.
ТРЕБУЕМЫЙ УРОВЕНЬ ПРЕДСТАВЛЕНИЯ МОДЕЛИ
7
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
Новосибирск - 2013

8. ОСНОВНОЙ АЛГОРИТМ СОЗДАНИЯ МОДЕЛИ
1. Создать реальную, работающую параллельную
программу
2. Прогнать программу на возможно более
мощной ВС (с профилированием)
3. Подобрать или реализовать функции
вычисления задержек в соответствии с
выбранной архитектурой перспективной ВС
4. Описать модель программы (задать схему и
задержки на линейных участках + вложение в
архитектуру ВС)
Новосибирск - 2013 8
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН

9. Новосибирск - 2013 9
Укрупнѐнный состав модели
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН

10. AGNES (AGent NEtwork Simulator) – среда имитационного
моделирования, создана на Java на основе JADE и состоит из
двух типов агентов:
• управляющие агенты (УА), создающие среду моделирования;
• функциональные агенты (ФА), образующие модель,
работающую в среде моделирования.
Достоинства пакета AGNES:
 отказоустойчивость;
 сбалансированное распределение нагрузки;
 наличие проблемно-ориентированных библиотек агентов;
 возможность динамического изменения модели в ходе
эксперимента.
АГЕНТНО-ОРИЕНТИРОВАННАЯ СИСТЕМА ИМИТАЦИОННОГО
МОДЕЛИРОВАНИЯ (AGNES)
10
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
Новосибирск - 2013

11. 11
AGNES
Приложение AGNES – это распределенная мульти-агентная система,
называемая платформой. Состоит из системы контейнеров, распределенных
в сети. Обычно на каждом хосте находится по одному контейнеру (может
быть несколько). Агенты существуют внутри контейнеров.
В качестве атомарной частицы в модели вычислений выбран
вычислительный узел и исполняемый на нем код алгоритма.
Функциональный агент эмулирует поведение вычислительного узла кластера
и программу вычислений на этом узле.
Вычисления - набор примитивных операций (вычисление на ядре;
запись/чтение данных в память; парный обмен данными; синхронизация
данных между вычислителями) и временных характеристик каждой
операции.
Система AGNES установлена в ЦКП ССКЦ ИВМиМГ СО РАН и доступна по ссылке
http://www2.sscc.ru/PPP/Mat-Libr/agnes.htm
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
Новосибирск - 2013

12. 12
1. Параллельное статистическое моделирование. Найдено
узкое место, рекомендована каскадная схема сбора данных
2. Сеточные методы. Рекомендована последовательность
пересчёта узлов в подобластях
3. Полный перебор в решении NP-трудной задачи на графах (с
использованием GPU). Определен наилучший способ
представления данных
4. Поиск в глубину в решении той же задачи на MPP кластере.
Определено наилучшее соотношение между количеством
узлов, отвечающих за ветвление, и узлов, используемых
для параллельного расчёта целевой функции
РЕАЛИЗОВАННЫЕ МОДЕЛИ И РЕЗУЛЬТАТЫ
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
Новосибирск - 2013

13. Шаг 1: Подготовка к
моделированию
независимых
реализаций на
группах ядер
Шаг2:
Моделирование
реализаций,
вычисление
выборочных
средних для
группы
Шаг 3: сбор и
осреднение
данных
Пример: СХЕМА ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ МЕТОДОВ
МОНТЕ-КАРЛО
13
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
Новосибирск - 2013

14. Новосибирск - 2013 14
Примеры моделируемых программ
создавались Марченко М.А., Куликовым
И.М., Миговым Д.А., Никулиным М.И.,
Родионовым А.С.
Моделирование проводилось совместно с
Подкорытовым Д.И. и Винсом Д.В.
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН

15. 15
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
ПУБЛИКАЦИИ
1. A.C. Родионов, Д.И. Подкорытов, Моделирование DDoS атак в отказоус-
тойчивой мультиагентной среде имитационного моделирования AGNES //
Материалы пятой международной научной конференции по проблемам
безопасности и противодействия терроризму, Москва, 2009. С. 293–296.
2. D. Podkorytov, A.S. Rodionov, O. Sokolova, A. Yurgenson, Using Agent-Oriented
Simulation System AGNES for Evaluation of Sensor Networks // MACOM / Ed. by A.
V. Vinel, B. Bellalta, C. Sacchi et al. Vol. 6235 of Lecture Notes in Computer
Science. Springer, 2010. P. 247-250.
3. Б.М. Глинский, А.С. Родионов, М.А. Марченко, Д.И. Подкорытов, Д.В. Винс.
Агентно-ориентированный подход к имитационному моделированию суперЭВМ
экзафлопсной производительности в приложении к распределенному статисти-
ческому моделированию // Вестник ЮУрГУ, 2012. № 18(277), Вып.12., с. 94-99.
4. Д.И. Подкорытов. Агентно-ориентированная среда моделирования сетевых
систем AGNES // Ползуновский вестник, 2012. № 2/1, с. 93-106.
5. D. Podkorytov, A.S. Rodionov, H. Choo. Agent-based simulation system AGNES for
networks modeling: review and researching // ICUIMC 2012 / Ed. by S.-H. Lee, L.
Hanzo, R. Ismail et al. ACM, 2012. Paper 115, 4 pages.
6. B. Glinsky, A. Rodionov, M. Marchenko, D. Podkorytov, D. Weins. Scaling the
Distributed Stochastic Simulation to Exaflop Supercomputers // Proceedings of
2012 IEEE 14th International Conference on High Performance Computing and
Communications , p. 1131-1136. Новосибирск - 2013

16. Спасибо за внимание.
Ваши вопросы?

17. 17
СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Н.В. Кучин, Б.М. Глинский, Б.Г. МихайленкоКластер HKC-160
(hp rx1620)
168 процессор.
Itanium 2,
1,6 ГГц;
InfiniBand,
Gigabit Ethernet (GE);
> 1 ТФлопс
Сервер
с общей памятью
(hp DL580 G5) 4 процессора
(16 ядер)
Intel Xeon Quad
Core Х7350, 2.93 Ггц;
ОП - 256 Гбайт;
187,5 Гфлопс.
СХД
для НКС-160
3,2 Тбайт
СХД сервера с общей памятью
9 Тбайт (max-48 Тбайт)
СИСТЕМЫ ХРАНЕНИЯ
ДАННЫХ (СХД)
Параллельная
файловая система
IBRIX
для НКС-30Т
32 Тбайта
СХД для НКС-30Т
36 Тбайт (max - 120 Тбайт)
Сеть
ИВМиМГ
Сеть
Internet ННЦ
Системное
Общематематическое
Прикладное (ППП)
ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ
GigabitEthernet
InfiniBandGE
GE …………………………
!!! NEW
Кластер
гибридной
архитектуры
HKC-30T+GPU
576 (2688 ядер)
процессоров
Intel Xeon
Е5450/E5540/X5670
80 процессор.
CPU (X5670) –
480 ядер;
120 процессор.
GPU (Tesla M 2090)
– 61440 ядер.
Общая пиковая
производ.
115 Тфлопс
Сервер
с общей памятью
(hp DL980 G7)
!!! NEW
4 процессора (40 ядер)
Intel Е7-4870;
ОП - 512 Гбайт ; 384 Гфлопс.
Max: 8 процессоров (80 ядер),
2048 Гбайт, 768 Гфлопс.
HKC-30T
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
Новосибирск - 2013

18. 18
ГИБРИДНЫЙ КЛАСТЕР (НКС-30Т+GPU)
64
BL2x220c
G5
128
BL2x220c
G6
96
BL2x220c
G7
40
SL390s G7
+
120 GPU
M2090
++
Кластер НКС-30Т Расширение кластера на GPU
+
Сервер
с общей
памятью
DL980 G7
ОП - 512 Гбайт
40 ядер
384 ГФлопс
I N F I N I B A N D
IBRIX
Параллельная
файловая система
4 сервера
32 Тбайта
IBRIX
Параллельная
файловая система
Планируемое наращивание
xx серверов
. . . . .
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ СО РАН
СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Новосибирск - 2013