Документ описывает основные классы современных параллельных суперкомпьютеров, включая симметричные мультипроцессорные системы (SMP), массивно-параллельные системы (MPP), системы с неоднородным доступом к памяти (NUMA) и параллельно-векторные системы (PVP). Обсуждаются их архитектурные особенности, преимущества и недостатки, а также способы измерения производительности, такие как тесты Whetstone и Dhrystone. Также рассматриваются проблемы, с которыми сталкиваются кластеры суперкомпьютеров, такие как высокая стоимость и трудности с масштабируемостью.

1. Основные классы современных
параллельных суперкомпьютеров
Симметричные
мультипроцессорные
системы (SMP)
Массивно-
параллельные
системы (MPP)
Системы с
неоднородным
доступом к
памяти (NUMA)
Параллельно-
векторные системы
(PVP).
11//7799

2. 2/79
Симметричные мультипроцессорные системы (SMP)
Система состоит из нескольких однородных процессоров и
массива общей памяти (обычно из нескольких независимых
блоков). Все процессоры имеют доступ к любой точке памяти
с одинаковой скоростью. Процессоры подключены к памяти
либо с помощью общей шины, либо с помощью специального
коммутатора.

3. Достоинства и недостатки SMP
3/79
повышение производительности приложений
путем производительных аппаратных средств;
создание приложений в привычных программных средах;
одинаковое время доступа ко всей памяти;
возможность пересылки сообщений с большой
пропускной способностью;
поддержку когерентности совокупности кэшей и блоков
основной памяти, неделимые операции синхронизации и
блокировки.
степень масштабируемости SMP систем ограничена в
пределах технической реализуемости одинакового для всех
процессоров доступа в память со скоростью, характерной
для однопроцессорных компьютеров. Как правило,
количество процессоров в SMP не превышает 32.
+
–

4. Массивно-параллельные системы (MPP)
4/79
Система состоит из однородных вычислительных узлов, включающих:
один или несколько центральных процессоров;
локальную память (прямой доступ к памяти других узлов
невозможен);
коммуникационный процессор или сетевой адаптер, жесткие диски
и/или другие устройства ввода/вывода.
К системе могут быть добавлены специальные узлы ввода-вывода и
управляющие узлы. Узлы связаны через некоторую коммуникационную
среду.

5. масштабируемость: процессор имеет доступ только к своей локальной
памяти, значит, не возникает необходимости в синхронизации.
Практически все рекорды по производительности устанавливаются на
машинах именно такой архитектуры, состоящих из нескольких тысяч
процессоров (TOP 500).
отсутствие общей памяти снижает скорость межпроцессорного
обмена.
5/79
Требуется специальная техника программирования для реализации
обмена сообщениями между процессорами;
каждый процессор может использовать только ограниченный объем
локального банка памяти;
требуются значительные усилия длямаксимального использования
системных ресурсов. Этим определяется высокая цена ПО.
Приращение производительности с ростом числа процессоров обычно
вообще довольно быстро убывает (по закону Амдала).
Мало задач, способных эффективно загрузить множество
процессорных узлов.
Проблема переносимости программ между различными системами.
Эффективность распараллеливания во многих случаях сильно зависит
от деталей архитектуры МРР-системы, например топологии соединения
процессорных узлов.
+
–

6. 6/79
Системы с неоднородным доступом к памяти (NUMA)
Система состоит из однородных базовых модулей,
включающих один или несколько процессоров и блок
памяти. Модули объединены с помощью высокоскоростной
коммуникационной среды. Поддерживается единое
адресное пространство, аппаратно поддерживается доступ к
удаленной памяти, т.е. к памяти других модулей. При этом
доступ к локальной памяти в несколько раз быстрее, чем к
удаленной.

7. NUMA-системы аналогичны SMP-системам. Их назначение - частично
устранить главный недостаток SMP - низкую масштабируемость, что
достигается за счет создания виртуальной общей памяти.
Основная проблема — обеспечение когерентности кэшей
7/79
Повышение масштабируемости по сравнению с SMP-системами
Масштабируемость вырастает на порядок, за это приходится
платить увеличением стоимости аппаратного и програмного
обеспечения.
Аппаратура усложняется за счет появления единой
коммуникационной среды, к качеству которой предъявляются
высокие требования.
+
–

8. Параллельно-векторные системы (PVP)
8/79
Основным признаком PVP-систем является наличие
специальных векторно-конвейерных процессоров, в которых
предусмотрены команды однотипной обработки векторов
независимых данных, эффективно выполняющиеся на
конвейерных функциональных устройствах.
Как правило, несколько таких процессоров (1-16) работают
одновременно над общей памятью (аналогично SMP) в рамках
многопроцессорных конфигураций. Несколько таких узлов могут
быть объединены с помощью коммутатора (аналогично MPP).
Параллелизм обработки обеспечивается представлением данных
в виде векторов значений. Одна и та же операция производится
над вектором в целом. Некоторые авторы утверждают, что такие
машины не являются параллельными, так как векторы
обрабатываются последовательно (параллельность имеется
только на уровне компонентов вектора) и относят их к классу
непараллельных машин.

9. Если алгоритм представим в виде операций над
векторами, то производительность PVP-системы будет
очень высокой.
9/79
Нет необходимости в описании и реализации
взаимодействий разных узлов.
Высокая стоимость.
Невозможность представления многих алгоритмов в форме
операций над векторами.
+
–

10. 10/79
Современные высокопроизводительные компьютеры
Современный кластер = SMP + MPP + PVP

11. Пиковая производительность определяется как
максимальное число операций над числами с
плавающей запятой, которое компьютер может
произвести в секунду (FLoating point OPerations per
Second — FLOPS)
Пиковая производительность считается как
FLOPSpeak=P*N*Hz*C
P — число процессоров;
N — число вычислительных ядер на
процессор;
Hz — тактовая частота процессора;
C — максимальное число операций над
числами с плавающей запятой,
которое процессор может
выполнить за один такт.
11/79
Оценка производительности компьютера

12. Отличие реальной
производительности от
пиковой
FLOPSpeak ≠ FLOPSreal
Реальная производительность зависит от:
конкретной решаемой задачи;
алгоритма решения задачи;
быстродействия оперативной памяти;
быстродействия подсистемы ввода-вывода;
...
12/79

13. Недостатки FLOPS
13/79
FLOPS — плохая мера производительности:
 неоднозначным является само определение. «Операцией с плавающей
запятой» может быть как сложение/вычитание, так и более сложные
умножение/деление;
существенную роль в вычислениях играет разрядность операндов,
которая нигде не оговаривается;
величина FLOPS подвержена влиянию факторов, напрямую не
связанных с производительностью вычислительного модуля: пропускная
способность каналов связи с окружением процессора,
производительность основной памяти и синхронность работы кэш-
памяти разных уровней.
Как следствие, результаты, полученные на одном и том же компьютере при
помощи разных программ, могут существенным образом отличаться, более
того, с каждым новым испытанием разные результаты можно получить при
использовании одного алгоритма.

14. 14/79
Whetstone
Тест Whetstone — это синтетический тест оценки производительности
компьютеров. Впервые реализован на языке Algol 60 в 1972 г.
Национальной физической лаборатории Великобритании.
Whetstone benchmark использовался для оценки производительности
арифметических операций над числами с плавающей запятой.
Результат — число «тысяч Whetstone-инструкций в секунду» (kWIPS).
CPU
Частота
процессора,
ГГц
Производительность
Год выпуска
MWIPS MFLOPS
Core 2 Duo 2,057 508 4319 2006
Phenom II 2,145 443 5004 2009
Core i7 930 2,496 589 5146 2010
Core i7 860 2,790 667 5239 2010

15. Dhrystone
15/79
Dhrystone — это синтетический тест, разработанный в 1984 г. для
оценки целочисленной производительности компьютеров.
Название "Dhrystone" — это игра слов с другим тестом — Whetstone.
Результат — число «Dhrystones per second», числа итераций кода
программы в секунду.
Основное назначение теста — оценка производительности при работе с
целыми числами.
Версия 2.0 теста была выпущена автором в марте 1988 г.

16. Синтетические тесты Whetstone и Dhrystone
16/79
Whetstone и Dhrystone — синтетические тесты, то есть программы, которые
специально разработаны, чтобы имитировать работу программ какого-то
класса (например, научных геофизических).
Whetstone и Dhrystone — результат анализа большого количества
реальных программ, включая написанные на языках FORTRAN, PL/1, SAL,
ALGOL 68 и Pascal.
Результат анализа — среднее число отдельных операций (условных и
математических операторов, вызовов процедур, разыменование
указателей и т.п.) на 1000 команд.
Недостатки синтетических тестов:
не учитывает необычный код, который обычно не встречается в
программах;
неустойчив к оптимизациям компилятора: результат может оказаться
выше до 30%!
зависит от версии компилятора;
код тестов мал по размеру и помещается в кэш-памяти современных
процессоров — не учитываются задержки при работе с памятью.

17. LINPACK
17/79
Тест LINPACK измеряет производительность компьютера по
выполнению операций над числами с плавающей запятой.
Тест измеряет насколько быстро компьютер решает систему
линейных уравнений размерности N*N вида Ax = b.
Решение ищется методом Гаусса и требует
2/3·N3 + 2·N2
операций над числами
с плавающей запятой.
Для высокопроизводительных
систем пакет High-Performance
LINPACK Benchmark используется
для ранжирования в списке
TOP500 самых быстрых в мире
компьютеров.
HPC benchmark запускается
несколько раз, чтобы найти
размерность Nmax, при которой
достигается наилучшая
производительность

18. 18/79
Несмотря на недостатки, показатель FLOPS используют для оценки
производительности, основываясь на тесте LINPACK.
Причины популярности:
FLOPS — это абсолютная величина;
многие задачи инженерной и научной практики в конечном итоге
сводятся к решению систем линейных алгебраических уравнений;
большинство современных суперкомпьютеров построены по
классической архитектуре с использованием стандартных процессоров,
что позволяет использовать единую метрику производительности.
Jaguar: 1.76 PFLOPS=1760 TFLOPS
Суперкомпьютер
«Ломоносов»:
350 TFLOPS

19. Суперкомпьютер МГУ
«Ломоносов»

20. ССууппееррккооммппььююттеерр ММГГУУ ““ЛЛооммооннооссоовв””
420 Тфлопс
350 Тфлопс
83%
4 446
8 892
35 776
T-Blade2, T-Blade 1.1, PowerXCell 8i
Intel Xeon 5570, 2.93 GHz
56,5 ТБайт
QDR Infiniband
1,35 ПБайт
Clusrtx T-Platforms Edition
252 м2
1.5 МВт
Пиковая производительность
Реальная производительность
Эффективность
Число вычислительных узлов
Число процессоров
Число процессорных ядер
Типы вычислительных узлов
Основной процессор
Оперативная память
Коммуникационная сеть
Система хранения данных
Операционная система
Занимаемая площадь
Энергопотребление вычислителя
20/79

21. ССууппееррккооммппььююттеерр ММГГУУ ““ЛЛооммооннооссоовв””
21/79

22. ССууппееррккооммппььююттеерр ММГГУУ ““ЛЛооммооннооссоовв””
22/79

23. Суперкомпьютер МГУ “Ломоносов”
23/79

24. 24/79

25. ССууппееррккооммппььююттеерр ММГГУУ ““ЛЛооммооннооссоовв””
Всего в системе 10т гликоля и 40т воды
25/79

26. ССууппееррккооммппььююттеерр ММГГУУ ““ЛЛооммооннооссоовв””
26/79

27. ССууппееррккооммппььююттеерр ММГГУУ ““ЛЛооммооннооссоовв””
27/79
Вес оборудования машзала – 57 т, СБЭ – 92т

28. ССууппееррккооммппььююттеерр ММГГУУ ““ЛЛооммооннооссоовв””
Общая длина кабелей более 80 км
Общая длина кабелей более 80 км
28/79

29. Проблемы кластеров
Что мешает кластерам и дальше развиваться
экспоненциальными темпами?
2010 2011 2012 2013 2014 2015 2016
29/79

30. Высокая стоимость
Jaguar
Стоимость только суперкомпьютера
(без учета инфраструктуры) — более
200 млн. долларов
Только энергопотребление
обходится в 70.000 долларов/сутки

31. Большое энергопотребление
31/79
Энергопотребление: более 12 МВт
Петрозаводская ТЭЦ:
установленная электрическая мощность 280 МВт

32. Необходимость охлаждения
32/79
Более 70% занимаемых
суперкомпьютером
площадей — системы
охлаждения
Около половины всей
потребляемой
суперкомпьютером
электроэнергии уходит на
системы охлаждения

33. Плохая масштабируемость
33/79
Для увеличения в 2 раза производительности существующего
суперкомпьютера недостаточно просто «в 2 раза увеличить доступную
площадь и 2 раза увеличить количество доступной электроэнергии» —
как правило, необходимо полностью начинать проектирование «с нуля»

34. Высокая вероятность отказа компонент
34/79
Около 45.000 процессоров
360 ТБ оперативной памяти
6,6 ПБ дискового пространства
Если вероятность отказа процессора в год составит 0,008,
то в среднем каждый день будет выходить из строя один
процессор кластера

35. Сложность обслуживания
35/79

36. Плохая управляемость
36/79
Более 25 тысяч операционных систем
Десятки тысяч
пользователей