Документ описывает принципы проектирования сетей для высокопроизводительных вычислений (HPC), акцентируя внимание на требованиях к задержке, емкости и надежности систем. Обсуждаются методы уменьшения задержки и оптимизации сетевой инфраструктуры, включая выбор оборудования и топологии. Приводятся примеры и рекомендации для улучшения производительности сетей в контексте современного ЦОД.

1. High Performance Computing
Принципы проектирования сети
extreme@muk.ua

2. Вертикали ЦОД
2

3. High Performance Computing (HPC)
High Performance Computing кластер состоит из набора
соединенных между собой компьютерных систем, которые
работают сообща, таким образом можно считать, что это
единая система.
3

4. Требования к НРС
Задержка
Емкость
Надежность
•
Системная задержка
•
Общая
производительность
системы для
обработки трафика
сейчас и в будущем
•
Отказоустойчивость
системы для
максимизации время
работы
•
Примеры:
•
Примеры:
•
Примеры:
o
End-to-end задержка 10
GbE 2.3 микросекунд
Порты 10/40/100 GbE
без переподписки
o
Емкость
коммутационной
фабрики (в Tbps) для
обработки трафика
Большая пропускная
способность на слот
для будущего роста
o
Избыточные модули
для
управления, коммутац
ии и питания
Компоненты с горячей
заменой
Бесшовная
отказоустойчивость и
обновления ПО
o
4
o
o
o

5. Вызов №1. Что такое задержка?
• Задержка = P + N + S + I + AP
-
P = Время передачи – отправка битов по проводу
N = Обработка пакета сетевым железом – коммутация, маршрутизация
S = Время сериализации – отправка битов «в провод»
I = Время обработки прерывания – прием пакета на сервере
AP = Время обработки сообщения приложением
• Обмен данными между двумя системами:
- ЗАДЕРЖКА = AP1+I1+S1+N1+P+N2+S2+I2+AP2
• Категоризация задержки:
- Расстояние: Р
- Инфраструктура: I, N, S
- Приложение: АР
5

6. Вызов №1. Как победить задержку?
Анализ
Сервер №2
Сервер №1
User space
Программа
AP1
Программа
UDP пакеты
отбрасываются
здесь, когда
память ограничена
Программа
Программа
AP2
Kernel Context
switch Socket
buffer TCP/IP stack
NIC buffers
I1
Обмен данными между двумя системами:
S1
S2
ЗАДЕРЖКА = AP1+I1+S1+N1+P+N2+S2+I2+AP2
N1
6
I2
P
N2

7. Вызов №1. Как победить задержку?
Классификация
Сервер №2
Сервер №1
User space
Программа
AP1
Программа
Программа
Программа
AP2
Kernel Context
switch Socket
buffer TCP/IP stack
NIC buffers
I1
S1
S2
РАССТОЯНИЕ
N1
7
I2
P
N2

8. Вызов №1. Как победить задержку?
Методы
• 1000 байт на скорости 1Гб/с
-
1000км = 10.1мс
100км = 1.2мс
10км = 303μс
1км = 213μс
0км = 203μс
• Задержка при отправке 500 байтового пакета. Добавляется
каждым коммутатором.
-
10Мб/с = 566μс
100Мб/с = 56μс
1Гб/с = 5.7μс
10Гб/с = 0.57μс
-
Правильный выбор провайдера оптической связи
Выбор более скоростного интерфейса для быстрой сериализации
Сократить кол-во уровней в сети для быстрой передачи (Растягивать L2, Уменьшать L3)
Оптимальный выбор сетевого оборудования (cut-through коммутаторы)
Создать план для обработки microbursts
Управлять DROP и DISCARD, чтобы уменьшить JITTER
• Общая лучшая практика
8

9. Вызов №1. Как победить задержку?
Выбор пути.
 Значительные различия в
задержках у различных
операторов
- Зависит от маршрута
- Кол-во сетевых НОР
- Наличие необходимой пропускной
способности
 Технология, используемая
операторами связи сильно
отличается по показателям
задержки, особенно во время
пика трафика
- DWDM предпочтительней MPLS
Путь
Расстояние
Задержка
Москва-Киев
850км
4,25мс
Москва-Киев
999км
4,99мс
9
- Рассмотреть использование
высокоскоростной WAN технологии,
например растянутые VLAN

10. Вызов №1. Как победить задержку?
Топология
 Топологические нюансы
o Растянутый VLAN = WAN
коммутация на уровне 2
ЦОД №3
o Создает единую сеть
o Может использоваться для
геокластеризации и удобства
получения multicast трафика
o Одни коммутаторы лучше других.
Все зависит от качества
исполнения Spanning Tree
o Использовать traffic shaping на
управления microbursts
o Использовать одни и те же
физические каналы для
маршрутизируемых VLAN
10
ЦОД №1
ЦОД №2

11. Вызов №1. Как победить задержку?
Железо
Узел 1
40G
40G
Шасси коммутатора
Чип №1
10G
10G
10G
Чип №2
10G
10G
10G
Store & forward
Узел 1
11
Узел 1
Узел 1
Cut-through

12. Вызов №1. Как победить задержку?
Железо
12

13. Вызов №1. Как победить задержку?
Железо
 Общая практика
 Не использовать гипервизор. Никогда
 Использовать ОС с лучшим TCP стеком – Linux/Solaris/Windows
 Использовать самые быстрые процессоры
 ОС заточены по умолчанию на пропускную. Перенастроить для минимализации задержки
 Перенастроить TCP/IP стек или обходить его – TCP offload / bypass
 Никогда не запускать Х сервер
 Выключить iptables, ip6tables, yumtables, sendmail, Bluetooth, cups, irda, atd, autofs, hidd, kudzu, smmbfs
 Диск I/O
 Тонировать файловую систему. XFS для больших файлов. EXT3 среднее арифметичное
 Можно смотреть в сторону OCFS32, HSF2, BTRFS
 LINUX runlevel
 По умолчанию установить RUN LEVEL 3
 Тонировать QoS / Scheduling
 Тонировать сетевой стек
 Тонировать уровень приложений
13

14. Вызов №1. Как победить задержку?
NIC
Kernel TCP/IP
User space TCP/IP
Bypass TCP/IP
1G Linux 48μS RTT
OpenOnLoad
10μS RTT
OFED
2μS RTT
10G Linux 16μS RTT
 Общие правила для тонировки NIC
o
o
Проанализируйте сетевой стек
o
Тонировать NIC драйвер
o
Тонировать TCP/IP стек
o
14
Будьте избирательны в выборе NIC. Есть большая разница в
характеристиках задержки и DROP, которые зависят от железа и
драйвера.
Обмен – уменьшая latency, Вы грузите CPU

15. Требования к НРС
Задержка
Емкость
Надежность
•
Системная задержка
•
Общая
производительность
системы для
обработки трафика
сейчас и в будущем
•
Отказоустойчивость
системы для
максимизации время
работы
•
Примеры:
•
Примеры:
•
Примеры:
o
End-to-end задержка 10
GbE 2.3 микросекунд
Порты 10/40/100 GbE
без переподписки
o
Емкость
коммутационной
фабрики (в Tbps) для
обработки трафика
Большая пропускная
способность на слот
для будущего роста
o
Избыточные модули
для
управления, коммутац
ии и питания
Компоненты с горячей
заменой
Бесшовная
отказоустойчивость и
обновления ПО
o
15
o
o
o

16. Вызов №2. Емкость.
Устарелая архитектура
16

17. Вызов №2 – Емкость.
Современная архитектура
17

18. Требования к НРС
Задержка
Емкость
Надежность
•
Системная задержка
•
Общая
производительность
системы для
обработки трафика
сейчас и в будущем
•
Отказоустойчивость
системы для
максимизации время
работы
•
Примеры:
•
Примеры:
•
Примеры:
o
End-to-end задержка 10
GbE 2.3 микросекунд
Порты 10/40/100 GbE
без переподписки
o
Емкость
коммутационной
фабрики (в Tbps) для
обработки трафика
Большая пропускная
способность на слот
для будущего роста
o
Избыточные модули
для
управления, коммутац
ии и питания
Компоненты с горячей
заменой
Бесшовная
отказоустойчивость и
обновления ПО
o
18
o
o
o

19. Вызов №3. Надежность.
Аппаратная надежность.
Возможность горячей замены любого из
компонентов
Питание
o
Отказоустойчивость по схеме N+1 или N+N
Охлаждение
o
Отказоустойчивость по схеме N+1 или N+N
Коммутация
o
Отказоустойчивость фабрик модулей по схеме N+1
Управление
o
19
Отказоустойчивость управляющих модулей по схеме N+1

20. Вызов №3. Надежность. Топология
ЦОД №2
EAPS
G.8032
SW #1
SW #2
MLAG
MLAG
STACK
Dual-homing
20
MLAG
SW “A”
50% TCP
SW “B”
50% TCP
SW “C”
SW “D”

21. Вызов №3. Надежность.
Операционная система
21

22. Принципы на практике.
Что есть на рынке
4x40G Ports
48x10G Ports
Summit X670
Top-of-Rack
22
48x40G Ports
216x10G Ports
440x1G Ports fiber
768x1G Ports copper
32x100G Ports
192x40G Ports
768x10G Ports
384x1G Ports
32x40G Ports
(104x10G Ports)
BlackDiamond 8800
Summit X770
End-of-Row BlackDiamond X8
Top-of-Rack
End-of-Row

23. Серия Summit X670
Summit® X670V-48x
– 48 портов GbE/10 GbE
– Один модуль расширения для VIM4-40G-4X:
• 4 порта 40 GbE
• 16 портов 10 GbE с разветвителями
• 64 порта 10 GbE в коммутаторе
• SummitStack™-V320 используя 4 порта 40
GbE
– Стеккирование SummitStack-V используя два
порта 10 GbE
Summit X670-48x
– 48 портов 1 GbE/10 GbE
– Стеккирование SummitStack-V используя два
порта 10 GbE ports
23
Двунаправленные блоки вентиляторов
Блоки питания AC/DC с горячей заменой

24. Х670
Высокоскоростное стекирование – 320Гб/с
Summit® X670V
Summit X670V
Summit X650
Summit X650
Summit X480
Summit X670V
Summit X670
Summit X650
Summit X460/480
Summit X460/480
24

25. Серия Summit X770
32 Ports of QSFP+ 40GbE !!!
Up to 104 ports 10GbE !!!
25

26. Summit X770-32q Switch Hardware
USB
Port
Stack
Member
Number
OOB Management
Ethernet
Console
Port
2 x mini BNC connectors (75Ω)
1588 Output: 1PPS & 10MHz
26
32-port QSFP+ Ports of 40GbE
4+1 Fans
Front-to-Back or Back-toFront (always ships with 5)
Redundant AC/DC Power Supplies
(always ships with 2 PSUs)

27. BlackDiamond 8800: Расширяемая архитектура

 Единственный
производитель
со всеми
вариантами
решений в
одном шасси

 Ниже TCO:
8500-модули
можно
использовать в
системах
8800/8900
Коммутац.
комната
Page
27
Агрегация/Ядро
ЦОД
© 2013 Extreme Networks, Inc. All rights reserved.

28. 1000 оптических портов на стойку? Да!
8500-series
8800 c-series
system
8900-series
(for small deployments)
(for medium deployments)
Today
(for large deployments)
8500-MSM24*
MSM48c*
MSM48c
8900-MSM128*
DC: 10G8Xc
DC: 10G8Xc
DC: 8900-10G24X-c
Core: 10G4Xc
Core: 10G4Xc
DC: 8900-G96T-c
Core: G48Xc
Core: G48Xc
DC/Core: 8900-10G8X-xl
Access: 8500-G24X-e
Core: G24Xc
Core: G24Xc
DC/Core: 8900-G48X-xl
Access: 8500-G48T-e (POE FRU)
Access: G48Tc (POE FRU)
Access: G48Tc (POE FRU)
DC/Core: 8900-G48T-xl
Medium Small
Large
*Все управляющие модули поддерживают карты расширения GE or 10GE
Защита инвестиций:
Все карты совместимы между собой
© 2013 Extreme Networks, Inc. All rights reserved.

29. BlackDiamond X8
Физические характеристики
•
•
•
•
•
•
BlackDiamond® X8
19-inch rack size, 14.5RU, 30” depth
8 I/O slots – Horizontal
2 MM slots - Horizontal
4 Fabric slots – Rear Vertical
5 Fan trays – Rear Vertical
8 PSU slots
30”
Производительность
Скорость коммутации 20+ Tbps
1.28 Tbps на каждый слот
192 x 40 GbE или 768 x 10 GbE
Надежность
•
•
•
•
29
14.5 RU
•
•
•
3+1 модулей коммутации, 960 Gbps на
слот в случае аварии одного fabric
модуля (24 интерфейса 40 GbE
неблокируемой коммутации)
Два управляющий модуля
4+1 блоков вентиляторов
Резервирование электропитания N+1
© 2013 Extreme Networks, Inc. All rights reserved.
17.25”

30. BlackDiamond X8
New
48-Port 100/1000/10000MbE RJ45 Module
48-Port 10GbE SFP+ Module
12-Port 40GbE QSFP+ Module
New
12-Port 40GbE-XL QSFP+ Module
24-Port 40GbE QSFP+ Module
New
4-Port 100GbE-XL CFP2 Module
© 2013 Extreme Networks, Inc. All rights reserved.

31. BlackDiamond® X8 Шасси
Front View
8 PSU Slots
Dual Management
Module Slots
8 I/O Module Slots
(Horizontal)
Rear View
With Fan Trays
Rear View
4 Fan Trays Removed
8 AC Power
Input Sockets
5 Fan Tray Slots
(Vertical)
31
4 Fabric
Module Slots
© 2013 Extreme Networks, Inc. All rights reserved.

32. Пример
НРС для нефтяной компании
o
o
o
-
32
HPC cluster is based on three main components:
Cluster servers with 10G NICs. Vendors – HP, IBM & DELL
High performance storage with 10G & 40G. Vendors DDN & Panasas
Networks switches with 10G & 40G. Vendors – Extreme Networks
Requirements for platforms
Storage must support both Infiniband for legacy connectivity and Ethernet
Server platform Intel/Linux & 7200TB storage
10G/40G Ethernet
Purpose of HPC
Must support a connectivity of large storage subsystems
To be used for seismic data processing

33. Пример. Топология
Extreme Networks
HP Cluster Servers
DDN Storage Servers
BLACK DIAMOND X8
10G
40G
228 ports
128 ports
10G
16 ports
LAN
3rd party network vendor
33

34. Пример
НРС для нефтяной компании
• Почему Ethernet
Компании запросили решение на Ethernet потому что:
 a. Ethernet может передавать 40G, но IB может 40G и 56G
 b. Ethernet дешевле и проще найти экспертов. Низкий CAPEX
 c. Ethernet дешевле в поддержке. Низкий OPEX
 d. У Ethernet есть 100G
 e. За Ethernet стоят тяжеловесные производители сетевого
оборудования
34

35. Спасибо за внимание!
У Вас есть вопросы?
Паливода Александр
opali@muk.ua
35