G R A N I TGLOBAL RUSSIAN ADVANCED NETWORK INITIATIVE
Антоненко Виталий
RACK
План
Составляющие GR2
Оборудование GR3
ПО GR4
Перспективы5
Введение1
Требования и вызовы
современных исследователей
Вызовы
• Гетерогенная
инфраструктура
• Обработка больших
объемов данных
• Географически
распределённые
ресурсы
Требования
• Гибкая конфигурация
• Экономия ресурсов
• Удобные
междисциплинарные
эксперименты
• Повторное использование
результатов
экспериментов
• Использование
специализированных
устройств
Современные исследователи сталкиваются с…
Уровень приложений
CPU Память Данные
Агенты Брокеры “Сделки”
Уровень ресурсов
Уровень ОС
Сеть
HPC
(GRID)
Распределенный
Центр Обработки
Данных
Распределенный ЦОД
ЦОД 1 ЦОД 2
ВМ 1 ВМ 2 ВМ 3 ВМ 4
Гипервизор Гипервизор
Коммутатор Коммутатор
Предлагаемый
сервис
Физический
коммутатор
Физический
коммутатор
Туннель
GRANIT – это НЕ …
GRANIT
GRANIT
GRANIT
GRANIT
Москва
Санкт-
Петербург
Нижний
Новгород
Ростов-на-
Дону
Оренбург Томск
Ярославль
Management Switch
Data Switch
Worker Node 1
Worker Node 2
Worker Node n
Head Node
Storage Node
Оборудование
GR
Предоставляет доступ к локальным ресурсам
Обеспечивает работу OpenStack ВМ
Коммутирует экспериментальный трафик (L2)
Обеспечивает работу iSCSI SAN
При помощи:
• ORCA
• OpenStack
• xCat
создает, управляет, конфигурирует ВМ
• iSCSI
• Puppet
• Flukes
Management Switch
Data Switch
Worker Node 1
Worker Node 2
Worker Node n
Head Node
Storage Node
Оборудование
GR
48 × 1 GbE RJ45 ports and 4 standard 10 GbE SFP+ ports
128GB SATA 2.5” x 2
Intel Xeon Processor E5-2640 v2 8C 2.0GHz 20MB
Cache1600MHz x 2
Intel x520 Dual Port 10GbE SFP+ Adapter x 2
8GB ECC DDR3 1600MHz x 8
300GB 10K 6Gbps SAS 2.5" SFF G2HS HDD
8GB ECC DDR3 1600MHz x 8
48 × 10 GbE SFP+ ports, 4 × 40 GbE QSFP+ ports in a 1U
2TB 7.2K 6Gbps NL SATA 3.5” x 6
Data 8264
OpenFlow
Control 8052
Топология
GR
Head node
Storage node
Worker nodes
ксетевому(L2)
провайдеру
Вид
сзади
Вид
спереди
Схема
Rack
Вид
кабелирования:
• Сервисное
• Управляющее
• Рабочее
• OpenStack
• iSCSI
• Внешняя сеть
Management Switch
Data Switch
Worker Node 1
Worker Node 2
Worker Node n
Head Node
Storage Node
Локальные
вычислительные ресурсы
(ВМ)
Специальные устроства
Физические
вычислительные
ресурсы
Высокопроизводительныевычислительные
(HPC)ресурсы
ORCA
GRANIT
Ресурсы
Open Resource Control Architecture
Ломоносов
Чебышев
…
WiFi, WiMax, Сенсоры, …
Пользователь Контроллер ORCA
Slice manager
ORCA
Broker
ORCA
Aggregate manager
2. запрос
slice
Множество вариантов
развертки ПО
Федеративная организация,
Авторизация и
предоставление ресурсов
3. запрос
ресурсов
6. выкуп
билетов
ORCA
4. запрос
ресурсов 1. передача
билетов
5. продажа
билетов
7. выкуп
билетов
8. выдача
ресурсов
Управляющий узел
Обслуживаемый
узел
PID
CLI Web/GUI SNMP
ACL xcatd
action
DB
Доверенный
SSL
xCat
xcatd
action
xCat
Удаленное управление оборудованием
Управление питанием, перезагрузка,
инвентаризация, логи, обработка
SNMP алертов
Удаленное консольное управление
Serial консоль, SOL, Logging / Video
консоль (no logging)
Удаленное управление загрузкой (Boot)
Local/SAN Boot, Network Boot, iSCSI Boot
Удаленная настройка сети
Auto-Discovery MAC Address
Kickstart, Imaging, iSCSI
Масштабируемость! Порядка 100,000
узлов.
xCAT делает Вас ЛЕНИВЫМИ.
НЕТ
необходимости ходить в серверную.
Puppet
user {'katie':
ensure => absent,
}
Управление
свойствами машины
file {'testfile':
path => '/tmp/testfile',
ensure => present,
mode => 0640,
content => "I'm a test
file.",
}
Управление файлами
class ntp {
package { 'ntp':
ensure => installed,
}
file { 'ntp.conf':
path => '/etc/ntp.conf',
ensure => file,
require => Package['ntp'],
source =>
"/pathto/ntp.conf"
}
service { 'ntp':
name => $service_name,
ensure => running,
enable => true,
subscribe => File['ntp.conf'],
}
}
Управление
приложениями
• кроссплатформенное клиент-
серверное приложение
• позволяет централизованно управлять
конфигурацией операционных систем
и программ
• масштабируется на несколько
компьютеров
IP
заголовок
TCP
заголовок
качество сервиса
iSCSI
заголовокДанные и команды SCSI
маршрутизация
• Разработан для storage area networks (SANs)
• Основан на стеке TCP/IP
• Устанавливает соединения между сетевыми
устройствами хранения
• Клиент-серверная архитектура
• IP-маршрутизация, управление трафиком и
безопасностью
iSCSI
протокол, который базируется на TCP/IP
и разработан для установления
взаимодействия и управления системами
хранения данных, серверами и
клиентами.
iSCSI = internet Small Computer System
Interface
iSCSI
iSCSI клиент iSCSI сервер
iSCSI
initiator
iSCSI
portal
iSCSI
portal
iSCSI
initiator
iSCSI
portal
iSCSI
portal
IP
сеть
OpenStack
Head node
OpenStack
• Nova
• Glance
• Neutron
Worker node 1
OpenStack
• Nova-compute
Worker node n
OpenStack
• Nova-compute
Рабочий
процесс
Текстовое описание
GRANIT ГИП
ORCA
OpenStack
VM postscript
Neuca (ORCA)
Инструменты
мониторинга
Stage 1:
Описание эксперимента
• Экземпляры ВМ
• Топология
• Пропускная
способность сети
• Список
установленных
приложений
Stage 2:
Предоставление
ресурсов
• Проверка статуса
шаблонов ВМ
• Создание
экземпляров ВМ
• Программирование
Data switch
• Подготовка
postscript
приложений
Stage 3:
Запуск эксперимента
• Запуск ВМ
• Запуск приложения
Data switch на SDN
котроллере
• Выполнение
postscripts
приложений
• Предоставление
доступа к ВМ
Stage 4:
Анализ результатов
• Получение данных
от ВМ
• Сохранение данных
для будущих
экспериментов
• Визуализация
данных
• Анализ данных
Вычислительные узлы
• До 100 ВМ на каждом Rack
• BYOI (Bring Your Own Image)
“Настоящие” L2 топологии
• В одном Rack
• Между Rack-ами
OpenFlow эксперименты
• В одном Rack
• Между Rack-ами
Исследователям
предоставляются
все условия для
использования их
собственных
виртуальных
образов
Эксперименты
Поставщики
оборудования
ЧТО ДАЛЬШЕ?
…
ЧТО ДАЛЬШЕ?
…
СПАСИБО ЗА
ВНИМАНИЕ!
Вопросы?
Партнер
ы
GRANIT
FUTURE
SOC
ORCA
SOCORCA
SOCORCA
interface

GRANIT — Global Russian Advanced Network Initiative

  • 1.
    G R AN I TGLOBAL RUSSIAN ADVANCED NETWORK INITIATIVE Антоненко Виталий RACK
  • 2.
  • 3.
    Требования и вызовы современныхисследователей Вызовы • Гетерогенная инфраструктура • Обработка больших объемов данных • Географически распределённые ресурсы Требования • Гибкая конфигурация • Экономия ресурсов • Удобные междисциплинарные эксперименты • Повторное использование результатов экспериментов • Использование специализированных устройств Современные исследователи сталкиваются с…
  • 4.
    Уровень приложений CPU ПамятьДанные Агенты Брокеры “Сделки” Уровень ресурсов Уровень ОС Сеть HPC (GRID) Распределенный Центр Обработки Данных Распределенный ЦОД ЦОД 1 ЦОД 2 ВМ 1 ВМ 2 ВМ 3 ВМ 4 Гипервизор Гипервизор Коммутатор Коммутатор Предлагаемый сервис Физический коммутатор Физический коммутатор Туннель GRANIT – это НЕ …
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
    Management Switch Data Switch WorkerNode 1 Worker Node 2 Worker Node n Head Node Storage Node Оборудование GR Предоставляет доступ к локальным ресурсам Обеспечивает работу OpenStack ВМ Коммутирует экспериментальный трафик (L2) Обеспечивает работу iSCSI SAN При помощи: • ORCA • OpenStack • xCat создает, управляет, конфигурирует ВМ • iSCSI • Puppet • Flukes
  • 10.
    Management Switch Data Switch WorkerNode 1 Worker Node 2 Worker Node n Head Node Storage Node Оборудование GR 48 × 1 GbE RJ45 ports and 4 standard 10 GbE SFP+ ports 128GB SATA 2.5” x 2 Intel Xeon Processor E5-2640 v2 8C 2.0GHz 20MB Cache1600MHz x 2 Intel x520 Dual Port 10GbE SFP+ Adapter x 2 8GB ECC DDR3 1600MHz x 8 300GB 10K 6Gbps SAS 2.5" SFF G2HS HDD 8GB ECC DDR3 1600MHz x 8 48 × 10 GbE SFP+ ports, 4 × 40 GbE QSFP+ ports in a 1U 2TB 7.2K 6Gbps NL SATA 3.5” x 6
  • 11.
    Data 8264 OpenFlow Control 8052 Топология GR Headnode Storage node Worker nodes ксетевому(L2) провайдеру
  • 12.
  • 13.
    Management Switch Data Switch WorkerNode 1 Worker Node 2 Worker Node n Head Node Storage Node Локальные вычислительные ресурсы (ВМ) Специальные устроства Физические вычислительные ресурсы Высокопроизводительныевычислительные (HPC)ресурсы ORCA GRANIT Ресурсы Open Resource Control Architecture Ломоносов Чебышев … WiFi, WiMax, Сенсоры, …
  • 14.
    Пользователь Контроллер ORCA Slicemanager ORCA Broker ORCA Aggregate manager 2. запрос slice Множество вариантов развертки ПО Федеративная организация, Авторизация и предоставление ресурсов 3. запрос ресурсов 6. выкуп билетов ORCA 4. запрос ресурсов 1. передача билетов 5. продажа билетов 7. выкуп билетов 8. выдача ресурсов
  • 15.
    Управляющий узел Обслуживаемый узел PID CLI Web/GUISNMP ACL xcatd action DB Доверенный SSL xCat xcatd action
  • 16.
    xCat Удаленное управление оборудованием Управлениепитанием, перезагрузка, инвентаризация, логи, обработка SNMP алертов Удаленное консольное управление Serial консоль, SOL, Logging / Video консоль (no logging) Удаленное управление загрузкой (Boot) Local/SAN Boot, Network Boot, iSCSI Boot Удаленная настройка сети Auto-Discovery MAC Address Kickstart, Imaging, iSCSI Масштабируемость! Порядка 100,000 узлов. xCAT делает Вас ЛЕНИВЫМИ. НЕТ необходимости ходить в серверную.
  • 17.
    Puppet user {'katie': ensure =>absent, } Управление свойствами машины file {'testfile': path => '/tmp/testfile', ensure => present, mode => 0640, content => "I'm a test file.", } Управление файлами class ntp { package { 'ntp': ensure => installed, } file { 'ntp.conf': path => '/etc/ntp.conf', ensure => file, require => Package['ntp'], source => "/pathto/ntp.conf" } service { 'ntp': name => $service_name, ensure => running, enable => true, subscribe => File['ntp.conf'], } } Управление приложениями • кроссплатформенное клиент- серверное приложение • позволяет централизованно управлять конфигурацией операционных систем и программ • масштабируется на несколько компьютеров
  • 18.
    IP заголовок TCP заголовок качество сервиса iSCSI заголовокДанные икоманды SCSI маршрутизация • Разработан для storage area networks (SANs) • Основан на стеке TCP/IP • Устанавливает соединения между сетевыми устройствами хранения • Клиент-серверная архитектура • IP-маршрутизация, управление трафиком и безопасностью iSCSI протокол, который базируется на TCP/IP и разработан для установления взаимодействия и управления системами хранения данных, серверами и клиентами. iSCSI = internet Small Computer System Interface
  • 19.
    iSCSI iSCSI клиент iSCSIсервер iSCSI initiator iSCSI portal iSCSI portal iSCSI initiator iSCSI portal iSCSI portal IP сеть
  • 20.
    OpenStack Head node OpenStack • Nova •Glance • Neutron Worker node 1 OpenStack • Nova-compute Worker node n OpenStack • Nova-compute
  • 21.
    Рабочий процесс Текстовое описание GRANIT ГИП ORCA OpenStack VMpostscript Neuca (ORCA) Инструменты мониторинга Stage 1: Описание эксперимента • Экземпляры ВМ • Топология • Пропускная способность сети • Список установленных приложений Stage 2: Предоставление ресурсов • Проверка статуса шаблонов ВМ • Создание экземпляров ВМ • Программирование Data switch • Подготовка postscript приложений Stage 3: Запуск эксперимента • Запуск ВМ • Запуск приложения Data switch на SDN котроллере • Выполнение postscripts приложений • Предоставление доступа к ВМ Stage 4: Анализ результатов • Получение данных от ВМ • Сохранение данных для будущих экспериментов • Визуализация данных • Анализ данных
  • 22.
    Вычислительные узлы • До100 ВМ на каждом Rack • BYOI (Bring Your Own Image) “Настоящие” L2 топологии • В одном Rack • Между Rack-ами OpenFlow эксперименты • В одном Rack • Между Rack-ами Исследователям предоставляются все условия для использования их собственных виртуальных образов Эксперименты
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.

Editor's Notes

  • #17 xCAT даже может удаленно рассказать о лампочках горящих на корпусе оборудования