1. Aurora
Система распределенных высоконагруженных вычислений

2. Докладчик: магистр 2 курса Повар А. В.
Научный руководитель: д.ф.-м.н. Прудников П.В.

3. Проблематика
• Коммуникационная среда
• Доступ и хранение данных
• Переносимость и развертывание

4. Коммуникационная среда
• MPI хорош для не слишком
коммуникационно сложных программ
• MPI хорош для выполнения гомогенных
задач
• Особенности стандарта
• Слишком низкоуровневый для того чтобы
“просто пользоваться”
• Создание среды выполнения MPI – не
самая тривиальная задача

5. Базы данных
• Реляционные и нереляционные БД –
идеальные решения для хранения данных
• Данные структурированы
• Данные всегда доступны
• Данные надежно хранятся
• Доступны базовые операции (sum, max, min,
avg, count)
• Сложность использования в связке MPI/C++
сводит на нет все плюсы

6. Переносимость
Разработка
Отладка
Сборка на
кластере
Интеграция и
исправление
ошибок
Запуск
Результат?

7. Развертывание
Достаточно трудно быстро развернуть
вычислительную сеть для проведения
моделирования с помощью
компьютеров, объединенных локальной
сетью. Особенно если используются
различные операционные системы и
аппаратное обеспечение.

8. Как можно улучшить ситуацию
• Упростить и стандартизировать интерфейсы
взаимодействия
• Стандартные решения для стандартных
задач
• Механизм быстрого построения
вычислительной системы на основе
доступного оборудования

9. Aurora. Система распределенных
высоконагруженных вычислений
Система Aurora
Среда
исполнения
Программный
каркас

10. Aurora. Программный каркас
• Скелет для построения вычислительно
сложных приложений
• Инструменты для статистических расчетов.
• Библиотеки физических моделей и
алгоритмов.
• Возможность использования уже
существующих вычислительных программ

11. Aurora. Среда исполнения
• Механизмы запуска и контроля
приложений
• Унифицированный доступ к
коммуникационным средам
• Унифицированный доступ к средствам
хранения и анализа информации
• Адаптеры для работы с различными
вычислительными средами

12. Aurora. Технологии
• В основе – Java Virtual Machine
• Построена с помощью языков
программирования
– Scala
– Java
– C++
• Модульность - OSGi

13. Aurora. Архитектура
• Хранилища и источники данных
• Компоненты анализа данных
• Генераторы отчетов
Прикладные
компоненты
• Жизненный цикл приложений
• Мониторинг и управление взаимодействиями
Управление
исполнением
• Виртуальная сеть(MPI, TCP/IP)
• Обмен сообщениями
• Механизмы интеграции с вычислительными
платформами
• Механизмы развертывания выч. среды
Tier-0 / Сеть

14. Aurora. Сеть
• Наиболее важный компонент
• Связующее программное обеспечении
• Скрывает все особенности нижележащих
платформ
• Отдельный модуль для каждой платформы
• Собственный механизм адресации
• Частично реализует некоторые протоколы
сетевой модели OSI (ARP, Inverse ARP, DHCP)

15. Aurora. Управление выполнением
• Определяет жизненный цикл запускаемых
программ и управляет ими
• Подключает программы к коммуникационной
среде
• Предоставляет механизмы мониторинга
выполняемых задач в режиме реального
времени
• Распределяет задачи по исполнительным
узлам и обеспечивает их выполнение
• Вводит и выводит узлы из сети, не прерывая
исполнение программ

16. Aurora. Прикладные компоненты
• Компоненты работы с реляционными
базами данных
• Генераторы отчетов
• Инструменты анализа данных
• Инструменты для интеграции
существующего прикладного ПО и моделей
• Библиотеки моделей и алгоритмов

17. Aurora. Статус
• Разрабатывается модуль интеграции со
СКИФ МГУ Чебышев
• Ведется активная работа по запуску проекта
в коммуникационной среде TCP/IP с
помощью собственного сетевого протокола
• Существует возможность запуска тестовых
задач с помощью проекта Aurora
• Ведется работа по интеграции с
хранилищами данных

18. Aurora. Перспективы
• Полная интеграция с кластером СКИФ МГУ
Чебышев
• Полностью готовый модуль для построения
собственной вычислительной сети
• Стандартизация системы с возможностью
написания компонент сторонними
разработчиками
• Получение результатов в физическом
моделировании, как главный критерий успеха.

23. Java Virtual Machine
• Основная часть исполняющей системы Java
• Интерпретирует байт-код
• Доступна для многих платформ
• Compile once, run anywhere

24. Scala
• Функциональное и объектно-
ориентированное программирование
• Единообразная объектная модель
• Функции – полноправные объекты
• Шаблоны и шаблоны высших порядков
• Полная интероперабельность с java
• Разработан в EPFL (Федеральная
политехническая школа
Лазаны)

25. OSGi
• Динамическая модульная шина
• Позволяет создавать приложения из
слабосвязанных взаимодействующих
компонент
• Поддерживает конфигурацию “на-лету”

26. Сетевая модель OSI
• Open systems interconnection basic reference
model
• ЭМВОС – базовая эталонная модель
взаимодействия открытых систем (ГОСТ Р
ИСО/МЭК 7498-1-99)
• Сетевая модель взаимодействия сетевых
протоколов

27. Уровни
модели
OSI

28. Сетевые протоколы
• ARP – Address Resolution Protocol (протокол
определения адреса)
• DHCP – Dynamic Host Configuration Protocol
(протокол динамической конфигурации
узла)