Hpc visualization (itmo 2010)

491 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
491
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Здравствуйте, меня зовут Михаил Карпов, я представляю Вам свою работу связанную с контролем загруженности кластеров. Моя работа называется «Анализ и контроль производительности многопроцессорных архитектур и их отдельных компонент» Моим научным руководителем является Маслов Игорь Валентинович. Посмотреть Tivoly . 25стр
  • Основными пунктами выступления будут: Постановка и актуальность задачи Анализ существующих решений Основные принципы предлагаемого решения Детали предлагаемого решения Также будут продемонстрированы экспериметальные результаты проделанной работы Заключение и подведение итогов Дальнейшие пути развития И вкратце рассказано про те достижения, которых уже добилась данная работа 25стр
  • Сложности: слишком много задач и очень их сложно мониторить вместе. Хочется иметь возможность выделить приоритные задачи и видеть их вклад в загруженность системы, а также иметь возможность влиять на неё и исследовать их влияние, изменять параметры. 25стр
  • Традиционно считается, что использование трёхмерности и анимации повышает эффективность визуализации при представлении сущностей программного обеспечения. 25стр
  • Средства визуализации можно разбить на три основные группы: Системы визуального программирования Инструменты визуализации И Средства визуального представления данных 25стр
  • Однако, каждая из этих систем, в основном, делает упор, на отображение MPI процессов, практически не показывая реальной загрузки ядер системы и той доли, которую каждая из работающих программ вносит в эту загруженность, непосредственно на каждое из ядер. Также, рассмотренные программы предоставляют информацию по всем задачам работающим в системе, но не предоставляют возможности «отслеживания» конкретных выбранных пользователем задач, что значительно понизило бы визуальную сложность работы с сотнями, работяющих в системе задач. 25стр
  • Одной из задач анализа в этой области является возможность в реальном времени показывать характеристики рабочей системы (к примеру, кластера, на котором распараллеливаются задачи, или рабочего сервера). К основным характеристикам таких систем стоит отнести: Загруженность процессоров Использование памяти Коммуникации между процессами В данной работе ставилась задача создать программу, предоставляющую пользователю анализ текущего состояния системы на основе первых двух характеристик. 25стр
  • 06/04/10 17:09 25стр Основными объектами наблюдения в системе являются работы, проводимые на кластере и задачи, на которые они разбиваются. Собственно, одна работа может разбиваться на несколько задач и их количество может изменяться по ходу выполнения работы. Можно задать стартовые характериститки для задачи (например конкретные ядра и узлы кластера, на которых она будет выполняться) и запустить её отдельно или присоединить к какой-либо уже выполняющейся работе.
  • Своеобразная «клетка – зоопарк – теплица» для задачи на кластере. Чтобы учёный пустил задачу на десятке кластеров по всей стране/миру и видел, как развивается обсчёт его задачи со своего ноутбука в браузере с X3D (MPEG-4) 25стр
  • Описание данного «куба задачи» (отображние в реальном времени, ловятся события на ядрах): В решении задачи принимают участие столько-то ядер (с таких-то Node) , сейчас Task #34 требует много памяти (столько-то). Во всей системе простаивают ядра 5 и 7 (с такой-то CPU) на Node #15 – их можно подключить к решению задачи #34. Всегда можем «заморозить» работу задачи, подорректировать (перенести tasks на другие ядра, остановить…) и пустить заново. Всего на выбранных Nodes имеется столько-то памяти. Если расчёт проходит на нескольких машинах, то стоит учитывать и скорость канала связи с каждым из узлов, участвующих в задаче. Куб – как объём, выделенной под задачу памяти. Движущиеся молекулы, связность узлов. Рамки, упругость стенок. Продолжительность выхода системы из куба. При большой – куб рвётся ( alert!) , при малой – он прогибается как мыльный пузырь. Ресурсы: ядра, память, CPU . 25стр
  • 25стр
  • Происходит периодический программный опрос системы для выявления изменений в состоянии ядер и работающих на них задачах. Взаимодействие отображается связностью Размер вершины зависит от ослеживаемых характеристик Цвет для выделения особенностей Анимация помогает изучить структуру Автоматич привязка к событиям и триггеры!!!!!! 25стр
  • Для сохранения, получаемой с кластера информации были разработаны классы, отвечающие за его архитектуру. Головным классом является класс HPC , который содержит в себе общее описание кластера, а также включает в себя список узлов и задач, запущенных в системе. Узлы кластера представлены классом HPCNode , а работы представлены классом HPCJob . HPCCore – это класс, отвечающий за рабочие ядра кластера, а класс HPCTask представляет задачи. Основные данные сохраняются в последних двух классах, а потом полученная в них информация пересчитывается и записывается в родителькие классы, для учёта статистики по задачам. То есть, допустим, можно получить информацию, о количестве памяти, выделяемой для конкретной работы на выбранных узлах архитектуры. Эта информация получается в течении опроса памяти выделяемой на задачи, относящиеся к этой работе, учитывая их расположение на ядрах. 25стр
  • Также были написаны классы для визуализации информации на разработанном инструменте для отображения информации на макете молекулы. Собственно они позволяют крутить молекулу, изменять цвет и размер отдельных частей, входящих в молекулу. Для того, чтобы можно было достаточно просто перейти на другие способы визуализации, получаемых данных, классы для отображения и классы для хранения информации были сделаны независимыми друг от друга. Также был разработан основной класс для работы с сервером, включающий в себя основную функциональность по опросу системы, сохранению этой информации, а также отображению этой информации пользователю. 25стр
  • При работе с множеством данных, не все из них необходимы пользователю в данный момент. То есть сначала показываются только основные связи, а по мере изучения какого-либо участка, он становится более детальным и насыщенным связями, которые были ранее не так важны 25стр
  • Разработка велась на платформе Windows HPC Server 2008 и Visual Studio 2008 c . Net Framework 3.5 25стр
  • 25стр
  • Произведён системный анализ задачи и выбраны возможные пути технической реализации Освоены основные принципы использования предоставляемых корпорацией Microsoft утилит и библиотек HPC Pack и HPC SDK для Windows HPC Server 2008 Разработана необходимая иерархия классов, содержащая как структуру кластера так и визуальное отображение, и реализованы необходимые модули на языке C # Произведена комплексная отладка Проведён анализ полученных результатов и намечены дальнейшие задачи 25стр
  • http://www.web3d.org/x3d/content/examples/ConformanceNist/GroupingNodes/Billboard/_pages/page05.html Extensible 3D тесно интегрирован с XML, более компактен, чем VRML, и имеет модульную конструкцию. Такие известные компании, как Macromedia и Adobe Systems, сразу высказались в поддержку нового стандарта. 25стр
  • Интеграция с XML, что позволяет интегрировать трёхмерную графику с: веб-службами; распределёнными сетями; передачей файлов и данных между платформами и приложениями. Компонентность Расширяемость Эволюционность (X3D совместим с VRML 97) Масштабируемость (от суперкомпьютеров дло мобильных телефонов) Работа в реальном времени Хорошая стандартизованность Одним из наиболее перспективных направлений развития трехмерной графики является формат MPEG-4. Многие знают его как способ представления сжатого видео. MPEG-4 – это мощный инструмент, поддерживающий аудио- и видеоинформацию, 2D- и 3D-векторную графику, метаданные, управление авторскими правами и пр. С недавнего времени группа MPEG (Moving Pictures Experts Group) включила поддержку интерактивного X3D в свой стандарт сжатия видео MPEG-4. Это позволяет надеяться, что следующие поколения DVD-проигрывателей, лаптопов, КПК и смартфонов будут обладать возможностями работы с интерактивной трехмерной графикой (виртуальной реальностью). http://artis.imag.fr/Members/Yannick.Legoc/X3D/index.html 25стр
  • Вопросы 25стр
  • Hpc visualization (itmo 2010)

    1. 1. «Система для визуального контроля загруженности высокопроизводительных многоядерных архитектур» представляет: Карпов М.А.| руководитель: Маслов И.В. | СПбГПУ, ФУИТ. 20 10
    2. 2. СОДЕРЖАНИЕ <ul><li>Постановка и актуальность задачи </li></ul><ul><li>Анализ существующих решений </li></ul><ul><li>Основные принципы предлагаемого решения </li></ul><ul><li>Детали предлагаемого решения </li></ul><ul><li>Демонстрация экспериментальных результатов </li></ul><ul><li>Заключение </li></ul><ul><li>Дальнейшие пути развития </li></ul>
    3. 3. ПОСТАНОВКА ЗАДАЧИ <ul><li>Система, обеспечивающую возможность визуального контроля над загруженностью ядер работающего вычислительного комплекса. </li></ul><ul><li>Необходимость анализа и контроля производительности комплекса и его отдельных компонент при различных режимах вычислительных нагрузок. </li></ul><ul><li>Дополнительно - удобный инструмент для повышения эффективности распараллеливания программ </li></ul>
    4. 4. ВИЗУАЛИЗАЦИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ <ul><li>Визуализация помогает </li></ul><ul><li>понизить интеллектуальную сложность параллельного программирования за счёт использования разнообразных методик. </li></ul><ul><li>Наиболее эффективны: </li></ul><ul><li>трёхмерность </li></ul><ul><li>анимация </li></ul>
    5. 5. СРЕДСТВА ВИЗУАЛИЗАЦИИ Средства визуализации Системы визуального программирования ( Visual Programming ) Инструменты визуализации ( Program Visualization Tools ) Средства визуального представления данных On-line Post-mortem
    6. 6. C РАВНЕНИЕ Intel Trace Analyzer Microsoft HPC Manager Vampir
    7. 7. HPC SERVER 2008 <ul><li>Работы ведутся на базе 16-ядерного кластера под управлением Windows HPC Server 2008 (предоставленном университету СПбГПУ корпорацией Intel) с использованием предоставляемых фирмой Microsoft утилит и библиотек HPC Pack и HPC SDK </li></ul>
    8. 8. РАБОТЫ И ЗАДАЧИ НА КЛАСТЕРЕ ФУИТ. Карпов М.А. 21 стр
    9. 9. КОНТРОЛЬ НАД ТЕЧЕНИЕМ ЗАДАЧИ
    10. 10. ИЗУЧЕНИЕ ПРОЦЕССА РЕШЕНИЯ ЗАДАЧИ
    11. 11. СПОСОБЫ ВЫДЕЛЕНИЯ ОСОБЕННОСТЕЙ ОБЪЕКТОВ
    12. 12. МОДЕЛЬ <ul><li>Visual Studio 2008 </li></ul><ul><li>HPC.Scheduler API </li></ul><ul><li>метафора молекулы </li></ul><ul><li>периодический опрос системы </li></ul><ul><li>на различных ядрах одинаковый цвет для одной задачи </li></ul><ul><li>отображение цветом состояния ядер </li></ul>
    13. 13. СХЕМА КЛАССОВ ПРЕДЛОЖЕННОГО РЕШЕНИЯ
    14. 14. СХЕМА КЛАССОВ ПРЕДЛОЖЕННОГО РЕШЕНИЯ (2)
    15. 15. ВИЗУАЛЬНОЕ ПРЕДСТАВЛЕНИЯ ИНФОРМАЦИИ
    16. 16. ИНТЕРФЕЙС ПРОГРАММЫ
    17. 17. Демонстрация экспериментальных результатов
    18. 18. ЗАКЛЮЧЕНИЕ <ul><li>Произведён системный анализ задачи и выбраны возможные пути технической реализации </li></ul><ul><li>Освоены основные принципы использования предоставляемых корпорацией Microsoft утилит и библиотек HPC Pack и HPC SDK для Windows HPC Server 2008 </li></ul><ul><li>Разработана необходимая иерархия классов, содержащая как структуру кластера так и визуальное отображение, и реализованы необходимые модули на языке C # </li></ul><ul><li>Произведена комплексная отладка </li></ul><ul><li>Проведён анализ полученных результатов и намечены дальнейшие задачи </li></ul>
    19. 19. РАЗВИТИЕ Теория + реализация на сервере Получение и обработка данных о кластере в параллельном режиме : C ++ / TBB Web- интерфейс: X3D было Постобработка результатов Дополненная реальность (Augmented reality, AR) Обеспечение неоднородности системы
    20. 20. X3DToolkit (C++) or Xj3D (Java) Поддерживается в MPEG-4 Интеграция с XML Работа в реальном времени
    21. 21. Спасибо за внимание! <ul><li>Вопросы? </li></ul>{ [email_address] }

    ×