1. «Система для визуального контроля загруженности высокопроизводительных многоядерных архитектур» представляет: Карпов М.А.| руководитель: Маслов И.В. | СПбГПУ, ФУИТ. 20 10
2.
3.
4.
5. СРЕДСТВА ВИЗУАЛИЗАЦИИ Средства визуализации Системы визуального программирования ( Visual Programming ) Инструменты визуализации ( Program Visualization Tools ) Средства визуального представления данных On-line Post-mortem
19. РАЗВИТИЕ Теория + реализация на сервере Получение и обработка данных о кластере в параллельном режиме : C ++ / TBB Web- интерфейс: X3D было Постобработка результатов Дополненная реальность (Augmented reality, AR) Обеспечение неоднородности системы
20. X3DToolkit (C++) or Xj3D (Java) Поддерживается в MPEG-4 Интеграция с XML Работа в реальном времени
21.
Editor's Notes
Здравствуйте, меня зовут Михаил Карпов, я представляю Вам свою работу связанную с контролем загруженности кластеров. Моя работа называется «Анализ и контроль производительности многопроцессорных архитектур и их отдельных компонент» Моим научным руководителем является Маслов Игорь Валентинович. Посмотреть Tivoly . 25стр
Основными пунктами выступления будут: Постановка и актуальность задачи Анализ существующих решений Основные принципы предлагаемого решения Детали предлагаемого решения Также будут продемонстрированы экспериметальные результаты проделанной работы Заключение и подведение итогов Дальнейшие пути развития И вкратце рассказано про те достижения, которых уже добилась данная работа 25стр
Сложности: слишком много задач и очень их сложно мониторить вместе. Хочется иметь возможность выделить приоритные задачи и видеть их вклад в загруженность системы, а также иметь возможность влиять на неё и исследовать их влияние, изменять параметры. 25стр
Традиционно считается, что использование трёхмерности и анимации повышает эффективность визуализации при представлении сущностей программного обеспечения. 25стр
Средства визуализации можно разбить на три основные группы: Системы визуального программирования Инструменты визуализации И Средства визуального представления данных 25стр
Однако, каждая из этих систем, в основном, делает упор, на отображение MPI процессов, практически не показывая реальной загрузки ядер системы и той доли, которую каждая из работающих программ вносит в эту загруженность, непосредственно на каждое из ядер. Также, рассмотренные программы предоставляют информацию по всем задачам работающим в системе, но не предоставляют возможности «отслеживания» конкретных выбранных пользователем задач, что значительно понизило бы визуальную сложность работы с сотнями, работяющих в системе задач. 25стр
Одной из задач анализа в этой области является возможность в реальном времени показывать характеристики рабочей системы (к примеру, кластера, на котором распараллеливаются задачи, или рабочего сервера). К основным характеристикам таких систем стоит отнести: Загруженность процессоров Использование памяти Коммуникации между процессами В данной работе ставилась задача создать программу, предоставляющую пользователю анализ текущего состояния системы на основе первых двух характеристик. 25стр
06/04/10 17:09 25стр Основными объектами наблюдения в системе являются работы, проводимые на кластере и задачи, на которые они разбиваются. Собственно, одна работа может разбиваться на несколько задач и их количество может изменяться по ходу выполнения работы. Можно задать стартовые характериститки для задачи (например конкретные ядра и узлы кластера, на которых она будет выполняться) и запустить её отдельно или присоединить к какой-либо уже выполняющейся работе.
Своеобразная «клетка – зоопарк – теплица» для задачи на кластере. Чтобы учёный пустил задачу на десятке кластеров по всей стране/миру и видел, как развивается обсчёт его задачи со своего ноутбука в браузере с X3D (MPEG-4) 25стр
Описание данного «куба задачи» (отображние в реальном времени, ловятся события на ядрах): В решении задачи принимают участие столько-то ядер (с таких-то Node) , сейчас Task #34 требует много памяти (столько-то). Во всей системе простаивают ядра 5 и 7 (с такой-то CPU) на Node #15 – их можно подключить к решению задачи #34. Всегда можем «заморозить» работу задачи, подорректировать (перенести tasks на другие ядра, остановить…) и пустить заново. Всего на выбранных Nodes имеется столько-то памяти. Если расчёт проходит на нескольких машинах, то стоит учитывать и скорость канала связи с каждым из узлов, участвующих в задаче. Куб – как объём, выделенной под задачу памяти. Движущиеся молекулы, связность узлов. Рамки, упругость стенок. Продолжительность выхода системы из куба. При большой – куб рвётся ( alert!) , при малой – он прогибается как мыльный пузырь. Ресурсы: ядра, память, CPU . 25стр
25стр
Происходит периодический программный опрос системы для выявления изменений в состоянии ядер и работающих на них задачах. Взаимодействие отображается связностью Размер вершины зависит от ослеживаемых характеристик Цвет для выделения особенностей Анимация помогает изучить структуру Автоматич привязка к событиям и триггеры!!!!!! 25стр
Для сохранения, получаемой с кластера информации были разработаны классы, отвечающие за его архитектуру. Головным классом является класс HPC , который содержит в себе общее описание кластера, а также включает в себя список узлов и задач, запущенных в системе. Узлы кластера представлены классом HPCNode , а работы представлены классом HPCJob . HPCCore – это класс, отвечающий за рабочие ядра кластера, а класс HPCTask представляет задачи. Основные данные сохраняются в последних двух классах, а потом полученная в них информация пересчитывается и записывается в родителькие классы, для учёта статистики по задачам. То есть, допустим, можно получить информацию, о количестве памяти, выделяемой для конкретной работы на выбранных узлах архитектуры. Эта информация получается в течении опроса памяти выделяемой на задачи, относящиеся к этой работе, учитывая их расположение на ядрах. 25стр
Также были написаны классы для визуализации информации на разработанном инструменте для отображения информации на макете молекулы. Собственно они позволяют крутить молекулу, изменять цвет и размер отдельных частей, входящих в молекулу. Для того, чтобы можно было достаточно просто перейти на другие способы визуализации, получаемых данных, классы для отображения и классы для хранения информации были сделаны независимыми друг от друга. Также был разработан основной класс для работы с сервером, включающий в себя основную функциональность по опросу системы, сохранению этой информации, а также отображению этой информации пользователю. 25стр
При работе с множеством данных, не все из них необходимы пользователю в данный момент. То есть сначала показываются только основные связи, а по мере изучения какого-либо участка, он становится более детальным и насыщенным связями, которые были ранее не так важны 25стр
Разработка велась на платформе Windows HPC Server 2008 и Visual Studio 2008 c . Net Framework 3.5 25стр
25стр
Произведён системный анализ задачи и выбраны возможные пути технической реализации Освоены основные принципы использования предоставляемых корпорацией Microsoft утилит и библиотек HPC Pack и HPC SDK для Windows HPC Server 2008 Разработана необходимая иерархия классов, содержащая как структуру кластера так и визуальное отображение, и реализованы необходимые модули на языке C # Произведена комплексная отладка Проведён анализ полученных результатов и намечены дальнейшие задачи 25стр
http://www.web3d.org/x3d/content/examples/ConformanceNist/GroupingNodes/Billboard/_pages/page05.html Extensible 3D тесно интегрирован с XML, более компактен, чем VRML, и имеет модульную конструкцию. Такие известные компании, как Macromedia и Adobe Systems, сразу высказались в поддержку нового стандарта. 25стр
Интеграция с XML, что позволяет интегрировать трёхмерную графику с: веб-службами; распределёнными сетями; передачей файлов и данных между платформами и приложениями. Компонентность Расширяемость Эволюционность (X3D совместим с VRML 97) Масштабируемость (от суперкомпьютеров дло мобильных телефонов) Работа в реальном времени Хорошая стандартизованность Одним из наиболее перспективных направлений развития трехмерной графики является формат MPEG-4. Многие знают его как способ представления сжатого видео. MPEG-4 – это мощный инструмент, поддерживающий аудио- и видеоинформацию, 2D- и 3D-векторную графику, метаданные, управление авторскими правами и пр. С недавнего времени группа MPEG (Moving Pictures Experts Group) включила поддержку интерактивного X3D в свой стандарт сжатия видео MPEG-4. Это позволяет надеяться, что следующие поколения DVD-проигрывателей, лаптопов, КПК и смартфонов будут обладать возможностями работы с интерактивной трехмерной графикой (виртуальной реальностью). http://artis.imag.fr/Members/Yannick.Legoc/X3D/index.html 25стр
![СОДЕРЖАНИЕ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)