Hpc Visualization with WebGL

1,057 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,057
On SlideShare
0
From Embeds
0
Number of Embeds
11
Actions
Shares
0
Downloads
5
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Программный комплекс для диагностики кластерных систем Заметки: «Аргументированно подтверждать _любую_ фразу» На основании конференций или следующих работ. Не забыть про раздаточный материал. С осонвными вопросами и с кучей схем. Проставить номера слайдов. 25стр
  • Необходимость анализа и контроля производительности комплекса и его отдельных компонент при различных режимах вычислительных нагрузок * в дополнение, подобная система полезна при анализе параллельных программ
  • Добавить штук из химии и штуку с планшетом Однако, каждая из этих систем, в основном, делает упор, на отображение MPI процессов, практически не показывая реальной загрузки ядер системы и той доли, которую каждая из работающих программ вносит в эту загруженность, непосредственно на каждое из ядер. Также, рассмотренные программы предоставляют информацию по всем задачам работающим в системе, но не предоставляют возможности «отслеживания» конкретных выбранных пользователем задач, что значительно понизило бы визуальную сложность работы с сотнями, работяющих в системе задач. 25стр
  • Одной из задач анализа в этой области является возможность в реальном времени показывать характеристики рабочей системы (к примеру, кластера, на котором распараллеливаются задачи, или рабочего сервера). К основным характеристикам таких систем стоит отнести: Загруженность процессоров Использование памяти Коммуникации между процессами В данной работе ставилась задача создать программу, предоставляющую пользователю анализ текущего состояния системы на основе первых двух характеристик. 25стр
  • Ну тут я показываю на руках 4 уровня приближения
  • Традиционно считается, что использование трёхмерности и анимации повышает эффективность визуализации при представлении сущностей программного обеспечения. Визуализация помогает понизить интеллектуальную сложность параллельного программирования за счёт использования разнообразных методик. 25стр
  • Отправной точкой послужило объемное представление молекулы из химии. Таким, образом, структура состояла из трех слоёв и выглядела следующим образом.
  • Про гипотезы и идеи. БД vs XML WPF, SilverLight, Flash vs X3D
  • Про техническую составляющую и сложности.
  • Описание данного «куба задачи» (отображние в реальном времени, ловятся события на ядрах): В решении задачи принимают участие столько-то ядер (с таких-то Node) , сейчас Task #34 требует много памяти (столько-то). Во всей системе простаивают ядра 5 и 7 (с такой-то CPU) на Node #15 – их можно подключить к решению задачи #34. Всегда можем «заморозить» работу задачи, подорректировать (перенести tasks на другие ядра, остановить…) и пустить заново. Всего на выбранных Nodes имеется столько-то памяти. Если расчёт проходит на нескольких машинах, то стоит учитывать и скорость канала связи с каждым из узлов, участвующих в задаче. Куб – как объём, выделенной под задачу памяти. Движущиеся молекулы, связность узлов. Рамки, упругость стенок. Продолжительность выхода системы из куба. При большой – куб рвётся ( alert!) , при малой – он прогибается как мыльный пузырь. Ресурсы: ядра, память, CPU . 25стр
  • Сотрудничество с Microsoft, EMC, Intel
  • There is many medical problems and some parallel programs try to solve it using high-performance computers. Mass of this programs is not optimized to HPC architectures and this program can help to improve this parallel programs. Сделать это для сети из нескольких кластеров в различных точках мира. В чем интерес: тут уже надо иметь ввиду скорость доступа к каждой из точек и как-то учитывать это в диагностике сети кластеров и анализе программ. 25стр
  • Сказать про сайт. Сказать про Mendeley и научную работу с другими странами и компаниями. В заключении хочу сказать, что данная тематика могла показаться вам спорной и к некоторым выводам можно отнестить с изрядной долей скептицизма, но каждый раз подготавливая и представляя свои исследования я получаю новую и интересную информацию, помогающую мне в дальнейшей работе над данным исследованиям. Поэтому, я буду очень рад вашим вопросам, задавайте их, пожалуйста. 25стр
  • Нечаев Ю.И. и взрыв на Чернобыле. Принятие решения в экстренных ситуациях – при посадке спасательного вертолета на судно в сильный шторм Первый мобильный телефон увидел свет 3 апреля 1973 года. Мартин Купер – директор отдела мобильной связи MOTOROLA, прогуливаясь по Манхеттену, решил позвонить по сотовому телефону. Все прохожие очень удивились, ведь до создания серийных сотовых телефонов было еще 10 лет. Ремарки: Эта разработка не предполагается для выхода на рынок в ближайшее время, а является «проекцией» на развитие и изменение интерфейсов через некоторое время 3D не является «серебрянной пулей», а предполагается использование в совокупности с командной строкой и плоскими диаграммами. 3D сейчас кажется странной затеей, поскольку пользователи к нему не привыкли и устройства полностью поддерживающие 3D сейчас не расспространены Переход на планшетные устройства со стационарных компьютеров сравним с переходом на мобильные телефоны
  • Схема классов десктоп-приложения. Схема классов браузерного-приложения. XSD- файл для XML- логирования – схема.
  • Hpc Visualization with WebGL

    1. 1. «Исследование и разработка системы визуального контроля загруженности высокопроизводительных систем» Карпов М.А. СПбГПУ, ФУИТ, 2011
    2. 2. Постановка задачи <ul><li>Проблема: на крупных кластерных архитектурах, учитывая большое количество запущенных задач, сложно производить диагностику системы. </li></ul><ul><li>Требуется система, предоставляющая возможности: </li></ul><ul><li>Визуального и программного контроля над загруженностью ядер кластера </li></ul><ul><li>Анализа системы в целом и её отдельных частей </li></ul>
    3. 3. Аналоги Intel Trace Analyzer Microsoft HPC Manager Vampir
    4. 4. <ul><li>Нет возможности post-mortem анализа </li></ul><ul><li>Жёсткая привязанность к компьютеру и ОС </li></ul><ul><li>Проблема при отображении на крупных архитектурах </li></ul>Проблематика
    5. 5. HPC SERVER 2008 <ul><li>Работы проводились на базе 16-ядерного кластера под управлением Windows HPC Server 2008 (предоставленном университету СПбГПУ корпорацией Intel) с использованием предоставляемых фирмой Microsoft утилит и библиотек HPC Pack и HPC SDK </li></ul>
    6. 6. Кластер Lawrencium <ul><li>Структура кластера университета Berkeley : </li></ul><ul><ul><li>Linux </li></ul></ul><ul><ul><li>212 узлов , 1698 ядер </li></ul></ul><ul><ul><li>6 модулей (24 узла / 8 ядер ) </li></ul></ul>
    7. 7. ВИЗУАЛИЗАЦИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ <ul><li>Визуализация помогает </li></ul><ul><li>понизить интеллектуальную сложность </li></ul><ul><li>за счёт использования разнообразных </li></ul><ul><li>методик. </li></ul>ФУИТ. Карпов М.А. 21 стр <ul><li>Наиболее эффективны: </li></ul><ul><li>трёхмерность </li></ul><ul><li>анимация </li></ul>
    8. 9. Проблемы и пути решения <ul><li>Реализация 3D- объектов </li></ul><ul><li>Postmortem replay </li></ul><ul><li>Веб-интерфейс </li></ul><ul><li>Локализация под планшетные устройства </li></ul>
    9. 10. Технологии <ul><li>C# HPC Pack и HPC SDK </li></ul><ul><li>X3D markup </li></ul><ul><li>HTML5 </li></ul><ul><li>WebGL </li></ul><ul><li>jQuery, JS, AJAX </li></ul><ul><li>iPad, Android </li></ul>
    10. 11. <ul><li>Метафора молекулы </li></ul><ul><li>Выделение цветом родственых подзадач </li></ul><ul><li>Отображение загруженности ядер </li></ul><ul><li>Вложенность структуры кластера </li></ul>
    11. 12. Метафора «парник» <ul><li>Характеристики: </li></ul><ul><li>Свободная и используемая память </li></ul><ul><li>Использование ресурсов системы </li></ul><ul><li>Возможность управлять задачами и ресурсами </li></ul>
    12. 13. 1. Данные в realtime 2. Логирование 3. Формирование отчета 4. Просмотр отчета 5-6. Считывание bar-code 7. R eplay
    13. 14. <ul><li>Более 10 публикаций, в том числе в журнале из каталога ВАК </li></ul><ul><li>Участие в крупнейших научных школах: </li></ul><ul><ul><li>Москва ( Microsoft) </li></ul></ul><ul><ul><li>Владимир (Суперкомпьют. консорциум России) </li></ul></ul><ul><li>1 место в конкурсе-конференции от Microsoft </li></ul><ul><li>Дипломы СПбГПУ за научные достижения в фундаментальных исследованиях </li></ul><ul><li>Грант Правительства Петербурга </li></ul>Научные достижения
    14. 15. Вычислительные мощности HPC Server Оборудование EMC Работа над прикладной задачей (н-р медицинской). Диагностика и оптимальная настройка кластера. В будущем Реализовать для распределенной сети (учитывая скорость доступа).
    15. 16. Заключение Программный комплекс для диагностики кластерных систем: <ul><li>Снятие информации с кластера </li></ul><ul><li>Метафоры «молекула» / «парник» </li></ul><ul><li>Веб-интерфейс X3D </li></ul><ul><li>Postmortem- анализ </li></ul>
    16. 17. Спасибо за Ваше внимание! <ul><li>Вопросы ? </li></ul>{ kapnov@gmail.com } x3d.unet.com
    17. 18. < запасные слайды >
    18. 19. Про скептицизм <ul><li>Это не «серийная» разработка </li></ul><ul><li>К 3 D и планшетам не привыкли </li></ul><ul><li>3D не является «серебрянной пулей» </li></ul>
    19. 20. < схемы и структуры (много) >

    ×