Обзор экосистемы Microsoft HPC
Леонид Клюев Менеджер по развитию бизнеса высокопроизводительных вычислений Microsoft в регионе Центральная и Восточная Европа, Россия и СНГ
Program system PoroScale from the Skolkovo participant MicroModel LLC. Software allows to calculate differnt filtration parameters (permeabilities, capillary pressure and so on) using pore-scale modelling.
Презентация с семинара ИТМО "Формализация знаний и искусственный интеллект в образовании" (http://iam.ifmo.ru/ru/viewnews/17227/formalizaciya_znaniy_i_iskusstvennyy_intellekt_v_obrazovanii.htm). Доклад "Информационные системы поддержки активного обучения: облачные технологии, управление знаниями и коллаборативные платформы".
Статья «Формирование универсальных требований к пользовательским программам п...ph.d. Dmitry Stepanov
предлагается обобщенная структура описания программ. Используя предложенную структуру, формулируются универсальные требования, применимые к любым пользовательским разработкам и необходимые в процессе подготовки функционально-технической спецификации на разработку программы.
CEE-SECR 2015. Systems Engineering for Software Engineers in Top-Ranking Tech...Alex V. Petrov
Системная инженерия, известная еще с советских времен как «системотехника», в последние десятилетия претерпела серьезные трансформации не только в России, но и за рубежом. Достаточно сказать, что на английском языке эта междисциплинарная область знаний приобрела в своем названии новый смысл: «инжиниринг системы» (англ. System Engineering) сменил «инжиниринг систем» (англ. Systems Engineering). Отечественные вузы, по объективным причинам утратившие за последние 20 лет экспертизу в области преподавания системотехники, сегодня оказались неспособны предлагать рынку выпускников, готовых, умеющих, а главное — знающих, как браться за разработку сложных систем и доводить ее до конца, отвечать за основополагающие принципы создания и функционирования таких систем, иными словами — архитектуру.
Между тем, системная инженерия возвращается в учебные планы программ подготовки магистров по таким направлениям, как «Информатика и вычислительная техника». Впрочем, строчка в учебном плане — еще не гарантия успеха в преподавании.
В своем докладе мы поделимся личным опытом преподавания системной инженерии в ведущих технических вузах столиц России: Московском государственном техническом университете (МГТУ) им. Н.Э. Баумана и Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» им. В.И. Ульянова (Ленина) (СПбГЭТУ ЛЭТИ), — расскажем о контексте, в котором велась подготовка авторских учебных программ, лекционных и практических материалов, проблемах, которые возникали в ходе образовательного процесса.
Говоря о результатах, которых удалось достичь авторам с 2013/2014 уч. года и по сей день, мы остановимся на двух главных. Пер�
Алексей Иванов -- курс по стыку системной и программной инженерийAnatoly Levenchuk
Доклад Алексея Иванова «Стык системной и программной инженерии в учебном курсе моделеориентированной разработки программоёмких систем» на 75 заседании Русского отделения INCOSE, 24 апреля 2013г.
EdCrunch 2018 - Skyeng - EdTech product scaling: How to influence key growth ...Michael Karpov
Skyeng company case:
"EdTech product scaling: How to influence key growth indicators and achieve rapid progress. Product VS Marketing look"
Global conference for technology in education #EdCrunch
https://2018.edcrunch.ru/en/
Movement to business goals: Data, Team, Users (4C Conference)Michael Karpov
In this talk Mikhail Karpov discuss the methods used to move to business goals faster on example of VK.com processes, including teams flexible structure and feedback loop from service audience
Обзор экосистемы Microsoft HPC
Леонид Клюев Менеджер по развитию бизнеса высокопроизводительных вычислений Microsoft в регионе Центральная и Восточная Европа, Россия и СНГ
Program system PoroScale from the Skolkovo participant MicroModel LLC. Software allows to calculate differnt filtration parameters (permeabilities, capillary pressure and so on) using pore-scale modelling.
Презентация с семинара ИТМО "Формализация знаний и искусственный интеллект в образовании" (http://iam.ifmo.ru/ru/viewnews/17227/formalizaciya_znaniy_i_iskusstvennyy_intellekt_v_obrazovanii.htm). Доклад "Информационные системы поддержки активного обучения: облачные технологии, управление знаниями и коллаборативные платформы".
Статья «Формирование универсальных требований к пользовательским программам п...ph.d. Dmitry Stepanov
предлагается обобщенная структура описания программ. Используя предложенную структуру, формулируются универсальные требования, применимые к любым пользовательским разработкам и необходимые в процессе подготовки функционально-технической спецификации на разработку программы.
CEE-SECR 2015. Systems Engineering for Software Engineers in Top-Ranking Tech...Alex V. Petrov
Системная инженерия, известная еще с советских времен как «системотехника», в последние десятилетия претерпела серьезные трансформации не только в России, но и за рубежом. Достаточно сказать, что на английском языке эта междисциплинарная область знаний приобрела в своем названии новый смысл: «инжиниринг системы» (англ. System Engineering) сменил «инжиниринг систем» (англ. Systems Engineering). Отечественные вузы, по объективным причинам утратившие за последние 20 лет экспертизу в области преподавания системотехники, сегодня оказались неспособны предлагать рынку выпускников, готовых, умеющих, а главное — знающих, как браться за разработку сложных систем и доводить ее до конца, отвечать за основополагающие принципы создания и функционирования таких систем, иными словами — архитектуру.
Между тем, системная инженерия возвращается в учебные планы программ подготовки магистров по таким направлениям, как «Информатика и вычислительная техника». Впрочем, строчка в учебном плане — еще не гарантия успеха в преподавании.
В своем докладе мы поделимся личным опытом преподавания системной инженерии в ведущих технических вузах столиц России: Московском государственном техническом университете (МГТУ) им. Н.Э. Баумана и Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» им. В.И. Ульянова (Ленина) (СПбГЭТУ ЛЭТИ), — расскажем о контексте, в котором велась подготовка авторских учебных программ, лекционных и практических материалов, проблемах, которые возникали в ходе образовательного процесса.
Говоря о результатах, которых удалось достичь авторам с 2013/2014 уч. года и по сей день, мы остановимся на двух главных. Пер�
Алексей Иванов -- курс по стыку системной и программной инженерийAnatoly Levenchuk
Доклад Алексея Иванова «Стык системной и программной инженерии в учебном курсе моделеориентированной разработки программоёмких систем» на 75 заседании Русского отделения INCOSE, 24 апреля 2013г.
EdCrunch 2018 - Skyeng - EdTech product scaling: How to influence key growth ...Michael Karpov
Skyeng company case:
"EdTech product scaling: How to influence key growth indicators and achieve rapid progress. Product VS Marketing look"
Global conference for technology in education #EdCrunch
https://2018.edcrunch.ru/en/
Movement to business goals: Data, Team, Users (4C Conference)Michael Karpov
In this talk Mikhail Karpov discuss the methods used to move to business goals faster on example of VK.com processes, including teams flexible structure and feedback loop from service audience
"Пользователи: сигнал из космоса". CodeFest mini 2012Michael Karpov
О способах получения обратной связи от пользователей в российских и иностранных интернет-компаниях.
Также, на основе различных жизненных кейсов рассмотрим их полезность и применимость.
Михаил рассмотрит основные случаи и всякие примеры применения на основе Яндекса и нескольких других российских и иностранных компаний.
Как сделать команде приятное - Михаил Карпов (Яндекс)Michael Karpov
Команде приятное можно сделать разными способами.
Этот доклад о том, как это сделать с помощью вашего процесса.
Многие понимают то, что важно вовлекать команду в продукт, но также важно вовлекать команду в ваш процесс.
Для этого ваш процесс должен коротко и доходчиво отвечать на вопросы команды.
О них и поговорим.
Hpc Visualization with X3D (Michail Karpov)Michael Karpov
The document describes two modes of data analysis for workload rendering on server clusters:
1. General system analysis uses a molecular metaphor to visualize task load across cluster nodes over time, allowing users to identify bottlenecks.
2. Detailed task analysis uses a greenhouse metaphor to test individual tasks under varying hardware/software parameters and identify bottlenecks like CPU, memory, or disk limitations.
Both modes aim to optimize workload distribution and resource usage across clusters.
сбор требований с помощью Innovation gamesMichael Karpov
За основу были взяты бизнес-игры от Люка Хоммана: innovationgames.com
Они представлены ниже в презентации: "Начни новый день", "Product Box", "Воспоминания о будущем", "Удиви клиента", "Катер", "Паутина".
Практическое занятие было не лишено соревновательного характера:
в первой части команды "разработчиков" собирали неявные знания с "пользователей", а во второй части должны были предложить им каждый свой продукт.
Естественно, что пользователи выбирают наиболее понравившийся (то есть наиболее удовлетворяющий их потребностям) и команда, предложившая данный продукт, побеждает.
Зачем нам Это? или Как продать agile командеMichael Karpov
Мы все сталкиваемся с ситуациями когда сложно работать с Заказчиком по Agile и уговорить его на подобный способ коммуникации.
Также, часто команде сложно уговорить своего менеджера.
Но!
Бывает и иначе: менеджер предлагает внедрять Agile, а команда "не до конца уверена"...
Именно о такой ситуации и рассказывает этот доклад!
The document describes a software system being developed to visually monitor the workload of cores in a high-performance manycore computer architecture. The system receives data about the state of cores in a computing system, analyzes the data, and displays it visually with remote web access. Compared to other software for visually monitoring multiprocessor systems, this system provides a visual display of processed data on the state of cores based on analysis of inter-core messages and characteristics of individual cores. The system is being developed using Microsoft Visual Studio 2008 on a 16-core Windows cluster at Polytechnic University and will aid in analyzing and monitoring complex systems and their components during different workload modes.
The document discusses the development of a system for visual monitoring of workloads on high-performance multi-core computer clusters. The system provides visual analysis and performance monitoring of clusters and their components. It was developed using Microsoft tools on a 16-node Windows HPC Server 2008 cluster. The system displays program characteristics, core memory usage, and process status to help optimize parallel programs.
Simon Peyton Jones provides advice on how to give a great research talk in 3 sentences or less:
The purpose of a research talk is to engage the audience and make them eager to read your paper, not to impress them or present all details; the talk should motivate the key idea in the first 2 minutes and then focus 80% on the idea with examples, leaving out technical details and related work. Enthusiasm is the most potent tool for presenting an exciting talk that keeps the audience awake and makes them glad they attended.
1. «Система для визуального контроля загруженности высокопроизводительных многоядерных архитектур» представляет: Карпов М.А.| руководитель: Маслов И.В. | СПбГПУ, ФУИТ. 2009
2.
3. Обзор предметной области Выбор проблематики Постановка задачи Обзор существующих решений Собственное теоретическое решение Всероссийский форум студентов, аспирантов и молодых учёных XXXVII Неделя Науки СПбГПУ Переписка с Манаковым Д.В . Первый этап работы – исследования текущего состояния вопроса ФУИТ. Карпов М.А. 20стр.
4. ВВЕДЕНИЕ Развитие программирования: ВИЗУАЛИЗАЦИЯ ФУИТ. Карпов М.А. 20стр. Параллельные программы Эффективность (низкий уровень) Понятность (высокий уровень)
5.
6. СРЕДСТВА ВИЗУАЛИЗАЦИИ ФУИТ. Карпов М.А. 20стр. Средства визуализации Системы визуального программирования ( Visual Programming ) Инструменты визуализации ( Program Visualization Tools ) Средства визуального представления данных On-line Post-mortem
7.
8. Выбор инструментария Организация ведения процесса Проектирование архитектуры приложения Планирование производительности VS 2008 , WPF Scrum, Agile Второй этап работы – планирование предлагаемого решения Выбор архитектуры системы Microsoft HPC Server 2008 ФУИТ. Карпов М.А. 20стр.
11. Motorola Product backlog Sprint 1 NUnit, NMock Release 1.1 Acceptance Testing Sprint 4 NUnit, NMock Release 4.1 Acceptance Testing Sprint 6 NUnit, NMock Release 6.1 Acceptance Testing … … … … Microsoft HPC School 2009 1 st place on Microsoft Conference Защита бакалаврской работы Публикация в журнале Третий этап работы – детальная разработка предложенного решения ФУИТ. Карпов М.А. 20стр.
Здравствуйте, меня зовут Михаил Карпов, я представляю Вам свою бакалаврскую работу связанную с параллельным программированием. Моя работа называется «Система для визуального контроля загруженности высокопроизводительных многоядерных архитектур» Моим научным руководителе является Маслов Игорь Валентинович.
Основными пунктами выступления будут: Постановка и актуальность задачи Анализ существующих решений Основные принципы предлагаемого решения Детали предлагаемого решения Также будут продемонстрированы экспериметальные результаты проделанной работы Заключение и подведение итогов Дальнейшие пути развития И вкратце рассказано про те достижения, которых уже добилась данная работа
Первым этапом работы была теоритическая сторона выбранной проблематики, включающая в себя обзор предметной области и переписку с одним из ведущих российских учёных – Манаковым Дмитрием Валентиновичем. После этого была выбрана проблематика и результаты проведённых исследований были представлены на Всероссийском форуме студентов, аспирантов и молодых учёных. Далее была постановка задачи, обзор существующих решений и составлено своё собственное теоритическое решение выбранной проблематики. Оно было представлено на 37й Неделе Науки в нашем университете.
Как известно, программирование движется в сторону упрощения и понятности. Это закономерность можно увидеть на переходе от програмировании на ассамблере до объектно- и аспектно- ориентированного программирования. Создание параллельных программ само по себе является достаточно непростым делом, и одним из инструментов, предназначенных для связи между собой эффективности низкоуровнего программирования и понятности высокоуровневых языков, является визуализация параллельного программирования.
Традиционно считается, что использование трёхмерности и анимации повышает эффективность визуализации при представлении сущностей программного обеспечения.
Средства визуализации можно разбить на три осоновные группы: Системы визуального программирования Инструменты визуализации И Средства визуального представления данных
Windows HPC Server 2008 эффективно масштабируется на тысячи вычислительных ядер. Одной из задач анализа в этой области является возможность в реальном времени показывать характеристики рабочей системы (к примеру, кластера, на котором распараллеливаются задачи, или рабочего сервера). К основным характеристикам таких систем стоит отнести: Загруженность процессоров Использование памяти Коммуникации между процессами В данной работе ставилась задача создать программу, предоставляющую пользователю анализ текущего состояния системы на основе первых двух характеристик.
На втором этапе работы была выбрана архитектура системы, необходимый инструментарий для разработки, принята организация ведения процесса разработки на основе коротких рывков по методике Scrum . После этого было проведено проектирование архитектуры приложения и планирование производительности.
В условиях часто поступающей информации разработка проходила короткими двухнедельными спринтами с постановкой задачи на каждый последующий спринт и получением работающего релиза в конце каждого из участков разработки.
НАЧИНАЯ ОТСЮДА 50% ОТ ВСЕГО ВРЕМЕНИ (ПРО РАЗРАБОТКУ) Происходит периодический программный опрос системы для выявления изменений в состоянии ядер и работающих на них задачах. Взаимодействие отображается связностью Размер вершины зависит от ослеживаемых характеристик Цвет для выделения особенностей Анимация помогает изучить структуру Автоматич привязка к событиям и триггеры!!!!!!
Для сохранения, получаемой с кластера информации были разработаны классы, отвечающие за его архитектуру. Головным классом является класс HPC , который содержит в себе общее описание кластера, а также включает в себя список узлов и задач, запущенных в системе. Узлы кластера представлены классом HPCNode , а работы представлены классом HPCJob . HPCCore – это класс, отвечающий за рабочие ядра кластера, а класс HPCTask представляет задачи. Основные данные сохраняются в последних двух классах, а потом полученная в них информация пересчитывается и записывается в родителькие классы, для учёта статистики по задачам. То есть, допустим, можно получить информацию, о количестве памяти, выделяемой для конкретной работы на выбранных узлах архитектуры. Эта информация получается в течении опроса памяти выделяемой на задачи, относящиеся к этой работе, учитывая их расположение на ядрах.
Также были написаны классы для визуализации информации на разработанном инструменте для отображения информации на макете молекулы. Собственно они позволяют крутить молекулу, изменять цвет и размер отдельных частей, входящих в молекулу. Для того, чтобы можно было достаточно просто перейти на другие способы визуализации, получаемых данных, классы для отображения и классы для хранения информации были сделаны независимыми друг от друга. Также был разработан основной класс для работы с сервером, включающий в себя основную функциональность по опросу системы, сохранению этой информации, а также отображению этой информации пользователю.
Разработка велась на платформе Windows HPC Server 2008 и Visual Studio 2008 c . Net Framework 3.5
Произведён системный анализ задачи и выбраны возможные пути технической реализации Освоены основные принципы использования предоставляемых корпорацией Microsoft утилит и библиотек HPC Pack и HPC SDK для Windows HPC Server 2008 Разработана необходимая иерархия классов, содержащая как структуру кластера так и визуальное отображение, и реализованы необходимые модули на языке C # Произведена комплексная отладка Проведён анализ полученных результатов и намечены дальнейшие задачи
Загруженность системы изучение загруженности - по процессам по компьютерам по задачам Новые способы визуализации Оптимизация загруженности Много ядер (расширяемость) Веб-интерфейс
2-й Всероссийский форум студентов, аспирантов и молодых « XXXVII Неделя науки СПбГПУ» «Технологии Microsoft в теории и практике программирования» (СПб, 2009) Работа удостоена первого места Периодический журнал «Научно-технические ведомости СПбГПУ» №2 2009 Подана заявка на получение гранта Правительства СПб 2009 Летняя школа 2009 года, проводимая корпорацией Microsoft на базе МГУ по тематике «Высокопроизводительные и параллельные вычисления в научных исследованиях».
![СОДЕРЖАНИЕ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],ФУИТ. Карпов М.А. 20стр.](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)