“ Master’s degree educational program “ Systems engineering for Grid Technology ” Проф.Петренко А.І. НТУУ «КПИ» ИПСА
Завдання №6 Державної Програми з впровадження грід на 2009-2013 рр. 6.  Підготовка кадрів для забезпечення роботи  грід-середовища і застосування грід-технологій в науці, освіті та інших галузях: 6.1  Відкриття магістерської підготовки з напрямку «Грід-технології в науці, освіті та інших галузях »,  розпочаток  перепідготовки у вищих навчальних закладах фахівців  відповідного профілю. Розробка комплексу підручників і монографій з грід- обчислень і застосувань  (6 лекційних курсів, посібників, програм) 6.2  Створення учбових грід- систем при базовому і регіональних координаційно-операційних грід-центрах , а також в НТУУ  “ КПІ ”  і провідних ( 9 дисплейних класів)  6.3  Впровадження системи дистанційного навчання і підвищення кваліфікації  (4 методичних посібника),
Нова спеціальність  8.05010103   “   С истемне проектування ” Системне проектування   –  це міждисциплінарна методологія побудови інтелектуальних середовищ, призначених для розв’язування задач дослідження  складних об’єктів (систем, процесів) різної фізичної природи комп’ютерними засобами та за активною участю людей (експертів, аналітиків, інженерів, дослідників).    Фахівець з  системного проектування займається вирішенням  спектру питань, пов’язаних  зі збиранням  корисних для поставленої задачі даних,  їх аналізом ,  побудовою методів та моделей  обробки цих даних,  виконанням обчислювальних операцій  на комп ’ ютерах на підставі створюваних моделей та  виробкою оптимальних проектних рішень , рекомендацій та обґрунтованих висновків щодо поставленої задачі.
Об ’ єкт дослідження  Об’єктом дослідження  в системному проектуванні є різноманітні об’єкти, які підпадають під категорію складних систем та процесів, скажімо, такі, як  інформаційні середовища   (наприклад, розподілені комп’ютерні системи, семантичні  Web -  та  Grid - мережі, хмари),  об’єкти наукових досліджень   (наприклад, космічні або  біологічні об’єкти),  складні технічні системи   (наприклад, інтегральні електронні схеми або гібридні вбудовані електронно-механічні системи),  екологічні системи, технологічні або бізнес-процеси   тощо. Таким чином, результати системного проектування в одних випадках можуть бути представлені у вигляді  конкретних проектних технічних рішень , а в інших випадках у вигляді  певних узагальнень, прогнозів або рекомендацій ,.
Системний аналіз і системне проектування Системне проектування ,так само як і системний аналіз, спрямоване на  дослідження складних систем та процесів , моделювання яких вимагає комплексного підходу з використанням математичних методів, комп’ютерних технологій, а також взаємодії людини-експерта (або аналітика чи в загальному розумінні дослідника) з комп'ютерними системами.  На відміну від системного аналізу, головною метою якого є  розв’язання проблем прийняття рішень  на підставі математичних методів дослідження, головною метою системного проектування є  використання комп’ютерних засобів для розв’язання задач , пов’язаних з розробкою проектних рішень або виконанням досліджень на великих обсягах даних.
Обробка даних в умовах інформаційного “буму” " Як багато інформації є в світі?"  В 2007 році  264 екзабайт  ( екзабайт = 10 18  байт) ", а в 2010 році - майже  2 зетабайта  (зетабайт = 10 21  байт). Сьогодні  людство має змогу зберігати  кілька оптимально стиснутих зетабайтів даних на різних пристроях  і виконувати 7*10 19  операцій за секунду на обчислювальних пристроях різного типу.
Тенденції розвитку ІТ технологій Прогрес в інформаційних технологіях триває, збільшуючи темп в порівняльні з минулим 2. Зберігання і кешування  петабайтних (10 15  б) наборів  даних (якість і сумісність) 2. Дані про дані ( метадані ) 3. Доступ до середовища даних : (сховища, сервіси  метаданих,  реєстратори,  інструментарій аналізу,  онтології  і т.п.), пошук і відкриття даних  5.  Знання з даних  (Інтелектуальний аналіз даних) 6. Мережа центрів наукових даних 7. Платформи визначаються даними  8.   Створення компонентів програмного забезпечення вищого рівня у  вигляді сервісів 9.   Майбутнє ІТ технологій пов'язане з  персональними хмарними обчисленнями 10.   Розподілені обчислення змінюють скрізь взаємодію людей і об'єктів  з цифровим світом, роблячи персональні пристрої домінуючим засобом інформаційного доступу.
Користувач в сервісно- орієнтованом середовищі
Вплив на ІТ професії IT середовище значно змінилося. Все більша і більша  частина традиційного програмного забезпечення перемістилося  в Веб (тепер в Хмари)  або на  внутрішні сервери і доступна зараз через звичайні браузери.  Тобто сьогоднішнім користувачам не потрібна така всебічна допомога, якою вони раніше використовували . Так що  залишається робити сьогоднішнім ІТ професіоналам? Де будуть IT робочі місця у майбутньому? Консультанти  ( послуги таких компаній, як IBM, HP, Amazon AWS and Rackspace, що здають в оренду як сховища даних і обчислювальні ресурси, так і ІТ професіоналів, здатних допомогти в організації доступу до них, експлуатації і вирішенні конфліктних ситуацій.) Проектні менеджери  ( також служитимуть контакторами компаній  з постачальниками  технологій і консультантами) Розробники  ( зміщуються пріоритети в потребі ІТ спеціалістів від  тих, хто встановлює і підтримують додатки, до тих, хто створює їх).
Взаємодія користувачів з центрами даних
Базові  дисципліни спеціальності Дисципліна Обсяг Пошук і попередня підготовка даних 3.5 Комп’ютерні середовища високопродуктивних паралельних обчислень ( грід +_хмара) 3.5 Комп’ютерні методи інтелектуальної обробки даних і процесів 3.5 Функціональне та логічне програмування 2 .5 Знаходження знань в базах даних 3.0 Семантичні Веб- та Грід- сервіси  3.0 Системи з самоорганізацією 2.5 Системи підтримки прийняття рішень в системному проектуванні 3 . 0 Розпізнавання образів і комп’ютерний зір 3.0 Мультиагентні системи 2.5 Експертні системи на базі нечіткої логіки і нейронних мереж 3.0 Розпізнавання образів 3.5 Багатомодальний інтерфейс користувача 2 .5 Методи багатокритеріальної і мінімаксної оптимізаціії 2.5 Засоби моделювання розподілених систем обробки даних 3 ,0 Захист знань, накопичуваних в інформаційних системах 2 .0 Інформаційні технології для бізнесу 2.0
Вибіркові  дисципліни спеціальності За кордоном для аналогічних цілей недавно в ряді провідних вузів була введена нова магістерська спеціальність  «Інженерія знань» (  Knowledge Engineering ).  Інженерія знань   займається основними проблемами  створення інтелектуальних вирішувачів задач і є важливою  складовою  системного проектування .  Дисципліна   Географічні інформаційні системи   Комп’ютерні ігри  Вбудовані системи   Біоінформатика  Проектний менеджмент  Мобільні системи
Напрацювання з спеціальності 1) Цього року здійснений прийом на 1-й курс (21 чол.) і на 5-й курс ( 8 чол.), а також 26 чол. На другу освіту. 2) Складений і затверджений НАВЧАЛЬНИЙ ПЛАН 3) Створена з зарубіжними партнерами і використовується навчальна грід- система 4) Створений Практикум з грід- технологій 5) Почато читання курсу з хмарних обчислень з лабораторними заняттями 6) Видано кілька учбових посібників з грід- технологій і розподілених систем 7) Активно підтримується сайт “ Грід в технічному університеті “ ( hppt://grid.kpi.ua) 8)  Отримана фінансова підтримка для розгортання спеціальності з боку НАНУ і Державної Програми з впровадження грід – технологій в Україні  в 2009-2013 роках .
Навчальний план спеціальності 1) Цього року здійснений прийом на 1-й курс (21 чол.) і на 5-й курс ( 8 чол.) 2) Складений і затверджений НАВЧАЛЬНИЙ ПЛАН 3) Створена з зарубіжними партнерами і використовується навчальна грід- система 4) Створений Практикум з грід- технологій 5) Почато читання курсу з хмарних обчислень з лабораторними заняттями 6) Видано кілька учбових посібників з грід- технологій і розподілених систем 7) Активно підтримується сайт “Грід в технічному університеті  ( hppt://grid.kpi.ua) 8)  Отримана фінансова підтримка для розгортання спеціальності з боку НАНУ і Державної Програми з впровадження грід – технологій в Україні  в 2009-2013 роках .
Паралельні обчислення (  на бакалаврському   рівні) За основу для організації паралельних обчислень студентам пропонується ознайомитися з паралельним середовищем програмування  PVM  ( Паралельною Віртуальною Машиною ). При цьому використовуються вузли суперкомп'ютера НТУУ "КПИ", виділені під студентський кластер для проведення лабораторних робіт. Теми: Видалений доступ до сервера і робота з інтерпретатором SHELL BASH Установка програмного забезпечення PVM. Приклад простої програми під управлінням PVM  Основні функції програмування на PVM  Розробка паралельної програми математичного алгоритму  Знайомство с системою програмування  MPI
Видані посібники Навчальний посібник « Grid-технології в науці і освіті ».  (Політехніка. 2008) і монографія  « Застосування Grid- технології в науці і освіті»(  Політехніка, 2009), навчальний посібник “ Семантичний грід для науки і освіти ”  ( Політехніка,2010)  Підготовлена і видана монографія: В.С. Рогоза,   Г.В. Іщенко. “ Інтелектуальні платформи розподілених інформаційних середовищ ”. – Київ: НТУУ „КПІ”, 2009)
Навчальна грід- система
Склад обчислювальних ресурсів   віртуальних організацій
Практикум з грід- технологій Завдання на дослідження : 1. Введення в грід- технології 2.  Робота  на обчислювальному кластері з використанням локальної системи управління   PBS   3.  Отримання сертифіката користувача 4.  Проміжне програмне забезпечення грід -  ARC   5.  Проміжне програмне забезпечення грід -  gLite 6.  Інформаційна система і моніторинг  7.  Реєстрація і отримання користувачем доступу до грід- системи через  веб- сервіс
Практикум з хмарних обчислень Завдання на дослідження : 1.  Реєстрація та налаштування сервісу хмарних обчислень з допомогою  Google App Engine .  Підготовка середовища розробки  Java  або  Python  для розробки додатків у хмарному сервісі. Консоль Адміністрування. 2. Дослідження і практична робота з квотами хмарних обчислень. Конфігурація додатків у хмарних обчисленнях 3. Розробка коду програми для роботи у хмарному середовищі 4. Сервіси та збереження даних .  Сервіси аутентифікації
Базовий сайт спеціальності   http://grid.kpi.ua/
Освітньо - тренувальний центр БКЦ ▪  проводить заняття з підвищення кваліфікації системних адміністраторів грід - сайтів, дистанційного навчання користувачів грід; ▪  забезпечує виконання  спільної програми магістерської підготовки НАНУ- МОНМС  з підготовки наукових кадрів для академічних інститутів з грід- технологій; ▪  здійснює  навчально- методичну допомогу регіональним освітньо - тренувальним центрам  з підготовки і підтримки користувачів грід- систем. ▪  здійснює пошук талановитої молоді і її залучення до  грід – технологій шляхом проведення олімпіад, вебінарів, семінарів і виставок; ▪  координується  заступник директора БКЦ  з підготовки та навчання користувачів грід
Тренінги з грід- технологій Курси користувачів Призначені для усіх категорій користувачів. Більшість слухачів мають невеликий  обсяг знань щодо Грід та засобах, що використовуються в ньому. Тому основні задачі курсу: дати загальне уявлення про Грід познайомити зі структурою ППЗ gLite навчити основам роботи з ППЗ gLite  Курси адміністраторів Задачі курсу: дати уявлення про архітектуру ППЗ gLite, про роботу окремих його компонентів та їх взаємодії надати досвід інсталяції загальних компонентів gLite  в залежності від кваліфікації аудиторії та запасу часу, ознайомити із проблемами адміністрування Грід-систем
Матеріальна база проведення ▪  комп’ютерний клас на 8 робочих місць ▪  сервери для розміщення віртуальних Грід- вузлів ▪  електронні навчальні матеріали (лекції, презентації) інструкції для виконання практичних занять ▪  база знань з можливістю самостійного виконання слухачами курсів ▪  Навчальний центр сертифікації
Запитання?
Дякую за увагу !

Petrenko hpc day 2011 Kiev

  • 1.
    “ Master’s degreeeducational program “ Systems engineering for Grid Technology ” Проф.Петренко А.І. НТУУ «КПИ» ИПСА
  • 2.
    Завдання №6 ДержавноїПрограми з впровадження грід на 2009-2013 рр. 6. Підготовка кадрів для забезпечення роботи грід-середовища і застосування грід-технологій в науці, освіті та інших галузях: 6.1 Відкриття магістерської підготовки з напрямку «Грід-технології в науці, освіті та інших галузях », розпочаток перепідготовки у вищих навчальних закладах фахівців відповідного профілю. Розробка комплексу підручників і монографій з грід- обчислень і застосувань (6 лекційних курсів, посібників, програм) 6.2 Створення учбових грід- систем при базовому і регіональних координаційно-операційних грід-центрах , а також в НТУУ “ КПІ ” і провідних ( 9 дисплейних класів) 6.3 Впровадження системи дистанційного навчання і підвищення кваліфікації (4 методичних посібника),
  • 3.
    Нова спеціальність 8.05010103 “ С истемне проектування ” Системне проектування – це міждисциплінарна методологія побудови інтелектуальних середовищ, призначених для розв’язування задач дослідження складних об’єктів (систем, процесів) різної фізичної природи комп’ютерними засобами та за активною участю людей (експертів, аналітиків, інженерів, дослідників).   Фахівець з системного проектування займається вирішенням спектру питань, пов’язаних зі збиранням корисних для поставленої задачі даних, їх аналізом , побудовою методів та моделей обробки цих даних, виконанням обчислювальних операцій на комп ’ ютерах на підставі створюваних моделей та виробкою оптимальних проектних рішень , рекомендацій та обґрунтованих висновків щодо поставленої задачі.
  • 4.
    Об ’ єктдослідження Об’єктом дослідження в системному проектуванні є різноманітні об’єкти, які підпадають під категорію складних систем та процесів, скажімо, такі, як інформаційні середовища (наприклад, розподілені комп’ютерні системи, семантичні Web - та Grid - мережі, хмари), об’єкти наукових досліджень (наприклад, космічні або біологічні об’єкти), складні технічні системи (наприклад, інтегральні електронні схеми або гібридні вбудовані електронно-механічні системи), екологічні системи, технологічні або бізнес-процеси тощо. Таким чином, результати системного проектування в одних випадках можуть бути представлені у вигляді конкретних проектних технічних рішень , а в інших випадках у вигляді певних узагальнень, прогнозів або рекомендацій ,.
  • 5.
    Системний аналіз ісистемне проектування Системне проектування ,так само як і системний аналіз, спрямоване на дослідження складних систем та процесів , моделювання яких вимагає комплексного підходу з використанням математичних методів, комп’ютерних технологій, а також взаємодії людини-експерта (або аналітика чи в загальному розумінні дослідника) з комп'ютерними системами. На відміну від системного аналізу, головною метою якого є розв’язання проблем прийняття рішень на підставі математичних методів дослідження, головною метою системного проектування є використання комп’ютерних засобів для розв’язання задач , пов’язаних з розробкою проектних рішень або виконанням досліджень на великих обсягах даних.
  • 6.
    Обробка даних вумовах інформаційного “буму” " Як багато інформації є в світі?" В 2007 році 264 екзабайт ( екзабайт = 10 18 байт) ", а в 2010 році - майже 2 зетабайта (зетабайт = 10 21 байт). Сьогодні людство має змогу зберігати кілька оптимально стиснутих зетабайтів даних на різних пристроях і виконувати 7*10 19 операцій за секунду на обчислювальних пристроях різного типу.
  • 7.
    Тенденції розвитку ІТтехнологій Прогрес в інформаційних технологіях триває, збільшуючи темп в порівняльні з минулим 2. Зберігання і кешування петабайтних (10 15 б) наборів даних (якість і сумісність) 2. Дані про дані ( метадані ) 3. Доступ до середовища даних : (сховища, сервіси метаданих, реєстратори, інструментарій аналізу, онтології і т.п.), пошук і відкриття даних 5. Знання з даних (Інтелектуальний аналіз даних) 6. Мережа центрів наукових даних 7. Платформи визначаються даними 8. Створення компонентів програмного забезпечення вищого рівня у вигляді сервісів 9. Майбутнє ІТ технологій пов'язане з персональними хмарними обчисленнями 10. Розподілені обчислення змінюють скрізь взаємодію людей і об'єктів з цифровим світом, роблячи персональні пристрої домінуючим засобом інформаційного доступу.
  • 8.
    Користувач в сервісно-орієнтованом середовищі
  • 9.
    Вплив на ІТпрофесії IT середовище значно змінилося. Все більша і більша частина традиційного програмного забезпечення перемістилося в Веб (тепер в Хмари) або на внутрішні сервери і доступна зараз через звичайні браузери. Тобто сьогоднішнім користувачам не потрібна така всебічна допомога, якою вони раніше використовували . Так що залишається робити сьогоднішнім ІТ професіоналам? Де будуть IT робочі місця у майбутньому? Консультанти ( послуги таких компаній, як IBM, HP, Amazon AWS and Rackspace, що здають в оренду як сховища даних і обчислювальні ресурси, так і ІТ професіоналів, здатних допомогти в організації доступу до них, експлуатації і вирішенні конфліктних ситуацій.) Проектні менеджери ( також служитимуть контакторами компаній з постачальниками технологій і консультантами) Розробники ( зміщуються пріоритети в потребі ІТ спеціалістів від тих, хто встановлює і підтримують додатки, до тих, хто створює їх).
  • 10.
  • 11.
    Базові дисципліниспеціальності Дисципліна Обсяг Пошук і попередня підготовка даних 3.5 Комп’ютерні середовища високопродуктивних паралельних обчислень ( грід +_хмара) 3.5 Комп’ютерні методи інтелектуальної обробки даних і процесів 3.5 Функціональне та логічне програмування 2 .5 Знаходження знань в базах даних 3.0 Семантичні Веб- та Грід- сервіси 3.0 Системи з самоорганізацією 2.5 Системи підтримки прийняття рішень в системному проектуванні 3 . 0 Розпізнавання образів і комп’ютерний зір 3.0 Мультиагентні системи 2.5 Експертні системи на базі нечіткої логіки і нейронних мереж 3.0 Розпізнавання образів 3.5 Багатомодальний інтерфейс користувача 2 .5 Методи багатокритеріальної і мінімаксної оптимізаціії 2.5 Засоби моделювання розподілених систем обробки даних 3 ,0 Захист знань, накопичуваних в інформаційних системах 2 .0 Інформаційні технології для бізнесу 2.0
  • 12.
    Вибіркові дисципліниспеціальності За кордоном для аналогічних цілей недавно в ряді провідних вузів була введена нова магістерська спеціальність «Інженерія знань» ( Knowledge Engineering ). Інженерія знань займається основними проблемами створення інтелектуальних вирішувачів задач і є важливою складовою системного проектування . Дисципліна Географічні інформаційні системи Комп’ютерні ігри Вбудовані системи Біоінформатика Проектний менеджмент Мобільні системи
  • 13.
    Напрацювання з спеціальності1) Цього року здійснений прийом на 1-й курс (21 чол.) і на 5-й курс ( 8 чол.), а також 26 чол. На другу освіту. 2) Складений і затверджений НАВЧАЛЬНИЙ ПЛАН 3) Створена з зарубіжними партнерами і використовується навчальна грід- система 4) Створений Практикум з грід- технологій 5) Почато читання курсу з хмарних обчислень з лабораторними заняттями 6) Видано кілька учбових посібників з грід- технологій і розподілених систем 7) Активно підтримується сайт “ Грід в технічному університеті “ ( hppt://grid.kpi.ua) 8) Отримана фінансова підтримка для розгортання спеціальності з боку НАНУ і Державної Програми з впровадження грід – технологій в Україні в 2009-2013 роках .
  • 14.
    Навчальний план спеціальності1) Цього року здійснений прийом на 1-й курс (21 чол.) і на 5-й курс ( 8 чол.) 2) Складений і затверджений НАВЧАЛЬНИЙ ПЛАН 3) Створена з зарубіжними партнерами і використовується навчальна грід- система 4) Створений Практикум з грід- технологій 5) Почато читання курсу з хмарних обчислень з лабораторними заняттями 6) Видано кілька учбових посібників з грід- технологій і розподілених систем 7) Активно підтримується сайт “Грід в технічному університеті ( hppt://grid.kpi.ua) 8) Отримана фінансова підтримка для розгортання спеціальності з боку НАНУ і Державної Програми з впровадження грід – технологій в Україні в 2009-2013 роках .
  • 15.
    Паралельні обчислення ( на бакалаврському рівні) За основу для організації паралельних обчислень студентам пропонується ознайомитися з паралельним середовищем програмування PVM ( Паралельною Віртуальною Машиною ). При цьому використовуються вузли суперкомп'ютера НТУУ "КПИ", виділені під студентський кластер для проведення лабораторних робіт. Теми: Видалений доступ до сервера і робота з інтерпретатором SHELL BASH Установка програмного забезпечення PVM. Приклад простої програми під управлінням PVM Основні функції програмування на PVM Розробка паралельної програми математичного алгоритму Знайомство с системою програмування MPI
  • 16.
    Видані посібники Навчальнийпосібник « Grid-технології в науці і освіті ». (Політехніка. 2008) і монографія « Застосування Grid- технології в науці і освіті»( Політехніка, 2009), навчальний посібник “ Семантичний грід для науки і освіти ” ( Політехніка,2010) Підготовлена і видана монографія: В.С. Рогоза, Г.В. Іщенко. “ Інтелектуальні платформи розподілених інформаційних середовищ ”. – Київ: НТУУ „КПІ”, 2009)
  • 17.
  • 18.
    Склад обчислювальних ресурсів віртуальних організацій
  • 19.
    Практикум з грід-технологій Завдання на дослідження : 1. Введення в грід- технології 2. Робота на обчислювальному кластері з використанням локальної системи управління PBS 3. Отримання сертифіката користувача 4. Проміжне програмне забезпечення грід - ARC 5. Проміжне програмне забезпечення грід - gLite 6. Інформаційна система і моніторинг 7. Реєстрація і отримання користувачем доступу до грід- системи через веб- сервіс
  • 20.
    Практикум з хмарнихобчислень Завдання на дослідження : 1. Реєстрація та налаштування сервісу хмарних обчислень з допомогою Google App Engine . Підготовка середовища розробки Java або Python для розробки додатків у хмарному сервісі. Консоль Адміністрування. 2. Дослідження і практична робота з квотами хмарних обчислень. Конфігурація додатків у хмарних обчисленнях 3. Розробка коду програми для роботи у хмарному середовищі 4. Сервіси та збереження даних . Сервіси аутентифікації
  • 21.
  • 22.
    Освітньо - тренувальнийцентр БКЦ ▪ проводить заняття з підвищення кваліфікації системних адміністраторів грід - сайтів, дистанційного навчання користувачів грід; ▪ забезпечує виконання спільної програми магістерської підготовки НАНУ- МОНМС з підготовки наукових кадрів для академічних інститутів з грід- технологій; ▪ здійснює навчально- методичну допомогу регіональним освітньо - тренувальним центрам з підготовки і підтримки користувачів грід- систем. ▪ здійснює пошук талановитої молоді і її залучення до грід – технологій шляхом проведення олімпіад, вебінарів, семінарів і виставок; ▪ координується заступник директора БКЦ з підготовки та навчання користувачів грід
  • 23.
    Тренінги з грід-технологій Курси користувачів Призначені для усіх категорій користувачів. Більшість слухачів мають невеликий обсяг знань щодо Грід та засобах, що використовуються в ньому. Тому основні задачі курсу: дати загальне уявлення про Грід познайомити зі структурою ППЗ gLite навчити основам роботи з ППЗ gLite Курси адміністраторів Задачі курсу: дати уявлення про архітектуру ППЗ gLite, про роботу окремих його компонентів та їх взаємодії надати досвід інсталяції загальних компонентів gLite в залежності від кваліфікації аудиторії та запасу часу, ознайомити із проблемами адміністрування Грід-систем
  • 24.
    Матеріальна база проведення▪ комп’ютерний клас на 8 робочих місць ▪ сервери для розміщення віртуальних Грід- вузлів ▪ електронні навчальні матеріали (лекції, презентації) інструкції для виконання практичних занять ▪ база знань з можливістю самостійного виконання слухачами курсів ▪ Навчальний центр сертифікації
  • 25.
  • 26.