• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
 

«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин

on

  • 8,848 views

 

Statistics

Views

Total Views
8,848
Views on SlideShare
352
Embed Views
8,496

Actions

Likes
1
Downloads
13
Comments
0

11 Embeds 8,496

http://habrahabr.ru 7212
http://m.habrahabr.ru 1073
http://tech.yandex.ru 113
https://tech.yandex.ru 67
http://feedly.com 14
http://savepearlharbor.com 11
http://devl547.noip.me 2
http://www.pvsm.ru 1
http://nbqwe4tbnbqwe4rooj2q.biglu.ru 1
http://feeds.feedburner.com 1
http://rssnake.syslair.ru 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин Presentation Transcript

    • Андрей Устюжанин Обработка данных физики высоких энергий 2 июля 2014
    • Из чего сделана наша вселенная? Универсальные законы? Как их проверить? Что такое антиматерия? темная материя? Переход от микро-мира
 к макро-миру? 2 Вопросы «на миллион»
    • Экспериментальная наука вчера 3
    • Эксперименты сегодня 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • Модели вычислений
    • Skynet
    • Использование ресурсов GRID
    • «Узкие» места GRID Сложность настройки Фиксированные настройки окружения Долгое масштабирование Опалата времени работы, а не фактических вычислений 18
    • Облачные технологии Предоставление вычислительной инфраструктуры как сервиса Виртуализация аппаратных ресурсов Динамическое выделение ресурсов под конкретные нужды Оплата только за фактическое использование Широка поддержка open-source & commercial (Amazon EC2, Rackspace OpenStack, T-Systems, Helix Nebula, …) 19
    • Облачные технологии 20 Applica'ons+Run+Na'vely+in#Hadoop+ HDFS2+(Redundant,*Reliable*Storage)* YARN+(Cluster*Resource*Management)*** BATCH+ (MapReduce)+ INTERACTIVE+ (Tez)+ STREAMING+ (Storm,+S4,…)+ GRAPH+ (Giraph)+ INLMEMORY+ (Spark)+ HPC+MPI+ (OpenMPI)+ ONLINE+ (HBase)+ OTHER+ (Search)+ (Weave…)+ …
    • YARN 21
    • Docker 22
    • Пример Panda & ATLAS (http://bit.ly/UtlQxM) 23
    • Примеры задач Симуляция событий (MC) Поиск реальных и MC-событий Онлайн анализ Офлайн анализ Сохранение данных (интерфейс доступа) Сохранение кода и структуры анализа 24
    • Анализ данных
    • Индикаторы сложности ‘Каким способом я сгененировал график 13?’ ‘Новый студент хочет воспользоваться моделью, опубликованной мной 3 года назад, но я не могу воспроизвести ни одного графика’ ‘Я думал, что использую те же параметры, но у меня получаются другие результаты!?I’ ‘Где взять события, отобранные предыдущей версией моих скриптов?’ ‘Оно работало еще вчера!’ ‘Зачем я это сделал?’ 26
    • Источники сложности Физика Работа с данными Стратегия анализа (http://bit.ly/SqDDE4) Шаги анализа Командное взаимодействие 27
    • Экосистема для экспериментов Программная среда для поддержки экосистемы совместной исследовательской работы над общими задачами, позволяющая: выполнять численные эксперименты над большими объемами данных получать воспроизводимые результаты, использовать единообразные критерии качества. 28
    • ROOT PyROOT Plotly, D3s Matplotlib SciKit-Learn EF Python Wrapper ! ! ! ! ! EF0 29 MN …
    • Основные компоненты 30
    • Текст перед кодом: self.rsp.removeHeader("Transfer-Encoding"); Заголовок (не длинней одной строки) 31
    • Школа Анализа Данных
    • 33 Студенты ШАД Физика 25% ! ! ! Математика 70% Инженерные 5%
    • 34 Алгоритмы и структуры данных Машинное обучение Теория вероятности, статистика Машинный перевод Обработка изображений Основные курсы
    • Школа Анализа Данных Яндекса 35 ! Кафедра в ведущих ВУЗах (МФТИ, МГУ, ВШЭ, …) Факультет компьютерных наук в ВШЭ Аспирантура в МФТИ, ВШЭ, Публикации в ведущих изданиях Стажировка студентов из европейских ВУЗов Исследовательские работы
    • 36 10 9 cuts N M + I II ?Bs ! µ+ µ Bs ! 4µ ⌧ ! 3µ B ! K⇤ µ+ µ · · · Сравнение гипотез
    • Равномерность эффективности 37 ROC: Равномерность:
    • Заключение Наши сервисы могут быть востребованы в SHIP – event index – event filter Задачи SHIP - новое направление исследований – модель распределенных вычислений У нас есть технологии, для развития этого направления Это интересно ШАДу, а Вам? 38