Successfully reported this slideshow.
Андрей Устюжанин
Обработка данных
физики высоких
энергий
2 июля 2014
Из чего сделана наша
вселенная?
Универсальные законы?
Как их проверить?
Что такое антиматерия?
темная материя?
Переход от ...
Экспериментальная наука вчера
3
Эксперименты сегодня
4
5
6
7
8
9
10
Модели вычислений
Skynet
Использование ресурсов GRID
«Узкие» места GRID
Сложность настройки
Фиксированные настройки окружения
Долгое масштабирование
Опалата времени работы, а ...
Облачные технологии
Предоставление вычислительной инфраструктуры как
сервиса
Виртуализация аппаратных ресурсов
Динамическо...
Облачные технологии
20
Applica'ons+Run+Na'vely+in#Hadoop+
HDFS2+(Redundant,*Reliable*Storage)*
YARN+(Cluster*Resource*Mana...
YARN
21
Docker
22
Пример Panda & ATLAS (http://bit.ly/UtlQxM)
23
Примеры задач
Симуляция событий (MC)
Поиск реальных и MC-событий
Онлайн анализ
Офлайн анализ
Сохранение данных (интерфейс ...
Анализ данных
Индикаторы сложности
‘Каким способом я сгененировал график 13?’
‘Новый студент хочет воспользоваться моделью,
опубликованн...
Источники сложности
Физика
Работа с данными
Стратегия анализа (http://bit.ly/SqDDE4)
Шаги анализа
Командное взаимодействие...
Экосистема для экспериментов
Программная среда для поддержки экосистемы
совместной исследовательской работы над общими
зад...
ROOT	

PyROOT
Plotly,	

D3s
Matplotlib	

SciKit-Learn
	

EF Python	

Wrapper	

!
!
!
!
!
EF0
29
MN
…
Основные компоненты
30
Текст перед кодом:
self.rsp.removeHeader("Transfer-Encoding");
Заголовок (не длинней одной строки)
31
Школа Анализа Данных
33
Студенты ШАД
Физика 25%
!
!
!
Математика
70%
Инженерные 5%
34
Алгоритмы и структуры данных
Машинное обучение
Теория вероятности, статистика
Машинный перевод
Обработка изображений
Ос...
Школа Анализа Данных Яндекса
35
!
Кафедра в ведущих ВУЗах (МФТИ, МГУ, ВШЭ, …)
Факультет компьютерных наук в ВШЭ
Аспирантур...
36
10
9
cuts
N
M
+
I
II
?Bs ! µ+
µ
Bs ! 4µ
⌧ ! 3µ
B ! K⇤
µ+
µ
· · ·
Сравнение гипотез
Равномерность эффективности
37
ROC:
Равномерность:
Заключение
Наши сервисы могут быть востребованы в SHIP
– event index
– event filter
Задачи SHIP - новое направление исследо...
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
Upcoming SlideShare
Loading in …5
×

«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин

15,865 views

Published on

Published in: Technology
  • Be the first to comment

«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин

  1. 1. Андрей Устюжанин Обработка данных физики высоких энергий 2 июля 2014
  2. 2. Из чего сделана наша вселенная? Универсальные законы? Как их проверить? Что такое антиматерия? темная материя? Переход от микро-мира
 к макро-миру? 2 Вопросы «на миллион»
  3. 3. Экспериментальная наука вчера 3
  4. 4. Эксперименты сегодня 4
  5. 5. 5
  6. 6. 6
  7. 7. 7
  8. 8. 8
  9. 9. 9
  10. 10. 10
  11. 11. Модели вычислений
  12. 12. Skynet
  13. 13. Использование ресурсов GRID
  14. 14. «Узкие» места GRID Сложность настройки Фиксированные настройки окружения Долгое масштабирование Опалата времени работы, а не фактических вычислений 18
  15. 15. Облачные технологии Предоставление вычислительной инфраструктуры как сервиса Виртуализация аппаратных ресурсов Динамическое выделение ресурсов под конкретные нужды Оплата только за фактическое использование Широка поддержка open-source & commercial (Amazon EC2, Rackspace OpenStack, T-Systems, Helix Nebula, …) 19
  16. 16. Облачные технологии 20 Applica'ons+Run+Na'vely+in#Hadoop+ HDFS2+(Redundant,*Reliable*Storage)* YARN+(Cluster*Resource*Management)*** BATCH+ (MapReduce)+ INTERACTIVE+ (Tez)+ STREAMING+ (Storm,+S4,…)+ GRAPH+ (Giraph)+ INLMEMORY+ (Spark)+ HPC+MPI+ (OpenMPI)+ ONLINE+ (HBase)+ OTHER+ (Search)+ (Weave…)+ …
  17. 17. YARN 21
  18. 18. Docker 22
  19. 19. Пример Panda & ATLAS (http://bit.ly/UtlQxM) 23
  20. 20. Примеры задач Симуляция событий (MC) Поиск реальных и MC-событий Онлайн анализ Офлайн анализ Сохранение данных (интерфейс доступа) Сохранение кода и структуры анализа 24
  21. 21. Анализ данных
  22. 22. Индикаторы сложности ‘Каким способом я сгененировал график 13?’ ‘Новый студент хочет воспользоваться моделью, опубликованной мной 3 года назад, но я не могу воспроизвести ни одного графика’ ‘Я думал, что использую те же параметры, но у меня получаются другие результаты!?I’ ‘Где взять события, отобранные предыдущей версией моих скриптов?’ ‘Оно работало еще вчера!’ ‘Зачем я это сделал?’ 26
  23. 23. Источники сложности Физика Работа с данными Стратегия анализа (http://bit.ly/SqDDE4) Шаги анализа Командное взаимодействие 27
  24. 24. Экосистема для экспериментов Программная среда для поддержки экосистемы совместной исследовательской работы над общими задачами, позволяющая: выполнять численные эксперименты над большими объемами данных получать воспроизводимые результаты, использовать единообразные критерии качества. 28
  25. 25. ROOT PyROOT Plotly, D3s Matplotlib SciKit-Learn EF Python Wrapper ! ! ! ! ! EF0 29 MN …
  26. 26. Основные компоненты 30
  27. 27. Текст перед кодом: self.rsp.removeHeader("Transfer-Encoding"); Заголовок (не длинней одной строки) 31
  28. 28. Школа Анализа Данных
  29. 29. 33 Студенты ШАД Физика 25% ! ! ! Математика 70% Инженерные 5%
  30. 30. 34 Алгоритмы и структуры данных Машинное обучение Теория вероятности, статистика Машинный перевод Обработка изображений Основные курсы
  31. 31. Школа Анализа Данных Яндекса 35 ! Кафедра в ведущих ВУЗах (МФТИ, МГУ, ВШЭ, …) Факультет компьютерных наук в ВШЭ Аспирантура в МФТИ, ВШЭ, Публикации в ведущих изданиях Стажировка студентов из европейских ВУЗов Исследовательские работы
  32. 32. 36 10 9 cuts N M + I II ?Bs ! µ+ µ Bs ! 4µ ⌧ ! 3µ B ! K⇤ µ+ µ · · · Сравнение гипотез
  33. 33. Равномерность эффективности 37 ROC: Равномерность:
  34. 34. Заключение Наши сервисы могут быть востребованы в SHIP – event index – event filter Задачи SHIP - новое направление исследований – модель распределенных вычислений У нас есть технологии, для развития этого направления Это интересно ШАДу, а Вам? 38

×