Your SlideShare is downloading. ×
0
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

«Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин

245

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
245
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
4
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  1. Андрей Устюжанин Обработка данных физики высоких энергий 2 июля 2014
  2. Из чего сделана наша вселенная? Универсальные законы? Как их проверить? Что такое антиматерия? темная материя? Переход от микро-мира
 к макро-миру? 2 Вопросы «на миллион»
  3. Экспериментальная наука вчера 3
  4. Эксперименты сегодня 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10
  11. Модели вычислений
  12. Skynet
  13. Использование ресурсов GRID
  14. «Узкие» места GRID Сложность настройки Фиксированные настройки окружения Долгое масштабирование Опалата времени работы, а не фактических вычислений 18
  15. Облачные технологии Предоставление вычислительной инфраструктуры как сервиса Виртуализация аппаратных ресурсов Динамическое выделение ресурсов под конкретные нужды Оплата только за фактическое использование Широка поддержка open-source & commercial (Amazon EC2, Rackspace OpenStack, T-Systems, Helix Nebula, …) 19
  16. Облачные технологии 20 Applica'ons+Run+Na'vely+in#Hadoop+ HDFS2+(Redundant,*Reliable*Storage)* YARN+(Cluster*Resource*Management)*** BATCH+ (MapReduce)+ INTERACTIVE+ (Tez)+ STREAMING+ (Storm,+S4,…)+ GRAPH+ (Giraph)+ INLMEMORY+ (Spark)+ HPC+MPI+ (OpenMPI)+ ONLINE+ (HBase)+ OTHER+ (Search)+ (Weave…)+ …
  17. YARN 21
  18. Docker 22
  19. Пример Panda & ATLAS (http://bit.ly/UtlQxM) 23
  20. Примеры задач Симуляция событий (MC) Поиск реальных и MC-событий Онлайн анализ Офлайн анализ Сохранение данных (интерфейс доступа) Сохранение кода и структуры анализа 24
  21. Анализ данных
  22. Индикаторы сложности ‘Каким способом я сгененировал график 13?’ ‘Новый студент хочет воспользоваться моделью, опубликованной мной 3 года назад, но я не могу воспроизвести ни одного графика’ ‘Я думал, что использую те же параметры, но у меня получаются другие результаты!?I’ ‘Где взять события, отобранные предыдущей версией моих скриптов?’ ‘Оно работало еще вчера!’ ‘Зачем я это сделал?’ 26
  23. Источники сложности Физика Работа с данными Стратегия анализа (http://bit.ly/SqDDE4) Шаги анализа Командное взаимодействие 27
  24. Экосистема для экспериментов Программная среда для поддержки экосистемы совместной исследовательской работы над общими задачами, позволяющая: выполнять численные эксперименты над большими объемами данных получать воспроизводимые результаты, использовать единообразные критерии качества. 28
  25. ROOT PyROOT Plotly, D3s Matplotlib SciKit-Learn EF Python Wrapper ! ! ! ! ! EF0 29 MN …
  26. Основные компоненты 30
  27. Текст перед кодом: self.rsp.removeHeader("Transfer-Encoding"); Заголовок (не длинней одной строки) 31
  28. Школа Анализа Данных
  29. 33 Студенты ШАД Физика 25% ! ! ! Математика 70% Инженерные 5%
  30. 34 Алгоритмы и структуры данных Машинное обучение Дискретная математика Теория вероятности, статистика Обработка текстов на естественных языках Теория графов Основные курсы
  31. Школа Анализа Данных Яндекса 35 ! Кафедра в ведущих ВУЗах (МФТИ, МГУ, ВШЭ, …) Факультет теоретической информатики ВШЭ Аспирантура в МФТИ, ВШЭ, Публикации в ведущих изданиях Стажировка студентов из европейских ВУЗов Исследовательские работы
  32. 36 10 9 cuts N M + I II ?Bs ! µ+ µ Bs ! 4µ ⌧ ! 3µ B ! K⇤ µ+ µ · · · Сравнение гипотез
  33. Равномерность эффективности 37 ROC: Равномерность:
  34. Заключение Наши сервисы могут быть востребованы в SHIP – event index – event filter Задачи SHIP - новое направление исследований – модель распределенных вычислений У нас есть технологии, для развития этого направления Это интересно ШАДу, а Вам? 38

×