Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Сервисы Azure для научных исследований

117 views

Published on

Сервисы Azure для научных исследований, HPC, Machine Learning, etc.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Сервисы Azure для научных исследований

  1. 1. Эксперт по стратегическим технологиям, Cloud/Open Source/HPC albe@microsoft.com @ahriman_ru
  2. 2. Введение в проблематику Big Compute/HPC Сервисы и продукты Машинное обучение и аналитика
  3. 3.  Embarrasingly Parallel  Parametric Sweep  Batch  И еще много других названий, суть которых, в принципе, одна  Purely parallel  Message Passing Interface
  4. 4. • HPC Pack Burst в Azure
  5. 5. Что такое HPC Pack  Бесплатное дополнение к Windows Server для создание HPC-кластера  HPC Pack:  Планировщик задач и ресурсов  Распределенная среда выполнения: Sweep, MPI, SOA, Excel UDT  Cluster Manager  API  Поддержка разных языков через парадигму SOA  Поддержка параллельных алгоритмов через MPI (напр., mpi4py)
  6. 6. • HPC Pack Burst в Azure
  7. 7. A-series • 1-16 cores • 0.75-112GB RAM • 20-605 GB HDD • Up to InfiniBand 40Gbit/s RDMA network (MPI) D-series • 1-16 cores • 3.5-112 GB RAM • Up to 800GB SSD G-series • 32 cores • 468 GB RAM • 6.5 TB SSD
  8. 8. HPC: • CPU: 2x8 core processors per node, Sandybridge E-2670 at 2.6 GHz • High Memory: 128 GB, 1600MHz DDR3 • Fast Interconnect: QDR InfiniBand for intra deployment traffic, 10gigE for standard Azure traffic and internet access • : 2 TB per node • Available in 8 core/56 GB and 16 core/112 GB instances • RDMA for Linux and Windows Bare Metal Equivalent Performance • ~2.5-3.1 microsecond latency • >3GB/sec non blocking • 90% efficiency on Linpack • Example: linear scaling on NAMD
  9. 9. Size/Component N1 N2 N10 N11 N12 N21 CPU Cores (E5-2690v3) 6 24 6 12 24 24 RAM 64 GB 256 GB 64 GB 128 GB 256 GB 256 GB SSD ~0.5 TB ~2.0 TB ~0.5 TB ~1.0 TB ~2.0 TB ~2.0 TB Network Azure Network Azure Network Azure Network Azure Network Azure Network Azure Network + Dedicated RDMA Backend GPU Resources 1 x M60 GPU (1/2 Physical Card) 4 x M60 GPU (2 Physical Cards) 1 x K80 GPU (1/2 Physical Card) 2 x K80 GPUs (1 Physical Card) 4 x K80 GPUs (2 Physical Cards) 4 x K80 GPUs (2 Physical Cards)
  10. 10. • HPC Pack Burst в Azure
  11. 11. Облако даёт большие возможности по масштабированию Снимает множество задач, но в некоторых сценариях требует переосмысления 1 2
  12. 12. Технологический евангелист, Cloud/Open Source albe@microsoft.com @ahriman_ru
  13. 13. Причина -05k 05k 15k 25k 35k 0 50 100 150 2011/02/01 2011/02/02 2011/02/03 2011/02/04 2011/02/05 2011/02/06 2011/02/07 EnergyPointsEarned TimeSpent(Minutes) Student Detailed View Exercise Minutes Video Minutes Energy Points Student Lesson 1 Lesson 2 Lesson 3 Lesson 4 Lesson 5 Lesson 6 Cindy Ravi David Zach Bill Dylan Student Status Azure ML Классификация Данные о студентах Предсказания 0 2 4 6 Category 1 Category 2 Category 3 Category 4 Customer All Customers Определе ние лучших учителей и т.д. Оценка знаний Предсказание Отслеживание
  14. 14. Студенты под рискомРезюме по студенту Отслеживание результатов Предсказание вероятности Агрегирование и действия Student Hours in class Comments online Logons Dylan 0 15 3 David 6 Bill 10 70 5 Cindy 12 4 6 Zach 6 3 8 Online Classroom Social media Databases User interface 0 20 40 60 80 100 1 1.5 2 2.5 3 3.5 4 Performance At-Risk Score (5) Risk Level Intervention Recommended 4.2 High Risk Yes 0% 2% 4% 6% 8% 10% Class School District Low Risk Medium Risk High Risk Average
  15. 15. Запуск Bing maps Как лучше добраться? Создание Microsoft Research Запуск Kinect Распознавание «смысла» движения Azure Machine Learning Что будет дальше? Запуск Hotmail Спам или нет? Запуск Bing search Какой результат самый релевантный? Запуск Skype Translator Что говорит пользователь? Microsoft & Machine Learning 1991 201420091997 201520102008 Machine learning проходит через все продукты Microsoft.
  16. 16. APIML STUDIO
  17. 17. Скоринг Action True Positive  True Negative  False Positive  False Negative  
  18. 18. Предсказание будущих негативных событий Предсказание энергопотребления в Нью-Йорке Microsoft Azure Machine Learning в действии:
  19. 19. Social network analysis Weather forecasting Healthcare outcomes Predictive maintenance Targeted advertising Natural resource exploration Fraud detection Telemetry data analysis Buyer propensity models Churn analysis Life sciences research Web app optimization Network intrusion detection Smart meter monitoring
  20. 20. «Определение возраста и эмоций» -как-сервис Microsoft Azure Machine Learning в действии:
  21. 21. Планка для использования решений ИИ сейчас на удивление низкая 1 2 Машинное обучение прекрасно работает в облаке, которое позволяет значительно повысить сложность решаемых проблем 3
  22. 22. Эксперт по стратегическим технологиям, Cloud/Open Source/HPC albe@microsoft.com @ahriman_ru
  23. 23. © 2016 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

×