Владимир Юнев, Technical evangelist, DPE, Microsoft Выступление на hpc4.itmozg.ru (25 апреля 2013, Санкт-Петербург)

1. для высоконагруженных
проектов
Владимир Юнев
Microsoft
Облачная платформа
Windows Azure

3. вычислительные сервисы сервисы данных сетевые сервисы
virtual machines web sites cloud services connect virtual network traffic manager
...
Датацентры:
2 в Европе, 2 в Азии, 4 в Северной Америке + 24 узла сети CDN
...
...
...
Автоматизировано
Управляемые ресурсы
Гибко
Основано на потреблении
mobile
...
SQL database tables blob storage
...
...
...
HDInsight
сервисы
приложений

4. Насколько
«Big Data»
биг сегодня?

5. CERN
1 PETABYTEданных в секунду получает Большой адронный коллайдер

7. 0
1000
2000
3000
4000
5000
6000
7000
8000
9000
2005 2008 2015

9. Big «Big Data»
Интернет видео – 18 Экзабайт в месяц
Мобильный трафик – 2 Экзабайта в месяц
В 2011 году Фейсбук перенес 11 Петабайт
данных в свой Hadoop кластер
Пользователи Twitter создают
более 1 терабайта сообщений в день
Cisco предполагает что к 2013 интернет
трафик достигнет величины 667 экзабайт
(в год), а к 2015 – превысит 1 Зеттабайт

10. Big
unstructured
data
*byGartner

11. Microsoft
и Big Data
4 триллиона
объектов в
Windows Azure
Bing скачивает
7 петабайт
данных в месяц

12. Microsoft
и Big Data
500 миллионов активных
аккаунтов Microsoft Account
460 миллионов уникальных
пользователей MSN в месяц
355 миллионов пользователей почты Hotmail
5.5+ миллиардов запросов к Bing в месяц
40 миллионов активных пользователей Xbox Live
14 миллиардов показов рекламы
Microsoft Advertising в месяц
2-4 миллиарда писем в Office 365 ежедневно

13. Hadoop напрокат

14. Microsoft
HDInsight
HDInsight на сервере и в облаке
100% opensource-реализация
платформы Apache Hadoop
знакомые инструменты
для работы с данными (Excel, BI)
HDFS, MapReduce, Pig, Hive, Zookeeper, Mahout, …
интеграция с SQL Server, обмен данными
быстрое развертывание
инструменты управления
Apache Ambari+System Center
интеграция и безопасность с Active Directory
доступ к сервису по требованию
в облаке Windows Azure

15. Windows Azure
HDInsight
Кластер
по запросу
Кластер
по запросу

16. Кластер
Hadoop
по запросу

17. Суперкомпьютеры
по запросу

19. масштабное распараллеливание
и оплата по факту использования

24. LINPACK
TOP500

25. Как транслировать
Олимпиаду?

27. Windows Azure Media Services
Кодирование

28. Кодировщики
Потоки
вещания
Канал
Сервис
хранения
исходных
медиа-
данных
для VOD
Blob
Storage
Сервис
транскодинга
YouTube-
синдикация
Akamai
CDN
Плееры
клиентовСервис
админ-я
Deltatre
CMS
Датацентр
Windows Azure
(1из 4)

29. Потребление
2 VM
Origin
3 VM
ARR
4 VM
Балансировщик
нагрузки Windows Azure
Балансировщик
нагрузки Windows Azure

30. Blob
Reader
ARR
Балансировщик
нагрузки
Windows Azure
Blob
Storage

33. Как помочь
миллионам
избирателей

34. • https://votinginfoproject.org/
• неформатированный поиск по адресу, формат гос. данных
• маршрут ко всем определенным для своего
адреса избирательным пунктам
• время голосования
и информация о кандидатах
• требуемые в данном штате документы
• контакты администрации и работников
• 50 языков приложения, в том числе
гаитянский, креольский, тагальский,
хинди и хмонг

35. • Трафик ~20 Гб за день с каждого из 50 штатов
• 1.5 миллиона пользователей за день
• 6 млн API-запросов за день
от пользователи из 50 штатов
• 100% uptime
• 0 сбоев
• без снижения скорости

36. • платформа — Microsoft Windows Azure
• 4 региона (дата-центра):
East, West, South, NorthEastern
• Облачные ресурсы: 90 ядер и 126 баз данных
• веб-протокол — Odata
• реализация UI — на knockout и ASP.NET MVC
• решение по масштабированию API — APIPhany
• $0 вложений в инфраструктуру, 1 день работы
• все ресурсы по запросу, оплата за потребление

37. Более 10 лет на рынке ИТ-услуг
Два базовых офиса – Новосибирск и Вашингтон
Более 100 сотрудников (в России и США)
Windows Phone, iOS, Android, Windows 8
Собственная дизайн студия
Четыре ключевых направления:
Microsoft, Java, BI, Mobile, MicroStrategy

38. Как спастись от фанатов
Гарри Поттера

40. Архитектура Pottermore

41. запуск

42. Как обеспечить
новостями весь мир

45. Система поставкиFront-End
Интернет-роботRESTful API
КЭШ Очередь
Платформа семантической
обработки данных
Архитектура системы

46. RESTful API
Устройства
WCF: HTTP(S) + JSON
CDN
Traffic Manager
North US South US EU
Связь с миром -· · ·-- ··· ···-- -···· -----

49. Основана в июле 2010 г.
31 человек в 2 офисах
1 650 000 скачиваний
400 000 активных пользователей

50. Вместо заключения

52. vyunev@microsoft.com
http://microsoft.com/bigdata
https://facebook.com/groups/azurerus/
http://wazurr.ru
WindowsAzure.com AzureHub.ru