SlideShare a Scribd company logo
1 of 26
BigData Dive : Minsk 19 September 2012




Windows Azure – облачные
сервисы для больших данных

Alexey Bokov
Эксперт по облачной платформе Windows Azure
   abokov@microsoft.com
   abokov
Windows Azure - инфраструктура
                   East US            North Europe-Dublin        East Asia
West US




                   North Central US          West Europe
South Central US                             - Amsterdam

                                                     South
                                                     East Asia
Windows Azure - инфраструктура




              Подробнее о датацентрах
              Microsoft: ou.gs/wadc
Windows Azure – немного цифр
                   Облачное хранилище:
                   •  сейчас вмещает более
                      4 триллионов объектов
                      в облачном хранилище
                   •  270 000 обращений в
                      среднем
                   •  Пиковая нагрузка - 860
                      000 обращений
Powered by Windows Azure: сделано в России

 Веб платформа для
 спортивных команд            Пряники – сервис для        Сервис для удаленного
                              нематериальной                                        Wizee Шопинг – мобильный
                                                          управления IT ресурсами   гид по торговым центрам
                              мотивации персонала



                                                             Облачный сервис по
 Всероссийская школьная                                                             Облачный сервис для
                                                             извлечению данных
 образовательная сеть         Инструмент для выбора                                 организации и
                              надежного партнера по                                 проведения онлайн
                              разработке веб-сайтов                                 мероприятий



Сервис для путешественников                           Управление процессом
                                                      подбора персонала

                 Онлайн трансляции представлений
                                                                                    Трансляция премии
                                                                                    “Золотой граммофон” онлайн
Powered by Windows Azure: сделано в России

                                                                                Инструмент
Платформа создания       Сервис создания и      Облачный сервис для              поиска по
бизнес-приложений      обработки диаграмм       дистрибуции авторского          социальным
                                                контента                           медиа


    ERP в облаке
                            Портал для малого      Сервис создания       Новостной сервис на всех
                                      бизнеса      динамического               платформах
                                                   видео


                                                                              Социальная сеть
                                                    Видео-
                         Электронный                                          интересных мест
                                                    трансляции
Универсальный            документооборот
SaaS для малого
бизнеса

                                                   Облачный хостинг блогов
Powered by Windows Azure: сделано в России

Система управления и
контроль внутренних          Мониторинг и аналитика               Рейтинг блогосферы
процессов                    брендов




                             Обмен информацией о
Википедия бизнес-контактов   продуктах и технологиях
                                                                  Cистема мониторинга
                                                                  упоминаний в социальных
                                                                  медиа


                                        Тегирование изображений
Сервис для поиска работы
• Volume - Объем данных, при этом неструктурированные данные могут составлять 70-85% всех данных и
  их доля в общем объеме данных продолдает расти.
• Velocity - Скорость обработки данных.
• Variety - Вариативность данных , неструктурированные данные разных типов ( текст, цифровое медиа,
  данные с датчиков ) являются преобладающими
• Variability - Диапазон возможной интерпретации данных. Различные цели анализа данных требуют
  разных подходов к анализу данных.
- Интернет видео – 18 Экзабайт в месяц
- Мобильный трафик – 2 Экзабайта в месяц
- В 2011 году Фейсбук перенес 11 Петабайт данных в
  свой Hadoop кластер
- Источники данных – сенсоры, краулеры, устройства
  оцифровки данных, ERM, CRM системы...
Windows Azure Hadoop

   Демонстрация
- Платформа на базе JVM – IMDG и вычислительные
  гриды для BigData
- Примеры внедрений в облаке – более 500 узлов,
  тестировались кластеры > 2000 узлов
- On-premise внедрение – грид из 1500 узлов.
Демо
Полезные ресурсы
• Портал о технологиях Windows Azure: azurehub.ru

• Группа разработчиков Windows Azure: ou.gs/user

• Сообщество по безопасности IT Security: ou.gs/itsec

• Портал Hadoop: hadooponazure.com

• Блог Windows Azure: ou.gs/msdn

• Наш твиттер: @windowsazure_ru

• Контактный email: azurerus@microsoft.com
abokov@microsoft.com
© 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.
The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the
         part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

More Related Content

What's hot

Microsoft Karpman
Microsoft KarpmanMicrosoft Karpman
Microsoft Karpmansouthmos
 
Архитектура и технологии Pryaniky.com
Архитектура и технологии Pryaniky.comАрхитектура и технологии Pryaniky.com
Архитектура и технологии Pryaniky.comAlexey Lyubko
 
Переход в Облако для решения «земных» задач
Переход в Облако для решения «земных» задачПереход в Облако для решения «земных» задач
Переход в Облако для решения «земных» задачTechExpert
 
Бизнес-аналитика – не роскошь, а средство для принятия решений:
Бизнес-аналитика – не роскошь, а средство для принятия решений:Бизнес-аналитика – не роскошь, а средство для принятия решений:
Бизнес-аналитика – не роскошь, а средство для принятия решений:TechExpert
 
5. Готовые инструменты Azure: бизнес-прогнозирования в Machine Learning
5.	Готовые инструменты Azure: бизнес-прогнозирования в Machine Learning5.	Готовые инструменты Azure: бизнес-прогнозирования в Machine Learning
5. Готовые инструменты Azure: бизнес-прогнозирования в Machine LearningTechExpert
 
Облачные технологии: тренды и модели использования (Сютин О.)
Облачные технологии: тренды и модели использования (Сютин О.)Облачные технологии: тренды и модели использования (Сютин О.)
Облачные технологии: тренды и модели использования (Сютин О.)Ростелеком
 

What's hot (6)

Microsoft Karpman
Microsoft KarpmanMicrosoft Karpman
Microsoft Karpman
 
Архитектура и технологии Pryaniky.com
Архитектура и технологии Pryaniky.comАрхитектура и технологии Pryaniky.com
Архитектура и технологии Pryaniky.com
 
Переход в Облако для решения «земных» задач
Переход в Облако для решения «земных» задачПереход в Облако для решения «земных» задач
Переход в Облако для решения «земных» задач
 
Бизнес-аналитика – не роскошь, а средство для принятия решений:
Бизнес-аналитика – не роскошь, а средство для принятия решений:Бизнес-аналитика – не роскошь, а средство для принятия решений:
Бизнес-аналитика – не роскошь, а средство для принятия решений:
 
5. Готовые инструменты Azure: бизнес-прогнозирования в Machine Learning
5.	Готовые инструменты Azure: бизнес-прогнозирования в Machine Learning5.	Готовые инструменты Azure: бизнес-прогнозирования в Machine Learning
5. Готовые инструменты Azure: бизнес-прогнозирования в Machine Learning
 
Облачные технологии: тренды и модели использования (Сютин О.)
Облачные технологии: тренды и модели использования (Сютин О.)Облачные технологии: тренды и модели использования (Сютин О.)
Облачные технологии: тренды и модели использования (Сютин О.)
 

Viewers also liked

Revista Espacio Humano Marzo2012 n.161
Revista Espacio Humano Marzo2012 n.161Revista Espacio Humano Marzo2012 n.161
Revista Espacio Humano Marzo2012 n.161revistaespaciohumano
 
Prototyping is an attitude
Prototyping is an attitudePrototyping is an attitude
Prototyping is an attitudeWith Company
 
10 Insightful Quotes On Designing A Better Customer Experience
10 Insightful Quotes On Designing A Better Customer Experience10 Insightful Quotes On Designing A Better Customer Experience
10 Insightful Quotes On Designing A Better Customer ExperienceYuan Wang
 
How to Build a Dynamic Social Media Plan
How to Build a Dynamic Social Media PlanHow to Build a Dynamic Social Media Plan
How to Build a Dynamic Social Media PlanPost Planner
 
Learn BEM: CSS Naming Convention
Learn BEM: CSS Naming ConventionLearn BEM: CSS Naming Convention
Learn BEM: CSS Naming ConventionIn a Rocket
 
SEO: Getting Personal
SEO: Getting PersonalSEO: Getting Personal
SEO: Getting PersonalKirsty Hulse
 

Viewers also liked (6)

Revista Espacio Humano Marzo2012 n.161
Revista Espacio Humano Marzo2012 n.161Revista Espacio Humano Marzo2012 n.161
Revista Espacio Humano Marzo2012 n.161
 
Prototyping is an attitude
Prototyping is an attitudePrototyping is an attitude
Prototyping is an attitude
 
10 Insightful Quotes On Designing A Better Customer Experience
10 Insightful Quotes On Designing A Better Customer Experience10 Insightful Quotes On Designing A Better Customer Experience
10 Insightful Quotes On Designing A Better Customer Experience
 
How to Build a Dynamic Social Media Plan
How to Build a Dynamic Social Media PlanHow to Build a Dynamic Social Media Plan
How to Build a Dynamic Social Media Plan
 
Learn BEM: CSS Naming Convention
Learn BEM: CSS Naming ConventionLearn BEM: CSS Naming Convention
Learn BEM: CSS Naming Convention
 
SEO: Getting Personal
SEO: Getting PersonalSEO: Getting Personal
SEO: Getting Personal
 

Similar to Обработка больших массивов данных в облачной платформе Windows Azure

Belotserkovsky novosibirsk171012
Belotserkovsky novosibirsk171012Belotserkovsky novosibirsk171012
Belotserkovsky novosibirsk171012Microsoft
 
Архитектура и технологии Pryaniky.com
Архитектура и технологии Pryaniky.comАрхитектура и технологии Pryaniky.com
Архитектура и технологии Pryaniky.comPryaniky.com
 
"Пряники" - система мотивации и Microsoft Azure
"Пряники" - система мотивации и Microsoft  Azure"Пряники" - система мотивации и Microsoft  Azure
"Пряники" - система мотивации и Microsoft AzureAlexey Lyubko
 
Windows azure
Windows azureWindows azure
Windows azureExpolink
 
Куда летят облака? Примеры внедрений, вопросы и прогнозы развития в России
Куда летят облака? Примеры внедрений, вопросы и прогнозы развития в РоссииКуда летят облака? Примеры внедрений, вопросы и прогнозы развития в России
Куда летят облака? Примеры внедрений, вопросы и прогнозы развития в РоссииMichael Kozloff
 
Roman Zdebskiy - Windows Azure
Roman Zdebskiy - Windows AzureRoman Zdebskiy - Windows Azure
Roman Zdebskiy - Windows AzureAndrew Mayorov
 
"Упрости себе жизнь. Бизнес с облаком" Юлия Щеглова Microsoft
"Упрости себе жизнь. Бизнес с облаком" Юлия Щеглова Microsoft"Упрости себе жизнь. Бизнес с облаком" Юлия Щеглова Microsoft
"Упрости себе жизнь. Бизнес с облаком" Юлия Щеглова MicrosoftMichael Oreshin
 
Как российские ИТ-компании могут зарабатывать на Windows Azure
Как российские ИТ-компании могут зарабатывать на Windows AzureКак российские ИТ-компании могут зарабатывать на Windows Azure
Как российские ИТ-компании могут зарабатывать на Windows AzureValery Bychkov
 
Решения ЭОС по модели SaaS
Решения ЭОС по модели SaaSРешения ЭОС по модели SaaS
Решения ЭОС по модели SaaSEOS-soft
 
Облачные сервисы для приложений под Windows 8 и Windows Phone
Облачные сервисы для приложений под Windows 8 и Windows PhoneОблачные сервисы для приложений под Windows 8 и Windows Phone
Облачные сервисы для приложений под Windows 8 и Windows PhoneNatalia Efimtseva
 
Microsoft Azure: снижение затрат, безопасность, Internet of Things
Microsoft Azure: снижение затрат, безопасность, Internet of ThingsMicrosoft Azure: снижение затрат, безопасность, Internet of Things
Microsoft Azure: снижение затрат, безопасность, Internet of ThingsIevgen Vladimirov
 
Windows Azure - BigData and Hadoop
Windows Azure - BigData and HadoopWindows Azure - BigData and Hadoop
Windows Azure - BigData and HadoopAlexey Bokov
 
Лекция 6. Актуальные web-технологии. ПО как сервис
Лекция 6. Актуальные web-технологии. ПО как сервисЛекция 6. Актуальные web-технологии. ПО как сервис
Лекция 6. Актуальные web-технологии. ПО как сервисAnna Kraeva
 
Технологии Microsoft для "Интернета Вещей"
Технологии Microsoft для "Интернета Вещей"Технологии Microsoft для "Интернета Вещей"
Технологии Microsoft для "Интернета Вещей"Quarta-Embedded
 
Google Developer Group DevFest Minsk 2015 - Всеобъемлющий взгляд на Интернет ...
Google Developer Group DevFest Minsk 2015 - Всеобъемлющий взгляд на Интернет ...Google Developer Group DevFest Minsk 2015 - Всеобъемлющий взгляд на Интернет ...
Google Developer Group DevFest Minsk 2015 - Всеобъемлющий взгляд на Интернет ...Microsoft
 
КРИ 2014: Расширение возможностей вашей игры с помощью Microsoft Azure
КРИ 2014: Расширение возможностей вашей игры с помощью Microsoft AzureКРИ 2014: Расширение возможностей вашей игры с помощью Microsoft Azure
КРИ 2014: Расширение возможностей вашей игры с помощью Microsoft AzureMicrosoft
 

Similar to Обработка больших массивов данных в облачной платформе Windows Azure (20)

Belotserkovsky novosibirsk171012
Belotserkovsky novosibirsk171012Belotserkovsky novosibirsk171012
Belotserkovsky novosibirsk171012
 
02.Службы Azure
02.Службы Azure02.Службы Azure
02.Службы Azure
 
Ms it cup win-team - мевв
Ms it cup   win-team - меввMs it cup   win-team - мевв
Ms it cup win-team - мевв
 
Архитектура и технологии Pryaniky.com
Архитектура и технологии Pryaniky.comАрхитектура и технологии Pryaniky.com
Архитектура и технологии Pryaniky.com
 
"Пряники" - система мотивации и Microsoft Azure
"Пряники" - система мотивации и Microsoft  Azure"Пряники" - система мотивации и Microsoft  Azure
"Пряники" - система мотивации и Microsoft Azure
 
Windows azure
Windows azureWindows azure
Windows azure
 
Концепция платформы АН.2
Концепция платформы АН.2Концепция платформы АН.2
Концепция платформы АН.2
 
Куда летят облака? Примеры внедрений, вопросы и прогнозы развития в России
Куда летят облака? Примеры внедрений, вопросы и прогнозы развития в РоссииКуда летят облака? Примеры внедрений, вопросы и прогнозы развития в России
Куда летят облака? Примеры внедрений, вопросы и прогнозы развития в России
 
Roman Zdebskiy - Windows Azure
Roman Zdebskiy - Windows AzureRoman Zdebskiy - Windows Azure
Roman Zdebskiy - Windows Azure
 
"Упрости себе жизнь. Бизнес с облаком" Юлия Щеглова Microsoft
"Упрости себе жизнь. Бизнес с облаком" Юлия Щеглова Microsoft"Упрости себе жизнь. Бизнес с облаком" Юлия Щеглова Microsoft
"Упрости себе жизнь. Бизнес с облаком" Юлия Щеглова Microsoft
 
Как российские ИТ-компании могут зарабатывать на Windows Azure
Как российские ИТ-компании могут зарабатывать на Windows AzureКак российские ИТ-компании могут зарабатывать на Windows Azure
Как российские ИТ-компании могут зарабатывать на Windows Azure
 
Решения ЭОС по модели SaaS
Решения ЭОС по модели SaaSРешения ЭОС по модели SaaS
Решения ЭОС по модели SaaS
 
Облачные сервисы для приложений под Windows 8 и Windows Phone
Облачные сервисы для приложений под Windows 8 и Windows PhoneОблачные сервисы для приложений под Windows 8 и Windows Phone
Облачные сервисы для приложений под Windows 8 и Windows Phone
 
Microsoft Azure: снижение затрат, безопасность, Internet of Things
Microsoft Azure: снижение затрат, безопасность, Internet of ThingsMicrosoft Azure: снижение затрат, безопасность, Internet of Things
Microsoft Azure: снижение затрат, безопасность, Internet of Things
 
Windows Azure - BigData and Hadoop
Windows Azure - BigData and HadoopWindows Azure - BigData and Hadoop
Windows Azure - BigData and Hadoop
 
Лекция 6. Актуальные web-технологии. ПО как сервис
Лекция 6. Актуальные web-технологии. ПО как сервисЛекция 6. Актуальные web-технологии. ПО как сервис
Лекция 6. Актуальные web-технологии. ПО как сервис
 
Технологии Microsoft для "Интернета Вещей"
Технологии Microsoft для "Интернета Вещей"Технологии Microsoft для "Интернета Вещей"
Технологии Microsoft для "Интернета Вещей"
 
Google Developer Group DevFest Minsk 2015 - Всеобъемлющий взгляд на Интернет ...
Google Developer Group DevFest Minsk 2015 - Всеобъемлющий взгляд на Интернет ...Google Developer Group DevFest Minsk 2015 - Всеобъемлющий взгляд на Интернет ...
Google Developer Group DevFest Minsk 2015 - Всеобъемлющий взгляд на Интернет ...
 
КРИ 2014: Расширение возможностей вашей игры с помощью Microsoft Azure
КРИ 2014: Расширение возможностей вашей игры с помощью Microsoft AzureКРИ 2014: Расширение возможностей вашей игры с помощью Microsoft Azure
КРИ 2014: Расширение возможностей вашей игры с помощью Microsoft Azure
 
AiCare - self-organizing device management service
AiCare - self-organizing device management serviceAiCare - self-organizing device management service
AiCare - self-organizing device management service
 

More from Olga Lavrentieva

15 10-22 altoros-fact_sheet_st_v4
15 10-22 altoros-fact_sheet_st_v415 10-22 altoros-fact_sheet_st_v4
15 10-22 altoros-fact_sheet_st_v4Olga Lavrentieva
 
Сергей Ковалёв (Altoros): Practical Steps to Improve Apache Hive Performance
Сергей Ковалёв (Altoros): Practical Steps to Improve Apache Hive PerformanceСергей Ковалёв (Altoros): Practical Steps to Improve Apache Hive Performance
Сергей Ковалёв (Altoros): Practical Steps to Improve Apache Hive PerformanceOlga Lavrentieva
 
Андрей Козлов (Altoros): Оптимизация производительности Cassandra
Андрей Козлов (Altoros): Оптимизация производительности CassandraАндрей Козлов (Altoros): Оптимизация производительности Cassandra
Андрей Козлов (Altoros): Оптимизация производительности CassandraOlga Lavrentieva
 
Владимир Иванов (Oracle): Java: прошлое и будущее
Владимир Иванов (Oracle): Java: прошлое и будущееВладимир Иванов (Oracle): Java: прошлое и будущее
Владимир Иванов (Oracle): Java: прошлое и будущееOlga Lavrentieva
 
Brug - Web push notification
Brug  - Web push notificationBrug  - Web push notification
Brug - Web push notificationOlga Lavrentieva
 
Александр Ломов: "Reactjs + Haskell + Cloud Foundry = Love"
Александр Ломов: "Reactjs + Haskell + Cloud Foundry = Love"Александр Ломов: "Reactjs + Haskell + Cloud Foundry = Love"
Александр Ломов: "Reactjs + Haskell + Cloud Foundry = Love"Olga Lavrentieva
 
Максим Жилинский: "Контейнеры: под капотом"
Максим Жилинский: "Контейнеры: под капотом"Максим Жилинский: "Контейнеры: под капотом"
Максим Жилинский: "Контейнеры: под капотом"Olga Lavrentieva
 
Александр Протасеня: "PayPal. Различные способы интеграции"
Александр Протасеня: "PayPal. Различные способы интеграции"Александр Протасеня: "PayPal. Различные способы интеграции"
Александр Протасеня: "PayPal. Различные способы интеграции"Olga Lavrentieva
 
Сергей Черничков: "Интеграция платежных систем в .Net приложения"
Сергей Черничков: "Интеграция платежных систем в .Net приложения"Сергей Черничков: "Интеграция платежных систем в .Net приложения"
Сергей Черничков: "Интеграция платежных систем в .Net приложения"Olga Lavrentieva
 
Антон Шемерей «Single responsibility principle в руби или почему instanceclas...
Антон Шемерей «Single responsibility principle в руби или почему instanceclas...Антон Шемерей «Single responsibility principle в руби или почему instanceclas...
Антон Шемерей «Single responsibility principle в руби или почему instanceclas...Olga Lavrentieva
 
Егор Воробьёв: «Ruby internals»
Егор Воробьёв: «Ruby internals»Егор Воробьёв: «Ruby internals»
Егор Воробьёв: «Ruby internals»Olga Lavrentieva
 
Андрей Колешко «Что не так с Rails»
Андрей Колешко «Что не так с Rails»Андрей Колешко «Что не так с Rails»
Андрей Колешко «Что не так с Rails»Olga Lavrentieva
 
Дмитрий Савицкий «Ruby Anti Magic Shield»
Дмитрий Савицкий «Ruby Anti Magic Shield»Дмитрий Савицкий «Ruby Anti Magic Shield»
Дмитрий Савицкий «Ruby Anti Magic Shield»Olga Lavrentieva
 
Сергей Алексеев «Парное программирование. Удаленно»
Сергей Алексеев «Парное программирование. Удаленно»Сергей Алексеев «Парное программирование. Удаленно»
Сергей Алексеев «Парное программирование. Удаленно»Olga Lavrentieva
 
«Почему Spark отнюдь не так хорош»
«Почему Spark отнюдь не так хорош»«Почему Spark отнюдь не так хорош»
«Почему Spark отнюдь не так хорош»Olga Lavrentieva
 
«Cassandra data modeling – моделирование данных для NoSQL СУБД Cassandra»
«Cassandra data modeling – моделирование данных для NoSQL СУБД Cassandra»«Cassandra data modeling – моделирование данных для NoSQL СУБД Cassandra»
«Cassandra data modeling – моделирование данных для NoSQL СУБД Cassandra»Olga Lavrentieva
 
«Практика построения высокодоступного решения на базе Cloud Foundry Paas»
«Практика построения высокодоступного решения на базе Cloud Foundry Paas»«Практика построения высокодоступного решения на базе Cloud Foundry Paas»
«Практика построения высокодоступного решения на базе Cloud Foundry Paas»Olga Lavrentieva
 
«Дизайн продвинутых нереляционных схем для Big Data»
«Дизайн продвинутых нереляционных схем для Big Data»«Дизайн продвинутых нереляционных схем для Big Data»
«Дизайн продвинутых нереляционных схем для Big Data»Olga Lavrentieva
 
«Обзор возможностей Open cv»
«Обзор возможностей Open cv»«Обзор возможностей Open cv»
«Обзор возможностей Open cv»Olga Lavrentieva
 
«Нужно больше шин! Eventbus based framework vertx.io»
«Нужно больше шин! Eventbus based framework vertx.io»«Нужно больше шин! Eventbus based framework vertx.io»
«Нужно больше шин! Eventbus based framework vertx.io»Olga Lavrentieva
 

More from Olga Lavrentieva (20)

15 10-22 altoros-fact_sheet_st_v4
15 10-22 altoros-fact_sheet_st_v415 10-22 altoros-fact_sheet_st_v4
15 10-22 altoros-fact_sheet_st_v4
 
Сергей Ковалёв (Altoros): Practical Steps to Improve Apache Hive Performance
Сергей Ковалёв (Altoros): Practical Steps to Improve Apache Hive PerformanceСергей Ковалёв (Altoros): Practical Steps to Improve Apache Hive Performance
Сергей Ковалёв (Altoros): Practical Steps to Improve Apache Hive Performance
 
Андрей Козлов (Altoros): Оптимизация производительности Cassandra
Андрей Козлов (Altoros): Оптимизация производительности CassandraАндрей Козлов (Altoros): Оптимизация производительности Cassandra
Андрей Козлов (Altoros): Оптимизация производительности Cassandra
 
Владимир Иванов (Oracle): Java: прошлое и будущее
Владимир Иванов (Oracle): Java: прошлое и будущееВладимир Иванов (Oracle): Java: прошлое и будущее
Владимир Иванов (Oracle): Java: прошлое и будущее
 
Brug - Web push notification
Brug  - Web push notificationBrug  - Web push notification
Brug - Web push notification
 
Александр Ломов: "Reactjs + Haskell + Cloud Foundry = Love"
Александр Ломов: "Reactjs + Haskell + Cloud Foundry = Love"Александр Ломов: "Reactjs + Haskell + Cloud Foundry = Love"
Александр Ломов: "Reactjs + Haskell + Cloud Foundry = Love"
 
Максим Жилинский: "Контейнеры: под капотом"
Максим Жилинский: "Контейнеры: под капотом"Максим Жилинский: "Контейнеры: под капотом"
Максим Жилинский: "Контейнеры: под капотом"
 
Александр Протасеня: "PayPal. Различные способы интеграции"
Александр Протасеня: "PayPal. Различные способы интеграции"Александр Протасеня: "PayPal. Различные способы интеграции"
Александр Протасеня: "PayPal. Различные способы интеграции"
 
Сергей Черничков: "Интеграция платежных систем в .Net приложения"
Сергей Черничков: "Интеграция платежных систем в .Net приложения"Сергей Черничков: "Интеграция платежных систем в .Net приложения"
Сергей Черничков: "Интеграция платежных систем в .Net приложения"
 
Антон Шемерей «Single responsibility principle в руби или почему instanceclas...
Антон Шемерей «Single responsibility principle в руби или почему instanceclas...Антон Шемерей «Single responsibility principle в руби или почему instanceclas...
Антон Шемерей «Single responsibility principle в руби или почему instanceclas...
 
Егор Воробьёв: «Ruby internals»
Егор Воробьёв: «Ruby internals»Егор Воробьёв: «Ruby internals»
Егор Воробьёв: «Ruby internals»
 
Андрей Колешко «Что не так с Rails»
Андрей Колешко «Что не так с Rails»Андрей Колешко «Что не так с Rails»
Андрей Колешко «Что не так с Rails»
 
Дмитрий Савицкий «Ruby Anti Magic Shield»
Дмитрий Савицкий «Ruby Anti Magic Shield»Дмитрий Савицкий «Ruby Anti Magic Shield»
Дмитрий Савицкий «Ruby Anti Magic Shield»
 
Сергей Алексеев «Парное программирование. Удаленно»
Сергей Алексеев «Парное программирование. Удаленно»Сергей Алексеев «Парное программирование. Удаленно»
Сергей Алексеев «Парное программирование. Удаленно»
 
«Почему Spark отнюдь не так хорош»
«Почему Spark отнюдь не так хорош»«Почему Spark отнюдь не так хорош»
«Почему Spark отнюдь не так хорош»
 
«Cassandra data modeling – моделирование данных для NoSQL СУБД Cassandra»
«Cassandra data modeling – моделирование данных для NoSQL СУБД Cassandra»«Cassandra data modeling – моделирование данных для NoSQL СУБД Cassandra»
«Cassandra data modeling – моделирование данных для NoSQL СУБД Cassandra»
 
«Практика построения высокодоступного решения на базе Cloud Foundry Paas»
«Практика построения высокодоступного решения на базе Cloud Foundry Paas»«Практика построения высокодоступного решения на базе Cloud Foundry Paas»
«Практика построения высокодоступного решения на базе Cloud Foundry Paas»
 
«Дизайн продвинутых нереляционных схем для Big Data»
«Дизайн продвинутых нереляционных схем для Big Data»«Дизайн продвинутых нереляционных схем для Big Data»
«Дизайн продвинутых нереляционных схем для Big Data»
 
«Обзор возможностей Open cv»
«Обзор возможностей Open cv»«Обзор возможностей Open cv»
«Обзор возможностей Open cv»
 
«Нужно больше шин! Eventbus based framework vertx.io»
«Нужно больше шин! Eventbus based framework vertx.io»«Нужно больше шин! Eventbus based framework vertx.io»
«Нужно больше шин! Eventbus based framework vertx.io»
 

Обработка больших массивов данных в облачной платформе Windows Azure

  • 1. BigData Dive : Minsk 19 September 2012 Windows Azure – облачные сервисы для больших данных Alexey Bokov Эксперт по облачной платформе Windows Azure abokov@microsoft.com abokov
  • 2.
  • 3. Windows Azure - инфраструктура East US North Europe-Dublin East Asia West US North Central US West Europe South Central US - Amsterdam South East Asia
  • 4. Windows Azure - инфраструктура Подробнее о датацентрах Microsoft: ou.gs/wadc
  • 5.
  • 6.
  • 7.
  • 8.
  • 9. Windows Azure – немного цифр Облачное хранилище: • сейчас вмещает более 4 триллионов объектов в облачном хранилище • 270 000 обращений в среднем • Пиковая нагрузка - 860 000 обращений
  • 10.
  • 11.
  • 12. Powered by Windows Azure: сделано в России Веб платформа для спортивных команд Пряники – сервис для Сервис для удаленного нематериальной Wizee Шопинг – мобильный управления IT ресурсами гид по торговым центрам мотивации персонала Облачный сервис по Всероссийская школьная Облачный сервис для извлечению данных образовательная сеть Инструмент для выбора организации и надежного партнера по проведения онлайн разработке веб-сайтов мероприятий Сервис для путешественников Управление процессом подбора персонала Онлайн трансляции представлений Трансляция премии “Золотой граммофон” онлайн
  • 13. Powered by Windows Azure: сделано в России Инструмент Платформа создания Сервис создания и Облачный сервис для поиска по бизнес-приложений обработки диаграмм дистрибуции авторского социальным контента медиа ERP в облаке Портал для малого Сервис создания Новостной сервис на всех бизнеса динамического платформах видео Социальная сеть Видео- Электронный интересных мест трансляции Универсальный документооборот SaaS для малого бизнеса Облачный хостинг блогов
  • 14. Powered by Windows Azure: сделано в России Система управления и контроль внутренних Мониторинг и аналитика Рейтинг блогосферы процессов брендов Обмен информацией о Википедия бизнес-контактов продуктах и технологиях Cистема мониторинга упоминаний в социальных медиа Тегирование изображений Сервис для поиска работы
  • 15. • Volume - Объем данных, при этом неструктурированные данные могут составлять 70-85% всех данных и их доля в общем объеме данных продолдает расти. • Velocity - Скорость обработки данных. • Variety - Вариативность данных , неструктурированные данные разных типов ( текст, цифровое медиа, данные с датчиков ) являются преобладающими • Variability - Диапазон возможной интерпретации данных. Различные цели анализа данных требуют разных подходов к анализу данных.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20. - Интернет видео – 18 Экзабайт в месяц - Мобильный трафик – 2 Экзабайта в месяц - В 2011 году Фейсбук перенес 11 Петабайт данных в свой Hadoop кластер - Источники данных – сенсоры, краулеры, устройства оцифровки данных, ERM, CRM системы...
  • 21. Windows Azure Hadoop Демонстрация
  • 22. - Платформа на базе JVM – IMDG и вычислительные гриды для BigData - Примеры внедрений в облаке – более 500 узлов, тестировались кластеры > 2000 узлов - On-premise внедрение – грид из 1500 узлов.
  • 24. Полезные ресурсы • Портал о технологиях Windows Azure: azurehub.ru • Группа разработчиков Windows Azure: ou.gs/user • Сообщество по безопасности IT Security: ou.gs/itsec • Портал Hadoop: hadooponazure.com • Блог Windows Azure: ou.gs/msdn • Наш твиттер: @windowsazure_ru • Контактный email: azurerus@microsoft.com
  • 26. © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

Editor's Notes

  1. Slide Objectives:Explain that there are different VM instance sizes available within Windows AzureSpeaking Points:---Speaking Points:One of the key areas of feedback has been to reduce the cost and size of Windows Azure instances. At PDC we will announce..Notes:(*) 20GB with a limitation on VHD size if they are deploying VMRole on XSmall: the VHD can only be up to 15GB.each tenant can support 20 instances just like regular subscriptions with Small VM. We do not scale based on core counts.There is no SLA on the network bandwidth for each VM size as this resource is shared among all the VM. That said, we need to provide guidance for customer so they could design their applications correctly. From the engineering side, this is what we mean by Low, Moderate and High. • Low currently means 0-15Mbps with short burst up to 25-50Mbps (Megabit/s). These are sufficient for some web sites with low traffic. • Moderate means 0-100Mbps with short burst up to 200Mbps (100Mbps is the norm). This is what we currently reserve for the Small VM.• High means 200-800 Mbps. If you divide this into 3 spectrums for Medium, Large and XL. Then Medium is in the low end, Large hovers around the middle zone and of course XL takes the high-end spot.These rates should be used as guidance. Nothing can beat a test run to see what the application requires but using these bandwidth ranges, hopefully it reduces the guess work for the customers
  2. Slide Objectives:Provide overview and detail on pricingDiscuss localization of pricingSpeaking Points:Windows Azure is charged per compute hour.Pricing is localized for global marketsDifferent VM sizes have a different number of CPUs and therefore are a multiple the single CPU rateCompute time, measured in service hours: Windows Azure compute hours are charged only for when your application is deployed.remove the compute instances that are not being used to minimize compute hour billing. Partial compute hours are billed as full hours.Storage, measured in GB: Storage is metered in units of average daily amount of data stored (in GB) over a monthly period. Data transfers measured in GB (transmissions to and from the Windows Azure datacenter).Data transfers within a sub region are free. Transactions, measured as application requests to the REST serviceSQL Azure is priced on a per database per month basisAppFabric Service Bus is based on a per connection modelAppFabric Access control is based on a per transaction modelAppFabric Service Bus connections can be provisioned individually on a “pay-as-you-go” basis or in a pack of 5, 25, 100 or 500 connections. For individually provisioned connections, you will be charged based on the maximum number of connections you use for each day. For connection packs, you will be charged daily for a pro rata amount of the connections in that pack (i.e., the number of connections in the pack divided by the number of days in the month). You can only update the connections you provision as a pack once every seven days. You can modify the number of connections you provision individually at any time.For AppFabric Access Control transactions, customers will be charged the actual number of transactions utilized for the billing period (i.e., not in discrete blocks of 100,000 transactions), plus data transfers in or out.Notes:http://www.microsoft.com/windowsazure/pricing/http://blogs.msdn.com/b/netservices/archive/2010/01/04/announcing-windows-azure-platform-commercial-offer-availability-and-updated-appfabric-pricing.aspx http://www.microsoft.com/windowsazure/pricing/
  3. В мире – почти 100 000 кастомеров, в России – несколько десятков крупных проектов, тысячи подписчиков.