Устройств становится все больше. Нужны новые подходы к передаче большого количества данных о событиях, происходящих с этими устройствами. Новые подходы к их хранению. И анализу – например, с помощью сбора и анализа данных с браслетов посетителей конференции можно понять, куда они ходят чаще всего, где проводят время и что им интересно.
В докладе будет рассказано про облачный сервис Microsoft Azure Event Hubs, который предлагает подход для решения вопросов по сбору данных с устройств в любых масштабах
ALM Test Forum 2015 - Инструменты тестирования Microsoft – в облаке и локально
IoT и Microsoft Azure: хранение и обработка данных с миллионов устройств?
1. IoT и Microsoft Azure: хранение и обработка
данных с миллионов устройств?
Александр Белоцерковский {Microsoft | DX | Tech Evangelist Cloud, IoT & HPC}
4. • M2M – периодические или постоянные
межмашинные коммуникации
• “Internet Of Things”:
• Идея – автоматизировать сбор данных из «железных» источников
ссылка
• "Gartner Says the Internet of Things Installed Base Will Grow to 26 Billion
Units By 2020". Gartner,
• К 2020 году более чем 30 миллиардов устройств будет подключено в
беспроводном режиме к Интернету к 2020 году: ABI Research
5. • с миллионов устройств
• приходящих с большой скоростью и
частотой
6.
7. • Термостат, например, шлет данные каждые 15 минут
• А датчики на машинах могут слать данные каждую минуту
• Счетчики производительности можно собирать каждую секунду
• В мобильных приложениях каждое действие пользователя = новое событие
• В мультиплеерной игре количество сообщений в секунду может превышать сотни тысяч
• .NET Gadgeteer
• Arduino, Galileo
8. Какие сценарии?
• Умный город
• Умный завод
• Умный дом
• Умная энергия
• Умный ритейл
• Умная логистика
• Умный транспорт
10. Что нужно для того, чтобы с этим справиться?
Сервис, который будет поддерживать
Много устройств
Частоту обновлений
Большие данные
обеспечивая
сохранение
надежность
приемлемую латентность
безопасность
Grid
Renewables
Oil/Gas/Coal
Recovery and
Distribution
Points
of Sale
Restaurants
Hotels
Fuel
Stations
Patients
Clinics
Hospitals
Nursing
Homes
Mobile
Care
SafetySecurity
Comfort
Lighting
Automation
Manufacturin
g Integration
and
Automation
Remote
Servicing
Predictive and
Reactive
Maintenance
Water
Waste
Pollution
Control
Fire
Emergency
Public
Safety
Law
Enforcement
Letters
Packages
Containers
Tanks Bulkware
Games
Events
Sports
Television
Streaming
Traffic Buses
Cars
Trucks
Trains
Vessels
Aircraft
Bikes Smart
Energ
y
Smart
Retail
Smart
Mobili
ty
Smart
Logisti
cs
Smart
Factor
y
Smart
Cities
Smart
Enterta
in-
ment
Smart
Health
-care
Smart
Buildin
g
Home
16. Контакты
Александр Белоцерковский
{Microsoft Russia | Tech Expert Cloud, HPC & IoT}
albe@microsoft.com; @ahriman_ru; ahriman.ru
http://blogs.msdn.com/b/albe
Группа Azure для всех – http://facebook.com/groups/azurerus/
azure.com
AzureHub.ru
msftva.ru
Editor's Notes
When we start trying to solve IOT scenarios, there are three key challenges we need to overcome
How to deal with unpredictable peaks and valleys in communication from potentially millions of devices
Support massive ingestion of data
And support that ingestion for terabytes of data
This system will also need to be able to buffer the data so we have predictability in processing, store the messages securely, with low latency.
The event hub is a managed service built specifically to solve these challenges. Whereby queues and topics are focused on individual messages. Event Hubs are about scalable “throughput units” that (by general availability) will enable up to a gigabyte per second with a message based price point that is far more affordable. The trade off is that it operations less as a brokered messaging solution then it does as a huge buffered stream that you can consume and even rewind back through.
It allows you to have a massive number of devices, sending their discrete payload, buffer that data up, then consume it at your own leisure. Multiple sources can consume the messages. Be it to persist them into storage, processing and act on them. If the incoming load spikes, Event Hub will help buffer that load, giving your back end processes time to catch up.