SQL Server StreamInsightdata processing in real time<br />Denis Reznik<br />Head of Web Development Department, DCT<br />T...
StreamInsight<br /><ul><li>Основанная на .Net платформа непрерывной и инкрементальной обработки потоков событий из различн...
Производство<br />Сферы применения<br />Вооружённые силы<br />Трейдинг<br />Логистика<br />Системы<br />Безопасности<br />...
Архитектура StreamInsight<br />
Основные понятия<br /><ul><li>Потоки
События
Адаптеры
Шаблоны запросов</li></li></ul><li>Потоки<br /><ul><li>Все данные организованы в потоки
Поток – возможно бесконечная последовательность событий, содержащих данные
Нет требования упорядочения по времени (но каждое событие имеет временную метку)
Потоки данных однонаправлены:
Источник ->  Стоячий запрос (Standing Query) -> Приемник (Sink)</li></li></ul><li>События<br /><ul><li>Данные потоков упак...
Основная единица данных, обрабатываемая StreamInsight сервером
Составные части:
Заголовок (Header)
тип (Kind) события
временные метки связанные с событием
Нагрузка (Payload) – структура данных .NET
Поля и Свойства события – элементарные типы
Не более 32 полей
Нельзя использовать атрибуты</li></li></ul><li>Адаптеры<br /><ul><li>Получают/принимают события из источника данных
Размещают события в очереди для последующей обработки сервером
Входные адаптеры (Input adapters)
Выходные адаптеры (Output adapters) </li></li></ul><li>Шаблоны запросов<br /><ul><li>Обработка событий организована в виде...
Шаблоны запросов (query templates) – структуры, определяющие бизнес-логику обработки данных
Upcoming SlideShare
Loading in …5
×

SQL Server StreamIinsight - data processing in real time

867
-1

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
867
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

SQL Server StreamIinsight - data processing in real time

  1. 1. SQL Server StreamInsightdata processing in real time<br />Denis Reznik<br />Head of Web Development Department, DCT<br />Trainer, Microsoft Innovation Center<br />MCT, MCITP, MCPD, MCTS, etc<br />
  2. 2. StreamInsight<br /><ul><li>Основанная на .Net платформа непрерывной и инкрементальной обработки потоков событий из различных источников в режиме реального времени (с задержкой, близкой к нулю)</li></li></ul><li>StreamInsightvs RDBMS<br />Event<br />request<br />output stream<br />input stream<br />response<br />
  3. 3. Производство<br />Сферы применения<br />Вооружённые силы<br />Трейдинг<br />Логистика<br />Системы<br />Безопасности<br />Электрификация<br />Веб-Аналитика<br />Системы связи<br />
  4. 4. Архитектура StreamInsight<br />
  5. 5. Основные понятия<br /><ul><li>Потоки
  6. 6. События
  7. 7. Адаптеры
  8. 8. Шаблоны запросов</li></li></ul><li>Потоки<br /><ul><li>Все данные организованы в потоки
  9. 9. Поток – возможно бесконечная последовательность событий, содержащих данные
  10. 10. Нет требования упорядочения по времени (но каждое событие имеет временную метку)
  11. 11. Потоки данных однонаправлены:
  12. 12. Источник -> Стоячий запрос (Standing Query) -> Приемник (Sink)</li></li></ul><li>События<br /><ul><li>Данные потоков упакованы в события
  13. 13. Основная единица данных, обрабатываемая StreamInsight сервером
  14. 14. Составные части:
  15. 15. Заголовок (Header)
  16. 16. тип (Kind) события
  17. 17. временные метки связанные с событием
  18. 18. Нагрузка (Payload) – структура данных .NET
  19. 19. Поля и Свойства события – элементарные типы
  20. 20. Не более 32 полей
  21. 21. Нельзя использовать атрибуты</li></li></ul><li>Адаптеры<br /><ul><li>Получают/принимают события из источника данных
  22. 22. Размещают события в очереди для последующей обработки сервером
  23. 23. Входные адаптеры (Input adapters)
  24. 24. Выходные адаптеры (Output adapters) </li></li></ul><li>Шаблоны запросов<br /><ul><li>Обработка событий организована в виде запросов
  25. 25. Шаблоны запросов (query templates) – структуры, определяющие бизнес-логику обработки данных
  26. 26. Экземпляр запроса (Query Instance = Query + Data Sources) – зарегистрированная связка шаблона запроса с определенными входным и выходным адаптером</li></li></ul><li>Разворачивание<br /><ul><li>Hosted DLL
  27. 27. Интегрирован в StreamInsight приложение
  28. 28. Stand-alone Server
  29. 29. Поддержка множества приложений
  30. 30. Может выполняться как сервис</li></li></ul><li>Демо<br />Tolling Station<br />
  31. 31. Элементы запросов<br /><ul><li>Projection
  32. 32. Filtering
  33. 33. Joins
  34. 34. Unions
  35. 35. Aggregations
  36. 36. Event Windows
  37. 37. Hopping Window
  38. 38. Tumbling Window
  39. 39. Snapshot Window
  40. 40. Count Window</li></li></ul><li>Projection<br />
  41. 41. Filtering<br />
  42. 42. Joins<br />
  43. 43. Unions<br />
  44. 44. Aggregations<br /><ul><li>Поддерживаемые функции
  45. 45. Avg
  46. 46. Sum
  47. 47. Count
  48. 48. Min
  49. 49. Max
  50. 50. User-defined</li></li></ul><li>Tumbling Window<br />Time<br />
  51. 51. Hopping Window<br />Time<br />
  52. 52. Snapshot Window<br />
  53. 53. Count Window<br />Time<br />
  54. 54. Демо<br />Tolling Station 2<br />
  55. 55. Полезные ссылки<br /><ul><li>Документация по StreamInsighthttp://msdn.microsoft.com/ru-ru/library/ee362541.aspx
  56. 56. A Hitchhiker's Guide to StreamInsight Querieshttp://blogs.msdn.com/b/streaminsight/archive/2010/06/08/hitchhiker-s-guide-to-streaminsight-queries.aspx
  57. 57. SQL Server 2008 R2 Update for Developers Training Kit http://www.microsoft.com/downloads/details.aspx?FamilyID=fffaad6a-0153-4d41-b289-a3ed1d637c0d&displaylang=en
  58. 58. Блог командыразработчиков</li></ul>http://blogs.msdn.com/b/streaminsight/<br /><ul><li>Форум StreamInsight</li></ul>http://social.msdn.microsoft.com/Forums/en-US/streaminsight<br />
  59. 59. Вопросы<br />Denis Reznik<br />Head of Web Development dpt.atDCT<br />Trainer at MIC<br />Microsoft MVP (SQL Server)<br />Microsoft Certified Trainer<br />DenisReznik@live.ru<br />http://twitter.com/DenisReznik<br />http://dev.net.ua/blogs/denisreznik/<br />MCPD - Web Developer 4<br />MCITP – Database Developer 2008<br />MCTS - .NET Framework 4, Web Applications<br />MCTS - SQL Server 2008, Database Development<br />MCTS - .NET Framework 4, Data Access with ADO.NET<br />MCTS - SQL Server 2008, Implementation and Maintenance<br />
  1. ¿Le ha llamado la atención una diapositiva en particular?

    Recortar diapositivas es una manera útil de recopilar información importante para consultarla más tarde.

×