0
Как подружить ежа с ужом или другой взгляд на DWH Дмитрий Ширшаков Алексей Спиридонов
Вместо введения -       постановка задачи <ul><li>В компании установлены сервисы: </li></ul><ul><ul><li>1С </li></ul></ul>...
Корпоративная система целиком 1. N!  связей 2. Изменение коробочных систем 3. Нет центра синхронизации 4. Возникновение ко...
Система выглядит так:
А разработчик вот так:
Варианты 0. Оставить, как есть 1. Централизованное решение (Data Warehouse) 2. Единая шина обмена данных (MQ Server) 
Не надо бояться экспериментов
DWH решение <ul><ul><li>Теоретическое количество интеграций = 2*N  </li></ul></ul><ul><ul><li>Меняется DWH, а не ПО </li><...
Варианты реализации       DWH решение <ul><ul><li>SQL </li></ul></ul><ul><ul><li>Integration Services </li></ul></ul><ul><...
Примеры реализации  #1 - Корпоративные системы
Примеры реализации  #2 - AD, телефония, трафик
Примеры реализации  #3 - Internet
Примеры реализации  #3 - Internet
Примеры реализации  #4 - OLAP, аналитика, отчетность
Примеры реализации  #5 - BI, KPI, модели, прогнозы
DWH - решение      все вместе
DWH - решение      все вместе
DWH - решение      все вместе
Плюсы DWH <ul><ul><li>Поддержка интерфейсов различных систем с использованием представлений. </li></ul></ul><ul><ul><li>Ко...
Проблемы DWH <ul><ul><li>Необходимость разбираться в установленных системах на уровне баз данных. </li></ul></ul><ul><ul><...
Второй вариант Единая шина передачи данных реализованная на базе MQ Server
MQ Server,  один отправитель, 2 получателя <ul><ul><li>Временное хранение сообщений </li></ul></ul><ul><ul><li>FIFO </li><...
Напоминаем как приходится разработчику:
Система с точки зрения MQ Простота и понятность работы компонента
Новая жизнь разработчика
Плюсы MQ  #1 <ul><li>Универсальный транспорт данных для систем на любых языках, технологиях и протоколах. </li></ul>.NET P...
Плюсы MQ  #2 <ul><li>Высокая скорость распространения изменений  между компонентами системы. </li></ul>~ 10 ms
Плюсы MQ #3 <ul><li>Высокая изолированность компонент друг от друга. </li></ul><ul><ul><li>Стабильность работы при отказе ...
Плюсы MQ #4 <ul><li>Низкая стоимость модификации структуры обмена данными в системе. </li></ul>add  Exchange  &quot; Billi...
Проблемы MQ  <ul><li>Мнимые: </li></ul><ul><ul><li>MQ Server  становится точкой отказа. </li></ul></ul><ul><ul><li>При пот...
ПО,  что использовать  <ul><li>MSMQ  </li></ul><ul><li>  </li></ul><ul><li>ApacheMQ  - известный MQ от известной компании ...
Что выбрать?
СПАСИБО ЗА ВНИМАНИЕ! Дмитрий Ширшаков      [email_address] Алексей Спиридонов      [email_address]
Upcoming SlideShare
Loading in...5
×

CodeFest 2011. Ширшаков Д. — Как подружить ежа с ужом или другой взгляд на DWH

556

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
556
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "CodeFest 2011. Ширшаков Д. — Как подружить ежа с ужом или другой взгляд на DWH"

  1. 1. Как подружить ежа с ужом или другой взгляд на DWH Дмитрий Ширшаков Алексей Спиридонов
  2. 2. Вместо введения -       постановка задачи <ul><li>В компании установлены сервисы: </li></ul><ul><ul><li>1С </li></ul></ul><ul><ul><li>Интернет-магазин </li></ul></ul><ul><ul><li>Платежная система </li></ul></ul><ul><ul><li>Корпоративный портал </li></ul></ul><ul><ul><li>Почта </li></ul></ul><ul><ul><li>Active directory </li></ul></ul><ul><ul><li>OLAP </li></ul></ul><ul><ul><li>АТС </li></ul></ul><ul><ul><li>etc </li></ul></ul>Постановка задачи
  3. 3. Корпоративная система целиком 1. N!  связей 2. Изменение коробочных систем 3. Нет центра синхронизации 4. Возникновение конфликтов
  4. 4. Система выглядит так:
  5. 5. А разработчик вот так:
  6. 6. Варианты 0. Оставить, как есть 1. Централизованное решение (Data Warehouse) 2. Единая шина обмена данных (MQ Server) 
  7. 7. Не надо бояться экспериментов
  8. 8. DWH решение <ul><ul><li>Теоретическое количество интеграций = 2*N </li></ul></ul><ul><ul><li>Меняется DWH, а не ПО </li></ul></ul><ul><ul><li>Централизованная синхронизация </li></ul></ul><ul><ul><li>Данные в DWH принимаются как &quot;действительно правильные&quot;  </li></ul></ul>
  9. 9. Варианты реализации       DWH решение <ul><ul><li>SQL </li></ul></ul><ul><ul><li>Integration Services </li></ul></ul><ul><ul><li>Специальные приложения </li></ul></ul><ul><ul><ul><li>Загрузчики </li></ul></ul></ul><ul><ul><ul><li>Парсеры </li></ul></ul></ul>
  10. 10. Примеры реализации  #1 - Корпоративные системы
  11. 11. Примеры реализации  #2 - AD, телефония, трафик
  12. 12. Примеры реализации  #3 - Internet
  13. 13. Примеры реализации  #3 - Internet
  14. 14. Примеры реализации  #4 - OLAP, аналитика, отчетность
  15. 15. Примеры реализации  #5 - BI, KPI, модели, прогнозы
  16. 16. DWH - решение      все вместе
  17. 17. DWH - решение      все вместе
  18. 18. DWH - решение      все вместе
  19. 19. Плюсы DWH <ul><ul><li>Поддержка интерфейсов различных систем с использованием представлений. </li></ul></ul><ul><ul><li>Консолидация данных в одном месте. </li></ul></ul><ul><ul><li>Использование OLAP для обработки больших объемов данных. </li></ul></ul><ul><li>  </li></ul>
  20. 20. Проблемы DWH <ul><ul><li>Необходимость разбираться в установленных системах на уровне баз данных. </li></ul></ul><ul><ul><li>Низкая скорость синхронизации. </li></ul></ul><ul><li>  </li></ul>
  21. 21. Второй вариант Единая шина передачи данных реализованная на базе MQ Server
  22. 22. MQ Server,  один отправитель, 2 получателя <ul><ul><li>Временное хранение сообщений </li></ul></ul><ul><ul><li>FIFO </li></ul></ul><ul><ul><li>Гарантия доставки </li></ul></ul><ul><ul><li>Маршрутизация сообщений </li></ul></ul>
  23. 23. Напоминаем как приходится разработчику:
  24. 24. Система с точки зрения MQ Простота и понятность работы компонента
  25. 25. Новая жизнь разработчика
  26. 26. Плюсы MQ  #1 <ul><li>Универсальный транспорт данных для систем на любых языках, технологиях и протоколах. </li></ul>.NET PHP Python C# JAVA Erlang и т.д. RPC AMQP REST STOMP Windows Linux MacOS 
  27. 27. Плюсы MQ  #2 <ul><li>Высокая скорость распространения изменений  между компонентами системы. </li></ul>~ 10 ms
  28. 28. Плюсы MQ #3 <ul><li>Высокая изолированность компонент друг от друга. </li></ul><ul><ul><li>Стабильность работы при отказе отдельных компонент </li></ul></ul><ul><ul><li>Устойчивость системы к всплескам нагрузки </li></ul></ul>
  29. 29. Плюсы MQ #4 <ul><li>Низкая стоимость модификации структуры обмена данными в системе. </li></ul>add  Exchange  &quot; Billing &quot; add  Queue  &quot; Shop &quot; add  Binding   &quot; Billing &quot;  to &quot; Shop &quot; Теперь  интернет магазин будет получать данные из биллинга.
  30. 30. Проблемы MQ <ul><li>Мнимые: </li></ul><ul><ul><li>MQ Server  становится точкой отказа. </li></ul></ul><ul><ul><li>При потере сообщений, теряется цельность данных в системе.  </li></ul></ul><ul><li>Реальные: </li></ul><ul><ul><li>Единые форматы для сообщений.  </li></ul></ul><ul><ul><li>Вынужденная кастомизация коробочных решений. </li></ul></ul><ul><li>  </li></ul>
  31. 31. ПО,  что использовать <ul><li>MSMQ </li></ul><ul><li>  </li></ul><ul><li>ApacheMQ  - известный MQ от известной компании </li></ul><ul><li>  </li></ul><ul><li>RabbitMQ  -  сверхбыстрый   </li></ul><ul><li>ZeroMQ  - сетевой фреймворк для создания сервисов </li></ul><ul><li>  </li></ul><ul><li>PgQ  -  фанатам  PostgreSQL  и Skype </li></ul><ul><li>и много много  других ****MQ </li></ul><ul><li>  </li></ul><ul><li>  </li></ul>
  32. 32. Что выбрать?
  33. 33. СПАСИБО ЗА ВНИМАНИЕ! Дмитрий Ширшаков      [email_address] Алексей Спиридонов      [email_address]
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×