16 декабря 2014 года сообщество Workaround в Softengi провело первый вебинар "Основы OLAP", докладчиком которого был Юрий Марков, архитектор решений с 15-летним опытом в ИТ. О чем: Данные != Информация Хранилища информации как источник информации для принятия решений Архитектура хранилищ данных Реализация OLAP на примере Microsoft SQL Server Для кого: разработчики баз данных, аналитики, IT-специалисты. Организатор: семинары Workaround в Softengi. Стартовали в феврале 2014 года как закрытые Архитектурные семинары для сотрудников (https://www.youtube.com/user/softengi ). В октябре 2014 года стали открытыми семинарами Workaround (он же «костыль» или обходной прием) для разработчиков и архитекторов ПО.

1. ОСНОВЫ OLAP-ТЕХНОЛОГИИ
ДОКЛАДЧИК: ЮРИЙ МАРКОВ

2. Юрий Марков, архитектор решений Softengi
• в ИТ 15 лет, из них 10 лет работал разработчиком и 5 лет архитектором
решений
• опыт работы с OLAP более 2 лет. OLAP-приложения для «Укрпочта» (98 тысяч
работников и 14 тысяч почтовых отделений) и Государственной Службы
Занятости Украины.
• Workaround – сообщество разработчиков и архитекторов компании Softengi и
партнеров. Проводят лекции, семинары, вебинары, пьют пиво и едят пиццу.
Команда Softengi анализирует, разрабатывает, тестирует ПО для заказчиков из
Швейцарии, Германии, США, Бельгии,Украины.
О ДОКЛАДЧИКЕ И ОРГАНИЗАТОРЕ

3. АННОТАЦИЯ
Цель презентации – дать представление о том, когда целесообразно
использовать OLAP и как выглядит архитектура типичной системы.

4. СОДЕРЖАНИЕ
• Предпосылки для OLAP
• Традиционные решения
• Системы Business Intelligence
Хранилища данных
Процессы ETL
OLAP и размерное моделирование
Инструменты пользователя
• Ситуация на рынке
• Выводы

5. ПРЕДПОСЫЛКИ ДЛЯ OLAP

6. СИТУАЦИЯ
В компании выполняется
множество бизнес-процессов
Каждый процесс
автоматизирован с помощью
OLTP-системы

7. ПРОБЛЕМЫ
У руководства компании неизбежно будут возникать трудности:
• «У нас в компании горы информации, но мы не имеем к ней доступа»
• «Руководство должно использовать факты для принятия решений»
• «Мы хотим получать информацию в произвольных разрезах»
• «Просто покажите мне то, что важно»

8. ИТОГ
«За деревьями не видно леса»

9. НАПРАВЛЕНИЕ
Для решения проблем анализа информации нужны системы, обладающие
следующими характеристиками:
• Согласованная подача информации, собранной из различных источников
• Информация должна являться основой для принятия решений
• Обработка больших объёмов данных за приемлемое время
• Простота доступа и представления информации
• Разграничение доступа

10. ТРАДИЦИОННЫЕ РЕШЕНИЯ

11. ИСПОЛЬЗОВАНИЕ OLTP-СИСТЕМЫ
Традиционный подход
подразумевает реализацию
отчётности непосредственно
в OLTP-системе

12. ПРЕИМУЩЕСТВА
Использование знакомого
инструментария и языков
(SQL)
Построение отчётов по
актуальным данным

13. НЕДОСТАТКИ
Разные шаблоны нагрузки:
постоянная (OLTP) vs пиковая
(Reporting)
Конфликтующие требования к
структуре: нормализованная
(OLTP) vs денормализованная
(Reporting)
Эскалация блокировок при
формировании отчётов

14. ТЕНДЕНЦИИ
В простых случаях задачи OLAP
можно реализовывать в OLTP
системах
Для полноценной OLAP
обработки требуется другой
подход к построению системы

15. СИСТЕМЫ BUSINESS INTELLIGENCE

16. ОПРЕДЕЛЕНИЕ
Business Intelligence (BI) –
набор техник и инструментов
для преобразования «сырых»
данных в информацию
Аналитическая обработка
данных (OLAP) – одна из
основных функций BI

17. ХРАНИЛИЩА ДАННЫХ

18. ОПРЕДЕЛЕНИЕ
ХРАНИЛИЩА ДАННЫХ
Хранилище – это БД, содержащая исторические данные о всех
процессах компании
Данные в хранилище организованы так, чтобы поддерживать
аналитическую обработку данных (OLAP) вместо транзакционной
обработки (OLTP)

19. ОТ OLTP К ХРАНИЛИЩАМ
ДАННЫХ
Данные в OLTP Данные в хранилище
• Детальные
• Часто обновляемые
• Неизбыточные
• Доступ к единице (записи)
за операцию
• Агрегированные
• Редко обновляемые
• Избыточные
• Доступ к множеству за
операцию

20. ПРОЦЕССЫ ETL

21. ОПРЕДЕЛЕНИЕ
Extraction – извлечение данных
из разнородных источников
(БД, файлы, веб)
Transformation –
преобразование данных в
согласованную форму
(комбинирование, удаление
дубликатов, исправление
ошибок написания и т.д.)
Loading – загрузка данных в
таблицы хранилища

22. SSIS – инструментарий для
реализации процессов ETL
Содержит готовые
компоненты для типовых
операций (Merge,
Aggregate, Lookup, Multicast
и т.д.)
SQL Server Integration Services

23. OLAP

24. РАЗМЕРНОЕ МОДЕЛИРОВАНИЕ
Основная структура – куб
данных
Оси куба называются
измерениями
На пересечении измерений
находятся факты
Куб можно «разрезать» вдоль
любых осей (slice and dice)

25. ТАБЛИЦЫ ИЗМЕРЕНИЙ
• Являются «входами» в таблицу фактов
• Обычно обладают большим числом колонок (50-100)
• Объём данных измерений обычно составляет 10% от объёма
таблицы фактов

26. ТАБЛИЦЫ ФАКТОВ
• Каждая строка соответствует некоторому событию бизнес-
процесса
• Событие характеризуется списком измерений, определяющих
детализацию таблицы (5-10)
• Событие может содержать несколько количественных (чаще
всего аддитивных) мер

27. Является простейшей схемой
хранилища
Удобна для построения OLAP-
кубов
Преимуществом схемы является
простота запросов к ней
Типовые схемы хранилища: «Звезда»

28. Отличием от схемы «Звезда»
является нормализация
Выбор типа схемы обусловлен
компромиссом между
дублированием данных и
скоростью обработки
Типовые схемы хранилища: «Снежинка»

29. Хранит данные для
непосредственного
отображения конечным
пользователям
Хранит данные в
многомерной схеме
Организована в виде набора
витрин данных (Data Marts)
ОБЛАСТЬ ПРЕДСТАВЛЕНИЯ
ДАННЫХ

30. ВИТРИНЫ ДАННЫХ
Отдельный бизнес-процесс
представляется одной
витриной данных
Витрины данных должны
согласовываться с шинной
архитектурой хранилища
(DW Bus Architecture)

31. MOLAP vs. ROLAP
MOLAP хранит как
детализированные, так и
агрегированные данные
ROLAP не хранит данные в
многомерной структуре, а
использует динамические
запросы к хранилищу
HOLAP– гибридная
архитектура

32. Инструментарий для
размерного
моделирования в SQL
Server
Позволяет создавать схемы
различной сложности
Поддерживает концепцию
«шины»
SQL Server Analysis Services

33. Ориентирован на работу с
многомерными данными
Содержит множество
встроенных функций для
работы с измерениями
Обладает большей
выразительностью по
сравнению с SQL
Позволяет определять
вычисляемые (производные)
меры
SQL Server Analysis Services: язык MDX

34. ПОЛЬЗОВАТЕЛЬСКИЙ
ИНСТРУМЕНТАРИЙ

35. ИНСТРУМЕНТЫ ДОСТУПА
К ДАННЫМ
Работают с областью
представления данных
Должны позволять
конструировать произвольные
запросы

36. DRILLDOWN
Операция позволяет
увидеть составные части
агрегата, которые, в свою
очередь, также могут быть
агрегатами
Drilldown продолжается до
тех пор, пока не будет
достигнут самый
детализированный уровень
– факт

37. В качестве одного из
источников данных
поддерживает OLAP
хранилища
SQL Server Reporting Services

38. СИТУАЦИЯ НА РЫНКЕ

39. КВАДРАНТ ГАРТНЕРА ДЛЯ
BI ПЛАТФОРМ

40. ВЫВОДЫ
• Данные <> информация
• Хранилище данных – основа систем Business Intelligence
• В SQL Server имеется развитый инструментарий поддержки
Business Intelligence

41. Записи семинаров Workaround и вебинаров можно
смотреть на www.youtube.com/user/softengi