Управление данными (хранилища данных и OLAP)

Управление данными
Часть 9.
Хранилища данных
и OLAP
Использованы материалы Microsoft SQL Server Analysis Services 2008 для построения хранилищ данных
Автор: В.В. Полубояров (http://www.intuit.ru/department/database/mssqlsas2008 )
(©) Владислав Лавров, vlavrov.com

2
9.1.
Хранилище данных и OLAP.
Назначение.
Основные характеристики

3

4
Сбор и хранение информации, а также решение
задач информационно-поискового запроса
эффективно реализуются средствами систем
управления базами данных (СУБД) с помощью
OLTP (Online Transaction Processing)-
подсистем.

5
Непосредственно OLTP-системы не подходят
для полноценного анализа информации.
Почему?
В силу противоречивости требований,
предъявляемых к OLTP-системам и СППР.

6
Для предоставления необходимой для принятия
решений информации обычно приходится
собирать данные из нескольких
транзакционных баз данных различной
структуры и содержания.

7
Основная проблема при этом состоит в
несогласованности и противоречивости этих
баз-источников, отсутствии единого
логического взгляда на корпоративные
данные.

8
В основе концепции ХД лежит идея разделения
данных, используемых для оперативной
обработки и для решения задач анализа, что
позволяет оптимизировать структуры
хранения.

9
ХД позволяет интегрировать ранее разъединенные
детализированные данные, содержащиеся в
исторических архивах, накапливаемых в традиционных
OLTP-системах, поступающих из внешних источников, в
единую базу данных, осуществляя их предварительное
согласование и, возможно, агрегацию.

10
Подсистема
ввода данных
(СУБД - OLTP)
хранения данных
(СУБД и/или ХД)
анализа
информационно-
поискового анализа
(СУБД, SQL)
оперативного анализа
(OLAP)
интеллектуального
анализа
(Data Mining)
Оператор Аналитик

11
Подсистема анализа может быть построена
на основе:
• подсистемы информационно-поискового анализа
на базе реляционных СУБД и статических запросов
с использованием языка SQL;
• подсистемы оперативного анализа. Для реализации
таких подсистем применяется технология оперативной
аналитической обработки данных OLAP, использующая
концепцию многомерного представления данных;
• подсистемы интеллектуального анализа, реализующие
методы и алгоритмы Data Mining.

12
ХД – предметно-ориентированный, интегрированный,
редко меняющийся, поддерживающий хронологию
набор данных, организованный для целей поддержки
принятия решений.
Предметная ориентация означает, что ХД интегрируют
информацию, отражающую различные точки зрения на
предметную область.
Интеграция предполагает, что данные, хранящиеся в ХД,
приводятся к единому формату. Поддержка
хронологии означает, что все данные в ХД
соответствуют последовательным интервалам
времени.
Понятие хранилищ данных

13
Структура СППР с физическим ХД
• При загрузке данных из OLTP-системы в ХД происходит дублирование данных.
• В ходе этой загрузки данные фильтруются, поскольку не все из них имеют значение
для проведения процедур анализа.
• В ХД хранится обобщённая информация, которая в OLTP-системе отсутствует.
анализа
Аналитик
ввода
(OLTP)
Оперативный
источник
данных
источник
данных
источник
данных
Подсистема хранения данных
Хранилище
данных
ввода
(OLTP)
ввода
(OLTP)
Аналитические
запросы
Данные
Внешний источник
данных
Оператор
Оператор
Оператор

14
В системе виртуальных ХД данные из OLTP-системы не копируются в единое
хранилище. Они извлекаются, преобразуются и интегрируются
непосредственно при выполнении аналитических запросов в режиме
реального времени. Фактически такие запросы напрямую передаются к
OLTP-системе.
Достоинства виртуального ХД:
• минимизация объема хранимых данных;
• работа с текущими, актуальными данными.
Недостатки виртуального ХД:
• более высокое, по сравнению с физическим ХД время обработки запросов;
• необходимость постоянной доступности всех OLTP-источников;
• снижение быстродействия OLTP-систем;
• OLTP-системы не ориентированы на хранение данных за длительный
период времени, по мере необходимости данные выгружаются в архивные,
поэтому не всегда имеется физическая возможность получения полного
набора данных в ХД.
Виртуальные хранилища данных

15
1. Интеграция разнородных данных.
2. Эффективное хранение и обработка больших
объемов данных.
3. Организация многоуровневых справочников
метаданных.
4. Обеспечение информационной безопасности ХД.
Проблемы построения хранилищ данных

16
Структура СППР с самостоятельными
витринами данных (ВД )
анализа
ввода
(OLTP)
источник
данных
источник
данных
Витрина
данных
ввода
(OLTP)
ввода
(OLTP)
запросы
Данные
данных
Оператор
Оператор
Оператор
Витрина
данных
источник
данных
анализа
запросы
Данные
Аналитик
Аналитик
• ВД содержит данные, ориентированные на конкретного пользователя,
существенно меньше по объему, и для ее реализации требуется меньше затрат.
• ВД могут строиться как самостоятельно, так и вместе с ХД.
• ВД внедряются гораздо быстрее и быстрее виден эффект от их использования.

17
Структура СППР
с хранилищами данных и витринами данных
анализа
ввода
(OLTP)
источник
данных
источник
данных
Витрина
данных
ввода
(OLTP)
ввода
(OLTP)
запросы
Данные
данных
Оператор
Оператор
Оператор
Витрина
данных
источник
данных
анализа
запросы
Данные
Аналитик
АналитикХранилище
данных

18
9.2.
Понятие и модель данных OLAP

19
OLAP (Online Analytical Processing) – технология
оперативной аналитической обработки данных,
использующая методы и средства для сбора,
хранения и анализа многомерных данных в целях
поддержки процессов принятия решений.
Основное назначение OLAP-систем – поддержка
аналитической деятельности, произвольных
запросов пользователей - аналитиков. Цель OLAP-
анализа – проверка возникающих гипотез.
Понятие OLAP

20
OLTP – On-Line Transaction Processing,
оперативная транзакционная обработка данных
OLAP – On-Line Analytical Processing
оперативная аналитическая обработка данных
Data
OLTP
OLAP

21
Категории данных в хранилищах данных
1. Детальные данные
2. Агрегированные (обобщённые) данные
3. Метаданные
анализа
Аналитик
ввода
(OLTP)
источник
данных
источник
данных
источник
данных
Хранилище данных
ввода
(OLTP)
ввода
(OLTP)
Аналити-
ческие
запросы
Данные
данных
Оператор
Оператор
Оператор
Агрегированные
данные
Детальные
данные
Обратный
поток
Входной
поток
Выходной
поток
Поток
обобщения
Репозиторий
метаданных
Поток
метаданных
Архивный
поток
Архивные
данные

22
Информационные потоки в хранилищах данных
• входной поток - образуется данными, копируемыми из OLTP-систем
в ХД; данные при этом часто очищаются и обогащаются путем
добавления новых атрибутов;
• поток обобщения - образуется агрегированием детальных данных и
их сохранением в ХД;
• архивный поток - образуется перемещением детальных данных,
количество обращений к которым снизилось;
• поток метаданных - образуется потоком информации о данных в
репозиторий данных;
• выходной поток - образуется данными, извлекаемыми
пользователями;
• обратный поток - образуется очищенными данными,
записываемыми обратно в OLTP-системы.

23
OLAP и OLTP.
Характеристики и основные отличия
Характеристики OLTP системы
• Большой объем информации
• Часто различные БД для разных подразделений
• Нормализованная схема, отсутствие дублирования
информации
• Интенсивное изменение данных
• Транзакционный режим работы
• Транзакции затрагивают небольшой объем данных
• Обработка текущих данных – мгновенный снимок
• Много клиентов
• Малое время отклика – несколько секунд

24
OLAP и OLTP.
Характеристики и основные отличия
Характеристики OLAP системы
• Большой объем информации
• Синхронизированная информация из различных БД с использованием
общих классификаторов
• Ненормализованная схема БД с дубликатами
• Данные меняются редко, Изменение происходит через пакетную загрузку
• Выполняются сложные нерегламентированные запросы над большим
объемом данных с широким применением группировок и агрегатных
функций.
• Анализ временных зависимостей
• Небольшое количество работающих пользователей – аналитики и
менеджеры
• Большее время отклика (но все равно приемлемое) – несколько минут

25
9.3.
Правила Кодда
для OLAP систем

26
1. Концептуальное многомерное представление
2. Прозрачность.
3. Доступность.
4. Постоянная производительность при разработке отчётов.
5. Клиент-серверная архитектура.
6. Общая многомерность.
7. Динамическое управление разреженными матрицами.
8. Многопользовательская поддержка.
9. Неограниченные перекрёстные операции.
10. Интуитивная манипуляция данными.
11. Гибкие возможности получения отчётов.
12. Неограниченная размерность и число уровней агрегации.

27
9.4.
Структура OLAP-куба

28
Гиперкуб

29
Операции, выполняемые над гиперкубом
1. Срез
2. Вращение

30
Операции, выполняемые над гиперкубом
4. Детализация
3. Консолидация

31
Фрагмент хранилища данных для OLAP

32
Таблица фактов
1. Факты, связанные с транзакциями (Transaction facts).
2. Факты, связанные с "моментальными снимками"
(Snapshot facts).
3. Факты, связанные с элементами документа (Line-item facts).
4. Факты, связанные с событиями или состоянием объекта
(Event or state facts).
Основные типы таблиц фактов

33
Таблица измерений
Таблицы измерений содержат неизменяемые либо редко изменяемые
данные.
Таблицы измерений также содержат как минимум одно описательное
поле (обычно с именем члена измерения) и, как правило,
целочисленное ключевое поле (обычно это суррогатный ключ) для
однозначной идентификации члена измерения.
Если будущее измерение, основанное на данной таблице измерений,
содержит иерархию, то таблица измерений также может содержать
поля, указывающие на "родителя" данного члена в этой иерархии.
Каждая таблица измерений должна находиться в отношении "один ко
многим" с таблицей фактов.
Скорость роста таблиц измерений должна быть незначительной по
сравнению со скоростью роста таблицы фактов

34
Архитектура
OLAP-систем

35
Архитектура OLAP-систем
Слой извлечения, преобразования и загрузки данных
Включает организационные подразделения и структуры организации всех уровней,
поддерживающие базы данных оперативного доступа.
Он представляет собой низовой уровень генерации информации, уровень внутренних
и внешних информационных источников, вырабатывающих "сырую" информацию.
Эта информация является рабочей для повседневной деятельности различных
подразделений, которые ее вырабатывают и используют.
Загрузка данных из источников в хранилище осуществляется специальными
процедурами, позволяющими:
1. Извлекать данные из различных баз данных, текстовых файлов;
2. Выполнять различные типы согласования и очистки данных;
3. Преобразовывать данные при перемещении их от источников к хранилищу;
4. Загружать согласованные и "очищенные" данные в структуры хранилища

36
Слой хранения данных
Предназначен для хранения значимой, проверенной, согласованной,
непротиворечивой и хронологически целостной информации, которую с достаточно
высокой степенью уверенности можно считать достоверной.
Как правило, ХД или ВД реализуется в виде реляционной БД, работающей под
управлением достаточно мощной реляционной СУБД.
Требования к СУБД:
• поддержка эффективной работы с огромными объёмами информации;
• развитые средства ограничения доступа;
• обеспечение повышенного уровня надёжности и безопасности;
• соответствие необходимым требованиям по восстановлению и архивации.
Слой реализован в виде хранилища данных (ХД) или витрины данных (ВД).

37
Слой анализа данных
Для организации доступа аналитиков к данным ХД и ВД используются
специализированные рабочие места, поддерживающие необходимые технологии как
оперативного, так и долговременного анализа.
Результаты работы аналитиков оформляются в виде отчетов, графиков, рекомендаций
и сохраняются как на локальном компьютере, так и в общедоступном узле локальной
сети.
Современный подход к инструментальным средствам анализа не ограничивается
использованием какой-то одной технологии. В настоящее время принято различать
следующие основные вида аналитической деятельности:
• стандартная отчетность;
• нерегламентированные запросы;
• многомерный анализ (OLAP);
• извлечение знаний (data mining).

38
Инструментальные средства OLAP-систем
• Клиентские OLAP-средства
• Серверные OLAP-средства

39
Клиентские OLAP-средства
Представляют собой приложения, осуществляющие вычисление агрегатных
данных (сумм, средних величин, максимальных или минимальных значений) и их
отображение, при этом сами агрегатные данные содержатся в кэше внутри
адресного пространства такого OLAP-средства.
Если исходные данные содержатся в настольной СУБД, вычисление агрегатных
данных производится самим OLAP-средством. Если же источник исходных данных -
серверная СУБД, многие из клиентских OLAP-средств посылают на сервер SQL-
запросы, содержащие оператор GROUP BY, и в результате получают агрегатные
данные, вычисленные на сервере.
Функциональность реализована в пакетах статистической обработки данных
(например, продуктах компаний StatSoft и SPSS), а также в пакетах Microsoft Office
Excel и Microsoft Office Visio.

40
В состав Microsoft Office 2010 входят три отдельных OLAP-компонента:
1. Клиент извлечения и обработки данных для Excel позволяет создавать
проекты извлечения и обработки данных на базе служб SQL Server
Analysis Services (SSAS) и управлять ими из Excel;
2. Средства анализа таблиц для приложения Excel позволяют использовать
встроенные в службы SSAS функции извлечения и обработки информации
для анализа данных, хранящихся в таблицах Excel;
3. Шаблоны извлечения и обработки данных для приложения Visio позволяют
визуализировать деревья решений, деревья регрессии, кластерные
диаграммы и сети зависимостей на диаграммах Visio.

41
С помощью приложения Microsoft Office Visio можно аннотировать, дополнять и
отображать графические представления результатов извлечения и обработки
данных.
Платформа SQL Server 2008 в сочетании с приложением Visio 2007 позволяет:
• визуализировать деревья решений, деревья регрессии, кластерные
диаграммы и сети зависимостей;
• сохранять модели извлечения и обработки данных в виде документов Visio,
внедрённых в другие документы приложений Office или сохранённых в виде
веб-страниц.

42
Серверные OLAP-средства
В случае применения серверных OLAP-средств вычисление и хранение
агрегатных данных происходят на сервере, а клиентское приложение
получает лишь результаты запросов к ним, что позволяет в общем случае
снизить сетевой трафик, время выполнения запросов и требования к
ресурсам, потребляемым клиентским приложением.
Средства анализа и обработки данных масштаба предприятия, как
правило, базируются именно на серверных OLAP-средствах, например,
таких как Oracle Database Server и Microsoft SQL Server.

43
9.5.
Реализация OLAP

• MOLAP (Multidimensional OLAP)
• ROLAP (Relational OLAP)
• HOLAP (Hybrid OLAP)
Типы OLAP - серверов

MOLAP - сервер
Детальные и агрегированные данные хранятся в
многомерной базе данных.
Хранение данных в многомерных структурах позволяет
манипулировать данными как многомерным массивом,
благодаря чему скорость вычисления агрегатных
значений одинакова для любого из измерений.
Однако в этом случае многомерная база данных
оказывается избыточной, так как многомерные данные
полностью содержат детальные реляционные данные.

Преимущества
• Высокая производительность.
• Структура и интерфейсы наилучшим образом
соответствуют структуре аналитических запросов.
• Многомерные СУБД легко справляются с задачами
включения в информационную модель разнообразных
встроенных функций.

Недостатки
• MOLAP могут работать только со своими собственными многомерными
БД и основываются на патентованных технологиях для многомерных
СУБД, поэтому являются наиболее дорогими.
• По сравнению с реляционными, очень неэффективно используют
внешнюю память, обладают худшими по сравнению с реляционными БД
механизмами транзакций.
• Отсутствуют единые стандарты на интерфейс, языки описания и
манипулирования данными.
• Не поддерживают репликацию данных, часто используемую в качестве
механизма загрузки.

ROLAP - сервер
ROLAP-системы позволяют представлять данные,
хранимые в классической реляционной базе, в
многомерной форме или в плоских локальных таблицах
на файл-сервере, обеспечивая преобразование
информации в многомерную модель через
промежуточный слой метаданных.
Агрегаты хранятся в той же БД в специально созданных
служебных таблицах. В этом случае гиперкуб
эмулируется СУБД на логическом уровне.

• Работа с очень большими БД
• Развитые средства администрирования.
• Инструменты ROLAP позволяют производить анализ непосредственно над
хранилищем данных.
• В случае переменной размерности задачи ROLAP не требуют физической
реорганизации БД, как в случае MOLAP.
• Системы ROLAP могут функционировать на гораздо менее мощных
клиентских станциях, чем системы MOLAP.
• Более высокий уровень защиты данных и хорошие возможности
разграничения прав доступа.

• Ограниченные возможности с точки зрения расчета значений
функционального типа.
• Меньшая производительность, чем у MOLAP. Для обеспечения
сравнимой с MOLAP производительности реляционные системы
требуют тщательной проработки схемы БД и специальной
настройки индексов. Но в результате этих операций
производительность хорошо настроенных реляционных систем при
использовании схемы "звезда" сравнима с производительностью
систем на основе многомерных БД.

HOLAP - сервер
Детальные данные остаются в той же реляционной базе
данных, где они изначально находились, а агрегатные
данные хранятся в многомерной базе данных

• Схема «Звезда»
• Схема «Снежинка»
Схемы реализации OLAP
в реляционных системах

Схема «Звезда»
Каждое измерение содержится в одной таблице.

Особенности:
• Одна таблица фактов (fact table), которая сильно денормализована
является центральной в схеме, может состоять из миллионов строк
и содержит суммируемые или фактические данные, с помощью
которых можно ответить на различные вопросы.
• Несколько денормализованных таблиц измерений (dimensional table)
имеют меньшее количество строк, чем таблицы фактов, и содержат
описательную информацию. Эти таблицы позволяют пользователю
быстро переходить от таблицы фактов к дополнительной
информации.
• Таблица фактов и таблицы размерности связаны
идентифицирующими связями, при этом первичные ключи таблицы
размерности мигрируют в таблицу фактов в качестве внешних
ключей. Первичный ключ таблицы факта целиком состоит из
первичных ключей всех таблиц размерности.
• Агрегированные данные хранятся совместно с исходными.

Благодаря денормализации таблиц измерений
упрощается восприятие структуры данных пользователем
и формулировка запросов, уменьшается количество
операций соединения таблиц при обработке запросов.
Некоторые промышленные СУБД и инструменты класса
OLAP / Reporting умеют использовать преимущества
схемы "звезда" для сокращения времени выполнения
запросов.

Денормализация таблиц измерений вносит избыточность
данных, возрастает требуемый для их хранения объем
памяти.
Если агрегаты хранятся совместно с исходными данными,
то в измерениях необходимо использовать
дополнительный параметр - уровень иерархии.

Схема «Снежинка»
Существует измерение, которое содержится в нескольких таблицах

Особенности:
• Одна таблица фактов (fact table), которая сильно денормализована является
центральной в схеме, может состоять из миллионов строк и содержать
суммируемые или фактические данные, с помощью которых можно ответить
на различные вопросы.
• Несколько таблиц измерений (dimensional table), которые нормализованы в
отличие от схемы "звезда". Имеют меньшее количество строк, чем таблицы
фактов, и содержат описательную информацию. Эти таблицы позволяют
пользователю быстро переходить от таблицы фактов к дополнительной
информации. Первичные ключи в них состоят из единственного атрибута
(соответствуют единственному элементу измерения).
• Таблица фактов и таблицы размерности связаны идентифицирующими
связями, при этом первичные ключи таблицы размерности мигрируют в
таблицу фактов в качестве внешних ключей. Первичный ключ таблицы факта
целиком состоит из первичных ключей всех таблиц размерности.
• В схеме "снежинка" агрегированные данные могут храниться отдельно от
исходных

Нормализация таблиц измерений
в отличие от схемы "звезда" позволяет
минимизировать избыточность данных и более
эффективно выполнять запросы,
связанные со структурой значений измерений.

За нормализацию таблиц измерений иногда
приходится платить временем выполнения
запросов.

Управление данными (хранилища данных и OLAP)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to Управление данными (хранилища данных и OLAP)

Similar to Управление данными (хранилища данных и OLAP) (20)

More from Ural Federal University named after First President of Russia B.N. Yeltsin

More from Ural Federal University named after First President of Russia B.N. Yeltsin (20)

Управление данными (хранилища данных и OLAP)