SlideShare a Scribd company logo
1 of 32
Дисциплина «Информационные технологии в экономике» Раздел 2. Технологии интеграции и хранения данных   Тема  5 . Управление метаданными и модели данных ПЕРМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ЭКОНОМИЧЕСКИЙ ФАКУЛЬТЕТ Балаш Максим Николаевич к.э.н., доцент Пермь, 200 9
Содержание курса (1 семестр) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Тезисы темы ,[object Object],[object Object],[object Object],[object Object]
Понятие метаданных  ,[object Object],[object Object],Метаданные  (от греч. Meta и лат. Data), буквально переводится как «данные о данных», информация о другом наборе данных. Распространенные определения: это описание информационного содержания хранилища данных: что в нем содержится, откуда что поступает, какие операции выполнялись во время очистки, как осуществлялись интеграция и обобщение. - Метаданные это любые данные об информационных ресурсах организации. - Метаданные это данные о происхождении, хранении и использовании данных. - Метаданные это структурированные, кодированные данные, которые описывают характеристики объектов - носителей информации, способствующие идентификации, обнаружению, оценке и управлению этими объектами. - Метаданные
Назначение метаданных  ,[object Object],[object Object],[object Object],Минимизация работ по разработке и администрированию автоматизированных систем: Метаданные должны обеспечить правила доступа и пользовательские права для всей системы ХД. Усиление механизмов безопасности 5 Метаданные управляют запуском различных процессов ХД (например, загрузки и обновления). Информация об их исполнении (журналы доступа, количество добавленных в ХД записей и т.п.) также содержится в репозитории, легко доступном администратору. Автоматизация административных процессов 4 Быстро изменяющиеся семантические аспекты явным образом хранятся в виде метаданных вне прикладных программ. Поддержка поэтому существенно проще. Систему можно расширить и адаптировать без всяких трудностей. Данный подход также дает возможность повторного использования «фрагментов кода». Повышение гибкости системы и возможности повторного использования существующих программных модулей 3 Метаданные повышают контролируемость и надежность процесса разработки приложений, обеспечивая информацию о смысле данных, их структуре и источниках. Более того, метаданные касающиеся решений по проектированию приложений, можно использовать повторно. Поддержка анализа и проектирования новых приложений 2 Схемы и интеграция данных зависят от метаданных, описывающих структуру и смысл отдельных источников данных и целевых систем. Правила преобразования можно применить к исходным данным и хранить в качестве метаданных.  Поддержка интеграции систем 1 Комментарий Назначение №
Назначение метаданных  Повышение эффективности извлечения информации из ХД: Доступность метаданных как уникального источника документации для пользователей имеет и другие преимущества. Она гарантирует согласованные средства взаимодействия и интерпретации информации из ХД. А также устраняет двусмысленность и обеспечивает согласованность сведений внутри компании, позволяет разделять знания и опыт. Применение общей терминологии и языка взаимодействия внутри компании 4 Методы анализа данных представлены широко — начиная от простых приложений отчетности и OLAP и заканчивая сложными приложениями data mining. В этом направлении метаданные необходимы для понимания предметной области и ее представления в ХД, с тем чтобы адекватно применить и интерпретировать результаты. Улучшение анализа данных 3 Метаданные обеспечивают сведения о значении данных и их связи с бизнес-контентом компании. Поэтому метаданные повышают качество выполняемых запросов за счет более точной и строгой формулировки, а также сокращают расходы на пользователей, которым необходимы доступ, оценка и применение соответствующей информации. Повышение качества запросов 2 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Повышение качества данных 1 Комментарий Назначение №
Типы метаданных ,[object Object],[object Object],[object Object],С точки зрения используемого программного продукта, в среде которого разрабатывается информационная система (или прикладная система), метаданные делятся на системные и прикладные. Системные метаданные  встроены в программный продукт и поддерживаются его ядром. Если для функционирования информационной системы не хватает системных объектов используемого программного продукта, то разрабатываются  прикладные метаданные . Содержательно и системные и прикладные метаданные могут носить характер как бизнес, так и технических метаданных. ,[object Object],[object Object],Технические метаданные ,[object Object],[object Object],Бизнес-метаданные
Пример применения бизнес-метаданных в аналитической системе описания показателей «Доход», «Количество проданной продукции», «Уровень удовлетворенности клиента» и измерения «Клиент», «Категория продукции», «Территориально-административное деление» и т.п. ,[object Object],[object Object],Бизнес-метаданные 1 конкретный клиент (скажем, ЗАО «Международная пивная компания»), продукт («банка пива 0,5 л алюминиевая»), единица территориального деления («Московский регион») и т.п. ,[object Object],[object Object],Контекстные данные 3 конкретные значения количества проданной продукции, полученной прибыли, уровня удовлетворенности клиента и т.п. ,[object Object],[object Object],Транзакционные  ( фактографические )  данные 2 Пример Комментарий Категория №
Роль метаданных в Хранилище данных (ХД) Архитектура ХД Роль метаданных в ХД Среда хранилища данных – это сложный конгломерат разнообразных инструментов и функций, реализующих непрерывный процесс создания, эксплуатации, постепенного расширения и изменения информационного склада.  Метаданные обеспечивают взаимосвязь программ доступа к источникам данных, инструментов трансформации оперативных и внешних данных, средств управления хранилищем для преобразования данных в информацию для конечного пользователя .
Способы использования метаданных в ХД Хранение статической информации (например, определений структур, спецификаций конфигураций), которую будет считывать другой программный компонент во время выполнения. Например, обработчикам запросов необходимы метаданные для проверки существования атрибутов. В отличие от активного использования, здесь метаданные только читаются, но не исполняются. Полуактивный способ 3 Хранение конкретных семантических аспектов (например, правил преобразования) в виде метаданных, которые можно интерпретировать и использовать во время исполнения. В этом случае процессы Хранилища данных управляются метаданными. А следовательно, код (т.е. активные метаданные) и дополнительная документация согласованно и унифицировано управляются в одном репозитории, при этом актуальность документации возрастает. Активный способ 2 Обеспечение четкой документации о структуре, процессе разработки и использовании системы ХД. Доступная документация необходима всем участникам (т.е. конечным пользователям, системным администраторам, а также разработчикам приложений). Пассивный способ 1 Комментарий Способы использования №
Модели метаданных ХД ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
[object Object],[object Object],[object Object],[object Object],Модели метаданных ХД ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Метаданные, описывающие сущности (содержимое) – ЧТО? ,[object Object],Среди информационных объектов, описывающих содержимое хранилища данных можно выделить : Атрибуты  – описывают характеристики сущностей в принятом деловом контексте. Сущности  – описывают измеримые и наблюдаемые параметры предметных областей. Отношения в модели данных  соответствуют бизнес-правилам и помогают пользователям понять связи между сущностями (иерархии, группировки и т.п.). Таблицы, поля, файлы и т.п.  – описывают источники и приемники данных. Бизнес-правила  – описывают взаимосвязи между предметными областями, сущностями, атрибутами. Предметные области  – описывают сферы бизнеса, определяют декомпозицию системы на функциональные подсистемы.
Метаданные, описывающие действия над данными – КАК? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Метаданные, описывающие местоположение ресурсов системы хранилища данных – ГДЕ? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Метаданные, описывающие временные аспекты функционирования ХД – КОГДА? ,[object Object],[object Object],[object Object]
Метаданные, описывающие взаимодействие людей с хранилищем данных – КТО? ,[object Object],Метаданные, определяющие доступ пользователей к хранилищу и другие характеристики безопасности хранилища данных. Чтобы определенное лицо могло обратиться к хранилищу данных, система защиты хранилища наделяет его определенными правами, присваивая идентификационный код и приписывая к определенной группе безопасности. Использование групп безопасности позволяет администратору хранилища данных назначить каждой такой группе целый набор параметров безопасности. Будучи приписанными к определенной группе доступа, пользователи наследуют все права, назначенные этой группе. Это позволяет администратору хранилища изменять права доступа большого количества пользователей, изменяя права только одной группы. Групп безопасности Организационная структура также должна быть зафиксирована в хранилище, однако соответствующие данные обычно копируются из некоторого оперативного источника в хранилище данных.  Организационная структура ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Роли Описание Хранимые метаданные
Метаданные, описывающие движущие силы проекта хранилища данных – ПОЧЕМУ? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Фиксировать фактическую производительность функционирования хранилища данных  Примером соглашения по уровню ИТ-обслуживания может выступать требование о том, что формирование всех квартальных отчетов по сбыту должно завершаться до 8 часов утра и не позже, чем через неделю после окончания квартала. Эти предположения относительно уровня обслуживания служат основанием для планирования загрузки, а также других видов планирования, осуществляемого ИТ-подразделением. Фиксировать все множество производимых с хранилищем данных действий Комментарий Аспект
Репозиторий и подходы к управлению метаданными Метаданные хранятся в специализированной базе данных -  репозитории . Кроме хранения метаданных репозиторий обеспечивает ведение и управление метаданных.  В настоящее время многие компании — поставщики ПО, прежде всего из числа поставщиков СУБД, разрабатывают и предлагают коммерческие варианты репозиториев метаданных для широкого спектра СУБД. Также разрабатываются системы управления метаданными   (как системы управления документацией или компоненты крупных CASE-систем ( computer-aided software engineering  — автоматизированное проектирование и создание программного обеспечения). Для управления метаданными выделяются два подхода: - - построение системы рассматривается как задача системной интеграции – объединения в одну систему изначально не связанных между собой программных продуктов (в том числе выпущенных различными производителями). ,[object Object],для построения системы создается интегрированный комплекс средств – своеобразный «конструктор» хранилищ данных. ,[object Object]
Централизованное управление метаданными Закрытость решения с точки зрения возможного состава: система должна строиться из продуктов одного производителя, тесно интегрированных между собой. Недостатки Максимально короткий срок развертывания корпоративной информационно-аналитической системы и высокая производительность при операциях с метаданными. Преимущества Предлагается набор средств и инструментов для реализации системы, в состав которых входит специализированный репозиторий метаданных.  Все метаданные хранятся и обрабатываются в центральном репозитории, а остальные компоненты не имеют своих метаданных и работают непосредственно с центральным репозиторием. Описание
Конфедеративное управление метаданными Необходимость взаимодействия общих и локальных метаданных может осложнить описание и снизить производительность системы. Общие метаданные не могут быть изменены в локальном репозитории, а могут быть только дополнены локальными метаданными, что не гибко при развитии функциональности. Недостатки Возможность использования решений различных производителей, что позволяет построить систему на основе лучших в своем классе продуктов. Преимущества Общие для компонентов системы метаданные ведутся в специально выделенном репозитории и затем передаются в компоненты, которые имеют собственные репозитории метаданных. Подход назван конфедеративным, поскольку централизованно ведутся только общие метаданные, а локальные порождаются лишь в тех программных продуктах/инструментах, в которых они имеют смысл и могут быть использованы.  Описание
Обмен метаданными на основе стандартной спецификации Спецификация  Common Warehouse Metamodel  (Общая метамодель Хранилища данных, далее CWM) — это стандарт, который описывает обмен метаданными при использовании технологий Хранилищ данных, Business Intelligence, Knowledge Management (Управление знаниями).  Опираясь на базовую метамодель, стандарт добавляет метамодели для реляционных, многомерных данных, а также для преобразования, функций OLAP,  data mining  и Хранилища данных, включая процессы и операции. Пример представления модели метаданных в формате  XML :
Многомерная модель данных  В многомерной модели данные представляются в виде  многомерного куба  (в общем случае в виде гиперкуба), где  измерения  (атрибуты признаки) соответствуют осям куба, а  показатели  (атрибуты основания) - индивидуальным ячейкам куба. Например, если мы хотим анализировать объем продаж по товарам в зависимости от региона и времени, то в таком случае мы приходим к модели многомерной БД с тремя измерениями (товар, регион, месяц) и одним показателем - объемом продаж, ед. изм. Пример многомерного представления данных: Пример реляционного представления данных:
Пример использования многомерной модели данных  Многомерная модель позволяет делать плоские разрезы куба данных и поворачивать его нужной гранью любым удобным нам образом.
Элементы многомерной модели данных ,[object Object],[object Object],[object Object],[object Object],[object Object],В таблицы фактов включаются, как правило, данные на уровне детализации, то есть самого нижнего уровня иерархии. Она имеет внутренний составной ключ из ключей окружающих ее таблиц, которые содержат данные по признакам. Отражают акт совершения того или иного действия - отправку или прибытие товара, перечисление денежных сумм без описания их. событие или состояние объекта ( Event or state facts ) 3 Фиксируют состояния объекта в заданные моменты времени - наличие товаров на складах, состояния счетов в  банке и так далее. «моментальные снимки» ( Snapshot facts ) 2 Отражают происходящие в системе события, например финансовые и другие операции. транзакционные факты ( transaction facts ) 1 Описание Вид №
Элементы многомерной модели данных ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Схемы представления многомерной модели данных Схема «звезда» - состоит только из таблиц размерности и таблицы факта. Физическое представление схемы «звезда» Логическое представление схемы «звезда»
Схемы представления многомерной модели данных Развитием схемы «звезда» является схема «снежинка» ( snowflake schema ). Ее отличает от первой схемы наличие подчиненных таблиц при описании размерностей для реализации нескольких уровней иерархии. Логическое представление схемы «снежинка» Физическое представление схемы «снежинка»
Схемы представления многомерной модели данных Логическое представление схемы «созвездие» Физическое представление схемы «созвездие» Объединением схем «звезда» и «снежинка» является схема «созвездие»
Метамодель и инструменты ведения бизнес-показателей в ХД (Рубрикатор бизнес-показателей Аналитического комплекса Прогноз-5) ,[object Object],[object Object],[object Object],[object Object],[object Object],<<  назад
Метамодель и инструменты ведения бизнес-показателей в ХД (на примере Аналитического комплекса Прогноз-5)
Литература ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

More Related Content

What's hot

Общая презентация informatica
Общая презентация informatica Общая презентация informatica
Общая презентация informatica Oleksii Tsipiniuk
 
решения от Informatica на современном этапе
решения от Informatica на современном этаперешения от Informatica на современном этапе
решения от Informatica на современном этапеNatasha Zaverukha
 
лекция 1
лекция 1лекция 1
лекция 1cezium
 
АрхиГраф.MDM: управление мастер-данными
АрхиГраф.MDM: управление мастер-даннымиАрхиГраф.MDM: управление мастер-данными
АрхиГраф.MDM: управление мастер-даннымиSergey Gorshkov
 
Подходы к построению хранилищ данных в крупных организациях
Подходы к построению хранилищ данных в крупных организацияхПодходы к построению хранилищ данных в крупных организациях
Подходы к построению хранилищ данных в крупных организацияхСбертех | SberTech
 
001
001001
001JIuc
 
Концепция применения онтологических структур в ERP-системах
Концепция применения онтологических структур в ERP-системахКонцепция применения онтологических структур в ERP-системах
Концепция применения онтологических структур в ERP-системахAnatoly Simkin
 
Ситуационные центры, их использование в образовательном процессе
Ситуационные центры, их использование в образовательном процессеСитуационные центры, их использование в образовательном процессе
Ситуационные центры, их использование в образовательном процессеkuhtin
 
Решение Informatica для миграции данных
Решение Informatica для миграции данных Решение Informatica для миграции данных
Решение Informatica для миграции данных Oleksii Tsipiniuk
 
Брошюра функциональные возможности системы электронного документооборота Dire...
Брошюра функциональные возможности системы электронного документооборота Dire...Брошюра функциональные возможности системы электронного документооборота Dire...
Брошюра функциональные возможности системы электронного документооборота Dire...Natasha Zaverukha
 
Централизованный каталог продуктов и тарифов для крупного универсального банка
Централизованный каталог продуктов и тарифов для крупного универсального банкаЦентрализованный каталог продуктов и тарифов для крупного универсального банка
Централизованный каталог продуктов и тарифов для крупного универсального банкаКРОК
 
От Больших данных к знаниям: преимущества для операторов связи
От Больших данных  к знаниям: преимущества  для операторов связиОт Больших данных  к знаниям: преимущества  для операторов связи
От Больших данных к знаниям: преимущества для операторов связиYuri Yashkin
 
Конкурс презентаций - Коноплева
Конкурс презентаций -  КоноплеваКонкурс презентаций -  Коноплева
Конкурс презентаций - Коноплеваgalkina
 
От больших данных к знаниям: преимущества для операторов связи
От больших данных к знаниям: преимущества для операторов связиОт больших данных к знаниям: преимущества для операторов связи
От больших данных к знаниям: преимущества для операторов связиElizaveta Alekseeva
 
Комплексные медицинские информационные системы: как это работает у ваших коллег?
Комплексные медицинские информационные системы: как это работает у ваших коллег?Комплексные медицинские информационные системы: как это работает у ваших коллег?
Комплексные медицинские информационные системы: как это работает у ваших коллег?BDA
 

What's hot (18)

Общая презентация informatica
Общая презентация informatica Общая презентация informatica
Общая презентация informatica
 
решения от Informatica на современном этапе
решения от Informatica на современном этаперешения от Informatica на современном этапе
решения от Informatica на современном этапе
 
модуль 4
модуль 4модуль 4
модуль 4
 
лекция 4 (4часа)
лекция 4 (4часа)лекция 4 (4часа)
лекция 4 (4часа)
 
лекция 1
лекция 1лекция 1
лекция 1
 
АрхиГраф.MDM: управление мастер-данными
АрхиГраф.MDM: управление мастер-даннымиАрхиГраф.MDM: управление мастер-данными
АрхиГраф.MDM: управление мастер-данными
 
Подходы к построению хранилищ данных в крупных организациях
Подходы к построению хранилищ данных в крупных организацияхПодходы к построению хранилищ данных в крупных организациях
Подходы к построению хранилищ данных в крупных организациях
 
001
001001
001
 
Концепция применения онтологических структур в ERP-системах
Концепция применения онтологических структур в ERP-системахКонцепция применения онтологических структур в ERP-системах
Концепция применения онтологических структур в ERP-системах
 
Ситуационные центры, их использование в образовательном процессе
Ситуационные центры, их использование в образовательном процессеСитуационные центры, их использование в образовательном процессе
Ситуационные центры, их использование в образовательном процессе
 
Решение Informatica для миграции данных
Решение Informatica для миграции данных Решение Informatica для миграции данных
Решение Informatica для миграции данных
 
Брошюра функциональные возможности системы электронного документооборота Dire...
Брошюра функциональные возможности системы электронного документооборота Dire...Брошюра функциональные возможности системы электронного документооборота Dire...
Брошюра функциональные возможности системы электронного документооборота Dire...
 
Централизованный каталог продуктов и тарифов для крупного универсального банка
Централизованный каталог продуктов и тарифов для крупного универсального банкаЦентрализованный каталог продуктов и тарифов для крупного универсального банка
Централизованный каталог продуктов и тарифов для крупного универсального банка
 
От Больших данных к знаниям: преимущества для операторов связи
От Больших данных  к знаниям: преимущества  для операторов связиОт Больших данных  к знаниям: преимущества  для операторов связи
От Больших данных к знаниям: преимущества для операторов связи
 
Байдалина472(2)
Байдалина472(2)Байдалина472(2)
Байдалина472(2)
 
Конкурс презентаций - Коноплева
Конкурс презентаций -  КоноплеваКонкурс презентаций -  Коноплева
Конкурс презентаций - Коноплева
 
От больших данных к знаниям: преимущества для операторов связи
От больших данных к знаниям: преимущества для операторов связиОт больших данных к знаниям: преимущества для операторов связи
От больших данных к знаниям: преимущества для операторов связи
 
Комплексные медицинские информационные системы: как это работает у ваших коллег?
Комплексные медицинские информационные системы: как это работает у ваших коллег?Комплексные медицинские информационные системы: как это работает у ваших коллег?
Комплексные медицинские информационные системы: как это работает у ваших коллег?
 

Similar to тема 5

лекция 1
лекция 1лекция 1
лекция 1cezium
 
Современные технологии автоматизации документооборота. Практический опыт повы...
Современные технологии автоматизации документооборота. Практический опыт повы...Современные технологии автоматизации документооборота. Практический опыт повы...
Современные технологии автоматизации документооборота. Практический опыт повы...Андрей Кучеров
 
CompanyMedia - новые возможности
CompanyMedia - новые возможностиCompanyMedia - новые возможности
CompanyMedia - новые возможностиАндрей Кучеров
 
ECM Введение 2016
ECM Введение 2016ECM Введение 2016
ECM Введение 2016Sergey Gorobets
 
информатикаисогд
информатикаисогдинформатикаисогд
информатикаисогдpks11-1
 
босс референт (аменицкий)
босс референт (аменицкий)босс референт (аменицкий)
босс референт (аменицкий)student_kai
 
Классификаторы
КлассификаторыКлассификаторы
КлассификаторыAnatoly Kazakov
 
Аналитический обзор рынка Больших Данных от IPOboard
Аналитический обзор рынка Больших Данных от IPOboardАналитический обзор рынка Больших Данных от IPOboard
Аналитический обзор рынка Больших Данных от IPOboardIpo Board
 
КРОК-НСИ описание системы управления мастер-данными разработки компании КРОК
КРОК-НСИ описание системы управления мастер-данными разработки компании КРОККРОК-НСИ описание системы управления мастер-данными разработки компании КРОК
КРОК-НСИ описание системы управления мастер-данными разработки компании КРОККРОК
 
КРОК-НСИ техническое описание системы управления мастер-данными разработки ко...
КРОК-НСИ техническое описание системы управления мастер-данными разработки ко...КРОК-НСИ техническое описание системы управления мастер-данными разработки ко...
КРОК-НСИ техническое описание системы управления мастер-данными разработки ко...КРОК
 
информационное обеспечение анализа
информационное обеспечение анализаинформационное обеспечение анализа
информационное обеспечение анализаYana Lapitskaya
 
Логическая витрина для доступа к большим данным
Логическая витрина для доступа к большим даннымЛогическая витрина для доступа к большим данным
Логическая витрина для доступа к большим даннымSergey Gorshkov
 
Intertrust: Новые возможности СЭД для повышения эффективности управления
Intertrust: Новые возможности СЭД для повышения эффективности управленияIntertrust: Новые возможности СЭД для повышения эффективности управления
Intertrust: Новые возможности СЭД для повышения эффективности управленияExpolink
 
Защита баз данных в банке — проблемы и решения
Защита баз данных в банке — проблемы и решенияЗащита баз данных в банке — проблемы и решения
Защита баз данных в банке — проблемы и решенияОльга Антонова
 
лекция 3
лекция 3лекция 3
лекция 3cezium
 
лекция 3
лекция 3лекция 3
лекция 3cezium
 
Informatica Пронет (v.0.3)
Informatica   Пронет (v.0.3)Informatica   Пронет (v.0.3)
Informatica Пронет (v.0.3)Natasha Zaverukha
 
Бизнес-контекст, совместная работа и согласованность для интеллектуального уп...
Бизнес-контекст, совместная работа и согласованность для интеллектуального уп...Бизнес-контекст, совместная работа и согласованность для интеллектуального уп...
Бизнес-контекст, совместная работа и согласованность для интеллектуального уп...Andrew Sovtsov
 
Знакомство с виртуализацией данных для профессионалов в области данных
Знакомство с виртуализацией данных для профессионалов в области данныхЗнакомство с виртуализацией данных для профессионалов в области данных
Знакомство с виртуализацией данных для профессионалов в области данныхDenodo
 

Similar to тема 5 (20)

лекция 1
лекция 1лекция 1
лекция 1
 
Современные технологии автоматизации документооборота. Практический опыт повы...
Современные технологии автоматизации документооборота. Практический опыт повы...Современные технологии автоматизации документооборота. Практический опыт повы...
Современные технологии автоматизации документооборота. Практический опыт повы...
 
тема 2
тема 2тема 2
тема 2
 
CompanyMedia - новые возможности
CompanyMedia - новые возможностиCompanyMedia - новые возможности
CompanyMedia - новые возможности
 
ECM Введение 2016
ECM Введение 2016ECM Введение 2016
ECM Введение 2016
 
информатикаисогд
информатикаисогдинформатикаисогд
информатикаисогд
 
босс референт (аменицкий)
босс референт (аменицкий)босс референт (аменицкий)
босс референт (аменицкий)
 
Классификаторы
КлассификаторыКлассификаторы
Классификаторы
 
Аналитический обзор рынка Больших Данных от IPOboard
Аналитический обзор рынка Больших Данных от IPOboardАналитический обзор рынка Больших Данных от IPOboard
Аналитический обзор рынка Больших Данных от IPOboard
 
КРОК-НСИ описание системы управления мастер-данными разработки компании КРОК
КРОК-НСИ описание системы управления мастер-данными разработки компании КРОККРОК-НСИ описание системы управления мастер-данными разработки компании КРОК
КРОК-НСИ описание системы управления мастер-данными разработки компании КРОК
 
КРОК-НСИ техническое описание системы управления мастер-данными разработки ко...
КРОК-НСИ техническое описание системы управления мастер-данными разработки ко...КРОК-НСИ техническое описание системы управления мастер-данными разработки ко...
КРОК-НСИ техническое описание системы управления мастер-данными разработки ко...
 
информационное обеспечение анализа
информационное обеспечение анализаинформационное обеспечение анализа
информационное обеспечение анализа
 
Логическая витрина для доступа к большим данным
Логическая витрина для доступа к большим даннымЛогическая витрина для доступа к большим данным
Логическая витрина для доступа к большим данным
 
Intertrust: Новые возможности СЭД для повышения эффективности управления
Intertrust: Новые возможности СЭД для повышения эффективности управленияIntertrust: Новые возможности СЭД для повышения эффективности управления
Intertrust: Новые возможности СЭД для повышения эффективности управления
 
Защита баз данных в банке — проблемы и решения
Защита баз данных в банке — проблемы и решенияЗащита баз данных в банке — проблемы и решения
Защита баз данных в банке — проблемы и решения
 
лекция 3
лекция 3лекция 3
лекция 3
 
лекция 3
лекция 3лекция 3
лекция 3
 
Informatica Пронет (v.0.3)
Informatica   Пронет (v.0.3)Informatica   Пронет (v.0.3)
Informatica Пронет (v.0.3)
 
Бизнес-контекст, совместная работа и согласованность для интеллектуального уп...
Бизнес-контекст, совместная работа и согласованность для интеллектуального уп...Бизнес-контекст, совместная работа и согласованность для интеллектуального уп...
Бизнес-контекст, совместная работа и согласованность для интеллектуального уп...
 
Знакомство с виртуализацией данных для профессионалов в области данных
Знакомство с виртуализацией данных для профессионалов в области данныхЗнакомство с виртуализацией данных для профессионалов в области данных
Знакомство с виртуализацией данных для профессионалов в области данных
 

тема 5

  • 1. Дисциплина «Информационные технологии в экономике» Раздел 2. Технологии интеграции и хранения данных Тема  5 . Управление метаданными и модели данных ПЕРМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ЭКОНОМИЧЕСКИЙ ФАКУЛЬТЕТ Балаш Максим Николаевич к.э.н., доцент Пермь, 200 9
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9. Роль метаданных в Хранилище данных (ХД) Архитектура ХД Роль метаданных в ХД Среда хранилища данных – это сложный конгломерат разнообразных инструментов и функций, реализующих непрерывный процесс создания, эксплуатации, постепенного расширения и изменения информационного склада. Метаданные обеспечивают взаимосвязь программ доступа к источникам данных, инструментов трансформации оперативных и внешних данных, средств управления хранилищем для преобразования данных в информацию для конечного пользователя .
  • 10. Способы использования метаданных в ХД Хранение статической информации (например, определений структур, спецификаций конфигураций), которую будет считывать другой программный компонент во время выполнения. Например, обработчикам запросов необходимы метаданные для проверки существования атрибутов. В отличие от активного использования, здесь метаданные только читаются, но не исполняются. Полуактивный способ 3 Хранение конкретных семантических аспектов (например, правил преобразования) в виде метаданных, которые можно интерпретировать и использовать во время исполнения. В этом случае процессы Хранилища данных управляются метаданными. А следовательно, код (т.е. активные метаданные) и дополнительная документация согласованно и унифицировано управляются в одном репозитории, при этом актуальность документации возрастает. Активный способ 2 Обеспечение четкой документации о структуре, процессе разработки и использовании системы ХД. Доступная документация необходима всем участникам (т.е. конечным пользователям, системным администраторам, а также разработчикам приложений). Пассивный способ 1 Комментарий Способы использования №
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20. Централизованное управление метаданными Закрытость решения с точки зрения возможного состава: система должна строиться из продуктов одного производителя, тесно интегрированных между собой. Недостатки Максимально короткий срок развертывания корпоративной информационно-аналитической системы и высокая производительность при операциях с метаданными. Преимущества Предлагается набор средств и инструментов для реализации системы, в состав которых входит специализированный репозиторий метаданных. Все метаданные хранятся и обрабатываются в центральном репозитории, а остальные компоненты не имеют своих метаданных и работают непосредственно с центральным репозиторием. Описание
  • 21. Конфедеративное управление метаданными Необходимость взаимодействия общих и локальных метаданных может осложнить описание и снизить производительность системы. Общие метаданные не могут быть изменены в локальном репозитории, а могут быть только дополнены локальными метаданными, что не гибко при развитии функциональности. Недостатки Возможность использования решений различных производителей, что позволяет построить систему на основе лучших в своем классе продуктов. Преимущества Общие для компонентов системы метаданные ведутся в специально выделенном репозитории и затем передаются в компоненты, которые имеют собственные репозитории метаданных. Подход назван конфедеративным, поскольку централизованно ведутся только общие метаданные, а локальные порождаются лишь в тех программных продуктах/инструментах, в которых они имеют смысл и могут быть использованы. Описание
  • 22. Обмен метаданными на основе стандартной спецификации Спецификация Common Warehouse Metamodel (Общая метамодель Хранилища данных, далее CWM) — это стандарт, который описывает обмен метаданными при использовании технологий Хранилищ данных, Business Intelligence, Knowledge Management (Управление знаниями). Опираясь на базовую метамодель, стандарт добавляет метамодели для реляционных, многомерных данных, а также для преобразования, функций OLAP, data mining и Хранилища данных, включая процессы и операции. Пример представления модели метаданных в формате XML :
  • 23. Многомерная модель данных В многомерной модели данные представляются в виде многомерного куба (в общем случае в виде гиперкуба), где измерения (атрибуты признаки) соответствуют осям куба, а показатели (атрибуты основания) - индивидуальным ячейкам куба. Например, если мы хотим анализировать объем продаж по товарам в зависимости от региона и времени, то в таком случае мы приходим к модели многомерной БД с тремя измерениями (товар, регион, месяц) и одним показателем - объемом продаж, ед. изм. Пример многомерного представления данных: Пример реляционного представления данных:
  • 24. Пример использования многомерной модели данных Многомерная модель позволяет делать плоские разрезы куба данных и поворачивать его нужной гранью любым удобным нам образом.
  • 25.
  • 26.
  • 27. Схемы представления многомерной модели данных Схема «звезда» - состоит только из таблиц размерности и таблицы факта. Физическое представление схемы «звезда» Логическое представление схемы «звезда»
  • 28. Схемы представления многомерной модели данных Развитием схемы «звезда» является схема «снежинка» ( snowflake schema ). Ее отличает от первой схемы наличие подчиненных таблиц при описании размерностей для реализации нескольких уровней иерархии. Логическое представление схемы «снежинка» Физическое представление схемы «снежинка»
  • 29. Схемы представления многомерной модели данных Логическое представление схемы «созвездие» Физическое представление схемы «созвездие» Объединением схем «звезда» и «снежинка» является схема «созвездие»
  • 30.
  • 31. Метамодель и инструменты ведения бизнес-показателей в ХД (на примере Аналитического комплекса Прогноз-5)
  • 32.