Какие бизнес-задачи решает логическая витрина данных? Как ее построить? В чем преимущества витрины данных, построенной с использованием концептуального моделирования, и онтологических (семантических) технологий?
Какие бизнес-задачи решает логическая витрина данных? Как ее построить? В чем преимущества витрины данных, построенной с использованием концептуального моделирования, и онтологических (семантических) технологий?
Необходимые условия качества данных: MDM, Шина, Хранилище данныхКРОК
Вебинар «Плюсы от использования MDM - когда и как применять технологию» http://www.croc.ru/action/detail/18961/
Презентация Романа Баранова, эксперта направления MDM, DWH, BI, ETL компании КРОК
Концепция применения онтологических структур в ERP-системахAnatoly Simkin
В данной статье поднята проблематика анализа информации, предоставляемой информационными системами. Рассмотрены актуальные способы ее структурирования и представления пользователю. Предложена концепция построения и применения онтологических структур в информационных системах для анализа данных.
This article is devoted to the problems of data analysis that is provided by information systems. The actual methods of structuring and representation for user were considered. There was proposed the principle of making and applying the ontology structure in information systems for data analysis.
Практический семинар «Практика внедрения MDM».
Подробнее о мероприятии http://www.croc.ru/action/detail/2443/
Презентация Андрея Есенкова, эксперта группы системных инженеров компании КРОК
Как Microsoft Power BI меняет процесс принятия управленческих решений?FTS Russia
Торговые компании постоянно получают важные данные: из точек продаж, из интернет-магазина, со склада, от поставщиков. Чтобы многочисленные данные не накапливались, а работали, их нужно анализировать. Для визуального представления и анализа данных существуют современные инструменты, которые действительно дают идеи и планы по укреплению бизнеса.
Подробнее о решении для бизнес-аналитики Microsoft Power BI: http://fts-eu.com/ru/c/Biznes-Analitika-Business-Intelligence/
О компании:
Компания FTS оказывает услуги по автоматизации бизнес-процессов и внедряет ИТ-системы для бизнеса с 1994 года. Компания FTS официально представляет решения Deltek Maconomy, M-Files и Microsoft в России и СНГ.
Если вам понравилась система или у вас появились вопросы, свяжитесь с нами по почте: info.ru@fts-eu.com или по телефону: + 7 495 950 54 69, + 7 499 978 77 34.
Семинар "Зачем и как внедрять MDM-решения? Информация из первых рук".
Подробнее о мероприятии http://www.croc.ru/action/detail/12537/
Презентация Глебовой Елены, ведущего консультанта по внедрению бизнес-приложений компании КРОК
Внедрение единого профиля клиента банка на базе MDM-системы IBM InfoSphere Se...КРОК
Основной задачей внедрения единого профиля клиента на базе MDM-системы (далее – Система) является построение информационной системы, обеспечивающей хранение и управление информацией о клиентах-физических лицах Банка.
Система реализует следующие основные функции:
• консолидация информации о клиентах-физических лицах из автоматизированных систем Банка, обеспечение синхронизации клиентской информации в автоматизированные системы Банка;
• управление качеством данных, включая проверку корректности хранимых данных, приведение к общим справочникам, поиск и обработку дублирующих записей о клиентах;
• предоставление доступа к клиентской информации через пользовательский и программные интер-фейсы для использования в бизнес-процессах Банка.
Необходимые условия качества данных: MDM, Шина, Хранилище данныхКРОК
Вебинар «Плюсы от использования MDM - когда и как применять технологию» http://www.croc.ru/action/detail/18961/
Презентация Романа Баранова, эксперта направления MDM, DWH, BI, ETL компании КРОК
Концепция применения онтологических структур в ERP-системахAnatoly Simkin
В данной статье поднята проблематика анализа информации, предоставляемой информационными системами. Рассмотрены актуальные способы ее структурирования и представления пользователю. Предложена концепция построения и применения онтологических структур в информационных системах для анализа данных.
This article is devoted to the problems of data analysis that is provided by information systems. The actual methods of structuring and representation for user were considered. There was proposed the principle of making and applying the ontology structure in information systems for data analysis.
Практический семинар «Практика внедрения MDM».
Подробнее о мероприятии http://www.croc.ru/action/detail/2443/
Презентация Андрея Есенкова, эксперта группы системных инженеров компании КРОК
Как Microsoft Power BI меняет процесс принятия управленческих решений?FTS Russia
Торговые компании постоянно получают важные данные: из точек продаж, из интернет-магазина, со склада, от поставщиков. Чтобы многочисленные данные не накапливались, а работали, их нужно анализировать. Для визуального представления и анализа данных существуют современные инструменты, которые действительно дают идеи и планы по укреплению бизнеса.
Подробнее о решении для бизнес-аналитики Microsoft Power BI: http://fts-eu.com/ru/c/Biznes-Analitika-Business-Intelligence/
О компании:
Компания FTS оказывает услуги по автоматизации бизнес-процессов и внедряет ИТ-системы для бизнеса с 1994 года. Компания FTS официально представляет решения Deltek Maconomy, M-Files и Microsoft в России и СНГ.
Если вам понравилась система или у вас появились вопросы, свяжитесь с нами по почте: info.ru@fts-eu.com или по телефону: + 7 495 950 54 69, + 7 499 978 77 34.
Семинар "Зачем и как внедрять MDM-решения? Информация из первых рук".
Подробнее о мероприятии http://www.croc.ru/action/detail/12537/
Презентация Глебовой Елены, ведущего консультанта по внедрению бизнес-приложений компании КРОК
Внедрение единого профиля клиента банка на базе MDM-системы IBM InfoSphere Se...КРОК
Основной задачей внедрения единого профиля клиента на базе MDM-системы (далее – Система) является построение информационной системы, обеспечивающей хранение и управление информацией о клиентах-физических лицах Банка.
Система реализует следующие основные функции:
• консолидация информации о клиентах-физических лицах из автоматизированных систем Банка, обеспечение синхронизации клиентской информации в автоматизированные системы Банка;
• управление качеством данных, включая проверку корректности хранимых данных, приведение к общим справочникам, поиск и обработку дублирующих записей о клиентах;
• предоставление доступа к клиентской информации через пользовательский и программные интер-фейсы для использования в бизнес-процессах Банка.
Модуль ведения нормативно-справочной информации Единой Медицинской Информацио...КРОК
Модуль управляет справочниками, используемыми другими подсистемами ЕМИАС: профили пользователей, типы медицинского оборудования, учреждения, источники средств, статьи расходов и пр. Синхронизация данных выполняется при помощи Pentaho ETL. Также средствами подсистемы реализован процесс ведения профилей пользователей с определением ролей доступа в подсистемах и формированием учетных записей в LDAP-каталоге. Модуль построен на базе решения КРОК НСИ Suite.
Модуль ведения нормативно-справочной информации по таможенным декларациям центрального аппарата Федеральной антимонопольной службы. Модуль содержит данные о таможенных декларациях в количестве несколько миллионов записей и предоставляет выборки данных для использования в аналитических отчетах и доступа к исторической информации. Модуль построен на базе решения КРОК НСИ Suite.
Рост популярности NoSQL - одно из важнейших изменений технологий управления данными. За счет "не реляционности" достигается высочайшая гибкость, скорость работы и масштабируемость БД. NoSQL не исключает использование реляционных БД, обе технологии с пользой дополняют друг друга. Как можно моделировать NoSQL данные, не имеющие жестких схем, и какую пользу можно получить в результате. Слайды с вебинара Embarcadero. На русском языке
Модуль ведения нормативно справочной информации по сотрудникам центрального аппарата Федеральной службы государственной статистики. Модуль предназначен для ведения справочников организационно-штатной структуры и
автоматизации процесса подключения к ИС центрального аппарата новых сотрудников или сотрудников, сменивших должность. Модуль построен на базе решения КРОК НСИ Suite.
ОРГАНИЗАЦИЯ СЕТЕВОГО ВЗАИМОДЕЙСТВИЯ УЗЛОВ РАСПРЕДЕЛЕННОЙ СИСТЕМЫ ХРАНЕНИЯ ДАННЫХITMO University
Описывается порядок взаимодействия узлов распределенной системы хранения данных, входящей в состав Интернет сервисов, а также методы обработки информационных потоков, применяемые для организации взаимодействия локальных сетевых сервисов каждого узла. Рассмотрена последовательность движения пользовательских данных внутри системы, описан метод выбора оптимального узла хранения с использованием ранжирования весовыми коэффициентами, а также описана процедура восстановления данных узла после программного или аппаратного сбоя в работе системы.
Инфраструктура Big data - от источников до быстрых витрин - версия для МИСиСYury Petrov
В докладе я постараюсь донести до аудитории общую концепцию построения инфраструктуры Big Data, которую многие не видят.
Будут и инсайты и самый главный из них это то, что за долгое время работы с Big Data я таки вывел определение для этого термина
Логическая витрина для доступа к большим даннымSergey Gorshkov
Как компании получить максимальную выгоду от накопленной информации? Как интегрировать данные из хранилищ Big Data с традиционной аналитической информацией?
2. MDM-система
Система 1 Система 2 Система 3
Сервис
Источник 4 Источник N
Интеграционная шина - ESB
НСИ
и мастер-
данные
Информационная
модель
модель данных
программно
доступна системам
MDM– система является ядром
централизованной архитектуры обмена.
Она хранит:
• Модель данных,
• Нормативно-справочную информацию
(классификаторы и т.п.),
• Мастер-данные
(общие каталоги объектов).
основные данные
программно
доступны системам
Централизованная архитектура обмена
3. MDM хранит:
• Структуру (схему, модель) данных;
• Нормативно-справочную информацию (НСИ): классификаторы, наборы перечисляемых значений;
• Собственно основные данные (перечни объектов, активов и т.д.).
Структура данных выражается в следующих терминах:
• Типы (классы) объектов (пример: клиент, виды сделок, сотрудники организации и т.п.).
Типы образуют иерархию – например, тип «Компания» может быть вложен в тип «Организация»,
но эту информацию приложениям не обязательно обрабатывать;
• Атрибуты объектов (пример: название, степень важности, ответственный сотрудник и т.п.).
Каждый элемент основных данных описывается:
• Уникальным идентификатором (GUID, абстрактный идентификатор);
• Набором типов, к которым он относится. Каждый элемент может одновременно относиться
к нескольким типам: например, ООО «Альфа» одновременно относится к классам «Компания»
и «Покупатель», и получает перечень возможных атрибутов от обоих типов;
• Значениями атрибутов (пример: название = ООО «Альфа»).
Содержимое MDM-системы
4. Транспорт сообщений реализуется
средствами корпоративной шины (ESB).
Для преобразования информации из формата
каждого приложения в схему, описанную
в модели, необходимо применить правила
сопоставления, называемые правилами
мэппинга.
В процессе мэппинга происходит
преобразование:
• Типов объектов – из собственных типов данных
приложений в те, которые определены в модели, и наоборот;
• Идентификаторов – из локальных идентификаторов
конкретных систем в глобальные идентификаторы MDM, и обратно;
• Разрешение ссылок на другие объекты.
Содержимое мастер-данных обычно синхронизируется между несколькими
информационными системами: например, каталог активов содержится
сразу в нескольких приложениях. При этом каждое приложение имеет
собственное представление – структуру информации об объектах.
MDM-система принимает запросы приложений на изменение состава
мастер-данных, и уведомляет об этом другие приложения.
Приложение B
Приложение A
Корпоратив-
ная шина
Мастер-
данные
Информационная
модель
Метаданные
Мэппинг
Транспорт
Мэппинг
Транспорт
Можно поменять
местами
Принцип взаимодействия MDM
с приложениями-потребителями
5. Обмен данными между MDM и приложениями обычно организуется посредством очередей сообщений (MQ),
хотя возможны и другие варианты (SOAP, REST и т.д.)
MQ
вход
MQ
выход
MQ
вход
MQ
выход
Шина обмена данными
MDM
Приложение A
MQ
вход
MQ
выход
Приложение B
Со стороны каждого приложения организуются
две очереди: для входящих и исходящих сообщений.
Приложение помещает сообщения в одну очередь,
и забирает полученные – из другой.
Шина осуществляет маршрутизацию сообщений
между очередями, в соответствии с
настройками маршрутизации.
В обмене MDM с приложениями используются
следующие разные типы сообщений (пакетов)
для выполнения разных операций.
Транспорт
6. DataModelRequest
Стартовый элемент
(не обязательно)
Схема данных MDM
EntityRequest
Код сущности
Package
Информация
о сущности
ChangeRequest
Информация
о сущности
OperationResults
DataModel
Результат операции
CatalogRequest
Код типа сущностей
Входящий пакет Исходящий пакет
API MDM: типы запросов и ответов
7. Редактирование структуры данных осуществляется в интерфейсе редактора MDM, хотя при необходимости
может быть предоставлен и программный интерфейс.
MDM хранит перечень типов сущностей, доступных каждой из систем, подключенных к ней.
MDM выдает информацию о доступной каждому приложению части информационной модели
в виде XML-пакета. Пакет содержит фиксированный набор тегов для передачи информации
о типах (классах), атрибутах, и их взаимосвязи.
Пример фрагмента пакета с моделью данных, выгружаемый MDM в приложения посредством шины:
Получение структуры модели от MDM
8. Приложение, получив модель данных, должно разобрать ее, и сохранить. Затем приложение
предоставляет возможность в интерфейсе настройки выполнить мэппинг (сопоставление)
элементов данных MDM и своего локального хранилища данных.
Для всех элементов локального хранилища данных должно быть добавлено поле «Код MDM»,
которое будет хранить значения GUID для записей.
Мэппинг заключается в выборе для каждого типа объектов MDM соответствующего ему элемента
модели данных приложения. Мэппинг может происходить как на уровне таблиц, так и на уровне
логических объектов (например, для 1С мэппинг осуществляется на сущности типа «Справочник.Клиенты»).
Затем внутри каждого типа данных выполняется мэппинг атрибутов.
В случае, если однозначный мэппинг невозможен, в интерфейсе назначается процедура-обработчик,
которая будет вызываться для преобразования получаемых и отправляемых данных из локального
формата в формат MDM. Может быть создана библиотека типовых процедур такого рода.
Обработка структуры данных со стороны приложений
9. Данные могут поступать от MDM:
• в случае их изменения;
• по запросу приложения.
В любом случае, MDM отправляет приложению XML-пакет следующего вида:
Всегда передается полный набор атрибутов объекта, т.е. исчезновение атрибута говорит об очистке его значения.
В некоторых случаях атрибуты могут иметь более одного значения для каждого объекта.
Приложение должно быть готово к обработке этой ситуации в случаях, когда его модель данных это позволяет.
Получение данных от MDM
10. Приложение может иметь право на создание/изменение объектов в MDM. Запрос на изменение данных
помещается в виде XML-пакета в исходящую очередь, откуда передается MDM. Формат запроса аналогичен
показанному выше, с той разницей, что при создании объекта приложение должно передать его локальный
идентификатор. Можно создать несколько объектов одним запросом. Пример пакета выглядит так:
MDM возвращает сообщение с результатом операции, которое содержит в т.ч. сведения для привязки кода MDM:
Передача данных в MDM
11. Возможность отправлять запросы к MDM предназначена для восстановления после сбоев передачи.
В случае, если приложение получило ссылку на неизвестный ему объект, оно может запросить
информацию об объекте от MDM:
MDM возвращает ответ в виде обычного пакета Package.
Как со стороны MDM, так и со стороны приложения (если у него есть право на редактирование элементов
какого-либо типа), реализуется возможность инициировать полную выгрузку объектов выбранного типа.
Запрос данных из MDM
12. Графовая база данных
Apache Jena/Fuseki
Высокопроизводительный кэш
Redis
Слой логики приложения
Слой контроля доступа
Слой программного
интерфейса обмена
(MQ, SOAP, REST и др.)
Инструмент редактирования
информационной модели
редактор Onto.pro
Инструмент просмотра
информационной модели
АрхиГраф.СУЗ
Инструмент
администрирования доступа
Стороннее ПО
(open source)
ПО компании
ТриниДата
Компоненты
АрхиГраф.MDM
GUI API
Программная архитектура АрхиГраф.MDM
13. Замеры производительности проводились на виртуальном сервере следующей конфигурации:
- процессор 4 ядра, 1600 МГц,
- память – 16 Гб,
- ОС: CentOS 7 x64, хранилище данных – Apache Jena/Fuseki.
Параметры тестового набора данных:
- 10 различных классов (типов) объектов,
- не менее 50 свойств, включая связи (в т.ч. у одного из типов - не менее 20 свойств),
- не менее 1 100 000 индивидуальных объектов, из которых 1 000 000 относятся к одному из типов ("главному"),
который имеет не менее 10 свойств. Свойства заполнены для всех объектов случайными значениями.
Не менее 10% объектов относятся более чем к одному типу одновременно. Итог: > 14 млн триплетов, ~ 3 Гб данных.
Усредненные результаты тестов:
Вид теста Результат, сек
Извлечение одного случайно выбранного объекта 0,00368
Одновременное извлечение 1 тыс. объектов 0,54*
Одновременное извлечение 80 тыс. объектов 132,67
Одновременное извлечение 1 млн. объектов 569,36
Обновление (редактирование) одного объекта 0,07
* без отбора по свойствам
Быстродействие АрхиГраф.MDM
14. Продукты для построения
централизованной архитектуры обмена
1. Хранилище информационной модели
2. Редактор информационной модели
3. Система управления мастер-данными (MDM), НСИ
4. Шина обмена информацией
Onto.pro
АрхиГраф.MDM
Бизнес Семантика, Apache Synapse
Apache Jena и др.
Мы предлагаем полный стек программного обеспечения для построения централизованных архитектур
обмена информацией. Используется только ПО российских производителей, или ПО с открытым кодом.
Спасибо за внимание!
http://trinidata.ru
http://serge-gorshkov.ru
+7 (343) 2-110-256
serge@trinidata.ru