Тема 3. Методи інтеграції даних.

3. Консолідація даних - це збирання даних з територіально
віддалених або різноплатформенних джерел даних в
єдине сховище даних з метою їх подальшого
опрацювання та аналізу. Консолідовані дані необхідні
центральному керівництву для того, щоб здійснювати
глобальне керування бізнесом, впроваджувати єдину
політику у філіалах і здійснювати контроль над їх
діяльністю.

5. • вибір джерел даних;
• розробка стратегії консолідації;
• оцінка якості даних;
• збагачення;
• очистка;
• перенос в сховищі даних.

6. Федералізація даних забезпечує єдину віртуальну
картину одного або декількох первинних файлів
даних. Якщо бізнес-застосування генерує запит до
цієї віртуальної картини, то процесор
федералізації даних витягає дані з відповідних
первинних сховищ даних, інтегрує їх так, щоб
вони відповідали віртуальній картині і вимогам
запиту, і відправляє результати застосуванню, від
якого прийшов запит. За визначенням, процес
федералізації даних завжди полягає у витяганні
даних з первинних систем на підставі зовнішніх
вимог.

7. Федералізацію даних можливо використовувати в
тих випадках, коли вартість консолідації даних
перевищує переваги для користувачів предметної
області, які вона надає. Оперативне опрацювання
запитів і підготовка звітів могла б служити
прикладом подібної ситуації. Федералізація даних
також, ймовірно, виявилася б корисною в тих
випадках, коли політика безпеки даних і
ліцензійні обмеження забороняють копіювання
даних первинних систем. Зазвичай в цю
категорію потрапляють синдикати даних. Крім
цього, федералізація могла б використовуватися
як короткочасне рішення для інтеграції даних
після придбання або злиття компаній.

8. • за географічною ознакою;
• за частинами предметної області;
• функціональна федералізація.

9. Застосування розповсюдження даних здійснюють копіювання
даних з одного місця в інше. Ці застосування зазвичай
працюють в оперативному режимі і здійснюють переміщення
даних до місць призначення, тобто залежать від певних
подій. Оновлення в первинній системі можуть передаватися
в кінцеву систему синхронно або асинхронно. Синхронне
передавання вимагає, щоб оновлення в обох системах
відбувалися під час однієї і тієї ж фізичної транзакції.
Незалежно від використовуваного типу синхронізації, метод
розповсюдження гарантує доставку даних в систему
призначення. Така гарантія - це ключова ознака
розповсюдження даних. Більшість технологій синхронного
розповсюдження даних підтримують двосторонній обмін
даними між первинними і кінцевими системами. Прикладами
технологій, що підтримують розповсюдження даних, є
інтеграція корпоративних застосувань (Enterprise application
integration, ЕАІ) і тиражування корпоративних даних
(Enterprise data replication, EDR).

10. ЕАІ – це технологія, за допомогою якої
організація добивається централізації і
оптимізації інтеграції корпоративних
застосувань, зазвичай використовуючи ті або
інші форми технології оперативної доставки
інформації (push technology), яка керується
зовнішніми подіями (event-driven). ЕАІ - це
багатогранна технологія для сховищ даних,
яка охоплює всі рівні корпоративної системи -
її архітектуру, апаратне і програмне
забезпечення і процеси.

11. • Інтеграція процесів бізнесу (Business Process
Integration, ВРІ)
• Інтеграція застосувань (Application Integration)
• Інтеграція даних (Data Integration).

12. Полягає в тому, що необхідні для виконання
трансакції дані копіюють на той сервер, де їх
оброблятимуть. Усі зміни, внесені іншими
користувачами протягом здійснення запиту, не
впливають на його виконання, оскільки вони
фіксуються в основних файлах і не
відображаються в їх копіях. Такий механізм дає
змогу завершити трансакцію з ланцюжком
пошукових запитів будь-якої довжини, не
порушивши логічної цілісності даних, а також є
засобом уникнення конфліктів під час роботи з
базою даних.

13. Великою перевагою методу розповсюдження даних є
те, що він може використовуватися для переміщення
даних в режимі реального часу або близькому до
нього. Інші переваги включають Гарантовану
доставку даних і двостороннє розповсюдження даних.
Доступність багатьох з цих зручностей залежить від
конкретного продукту. Метод розповсюдження даних
може також використовуватися для урівноваження
робочого навантаження, творення резервних копій і
відновлення даних, зокрема у разі надзвичайних
ситуацій.
Практичне застосування цього методу відрізняється
достатньо великою різноманітністю як в плані
продуктивності, так і щодо можливостей
реструктуризації і очищення даних.

14. Методи, що використовуються застосуваннями
інтеграції даних, залежать як від потреб
бізнесу, так і від технологічних вимог.
Достатньо часто застосування інтеграції даних
використовує так званий гібридний підхід,
який включає декілька методів інтеграції.
Хороший приклад такого підходу - інтеграція
даних про клієнтів (customer data integration,
CDI), метою якої є забезпечення узгодженої
картини інформації про клієнтів.

15. Найпростіший підхід до CDI - це створення
консолідованого сховища даних про клієнтів, яке
містить дані, одержані з первинних систем.
Відставання інформації в консолідованому сховищі
залежатиме від режиму консолідації даних
(оперативний або пакетний) і від частоти оновлення
цієї інформації.
Інший підхід до CDI - це федералізація даних, коли
визначаються віртуальні бізнес-подання даних про
клієнтів в первинних системах. Ці подання
використовуються прикладними програмами для
доступу до поточної інформації про клієнтів в
первинних системах.

16. Гібридний підхід використовує як
консолідацію, так і федералізацію даних,
також може мати місце. Загальні дані про
клієнтів (ім’я, адреса та ін.) можуть бути
консолідовані в одному сховищі, а дані, які
відносяться до певного первинного
застосування (наприклад, замовлення), можуть
бути федералізовані.