Тема 5. Простори даних.

1. ПРОСТОРИ ДАНИХ
Лекція #5

2. Що таке простір даних?
Простір даних розглядають як нову абстракцію керування даними. Як ключова
задача робіт у галузі керування даними використовується платформа підтримки
просторів даних (DataSpace Support Platforms, DSSP). DSSP забезпечує набір
взаємозв’язаних послуг і гарантує розробникам можливість концентруватися на
специфічних проблемах їх застосувань, а не на завданнях, що повторюються,
виникають при потребі узгодженої і ефективної роботи з взаємозв’язаними, але
роздільно керованими даними.

3. Проблеми, що призвели до введення такої
абстракції даних, як простір даних
1) Інтеграція тексту, даних, коду і потоків.
2) Забезпечення можливості багатоконтрольності даних.
3) Створення простих способів аналізу, узагальнення, пошуку і огляду електронних
підбірок мультимедійної інформації, включаючи розроблення стандартів опису
метаданих .
4) Підтримка неточних та невчасних даних та реалізація неточних запитів.
5) Релевантність відповіді повинна залежати від користувача і від контексту. Потрібне
середовище для накопичення і використання відповідних мета даних.

4. Проблеми, що призвели до введення такої
абстракції даних, як простір даних
6) Проблема інтеграції даних, у тому числі надоперативних та частково структурованих.
7) Використання природних мов запитів до баз даних передбачають формування запитів до
системи у вигляді запитальних речень природної мови.
8) Підтримка систем опрацювання потокових даних, наприклад, Postgres.
9) Повинна бути можливість ефективного зберігання, доступу і модифікації інформації про стан,
а також її комбінування з реальними потоковими даними.
10) Для інтеграції в системі повинна використовуватися однорідна мова для роботи з усіма
різновидами даних.

5. Модель простору даних
Отже, простір даних DS - це множина даних, поданих у різних
моделях (баз даних DB, сховищ даних DW, статичних веб-сторінок Wb,
неструктурованих даних Nd, графічних та мультимедійних даних Gr),
локальних сховищ та індексів ODW, а також засобів інтеграції Int,
пошуку Se та опрацювання інформації Wo, об’єднаних середовищем
керування моделями ЕМ.
DS=<DB, DW, ODW, Wb, Nd, Gr, Int, Se, Wo, EM>

6. Моделі даних
Моделі даних, що підтримуються у просторі даних, утворюватимуть
ієрархію відповідно до їх виразної потужності:
• реляційна
• багатовимірна
• об’єктно-реляційна
• розширена мова розмітки інформації (XML)
• середовище опису ресурсів (RDF)
• стандартний засіб опису зв’язків між об’єктами даних (OWL)
• структурований текст (у тому числі HTML)
• неструктурований текст

7. Придатність моделей даних до підтримки мов
запитів та до використання в Глобальній мережі

8. Ключова проблема
За наявності деякого середовища ключова проблема полягає в
знаходженні методів інтерпретації запитів різними мовами на
учасниках, що підтримують деякі моделі. Точніше, проблема полягає
в переформулюванні запиту, поданому складною мовою, для джерела,
яке підтримує слабшу модель даних, і навпаки, переформулюванні
запиту, поданого простою мовою, для джерела, яке підтримує
виразніші моделі даних і мову запитів, (наприклад, запит за
ключовими словами до реляційної бази даних).

9. Каталогізація
Однією з основних служб простору даних є каталогізація елементів даних учасників.
Каталог CG - це реєстр ресурсів даних, що містить найбільш базову інформацію
про кожного з них: джерело, ім’я, місцезнаходження в джерелі, розмір, дату
створення і власника та ін. Каталог є інфраструктурою для більшості інших сервісів
простору даних, але він також може підтримувати базовий, призначений для
користувача, інтерфейс проглядання простору даних.
DB, DW, Wb, Nd, Gr =>CG.

10. Каталогізація
CG для кожного учасника містить:
• описову інформацію (тобто виконує роль метаданих)
• схему джерела
• статистичні дані
• швидкість зміни
• точність можливості відповідей на запити
• інформацію про власника і дані про політику доступу і підтримку
конфіденційності
Оскільки джерела простору даних фізично не переносять у нього інформацію
та можуть обмінюватись між собою інформацією, то у каталозі необхідно
зберігати дані і про зв’язки між джерелами.

11. Відмінності між поданням джерел даних у
метаданих та каталозі схематично
метадані у сховищі даних каталог простору даних

12. Зв’язки в каталозі
Зв’язки у каталозі можуть зберігатися у вигляді:
• метаданих;
• перетворень запитів;
• графів залежності;
• текстових описів тощо.
Залежно від усієї реалізації простору даних для каталогу можна
використовувати відношення реляційної моделі, XML-файли, програмні
модулі тощо.

13. Компонента зберігання та індексування
Важливою компонентою простору даних є компонента зберігання та індексування
(ODW) для досягнення наступних цілей:
• для створення асоціацій між об’єктами даних від різних учасників;
• для вдосконалення доступу до джерел з обмеженими власними засобами
доступу;
• для забезпечення можливості виконання деяких запитів без доступу до
реального джерела даних;
• для підтримки високого рівня доступності і відновлення.
Отже, зв’язок між каталогом CG, середовищем керування моделями ЕМ і локальним
сховищем та індексами ODW можна подати як функцію:
ЕМ(СG) => ODW.

14. Стандарти інтеграції
Одним із ключових питань простору даних є питання інтеграції.
Інтеграція інформаційних систем на основі Web-служб Int пов’язана з використанням
чотирьох ключових стандартів:
• Extensible Markup Language (XML)
• Simple Object Access Protocol (SOAP)
• Web Services Description Language (WSDL)
• Universal Description, Discovery and Integration (UDDI)

15. Рівні інтеграції
Інтеграція на основі Web-сервісів має декілька рівнів:
1) Рівень даних. Програмні застосування можуть обмінюватись інформацією.
Цей рівень передбачає інтеграцію даних і є найпростішим
2) Об’єктна взаємодія. Тут мова йде про те, що програмне застосування,
розташоване на одному сервері, може запускати програмні процеси на
іншому.
3) Інтеграція на рівні стандартної семантики. На цьому рівні сервіси можуть
«спілкуватися спільною мовою», обходячи технологічні розбіжності.

16. DSSP vs СКБД
DSSP повинні працювати з даними і застосуваннями в різноманітних форматах,
доступних від багатьох систем через різні інтерфейси. Від DSSP потрібна підтримка
всіх даних простору даних, без яких-небудь виключень (як це буває при
використанні СКБД). Тому одною із ключових задач побудови простору даних є
визначення виразної потужності запитів із Se.
Хоча DSSP забезпечує засоби інтегрованого пошуку, запиту, оновлення і
адміністрування просторів даних, ті ж самі дані часто можуть бути доступні для
читання і оновлення через власний інтерфейс системи, що безпосередньо керує
даними. Тому, на відміну від СКБД, DSSP не має повного контролю над своїми
даними.

17. Засоби опрацювання даних Wo
Засоби опрацювання даних Wo повинні підтримувати:
• видобування даних (Data mining) - асоціативні правила, дерева рішень, генетичні
алгоритми тощо;
• засоби аналізу даних (Online Analytical Processing - OLAP) - реляційний OLAP (Relational
OLAP - ROLAP), багатовимірний OLAP (Multidimensional OLAP - MOLAP), гібридний OLAP
(Hybrid OLAP - HOLAP), динамічний OLAP (Dynamic OLAP - DOLAP);
• засоби природномовного пошуку - побудова нечітких запитів, запитів у вигляді
природних питань, запитів до метаданих;
• засоби підбору контенту на основі аналізу характеристик користувача;
• засоби миттєвого аналізу даних (наприклад, визначення причин підвищення тиску у
котлах за значеннями давачів приладів та пропонування методів усунення неполадок).

18. Зв’язок між елементами сховища даних

19. Особливості просторів даних
1. Простори даних складаються з широкої різноманітності форматів та інтерфейсів, і
всі без виключення формати даних повинні підтримуватися.
2. Дані у просторі даних не перебувають під повним контролем.
3. Інтеграція тексту, даних, коду і потоків.
4. Підтримка структурованих, текстових, просторових, темпоральних, мультимедійних,
процедурних даних; тригерів; потоків і черг даних як рівноправних компонентів.
5. Простори даних повинні забезпечувати вбудовану підтримку неточних даних.
Повинна бути можливість задания неточних запитів, і процесор запитів повинен
відноситися до цього як до додаткового джерела неповноти і неточності.
6. Система повинна знати точні взаємозв’язки між елементами, що
використовуються у кожній схемі.

20. Особливості просторів даних
7. Відповіді на запити повинні залежати від профілю користувача. Відповідь на запит
експерта повинна відрізнятися від відповіді на запит новачка. Релевантність відповіді,
теж повинна залежати від користувача і від контексту. Тому виникає необхідність
середовища для накопичення і використання відповідних метаданих.
8. DSSP пропонує рівні обслуговування та методи отримання приблизних відповідей.
9. DSSP повинен запропонувати інструменти і шляхи створення щільнішої інтеграції
даних в просторі у міру необхідності.
10. Можуть забезпечуватися різні рівні послуг з опрацювання запитів до DSSP, і в
деяких випадках вони можуть повертати якнайкращі з можливих приблизні відповіді.
Наприклад, якщо деякі джерела даних стають недоступними, DSSP може забезпечити
найкращий з можливих результат на основі даних, доступних під час виконання
запиту.

21. Принципи побудови та функціонування просторів
даних
Для кращого розуміння принципів
побудови та функціонування
просторів даних розглянемо простір
даних туристичної сфери.
Об’єкти простору даних та його
задачі продемонстровані праворуч »

22. Інтеграція інформації
Для простору даних необхідна інтеграція
інформації про наступні об’єкти:
• Місцеві органи керування - надають
інформацію про відпочинкові, рекреаційні та
оздоровчі ресурси, а також правила їх
експлуатації; лінії сполучення, особливості
місцевості тощо.
• Туристичні агенства - надають інформацію
про себе, про послуги, які вони надають.
• Адміністративні одиниці - описуються через
інформацію місцевих органів керування, а також
через відгуки попередніх відвідувачів.
• Особа (відпочивальник) - надає інформацію
про себе, про умови, які він хоче отримати,
ціни тощо.

23. Надходження інформації
• Туристичне агенство - база даних,
динамічний Web-сайт з базою даних,
розміщеною на Web-cepBepi;
• Адміністративна одиниця - сховище даних;
• Особа - Web-сайт, база даних, текстові дані
тощо;
• Відпочинковий ресурс - база даних, Web-
сайт.
Залежно від типу об’єкта інформація
може зберігатися у різних моделях та
надходити з різних джерел:

24. Приклад простору даних туристичної сфери і
компоненти системи простору даних
Простір даних моделюється як набір учасників і зв'язків.
Приклад простору даних туристичної сфери із врахуванням засобів інтеграції

25. Учасники простору даних
Учасниками простору даних є індивідуальні джерела даних, вони можуть бути:
• реляційними базами даних туристичних фірм та органів керування
• репозиторіями XML
• текстовими базами даних (наприклад, вимоги відпочивальника)
• Web-сервісами
• пакетами програмного забезпечення.
Вони можуть зберігатися або бути потоками даних (локально керованими системами потоків даних),
або навіть сенсорними установками.

26. Учасники простору даних
Деякі учасники можуть підтримувати мови запитів (наприклад, бази даних туристичних фірм, органів
керування), а інші - бути неінтелектуальними і підтримувати лише обмежені інтерфейси для
формулювання запитів (структуровані файли, Web-сервіси) - вимоги відпочивальників. Учасники
можуть бути:
• дуже структурованими (наприклад, реляційними базами даних)
• напівструктурованими (XML, колекції коду)
• повністю неструктурованими
Деякі джерела підтримуватимуть традиційні операції оновлення, інші - можуть допускати тільки
додавання (в цілях архівації), а треті можуть бути повністю незмінюваними.

27. Приклади
Приклади учасників простору даних
туристичної сфери

28. Напівструктурований текст
Приклад текстового файла з вимогами відпочивальника:
Місце відпочинку - Гурзуф, кількість осіб - 4,
харчування - так. Екскурсії - так, загальна сума - від
5000грн до 6000грн.
Важливу роль при побудові простору даних відіграватимуть методи інформаційного
пошуку (Information Retrieval)

29. Реляційна база даних
Приклад логічної моделі бази даних одної з туристичних фірм:

30. Локальне сховище даних
Однією з основних служб простору даних є
каталогізація елементів даних від учасників.
Каталог - це реєстр ресурсів даних, що
містить найбільш базову інформацію про
кожний з них: джерело, ім’я,
місцезнаходження в джерелі, розмір, дату
створення і власника та ін. Каталог є
інфраструктурою для більшості інших сервісів
простору даних, але він також може
підтримувати базовий, призначений для
користувача, інтерфейс проглядання простору
даних.

31. Задачі учасників простору
Каталог і перегляд. Каталог містить інформацію про всіх учасників простору даних і про зв’язки
між ними. У каталозі повинна бути можливість підтримувати різноманітні джерела і зберігати
інформацію
Схема каталогу простору даних »

32. Задачі учасників простору
Пошук і запит: Цей компонент повинен забезпечувати подані нижче можливості:.
• Запит про довільні дані. У користувачів повинна бути можливість запиту будь-якого елементу
даних, незалежно від його формату і моделі даних.
• Структуровані запити. Запити в стилі баз даних повинні підтримуватися на основі загальних
інтерфейсів
• Запити до метаданих. У системі повинен підтримуватися широкий спектр запитів до метаданих.
• Моніторинг. Всі перераховані служби пошуку і запиту даних повинні також підтримуватися в
інкрементній формі, що застосовується у реальному часі до потокових або змінних джерел даних.

33. Задачі учасників простору
Локальне зберігання і індексування. Важливою компонентою простору даних є компонента
зберігання і індексування для досягнення наступних цілей:
• для створення асоціацій між об’єктами даних від різних учасників;
• для вдосконалення доступу до джерел з обмеженими власними засобами доступу;
• для забезпечення можливості виконання деяких запитів без доступу до реального джерела
даних;
• для підтримки високого рівня доступності і відновлення.
Засоби індексування повинні володіти високим рівнем адаптивності до неоднорідних середовищ.
Результатом локального зберігання та індексування є запит, що може повернути, наприклад, рядок в
текстовому файлі, елемент шляху до файлу, значення в базі даних, елемент схеми або тег в XML-
файлі.

34. Особливості просторів даних
Простори даних для туристичної сфери можуть вкладатися один в один (наприклад, простір даних
району вкладається в простір даних області), і вони можуть перекриватися (наприклад, простір
даних туристичної сфери перекривається з просторами даних оздоровчої сфери. Тому в просторі
даних повинні міститися правила розмежування доступу. Прикладами таких розмежувань для
простору даних туристичної сфери є:
• для учасників простору даних туристичної сфери надати можливість пошуку даних у
просторах даних оздоровчо-лікувальної, історичної сфери та сфери керування природними
ресурсами;
• для учасників простору даних сфери керування природними ресурсами надати права
блокування записів та встановлення властивості неактуальності для даних простору даних
туристичної сфери та інші.

35. Дослідницькі проблеми:
Розкриття простору даних
Важливою компонентою побудови простору даних є розкриття його учасників і зв’язків між
ними. Дуже поширена проблема теперішніх великих підприємств полягає у тому, що вони навіть не
знають, які джерела даних є в організації.
Основними компонентами системи розкриття простору даних є:
• виявлення учасників в організації;
• напівавтоматичний засіб для кластеризації і знаходження зв’язків між учасниками;
• засіб для створення точніших зв’язків між учасниками (у межах відображень схем).

36. Дослідницькі проблеми:
Повторне використання людської праці
Однією з ключових властивостей просторів даних є те, що семантична
інтеграція розвивається в часі і лише там, де потрібно. Найбільш
дефіцитним ресурсом, який можна використовувати для семантичної
інтеграції, є людська праця.
Тому важливо, щоб DSSP знали, як повторно використовувати роботу,
виконану людьми, узагальнювати її результати і повторно їх
використовувати для розв’язування інших задач.

37. Дослідницькі проблеми:
Зберігання й індексування просторів даних
Ключові проблеми, що виникають при створенні компонентів DSSP локального зберігання
й індексації, пов’язані з неоднорідністю індексу.
Індекс повинен однаково індексувати всі можливі елементи даних, незалежно від того, чи
є вони словами, що зустрічаються в тексті, значеннями, що зустрічаються в базі даних,
або елементом схеми одного з джерел.
Крім того, в індексі повинна передбачатися можливість наявності декількох способів
посилання на один і той самий об’єкт реального світу. Наразі дослідження в галузі
узгодження посилань фокусуються на визначенні ситуацій, коли декілька посилань
відносяться до одного і того ж об’єкту.

38. Дослідницькі проблеми:
Гарантії коректності
Основною перевагою використання DSSP для доступу до різнорідних джерел даних є
можливість робити це з деякою упевненістю, як у відповіді на запити, так і в стабільності
результатів операцій оновлення.
За наявності великого розкиду в рівнях адміністративної близькості і семантичної
інтеграції джерел даних в просторі даних, традиційні гарантії, що надаються СКБД з
приводу відповідей на запити і транзакційних оновлень, часто будуть просто недосяжні.

39. Перспективи просторів даних:
Зв’язок з іншими галузями
Розроблення DSSP грунтується на традиційних базах та просторах даних, і залучає істотні
розширення методів керування даними, але важливо також застосовувати методи з декількох
інших галузей.
Звичайно, велику частину даних в просторі даних складатиме неструктурований текст. Тому
важливу роль при побудові DSSP виконуватимуть методи інформаційного пошуку (Information
Retrieval) та видобування тексту.
Важливо те, що в складному просторі даних користувачі часто не знають, що саме вони
шукають, і як інтерпретувати результати. Тому важливо, щоб вони могли ефективно
візуалізувати результати пошуку і запитів для поліпшення спрямованості своїх досліджень
простору даних. Тут стануть в нагоді сучасні методи з галузі візуалізації інформації.

40. Перспективи просторів даних:
Промислові перспективи
У великій мірі поняття просторів даних інспіроване проблемами, що постають сьогодні
перед індустрією. Насправді, є багато прикладів, коли індустрія вже зробила кроки в
цьому напрямі, але ці кроки є ізольованими, і є очевидна потреба в ширшому уявленні,
яке приведе до зрозумілішої абстракції системи і набору методів.
Простори даних можна вважати «парасолькою» для більшої частини досліджень, які вже
активно виконуються в співтоваристві баз даних та сховищ даних.

41. Висновки
1. Бази даних і сховища даних дозволяють опрацьовувати
інтегровані дані, які побудовані на основі наперед допустимих
моделей даних, що не припустимо у середовищі Web.
2. Перед розробниками просторів даних постають проблеми
інтеграції даних, потокового завантаження вивантаження,
узагальненого пошуку у різних моделях, підтримки неточних
та невчасних даних.
3. Простір даних - це множина даних, поданих у різних
моделях (баз даних, сховищ даних, статичних Web-сторінок,
неструктурованих даних, графічних та мультимедійних даних),
локальних сховищ та індексів, а також засобів інтеграції,
пошуку та опрацювання інформації, об’єднаних середовищем
керування моделями.
4. Засоби опрацювання даних повинні підтримувати
видобування даних, засоби аналізу даних, засоби
природномовного інтерфейсу, засоби підбору контенту на
основі аналізу характеристик користувача, засоби миттєвого
аналізу.
5. Учасниками простору даних є каталог, процес аналізу
походження даних та колекції та індекси.
6. Завданнями учасників простору даних є реалізація пошуку,
запиту про довільні дані, запиту до метаданих, моніторинг.
7. Схема учасників простору даних включає: каталог простору
даних; підтримка аналізу походження даних; створення
колекцій і індексів понад тих, які постачаються будь-яким
джерелом даних, що бере участь в просторі.

42. Простори даних
Презентація до лекції #5
Жбанов Є. & Головко А.
СНм-51
2015