Опыт использования Xml субд Marklogic

Marklogic
как обуздать сотни гигабайт
слабо-структурированных данных

Антон Язовский
Тамтэк, Омск

@yazovsky
ayazovskiy@thumbtack.net

О чем проект?

1/21


• обрабатывать данные из различных источников

• позволять искать по сложным запросам

• показывать слабо-структурированную информацию

• бизнес логика

• e-commerce (продажи, куда без них)

• social

• etc..

2/21


• 15 млн документов с перспективой в 100 млн

• предоставлять удобный способ поиска

• масштабироваться горизонтально

• гибкость к изменению формата данных VS валидация данных
на соответствие базовым правилам

• обладать высокой отказоустойчивостью

3/21

«MarkLogic Server is a document-centric, transactional,
search-centric, structure-aware, schema-agnostic,
XQuery- and XSLT-driven, high performance, clustered,
database server»

4/21

database server»

… масштабируемое транзакционное …

4/21

database server»

… масштабируемое транзакционное хранилище
документов …

4/21

database server»

… масштабируемое транзакционное хранилище
документов с обширными возможностями поиска
используя языки XQuery и/или XSLT…

4/21

Marklogic

• актуальный релиз - 6 (19 сентября, 2012)

• номер один XML хранилище в мире *

Среди клиентов:

• Организаторы летних олимпийских игр в Лондоне 2012

• Федеральное управление гражданской авиации США

• Департамент транспорта США

• The Defense Information Systems Agency

5/21

Документо-ориентированная

<document
xsi:schemaLocation="http://yoursite.com/article article.xsd”
xmlns:dc="http://yoursite.com/dc"
xmlns="http://marklogic.com/articl"
uri=”/article/maxim/123”>

<meta>
<dc:type>journal-article</dc:type>
<dc:title>Анна Курникова</dc:title>
<source uri=”/journal/maxim”>MAXIM</source>
<pub_year>2004</pub_year>
</meta>
<body> images!!! </body>

</document>

7/21


• избыточный синтаксис

• ограниченность иерархической модели данных (где мои join'ы?!)

• неоднозначность структуры

• XML - прошлый век! JSON - рулит! :)

8/21


• открытый W3C стандарт

• простой, человеко-читаемый формат

• способы гибкой валидации (привет XSD, DTD)

• инструменты преобразования и визуализации (всемогущий XSL)

• языки запросов xQuery, xPath (W3C)

9/21

Schema Agnostic

• слабо-структурированные
данные VS схема!

• фокус на элементы, а не на
структуру

10/21

Search Centric

• XDBC

• HTTP

• WebDAV

• клиентская библиотека

• REST API

• web интерфейс

11/21

Search Centric

• полнотекстовый поиск

search:search("blackjack and hookers")

• поиск по значениям элемента или аттрибута

• range индексы (искать с используя сравнения - “>”, “<”, “=”)

• fields - alias для набора элементов

• facets, подсказки, геолокационные запросы

• и еще около сотни поисковых функций

12/21

Search Centric

13/21

Масштабируемость

14/21


Forest - это репозиторий документов (папка на диске)

Host / Node - это один экземпляр Marklogic Server

Роли: Data Node (d-node) и Evaluator Node (e-node)

15/21


16/21


• одна редакция Marklogic Server

• внешний load-balancer

• одна платформа на кластер

• shared nothing архитектура

17/21

Отказоустойчивость

• они настоящая команда!

• heartbeat внутри кластера

• автоматическое управление составом кластера

• взаимовыручка

18/21

«Один за всех - и все за одного!»
д'Артаньян одобряет

19/21

Оно того стоит?

20/21

Опыт использования Xml субд Marklogic

Recommended

Recommended

More Related Content

Similar to Опыт использования Xml субд Marklogic

Similar to Опыт использования Xml субд Marklogic (20)

Опыт использования Xml субд Marklogic