Документ описывает подходы к хранению данных в NoSQL-форматах в системах Oracle и PostgreSQL для обработки миллионов звонков и анкет. Рассматриваются плюсы и минусы различных схем хранения данных, а также приводятся примеры SQL-запросов для извлечения информации. В заключение подводятся итоги внедрения технологий и планы на будущее, включая партиционирование и переход на NoSQL базы данных.

1. Хранение NoSQL данных
в Oracle и PostgreSQL
Аркаев Андрей

2. Чем занимаемся
Naumen Contact Center
→ Звонок (вх/исх)
→ Распределение на оператора
→ Заполнение анкеты
→ Сохранение в БД
→ Отчёты

3. Анкета

4. Наши требования

3 млн звонков с анкетами в сутки

20 атрибутов на каждую анкету

сложная иерархия форм анкеты
(сотни разных анкет и форм)

PostgreSQL, Oracle >= 10g

Скорость открытия 2с

1000 операторов

5. Хранение атрибутов в отдельной таблице
anketa:

id

card_id

creationDate

…
attr_card:

card_id
attr:

card_id

property_id

str_value1

str_value2

date_value

dbl_value

int_value

clob_value

6. Хранение атрибутов в отдельной таблице
anketa:

id

other_value

creationDate

…
attr:

ank_id
(→anketa.id)

property_id

str_value1

str_value2

date_value

dbl_value

int_value

clob_value

7. Плюсы и минусы
+ схема данных
фиксирована
+ можно
использовать для
разных классов
- много данных
- сложно
партиционировать
- значения хранятся
в конкретном виде
- много null-
значений
- большие индексы

8. Хранение атрибутов столбцами
anketa:

Id

creationDate

...

NewAttr1

NewAttr2

NewAttr3

...
anketa:

id

...

NewAttr5000

...

9. Хранение атрибутов столбцами
anketa:

Id

creationDate

...

NewAttr1
anketa_type1

obj_id
(->anketa.id)

NewAttr2

NewAttr3
anketa_type2

obj_id
(->anketa.id)

NewAttr4

NewAttr5

10. Плюсы и минусы
+ любой тип
данных
+ индексы на
нужные столбцы
+ партицион-е
- ограничено
количество атрибутов
- тяжелое удаление
- неудобные запросы
- блокировки схемы

11. Что использовать

PostgreSQL >= 9.4 : json или jsonb

Oracle >=10g : xmltype (clob)

Oracle 11g : xmltype (binary xml)

MsSQL 2014 : xml

MySQL : -

12. JSON
{ "form1": {
"nickname": "Superman",
"name": "Кларк Кент",
"alias": [ "Человек из стали",
"Последний сын Криптона",
"Человек завтрашнего дня" ],
"height": 190,
"weight": 106,
"alien": true
}, … }

13. Получение в PostgreSQL
Создание столбца:
alter table test_table
add column attrData jsonb;
Получение значения:
SELECT attrData->’form3’->>’title’
FROM test_table

14. XML
<?xml version="1.0" encoding="UTF-8"?>
<root>
<form1>
<nickname>Superman</nickname>
<name>Кларк Кент</name>
<alias>Человек из стали</alias>
<alias>Последний сын Криптона</alias>
<alias>Человек завтрашнего дня</alias>
<height>190</height>
<weight>106</weight>
<alien>true</alien>
</form1> ...

15. Получение в Oracle
Создание столбца:
alter table test_table
add column attrData xmltype;
Получение значения:
SELECT
extractValue(jsonData,'/root/form3/title'),
extract(jsonData,'...').getStringVal(),
extract(jsonData,'...').getNumVal(),
extract(jsonData,'...').getClobVal()
FROM test_table

16. Плюсы и минусы
+ не нужны join
+ любое
количество
атрибутов
+ удобнее
получать значения
ч/з SQL
+ история
+ партицион-е
- разный синтаксис у
разных БД
- тип данных: строка
- нет FK
- Oracle 4Кб

17. Получение массивов в PostgreSQL
SELECT attrData→'form1'→'alias'
FROM test_table

["Человек из стали", "Последний сын
Криптона", "Человек завтрашнего дня"]

18. Получение массивов в Oracle
select alias.COLUMN_VALUE
FROM test_table, TABLE( XMLSequence(
extract(attrData, '/root/form1/alias'))) alias

"Человек из стали"

"Последний сын Криптона"

"Человек завтрашнего дня"

19. Индексы
PostgreSQL

Gin-индекс
Oracle

ctxsys.ctxxpath

XMLIndex (Oracle 11g)

20. Индекс в PostgreSQL
CREATE INDEX idxginp ON test_table
USING gin (attrData jsonb_path_ops)
SELECT * FROM test_table
WHERE attrData @>
'{"form1": { "nickname" : "Superman"}}'

21. Индекс в Oracle
CREATE INDEX idx_attrdata ON
test_table(attrData)
indextype is ctxsys.ctxxpath
SELECT * FROM test_table WHERE
existsNode(attrData,
'/root/form1/nickname="Superman"')=1

22. Результаты PostgreSQL
После
До
0 10 20 30 40 50 60 70
Индексы
Атрибуты
Анкета

23. Результаты Oracle
После 11g
После
До
0 10 20 30 40 50 60 70
Индексы
Атрибуты
Анкета

24. Итоги перехода
1. Быстрая выборка и обновление
2. Скорость выборки 1.6c → 0.35c
3. Меньшая деградация скорости БД
4. Ускорение импорта в 3 раза
5. Снижение нагрузки на CPU и
требования к железу
6. Уменьшение размера БД
7. “Человеческий” формат данных

25. Планы на будущее
1. Партиционирование
2. Шардинг
3. Возможность перейти на честные
NoSQL БД

26. The end
Спасибо!
Вопросы?
Аркаев Андрей
aarkaev@naumen.ru