NoSQL атакует: JSON функции в MySQL сервере.

Copyright © 2013, Oracle and/or its affiliates. All rights reserved.1
Insert Picture Here
NoSQL атакует:
JSON функции
в MySQL сервере.
Света Смирнова
Ведущий инженер
https://twitter.com/#!/svetsmirnova

Содержание
 Введение: NoSQL в мире MySQL
 MySQL JSON функции
 Где их взять
 Взгляд в будущее

Insert Chart Here
Основные этапы
развития NoSQL
1997 1998 2000 2003 2004 2008 2009 2010 2012 2013
0
0.5
1
1.5
2
2.5
3
3.5
4
Databases
История NoSQL
NoSQL
database
NoSQL
term
db40 memcached
BigTable
MemcacheDB
Tarantool
CouchDB
MongoDB
Redis
WebSphere
Virtuoso
DynamoDB
JSON в
PostgreSQL
Hbase

Insert Chart Here
Появление NoSQL
возможностей в MySQL
2009
2010
2011
2012
2013
0
1
2
3
4
5
6
NoSQL в мире MySQL
Баги memcached
на mysql.com
HandlerSocket
InnoDB с memcached
Memcache API для
MySQL Cluster
NoSQL Connector
для JavaScript
EXPLAIN в JSON
Hadoop Applier
mysqlv8udfs
JSON UDFs

Insert Chart HereНакануне
2012
2013
2014
0
0.05
0.1
0.15
0.2
0.25
0.3
JSON функции в MySQL
Версия 0.1
Не была опубликована
Версия 0.2
Версия 0.3

JSON функции
Функции
Манипуляции текстами в формате JSON
●
Валидация
●
Поиск
●
Модификация
UDF
●
Легко инсталлировать
●
Независимы от версии MySQL сервера
Работают на всех платформах, которые поддерживает MySQL
Бинарные дистрибутивы для Linux, Mac OSX 7 и Windows
Что они делают?

Insert Picture Here
Что делают функции?

json_valid(doc)
Проверяет является ли doc допустимым документом в формате
JSON.
Возвращает 1 если проверка прошла, 0 в противном случае.
Формат как описан на http://json.org,
http://www.ietf.org/rfc/rfc4627.txt?number=4627

json_valid(doc)
mysql> select json_valid('{"Devconf": ["conference",
2014]}');
++
| json_valid('{"Devconf": ["conference", 2014]}') |
++
| 1 |
++
1 row in set (0.01 sec)

json_valid(doc)
mysql> select json_valid('{"Devconf"}');
++
| json_valid('{"Devconf"}') |
++
| 0 |
++

json_contains_key(doc, keypart1, keypart2, ...)
Проверяет есть ли в документе указанный ключ
Возвращает 1 если элемент существует, 0 если нет и NULL если
документ не в формате JSON.

SET optimizer_trace=1;
mysql> select user from mysql.user;
++
...
mysql> select json_contains_key(trace, 'steps', '0',
'join_optimization', 'steps', '0', 'condition_processing') as contains
from information_schema.optimizer_trace;
++
| contains |
++
| 0 |
++

mysql> select user from mysql.user where user='Sveta';
++
...
mysql> select json_contains_key(trace, 'steps', '0',
'join_optimization', 'steps', '0', 'condition_processing') as
contains from information_schema.optimizer_trace;
++
| contains |
++
| 1 |
++

json_extract(doc, keypart1, keypart2, ...)
Возвращает элемент по ключу или NULL если ключ не найден или
же документ не в формате JSON.

SET optimizer_trace=1;
mysql> select user from mysql.user;
++
...
mysql> select json_extract(trace, 'steps', '0', 'join_optimization',
'steps', '0', 'condition_processing') as value from
information_schema.optimizer_trace;
++
| value |
++
| NULL |
++

Как выполняется поиск
{“steps”:
  [
    {“join_optimization”:
        {“steps”:
            [
              {“condition_processing”: .....
json_extract(trace, 'steps', '0', 'join_optimization',
'steps', '0', 'condition_processing')

mysql> select user from mysql.user where user='Sveta';
++
...
mysql> select json_extract(trace, 'steps', '0', 'join_optimization',
'steps', '0', 'condition_processing') as value from
information_schema.optimizer_traceG
*************************** 1. row ***************************
value: {
              "condition": "WHERE",
              "original_condition": "(`mysql`.`user`.`User` =
'sveta')",
              "steps": [
....

json_append(doc, keypart1, keypart2, ...,
new_element)
Добавляет элемент в документ JSON.
Возвращает документ с добавленным элементом, оригинальный
документ, если некуда вставить элемент или NULL если документ,
либо подставляемое значение не в формате JSON.

new_element)
mysql> select json_append('{"Devconf": ["conference", 2014]}',
'Devconf', 2, '" "') as 'Devconf';Москва
++
| Devconf |
++
| {"Devconf": ["conference", 2014, " "]} |Москва
++

new_element)
mysql> select json_append('{"Devconf":
["conference", 2014]}', 'Devconf', 1, '" "') as Москва
'Devconf';
++
| Devconf |
++
| {"Devconf": ["conference", 2014]} |
++

json_replace(doc, keypart1, keypart2, ...,
new_value)
Обновляет значение по ключу.
Возвращает изменённый или оригинальный документ если ключ не
был найден, NULL если документ либо подставляемое значение не
в формате JSON.

new_value)
mysql> select json_replace('{"Devconf":
["conference", 2014]}', 'Devconf', '0', '"User
conference"') as 'Devconf';
++
| Devconf |
++
| {"Devconf": ["User conference", 2014]} |
++

new_value)
mysql> select json_replace('{"Devconf":
["conference", 2014]}', 'Devconf', '2', '"User
conference"') as 'Devconf';
++
| Devconf |
++
++

json_set(doc, keypart1, keypart2, ..., new_value)
Выполняет операцию наподобие INSERT ... ON DUPLICATE KEY
UPDATE.
Возвращает документ с добавленным или изменённым элементом,
NULL если документ либо подставляемое значение не в формате
JSON.

mysql> select json_set('{"Devconf": ["conference",
2014]}', 'Devconf', '0', '"User conference"') as
'Devconf';
++
| Devconf |
++
| {"Devconf": ["User conference", 2014]} |
++

mysql> select json_set('{"Devconf": ["conference",
2014]}', 'Devconf', '2', '" "') as 'Devconf';Москва
++
| Devconf |
++
| {"Devconf": ["conference", 2014, " "]} |Москва
++

json_remove(doc, keypart1, keypart2, ...)
Удаляет элемент.
Возвращает документ без элемента, оригинальный документ, если
ключ не найден или NULL если документ не в формате JSON.

mysql> select json_remove('{"Devconf":
["conference", 2014]}', 'Devconf', '1') as
'Devconf';
++
| Devconf |
++
| {"Devconf": ["conference"]} |
++

mysql> select json_remove('{"Devconf":
["conference", 2014]}', 'Devconf', '2') as
'Devconf';
++
| Devconf |
++
++

json_search(doc, value)
Осуществляет поиск по значению.
Возвращает путь к найденному элементу в обратном порядке,
NULL если элемент не найден или документ не в формате JSON.

mysql> select json_search(trace, '"trivial_condition_removal"') from
information_schema.optimizer_trace;
+
| json_search(trace, '"trivial_condition_removal"') |
++
|transformation:0:steps:condition_processing:0:steps:join_optimization:0:steps:: |
++

mysql> select json_search(trace, '"trivial_condition"')
from information_schema.optimizer_trace;
++
| json_search(trace, '"trivial_condition"') |
++
| NULL |
++

mysql> select json_search('{"Devconf": ["conference", 2014]}',
'"conf%"');
++
| json_search('{"Devconf": ["conference", 2014]}', '"conf%"') |
++
| 0:Devconf:: |
++
Feature preview!
0.3.2+

json_merge(doc1, doc2, ...)
Объединяет два или более документов в один.
Возвращает первый документ с присоединёнными последующими.
Дубликаты ключей никак не обрабатываются.
Внимание! Эта функция не проверяет документы на соответствие
формату JSON.
Тем не менее открывающие и закрывающие скобки у всех
документов должны совпадать.
Возвращает NULL если у первого документа нет открывающих-
закрывающих скобок или же они не совпадают.

json_safe_merge(doc1, doc2, ...)
Дубликаты ключей никак не обрабатываются.
Внимание! Эта функция проверяет все документы на соответствие
Возвращает NULL если первый документ не в формате JSON.

json_deep_merge(doc1, doc2, ...)
Значения дублирующих ключей обновляются.
Внимание! Эта функция проверяет все документы на соответствие
Возвращает NULL если у первый документ не в формате JSON.
Feature preview!
0.3.2+

mysql> select json_merge('{"Devconf": ["conference", 2013]}',
'{"Devconf": ["conference", 2014]}') as 'Devconf';
++
| Devconf |
++
| {"Devconf": ["conference", 2013], "Devconf": ["conference", 2014]} |
++

mysql> select json_safe_merge('{"Devconf": ["conference", 2013]}',
'{"Devconf": ["conference", 2014]}') as 'Devconf';
++
| Devconf |
++
++

mysql> select json_deep_merge('{"Devconf": ["conference",
2013]}', '{"Devconf": ["conference", 2014]}') as
'Devconf';
++
| Devconf |
++
| {"Devconf": ["conference", 2013, "conference", 2014]} |
++
Feature preview!
0.3.2+

'{"Devconf": ["conference", 2014]}', '1') as 'Devconf';
++
| Devconf |
++
++

'{"Devconf": ["conference" 2014]}') as 'Devconf';
++
| Devconf |
++
| {"Devconf": ["conference", 2013], "Devconf": ["conference" 2014]} |
++

mysql> select json_safe_merge('{"Devconf":
["conference", 2013]}',
> '{"Devconf": ["conference" 2014]}') as 'Devconf';
++
| Devconf |
++
++

mysql> select json_deep_merge('{"Devconf":
["conference", 2013]}',
>'{"Devconf": ["conference" 2014]}') as 'Devconf';
++
| Devconf |
++
++
Feature preview!
0.3.2+

json_depth(doc)
Возвращает количество уровней вложения в документе или NULL
если документ не в формате JSON

json_depth(doc)
mysql> select json_depth('{"Devconf": ["conference",
2014]}');
++
| json_depth('{"Devconf": ["conference", 2014]}') |
++
| 3 |
++

json_count(doc[, keypart1[, keypart2[, ...]]])
Возвращает количество детей родительского элемента, указанного
при помощи пути, корневого элемента если путь опущен или NULL
если документ не в формате JSON

json_count(doc, keypart1, keypart2, ...)
mysql> select json_count('{"Devconf": ["conference",
2014]}');
++
| json_count('{"Devconf": ["conference", 2014]}') |
++
| 1 |
++

json_count(doc, keypart1, keypart2, ...)
mysql> select json_count('{"Devconf": ["conference", 2014]}',
'Devconf');
++
| json_count('{"Devconf": ["conference", 2014]}', 'Devconf') |
++
| 2 |
++

json_version()
Возвращает версию функций.

json_version()
mysql> select json_version();
++
| json_version() |
++
| MySQL JSON UDFs 0.3.2labs |
++

json_test_parser(doc)
Возвращает текстовое представление parse tree документа JSON,
частичное дерево или пустую строку если документ не в формате
JSON.
Эта функция предназначена исключительно для тестирования и не
должна использоваться в рабочем приложении.

mysql> select json_test_parser('{"Devconf":
["conference", 2014]}') as 'Parse tree'G
********************** 1. row **********************
Parse tree:  => "conference";
             => 2014;
         "Devconf" => ["conference", 2014];
       => {"Devconf": ["conference", 2014]};

mysql> select json_test_parser('{"Devconf": ["conference",
2014]') as 'Parse tree';
++
| Parse tree |
++
| => "conference"; => 2014;"Devconf" => ["conference", 2014]; |
++

Insert Picture Here
Где взять?

Исходный код и бинарные дистрибутивы
MySQL Labs
●
Исходный код
●
Бинарные дистрибутивы
●
x86 and x86_64
●
Generic Linux
●
Mac OSX 10.7
●
Windows 7
●
http://labs.mysql.com/

Как инсталлировать?
UNIX
create function json_valid returns integer
soname 'libmy_json_udf.so';
create function json_search returns string
create function json_extract returns string
create function json_replace returns string
create function json_append returns string
...

Как инсталлировать?
Windows
create function json_remove returns string
soname 'my_json_udf.dll';
create function json_set returns string
create function json_merge returns string
create function json_contains_key returns integer
create function json_test_parser returns string
...

Как инсталлировать или удалить?
Готовые скрипты
mysql db_name < install_jsonudf.sql
mysql db_name < uninstall_jsonudf.sql
Спасибо Daniel van Eeden!

Зависимости
Библиотека Regex
Распространяется вместе с дистрибутивом функций
UNIX
●
Можно использовать системную
Windows
●
Всегда компилируется статически
Вам не нужно устанавливать никаких библиотек, чтобы
использовать функции!

Как компилировать?
UNIX
Вам нужно:
●
cmake
●
Regex library (поставляется вместе с исходниками)
●
Компилятор
Как скомпилировать:
●
cmake . DMYSQL_DIR=/home/sveta/build/mysql5.6
●
make

Как компилировать?
Windows
Вам нужно:
●
PCRE (поставляется вместе с исходным кодом)
●
Visual Studio
●
cmake (cmake.org)
Чтобы собрать JSON UDF:
●
"C:Program Files (x86)CMake 2.8bincmake.exe" G
"Visual Studio 11 Win64" . DMYSQL_DIR="C:/MySQL/mysql
5.6.19"
●
devenv my_json_udf.sln /build Release

Больше информации
Документация и статьи
●
Файл README
●
Мой блог: https://blogs.oracle.com/svetasmirnova/
Анонсы
●
Мой twitter: https://twitter.com/#!/svetsmirnova

Insert Picture Here
Будущее

Зависит от вас
Открывайте баги
Шлите предложения по улучшению
Больше вы пришлёте – больше мы сделаем
Сейчас вы можете влиять на решения

Куда посылать баги и feature request-ы
MySQL Community bugs database
●
https://bugs.mysql.com/
●
Категория
●
“MySQL Server: JSON User-defined function (UDF)”
Internal Oracle bugs database
●
Просите инженеров технической поддержки MySQL открыть баг репорт
для вас
●
Категория “UDFJSON”

Полезные ссылки
https://blogs.oracle.com/svetasmirnova/
https://twitter.com/#!/svetsmirnova
http://json.org/
http://www.pcre.org/
http://dev.mysql.com/doc/refman/5.6/en/adding-functions.html
http://bugs.mysql.com/
https://support.oracle.com

Insert Picture Here
?

Insert Picture Here
СПАСИБО!

The preceding is intended to outline our general product
direction. It is intended for information purposes only, and
may not be incorporated into any contract.
It is not a commitment to deliver any material, code, or
functionality, and should not be relied upon in making
purchasing decisions. The development, release, and
timing of any features or functionality described for
Oracle’s products remains at the sole discretion of Oracle.

NoSQL атакует: JSON функции в MySQL сервере.

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (8)

Similar to NoSQL атакует: JSON функции в MySQL сервере.

Similar to NoSQL атакует: JSON функции в MySQL сервере. (20)

More from Sveta Smirnova

More from Sveta Smirnova (20)

Recently uploaded

Recently uploaded (20)

NoSQL атакует: JSON функции в MySQL сервере.