JSON in der Oracle Datenbank

1
Ulrike Schwinn (Ulrike.Schwinn@oracle.com, @uschwinn)
BU Core & Cloud Technologies
Oracle Deutschland B.V. & Co KG
JSON Daten in Oracle Datenbank

Copyright © 2018, Oracle and/or its affiliates. All rights reserved.
„All Your Data“
Volltextrecherche, Klassifizierung und Clustering,
Katalogabfragen, Sentiment Analyse, Abfragen von Geodaten,
Reguläre Ausdrücke,
XML Pfad, XML Generierung,
Geocoding, Abfragen im RDF Modell,
RSS Feeds, Auslesen mit Uritypes, XQuery-Anwendungen,
Objekt-relationale Zugriffe, relationale Sichten auf XML Daten,
… und jetzt auch noch Abfragen über JSON
Speichern, Zugreifen, Verarbeiten

Warum überhaupt JSON in der Oracle Datenbank?
• JSON Verarbeitung gibt es doch in sogenannten NoSQL Umgebungen
oder spezialisierten Datenbanken
• Warum soll man für JSON Daten die Oracle Datenbank verwenden?
 Ein einziges zentrales Repository => einheitliches Management
 Backup/Recovery
 Sicherheit
 Performance (Indizierung, Partitionierung, Parallelisierung etc.)
 Vorgefertigte Funktionen=> wenig Code erforderlich
 Immer verwenden wenn SQL Zugriff auf bestehende (relationale)
Stammdaten und JSON Daten gefragt ist

Die Oracle Datenbank für “all your data”
select p.id, p.name, sl.json_doc.quantity anzahl
from
product p, customer c, store s, sales sl
where sl.json_value(json_doc,'$.product_id')=p.id
and
contains(p.notes,fuzzy('Lieferkosten'), 1) > 0
and
sl.json_value(json_doc,'$.CUSTNumber' returning
number) = c.cust_ids
and
s.store_id = 1234
and
sdo_within_distance(c.location,
s.location,'distance=20')='TRUE'
Alle Arten von Daten mit
Advanced Analytics, OLAP, R, PHP, .NET,
SQL ...

JSON in der Datenbank – ein Kurzprofil
• Bestandteil der Datenbank seit 12c Release 1 (12.1.0.2)
– Ohne Installation/Konfiguration
– In allen Datenbank- und Cloud- Editionen
– Mit allen (Standard) Funktionen der Datenbank verwendbar
• Zugriff über SQL und PL/SQL
• Es gibt
 SQL/JSON Funktionen/Operatoren für relationale Sichtweisen oder
für JSON Daten Generierung
– Indizes wie function based, linguistic

Funktionalität im Überblick
• Speicherung in Tabelle mit CREATE TABLE – KEIN spezieller Datentyp
• Abfragen von JSON mit
– Dot Notation
– JSON_EXISTS
– JSON_VALUE
– JSON_QUERY
– JSON_TABLE
– JSON_TEXTCONTAINS
• Laden/Nutzen über External Tables
• DML

Anforderung an einem Beispiel
1. Bestellungen (JSON Dokumente)
– JSON Daten Export erzeugt von üblichen NoSQL Datenbanken
2. Suche nach einer bestimmten Bestellung
– Name des Auftraggebers ist nicht eindeutig
Herausforderungen
– Einfache übersichtliche Codierung
– Größe des(der) Dokument(e)
– Große Anzahl an Dokumenten
– Ungenauigkeit der Anfrage
– Hohe Performance Anforderungen

JSON Dokument

JSON Daten und die Datenbank
• Ausgangssituation
– JSON Daten außerhalb der Datenbank
– Oracle Beispiel: https://github.com/oracle/db-sample-schemas/blob/master/order_entry/PurchaseOrders.dmp
• Vorgehensweise
– Zugriff über logisches Directory
– External Table mit Spalte für die JSON Daten in der Datenbank
create table json_contents (json_document CLOB)
organization external
(type oracle_loader default directory json_dir
access parameters
(records delimited by 0x'0A'
fields (json_document CHAR(5000)))
location ('PurchaseOrders.dmp')) reject limit unlimited;
create directory json_dir as '/home/oracle/db-sample-schemas-12.2.0.1/order_entry';

• JSON_EXISTS, JSON_VALUE, JSON_QUERY …
Zugriffe: Dokumente, skalare Werte, Fragmente ...
SQL> select min(json_value (json_document, '$.PONumber' Returning number)) min_po,
max(json_value (json_document, '$.PONumber' Returning number)) max_po
from json_contents;
SQL> select json_query(json_document,'$.ShippingInstructions')
from json_contents
where json_value(json_document,'$.PONumber' returning number) = 1000;
SQL> select count(*) from json_contents
where json_exists(json_document, '$.ShippingInstructions.Address.zipCode');
SQL> select * from json_contents where rownum = 1;

JSON Struktur mit JSON_DATAGUIDE – „on the fly“
SQL> select json_dataguide(json_document, dbms_json.format_hierarchical, dbms_json.pretty)
from json_contents;
JSON_DATAGUIDE(JSON_DOCUMENT,DBMS_JSON.FORMAT_HIERARCHICAL,DBMS_JSON.PRETTY)
--------------------------------------------------------------------------------
{
"type" : "object",
"properties" :
{
"User" :
{
"type" : "string",
"o:length" : 8,
"o:preferred_column_name" : "User“ …
select json_dataguide(
httpuritype('https://earthquake.usgs.gov/earthquakes/feed/v1.0/summary/all_day.geojson').getclob())
from dual;

• IS JSON Bedingung prüft auf Gültigkeit
• Function Based Index für Tuning
Tabelle Laden und Indizieren
create table json_tab
(id number generated as identity,
json_document clob constraint ensure_json CHECK (json_document IS JSON));
insert into json_tab (json_document)
select json_document from json_contents;
commit;
create index ponumber_idx on json_tab (json_value(json_document, '$.PONumber'
returning number error on error));
Demo
select x.json_document.PONumber from json_tab x where rownum=1;

Index Nutzung

JSON in Tabellenform: Relationale Projektionen
DBSAT_RESULT
Doc_name Severity Title Remarks
collect1.json 5 Directory Objects Directory objects allow
access to the server's
file system from PL/SQL
code within the database.
collect1.json 5 Users with
Default Passwords
Default account passwords
for predefined Oracle
accounts are well known.

Anwendungsbeispiel: DBSAT Ausgabe im JSON Format
• Spezielle User Reports innerhalb der Datenbank programmieren
• Vorgehen
– Tabelle für JSON Dateien
create table dbsat_result
(docname varchar2(32), doc clob check (doc is json));
– Laden der JSON Datei(en)
insert into dbsat_result values ('collect1_report.json',
bfilename('DBSAT_DIR','collect1_report.json'))

Eigene Ausgabe
select severity , title, remarks
from dbsat_result
,JSON_TABLE(doc, '$[*].items[*]'
columns
TYPE VARCHAR2(32) PATH '$.type',
SEVERITY NUMBER PATH '$.severity',
TITLE VARCHAR2(128) PATH '$.title',
REMARKS VARCHAR2(4000)PATH '$.remarks' )
where TYPE = 'finding' order by docname, severity
Report in der Datenbank

JSON Format - Ausgabe
SEVERITY TITLE REMARKS
---------- -------------------------------------------------- ------------------------------------------------------------
5 Directory Objects Directory objects allow access to the server's file system f
rom PL/SQL code within the database. Access to files that ar
e used by the database kernel itself should not be permitted,
as this may alter the operation of the database and bypass
its access controls.
5 Users with Default Passwords Default account passwords for predefined Oracle accounts are
well known. Open accounts with default passwords provide a
trivial means of entry for attackers, but well-known passwor
ds should be changed for locked accounts as well.

JSON Generieren aus relationalen Daten
CUSTOMERS
{
"custid":25451,
"name":“Everett",
"City":“Heilbronn“
}
CUST_ID CUST_LAST_NAME CUST_CITY
25451 Everett Heilbronn
25452 Odenwalld Heilbronn
... ... ...

• JSON_OBJECT macht aus Key Value Paaren JSON Objekte
• JSON_OBJECTAGG ist eine Aggregatsfunktion
JSON Code generieren - ganz einfach mit SQL
select json_object('custid' is CUST_ID,
'name' is CUST_LAST_NAME,
'City' is CUST_CITY) ausgabe
from customers;
select cust_city,
json_objectagg('name' is cust_last_name) cust_per_city
from customers
where cust_city like 'Co%'
group by cust_city

Ergebnis
CUST_CITY
------------------------------
CUST_PER_CITY
--------------------------------------------------------------------------------
Coburg
{"name":"Rice","name":"Tillman","name":"Barnett","name":"Zimmer","name":"Klesser
","name":"Ingersoll","name":"Bane","name":"Vankirk","name":"Lefevre","name":"Tri
mmer","name":"Smeed","name":"Lipp","name":"Klemm","name":"Obrien","name":"Kelley
","name":"Titus","name":"Felt","name":"Joseph","name":"Colven","name":"Snodgrass
","name":"Rosenblum","name":"Burgess","name":"Kraft","name":"Krebs","name":"Zhao
","name":"Carr","name":"Kish","name":"Dwyer","name":"Eastwood","name":"Haole","n
ame":"Lamar","name":"Lengel","name":"Knox","name":"Mannings","name":"Curr","name
":"Jeffreys","name":"Lickey","name":"Ingold","name":"Goode","name":"Kelleher","n
ame":"Ladd","name":"Greenley","name":"Rush","name":"Gilmour","name":"Baley"}
Cochem
{"name":"Eden","name":"Pack","name":"Hale","name":"Newsome","name":"Calahan","na
me":"Lucy","name":"Newkirk","name":"Jewell","name":"Parks","name":"Rust","name":
"Sampler","name":"Stone","name":"Poindexter","name":"Geralt","name":"Wiser","nam
e":"Valentino","name":"Bakker"}

• JSON_ARRAYAGG ist eine Aggregatsfunktion und gibt ein JSON Array aus
JSON Code generieren - ganz einfach mit SQL
select json_object('country_name' is c.country_name,
'ctinfo' is
(select json_arrayagg(
json_object('name' is cust_last_name,
'status' is cust_marital_status,
'city' is cust_city,
'street' is cust_street_address absent on null)
absent on null)
from customers co
where co.country_id=c.country_id and cust_year_of_birth>1988)
absent on null) as ct1
from countries c;
Demo

Das Ergebnis - ein Ausschnitt

Und jetzt zu unserem Beispiel
• Suche nach einer bestimmten Bestellung
– Name des Auftraggebers ist nicht eindeutig
• Lösung: Persistenter Data Guide mit speziellem Context Index
• Weitere Anwendungen
– Einfache Erzeugung von Views
– Erzeugung von virtuellen Spalten
create search index JSON_TAB_GUIDE
on JSON_TAB (JSON_DOCUMENT)
for json PARAMETERS ('DATAGUIDE ON SYNC (ON COMMIT)')

Data Guide und JSON Strukturen

Data Guide und relationale View Erzeugung
• Ausführung von DBMS_JSON.CREATE_VIEW_ON_PATH
execute dbms_json.create_view_on_path
(viewName => 'JSON_PO_VIEW',
tableName => 'JSON_TAB',
jcolname => 'JSON_DOCUMENT',
path => '$')
execute dbms_json.create_view_on_path
(viewName => 'JSON_PO_VIEW_PART',
tableName => 'JSON_TAB',
path => '$.ShippingInstructions.Address')

Relationale View
(*) Spalten lassen sich umbenennen

Data Guide und Virtuelle Spalten
• Nutzung von DBMS_JSON.ADD_VIRTUAL_COLUMNS für Projektionen
Auch automatisch bei Änderung über Change Trigger mit Context Index
execute dbms_json.add_virtual_columns (tableName => 'JSON_TAB',
frequency => 100)
SQL> desc json_tab
Name Null? Type
----------------------------------------- -------- ----------------------------
ID NOT NULL NUMBER
JSON_DOCUMENT CLOB
JSON_DOCUMENT$User VARCHAR2(8)
JSON_DOCUMENT$PONumber NUMBER
JSON_DOCUMENT$Reference VARCHAR2(32)
JSON_DOCUMENT$Requestor VARCHAR2(32)

Die (linguistischen) Abfragen
• Operatoren wie JSON_TEXTCONTAINS oder JSON_EXISTS verwenden
json_textcontains(json_document, '$.CostCenter', 'A40')
json_textcontains(json_document,'$.ShippingInstructions','fuzzy(fransesco)')
json_exists(json_document,'$.ShippingInstructions.Address.zipCode')
json_textcontains(json_document, '$','near((United, America), 3)')
json_textcontains(json_document,'$','Sporting near green')
json_textcontains(json_document, '$.LineItems', '$tie')
json_textcontains(json_document, '$.Requestor', 'fuzzy(Sarat)')

Das Ergebnis
Demo

XML vs JSON Daten in der Datenbank
Eigenschaft XML JSON
Integraler Bestandteil >= 9i Release 2 >= 12.1.0.2
Datentyp XMLTYPE kein spezieller Datentyp
DB und CloudEditionen alle alle
Generierung XMLELEMENT,
XMLATTRIBUTES ...
JSON_ARRAY,
JSON_OBJECTAGG ...
Relationale Sichten XML_TABLE, XMLEXISTS,
XMLQUERY, XQUERY
JSON_VALUE, JSON_TABLE
oder DataGuide (ab 12.2)
Änderbarkeit SQL/XML Funktionen Mit PL/SQL
Indizierung Function Based Index
XML Index
Function Based Index
DataGuide
Repository Zugriffe HTTP, WEBDAV und FTP keine

Neuigkeiten in 18c
• Neue Funktion TREAT AS JSON
• Neue Bedingung JSON_EQUAL
• LOB Resultat für JSON_VALUE, JSON_QUERY und JSON_TABLE
• Neue Funktion TO_UTC_TIMESTAMP_TZ
• SQL/JSON Generate Funktionen mit weiteren Eingabe Datentypen
• Materialisierte Views mit JSON_TABLE jetzt auch mit ON STATEMENT
• Sharding Support

TREAT AS JSON
create table treat_bsp
as select cust_id,
json_object('gender' is CUST_GENDER,
'name' is CUST_LAST_NAME,
'City' is CUST_CITY) as json_data
from customers where rownum<10;
SQL> select j.cust_id, j.json_data.name from treat_bsp;
Select j.cust_id, j.json_data.name from treat_bsp
*
ERROR at line 1:
ORA-00904: "J"."JSON_DATA"."NAME": invalid identifier

TREAT Beispiel
SQL> with json_doc as
(select cust_id, treat (json_data as json) as jsontreat
from treat_bsp)
select j.cust_id, j.jsontreat.gender, j.jsontreat.name
from json_doc j;
CUST_ID GENDER NAME
---------- ---------- ----------
49671 M Ruddy
3228 M Ruddy
6783 M Ruddy
10338 M Ruddy
13894 M Ruddy
17449 M Ruddy
21005 M Ruddy
24561 M Ruddy
28116 M Ruddy

JSON_EQUAL
create table equal_test (id number,j_doc1 clob, j_doc2 clob);
insert into equal_test
select id, json_document, json_document from json_tab where id=1;
insert into equal_test
select id, json_document, ' '|| json_document from json_tab where id=2;
select id from equal_test where dbms_lob.compare(data1,data2)=0;
ID
----------
1
select id from equal_test where json_equal(data1,data2);
ID
----------
1
2

LiveSQL.oracle.com
18c Tutorials
• http://livesql.oracle.com
• SQL Scratch Pad in der Oracle Cloud
• Browser und OTN Account nötig
• Kostenlos
• “Save und Share” von SQL Beispielen
• Tutorials

Weitere Informationen
• Handbücher: Database JSON Developer's Guide
• Blogs
– https://blogs.oracle.com/coretec
– https://blogs.oracle.com/author/beda-hammerschmidt
– http://oracle-text-de.blogspot.co.uk/
• Kontakt: Ulrike.Schwinn@oracle.com @uschwinn

JSON in der Oracle Datenbank

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to JSON in der Oracle Datenbank

Similar to JSON in der Oracle Datenbank (20)

More from Ulrike Schwinn

More from Ulrike Schwinn (13)

Recently uploaded

Recently uploaded (20)

JSON in der Oracle Datenbank