Revoluce v cloudu: první autonomně řízená databáze na světě

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Nová služba
Oracle Autonomous Data Warehouse Cloud
Patrik Plachý
Senior Consultant

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Agenda
Představení Autonomous Data Warehouse Cloud
Jak začít s Autonomous Data Warehouse Cloud
1
2

Představení
Autonomous Data Warehouse Cloud

• Snadný
– Plně spravovaný, předkonfigurovaný a optimalizovaný pro pracovní zatěž typu DW
– Stačí načíst data a spustit
• Není třeba definovat indexy, vytvářet oddíly apod.
• Rychlý
– Využivá technologie Exadata
• Elastický
– Okamžité škálování Comptue nebo úložiště bez výpadku

Plně spravovaný
• Oracle automatizuje správu
celého provozu datového skladu
– Poskytování nových databází
– Rostoucí či zmenšující se Storage a
Compute
– Patchování a upgrady
– Zálohování a obnovení
• Celý životní cyklus je spravován
pomocí konzole (Service Console)
– Alternativně je lze spravovat pomocí
příkazového řádku nebo API REST

Vyladěný
• “Load and go”
– Definujte tabulky, načtěte data, spusťte
dotazy
• Žádné ladění
• Nevyžadují se speciální znalosti databáze
– Výkon "out of the box“
• Lze se dotázat pomocí jakéhokoli
analytického nástroje nebo cloudové
služby
– Vestavěný SQL worksheet a SQL Notebook

Plně elastický
• Navrhnětě si rozměry DW na přesné zdroje Compute a Storage
– Není omezené pevnými stavebními kameny, žádné předdefinované tvary
• Škálování DW na požádání (On-Demand)
– Nezávislé škálování Compute a Storage
– Změna velikosti nastane okamžitě, plně online
• Vypněte nevyužité zdroje Compute a šetřete peníze
– Okamžitý restart

Plná podpora DW ekosystému
• Autonomous Data Warehouse Cloud podporuje:
– Stávající nástroje běžící On-Premise nebo v Cloudu
• Nástroje BI třetích stran
• Nástroje pro integraci dat třetích stran
• Oracle BI a nástroje pro integraci dat: BIEE, ODI atd
– Cloudové služby Oracle: Analytics Cloud Service, Golden Gate Cloud Service,
Integration Cloud Service a další
– Připojení přes SQL*Net, JDBC, ODBC

Architektura
Oracle Exadata Cloud Service
Oracle Database Cloud Service
Express Cloud Service
Data Warehouse Services
(EDWs, DW, departmental marts and sandboxes)
Service Console
Built-in Access Tools
SQL Worksheet Oracle ML
Service Management
DW Database
SQL Developer
Developer Tools
Data Integration
Services
Oracle Data Integration
Cloud Service
3rd Party DI on
Oracle Cloud Compute
3rd Party DI
on-premises

Začínáme s
Provisioning databáze

• Provisioning vyžaduje pouze čtyři
jednoduché otázky:
– Jméno databáze?
– Datové centrum?
– Počet procesorů?
– Kapacita úložiště?
– Heslo uživatele Admin?
• Nová služba je vytvořená za méně <30
sekund (bez ohledu na velikost)
– Připraveno k připojení

Demo

Začínáme s
Připojení k databázi

Připojení k databázi
• Bezpečné připojení používající klientský credential wallet pomocí SQL*Net,
JDBC, ODBC
– Wallet poskytuje ověřování i šifrování
• Wallet stažený ze service console

Demo
Stažení credential wallet

Demo
Připojení k databázi pomocí wallet s nástrojem SQL Developer

Umístění wallet
Wallet password
Database service name

Názvy Database Service
• 3 předem definované databázové služby
– Volba výkonu a konkurence
• HIGH
– Nejvíce zdrojů, nejnižší konkurence
– Dotazy běží paralelně
• MEDIUM
– Méně zdrojů, vyšší konkurence
– Dotazy běží paralelně
• LOW
– Nejméně zdrojů, nejvyšší konkurence
– Dotazy běží sériově
No of concurrent
queries
Max idle time CPU shares
HIGH 3 5 mins 4
MEDIUM 20 5 mins 2
LOW 32 1 hour 1
Příklad databáze s 16 OCPUs

Začínáme s
Vytváření uživatelů

Zjednodušené vytváření uživatelů
• Zjednodušené vytváření uživatelů pomocí nové databázové role
– Není třeba specifikovat nic kromě hesla
– DWROLE obsahuje všechna potřebná oprávnění pro vývojáře/uživatele DW
create user sh identified by “Welcome1!”;
grant dwrole to sh;

Začínáme s
Načítání dat

Možnosti načítání dat
• Načítání dat via SQL*Net
– Vhodné pro malé objemy dat
• SQL*Loader z lokálního souborového systému
• ETL skripty používající DML pro vkládání/aktualizaci dat
• Načítání dat z Oracle Object Storage
– Preferovaná technika pro velké objemy dat
• Dále umožňuje sdílení dat s dalšími cloudovými službami
– Stage v Oracle Object Storage a poté data načíst do databáze pomocí nového rozhraní
PL/SQL API nebo importem pomocí datové pumpy

Načítání dat z Oracle Object Storage
• Zdrojová data ze souborů uložených na
Object Store:
– Oracle Object Store nebo AWS S3
– Jakýkoli podporovaný formát souboru pro
ORACLE_LOADER
– Do budoucna: jakýkoli formát Hadoop
ADWC
Object
Storage

Nové Cloud API pro přístup k Object Stores, DBMS_CLOUD
• Nový PL/SQL package pro přístup k
object stores
• Není třeba ručně definovat externí
tabulky pro načítání souborů
– Umožňuje snadněji určit formát zdrojových
dat

• Nadefinujte přístupy pro object store
– Požaduje se Oracle Cloud Infrastructure Object Store username a Swift password
• Přístupy se uloží jednou ve schématu databáze a použijí se pro přístup k
Object Store pro všechny další načítání
begin
dbms_cloud.create_credential(
credential_name => 'OBJ_STORE_CRED',
username => 'tenant1',
password => ’password'
);
end;
/

• Vložte data přímo do cílové tabulky bez jakýchkoli mezi-kroků
• Formát dat ve zdrojovém souboru jednoduše zadaný jako JSON
begin
dbms_cloud.copy_data(
table_name =>'CHANNELS',
credential_name =>'OBJ_STORE_CRED',
file_uri_list =>'https://swiftobjectstorage.us-ashburn-
1.oraclecloud.com/v1/dwcsdemo/DEMO_DATA/chan_v3.dat',
format => json_object('ignoremissingcolumns' value 'true',
'removequotes' value 'true')
);
end;
/

Odstraňování problémů
• Načítání je zaznamenáno pro pozdější odstraňování problémů a historické
sledování načítání
– Nové tabulky user/dba_load_operations
• Log a bad soubory jsou přístupné jako tabulky
select table_name,status,rows_loaded,logfile_table,badfile_table
from user_load_operations;
TABLE_NAME STATUS ROWS_LOADED LOGFILE_TABLE BADFILE_TABLE
-------------------- --------- ----------- -------------------- --------------------
CHANNELS FAILED COPY$1_LOG COPY$1_BAD
CHANNELS COMPLETED 5 COPY$2_LOG COPY$2_BAD

Data Pump Import z Oracle Object Store
• Import vylepšený pro načtení z object stores
– Použijte nový parametr pro přístup v 18.1 Data Pump
begin
);
end;
/
impdp sh/sh@salesdb_low directory=data_pump_dir credential=OBJ_STORE_CRED
dumpfile=https://swiftobjectstorage.us-phoenix-
1.oraclecloud.com/v1/dwcsdev/dump/sh.dmp

Data Pump Import z the Oracle Object Store
• Import vylepšený pro načtení z object stores
– Použijte výchozí parametry pro přístup u dřívější verze Data Pump
begin
);
end;
/
alter database property set default_credential = 'ADMIN.OBJ_STORE_CRED';
impdp sh/sh@salesdb_low directory=data_pump_dir
dumpfile=default_credential:https://swiftobjectstorage.us-phoenix-
1.oraclecloud.com/v1/dwcsdev/dump/sh.dmp

Začínáme s
Dotazování na data ležící na Object Store

• Přímý dotaz na soubory uložené v object
store, aniž by bylo nutné je nejprve načíst
– Oracle Object Store nebo AWS S3
– Jakýkoli podporovaný formát souboru pro
ORACLE_LOADER
– Do budoucna: jakýkoli formát Hadoop
ADWC
Object
Storage

• Nadefinujte přístupy pro object store
– Požaduje se Oracle Cloud Infrastructure Object Store username a Swift password
• Přístupy se uloží jednou ve schématu databáze a použijí se pro přístup k
Object Store pro všechny další načítání
• Zavolejte rozhraní API dbms_cloud pro vytvoření externí tabulky nad
zdrojovými soubory

begin
dbms_cloud.create_external_table(
table_name =>'CHANNELS_EXT',
credential_name =>'OBJ_STORE_CRED',
file_uri_list => 'https://swiftobjectstorage.us-ashburn-
1.oraclecloud.com/v1/dwcsdemo/DEMO_DATA/chan_v3.dat',
format => json_object('ignoremissingcolumns' value 'true', 'removequotes' value
'true'),
column_list => 'CHANNEL_ID NUMBER,
CHANNEL_DESC VARCHAR2(20),
CHANNEL_CLASS VARCHAR2(20),
CHANNEL_CLASS_ID NUMBER,
CHANNEL_TOTAL VARCHAR2(13),
CHANNEL_TOTAL_ID NUMBER'
);
end;
/
select count(*) from channels_ext;

Začínáme s
Web-Based SQL Worksheet a Notebook

Vestavěný SQL Worksheet a Notebook
• Lze rychle začít spouštět dotazy s
vestavěnými webovými notebooky
– Není třeba instalovat klientský
dotazovací nástroj
• Nyní podporuje SQL a PL/SQL
– Do budoucna mnohem více jazyků
• Postaveno na Apache Zeppelin

Začínáme s
Škálování databáze

• Škálování databáze On-Demand bez únavných manuálních kroků
– Nezávisle škálování Compute a Storage
– Změna velikosti nastane okamžitě, plně online
– Paměť, šířka pásma IO, konkuretní přístup škáluje lineárně s CPU
• Zastavte databázi, abyste ušetřili peníze, když je nepoužíváte
– Provedení okamžitě

Demo

Začínáme s
Správa a monitorování

Automatizovaná konfigurace databáze
• init.ora parametry
– Parametry optimalizované pro DW zátěž
– Paměť, paralelismus, sessions nakonfigurované na základě počtu procesorů
– Uživatelé mohou upravit omezenou sadu parametrů, např. nastavení NLS
• Tablespace management
– Předdefinované tablespace data a temporary tablespace
– Uživatelé nemohou vytvářet/upravovat tablespace
• Komprese
– Všechny tabulky jsou komprimovány pomocí Hybrid Columnar Compression
– Uživatelé nemohou měnit metodu komprese nebo zakázat kompresi

Automatizovaná konfigurace databáze
• Optimizer stats gathering
– Statistiky jsou shromážděné automaticky při načítání direct load
– Pokud uživatelé chtějí mohou statistiky shromažďovat ručně
• Optimizer hints
– Hinty jsou ve výchozím nastavení ignorovány
– Uživatelé je mohou povolit
• Result cache configuration
– Result cache je ve výchozím nastavení povolena pro všechny dotazy

Monitorování
• Zjednodušené monitorování pomocí webové service console
• Historické a real-time grafy o výkonnosti
• Real-Time SQL Monitoring pro sledování běžících a historických příkazů SQL
• Historické monitorování načítání dat

Demo
Monitorování

Začínáme s
Zálohování a obnova

Zálohování a obnova
• Automatizované zálohy s retencí 60 dní
– Týdenní full a denní incremental
• Manuální zálohování
– Může být iniciováno zákazníkem z cloud console
– Zálohování do object store zákazníka
• Point-in-time recovery
– Zákazník iniciuje obnovu z cloud console
– Služba rozhodne, ze které zálohy se má obnovit
• Flashback, ruční zálohy nebo automatické zálohy
Confidential – Oracle Internal/Restricted/Highly Restricted 69

Začínáme s
Migrace

Migrace do Autonomous Data Warehouse Cloud
Migrace stávajících Oracle systémů
• Data pump import pomocí nastavení ADWC-aware
– Zajišťuje kompatibilní import dat
– Porušení datových struktur bude ignorováno nebo
zkonvertováno
Migrace systémů Redshift
• Kompletní migrace pomocí migration workbench
– Převést a vytvořit schéma datového skladu
– Uložení dat z Redshift do S3
– Načtení dat do ADWC
Migrace jiných systémů
• Migration workbench assistance nebo manuální
71

Oracle Autonomous Data Warehouse Cloud
Shrnutí

Exadata Cloud Service Autonomous Data Warehouse Cloud
Automatizovaný Plně spravováno
Úplná databáze:
všechny Oracle funkce
Core DW funkčnost:
zaměřené na DW a jednoduchost
Komplexní DW, které vyžaduje
přizpůsobené ladění a pokročilé funkce
Jednodušší DW bez administrace a nižší
náklady
Shrnutí - Cloudová Platforma pro Data Warehousing

Revoluce v cloudu: první autonomně řízená databáze na světě

Revoluce v cloudu: první autonomně řízená databáze na světě

Recommended

Recommended

More Related Content

What's hot

What's hot (8)

Similar to Revoluce v cloudu: první autonomně řízená databáze na světě

Similar to Revoluce v cloudu: první autonomně řízená databáze na světě (20)

More from MarketingArrowECS_CZ

More from MarketingArrowECS_CZ (20)

Revoluce v cloudu: první autonomně řízená databáze na světě