SAS - Integrace dat

Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
INTEGRACE DAT
DAVID VANÍK

INTEGRACE DAT O ČEM TO BUDE
• Proč se zabývat integrací dat
• Koncepce datové integrace z pohledu SASu
• SAS Data Integration Studio
• Virtuální integrace
• Metadata
• Workflow integračních procesů

INTEGRACE DAT PROČ
• Různorodá data
• Odlišná struktura
• Rozdílná kvalita
• Uložena na více místech
• Integrace a konsolidace dat
• Data uložená na jednom místě
• Stejná kvalita a struktura dat
• Aktuálnost dat
• Dostupná pro business uživatele
Správná data ve správný čas = Správná rozhodnutí

INTEGRACE DAT VYUŽITÍ
• Analýzy
• Reporting
• Data mining
• Prediktivní modely
• Marketingové kampaně
• Retenční aktivity
• Fraud system
Zvýšení ziskovosti firmy

DATOVÝ SKLAD
MS SQL
ORACLE
CRM
SAP
Excel
DATAMART
DATAMART
SOURCE DATA
Access
DATAMART
DATAMART
EDW
DATA WAREHOUSE REPORTING
MOBILE
HTML
EXCEL
VYSOKÉ NÁKLADY
POMALÁ IMPLEMENTACE
MALÁ FLEXIBILITA

DATAMARTY
MS SQL
ORACLE
CRM
SAP
Excel
DATAMART
DATAMART
SOURCE DATA
Access
DATAMART
DATAMART
MOBILE
HTML
EXCEL
NÍZKÉ NÁKLADY
RYCHLÁ IMPLEMENTACE
VELKÁ FLEXIBILITA

INTEGRACE
MS SQL
ORACLE
CRM
SAP
Excel
DATAMART
DATAMART
SOURCE DATA
Access
DATAMART
DATAMART
MOBILE
HTML
EXCEL
DQ
ETL
DATA INTEGRATION
METADATA

INTEGRACE VIRTUÁLNÍ
• Ne všechna data je třeba fyzicky integrovat
• Některé systémy lze efektivněji integrovat virtuálně
• Bez nutnosti fyzické konsolidace a uložení
• Využívá se pro spojení dat z DWH i mimo DWH
• Výhodné při potřebě zachovat stále aktuální data
ÚSPORA ČASU A PENĚZ

INTEGRACE VIRTUÁLNÍ
MS SQL
ORACLE
CRM
SAP
Excel
SOURCE DATA
Access
VIRTUAL DWH REPORTING
MOBILE
HTML
EXCEL
DATAMART
DATAMART
DATAMART
DATA WAREHOUSE
VIRTUAL DATA
INTEGRATION
METADATA

INTEGRACE
• Zajištění přehlednosti a budoucí udržitelnosti procesů datové integrace
• Kontrola datové kvality a čištění dat v rámci integrace dat
• Jednotná metadata
• Efektivní přístup
• Orientace na potřeby uživatelů
• Inkrementální přístup
CO BY MĚLA SPLŇOVAT
ETL NÁSTROJ = SAS DI STUDIO

SAS DATA INTEGRATION STUDIO

SAS DI STUDIO
Nástroj pro
tvorbu, implementaci a
řízení datových integračních
procesů
nezávislý
na datových zdrojích,
aplikacích
nebo platformách.

SAS DI STUDIO
• Široké spektrum vstupních a výstupních formátů
• DB (Oracle, Teradata, SQL Server)
• Textové soubory (txt, csv)
• MS Excel
• MS Access
• ERP systémy (SAP, BW, Siebel)
• ODBC, OLEDB zdroje
• Hadoop, Postgre
• Napojení pomocí modulů SAS ACCESS
• DB nativní
• ODBC
• Registrace vstupů a výstupů v metadatech
VSTUPY A VÝSTUPY

SAS DI STUDIO RŮZNÉ ZDROJE DAT
Oracle
Txt
Access
Excel

SAS DI STUDIO
• Standardní integrační transformace
• Sort, join, merge, filter, create, update, insert, delete
• Využití SQL jazyka
• Speciální transformace
• Integrace datové kvality
• Historizace dat
• Aktuální trendy
• Možnost využití Hadoop, Postgre
TRANSFORMACE

SAS DI STUDIO VYUŽITÍ DATABÁZE
Automatické efektivní
využití DB systémů
pomocí SAS
pass-through, které
umožňuje přenos
zpracování na stranu
databáze.
DB
SERVER
ETL
SERVER
DB
SERVER
ETL
SERVER

SAS DI STUDIO IDENTIFIKACE INKREMENTU
SAS DI studio umožňuje identifikaci inkrementu pomocí
speciální komponenty.

SAS DI STUDIO CHANGE DATA CAPTURE
• Umožňuje efektivní realizaci inkrementálního
načítání
• Využívá změnových tabulek nebo značek na
straně databáze
• Výhodou je zrychlené načítání ETL procesů
• Přímo lze navázat historizaci SCD2

SAS DI STUDIO HISTORIZACE - SCD2 LOADER
SAS DI studio umožňuje řešit
historizaci dimenzionálních
tabulek pomocí SCD2 loaderu.

SAS DI STUDIO INTEGRACE DATOVÉ KVALITY

SAS DI STUDIO INTEGRACE DATOVÉ KVALITY
Využití datové
kvality v rámci
datové integrace
pomocí DataFlux
Jobu nebo
Service.

SAS DI STUDIO IMPACT ANALÝZA
SAS DI Studio
umožňuje
efektivně
realizovat
impact
analýzu ke
zjištění
závislostí v
ETL
procesech.

SAS DI STUDIO MONITORING
Ukázka sledování stavu zpracování, doby běhu a dalších parametrů na úrovni
jednotlivých komponent v rámci workflow příslušné úlohy v SAS DI Studiu.

SAS DI STUDIO DOKUMENTACE

SAS DI STUDIO VÝHODY
• Přehlednost – jsou lehce zjistitelná použitá data i transformace, vše je obsahem
komponent zapojených do workflow a registrováno v metadatech
• Maintenance – řešení není závislé jen na autorovi kódu, ale je lehce spravovatelné
širším okruhem osob
• Impact analýza – lze lehce dohledat, co všechno se musí upravit při změně určité
tabulky nebo transformace
• Repository – možnost práce více uživatelů
• Dávkové zpracování – výsledné joby jsou dávkově spustitelné s možností
schedulingu, což eliminuje manuální práci
• Zabudovaná podpora pro kvalitu dat

VIRTUÁLNÍ INTEGRACE

DB2 Greenplum Oracle SAS
Data Sets
SAP Teradata Other
(via ODBC)
SAS®
FEDERATION SERVER
SOURCE
SYSTEMS
ADVANCED FEATURES
SMART CACHE
MANAGED ACCESS
QUERY ENGINEDATA ACCESSSECURITY
Business
Views
Monitor Data Services
Federated
DSNs
Federation
Engine
Optimizer
Native & ODBC
DriversAuthorization
Authentication
FEDERATION CLIENT
JDBC ODBC
USERS &
CONSUMING
APPLICATIONS
Row & Column
Multi-cache
Support
HIGH THROUGHPUT
READ/WRITE DATA ACCESS
FEDERATION SERVER

FEDERATION SERVER
• Ne všechna data musí být nutně v DWH
• Některé systémy lze efektivněji integrovat virtuálně
• Velká data s malým počtem přístupů
• Vysoká frekvence změn v datech
• Informace v DWH nemusí být zpožděné
• Virtuální integrace dat zajistí aktuální data
• Efektivní virtuální integrace
• Není třeba ETL procesů a kopií dat
• Úspora zdrojů a času
• Pružná reakce na změny
VIRTUÁLNÍ INTEGRACE

FEDERATION SERVER SECURITY MANAGEMENT
• Centrální security management
• Jednotné webové rozhraní
• Definice přístupových práv pro uživatele
a skupiny
• Přístupová práva na úrovni serveru,
schématu, tabulky, sloupce i řádku
• Umožňuje nastavení security i pro ne
DB systémy
• Excel, Access

FEDERATION SERVER MONITORING
• Aktivity uživatele
• Kdo, co, kdy dělá
• Připojení
• Dotazy
• Statistiky dotazů
• Identifikace často využívaných
dotazů
• Frekvence využití
• Průměrná délka trvání
• Tipy pro optimalizace dotazů

FEDERATION SERVER PŘÍNOSY
• Business
• Snadný přístup ke všem datům
• Integrace dat mimo DWH
• Stále aktuální data
• Častá, nejlépe real-time aktualizace
• Využití business vrstvy
• Bezpečnost
• Kdo přistupuje k datovým zdrojům
• Jaká data se používají
• Monitoring provozu
• Security i pro non DB systémy
• Security na úroveň řádků a sloupců
Too Big
Too Recent

FEDERATION SERVER PŘÍNOSY
• DWH
• Levná alternativa k tvorbě složitých DWH
• Datová samoobsluha, méně IT zdrojů
• Pružná reakce na změny
• Analýza a optimalizace dotazů
• Výhodné pro oblasti s obtížně řešitelnou
nebo neefektivní integrací dat
• Příliš velká data s malým počtem přístupů
• Vysoká frekvence změn v datech
Too Diverse
Too Ad-hoc
Too Inaccessible

SAS METADATA

SAS METADATA
• Centrálně sdílená
• Definice uživatelů, skupin a rolí
• Definice architektury – servery a jejich konfigurace
• Data warehouse metadata – databáze, tabulky, indexy, sloupce
• Business metadata – reporty, informační mapy
• Procesy - joby, flow
• Metadata bridges
• Propojení SAS metadat např. s modelovacím nástrojem Power Designer

SAS METADATA MANAGEMENT CONSOLE
Správa metadat se realizuje v
grafickém prostředí SAS
Management Console

SAS WORKFLOW

WORKFLOW NASTAVENÍ ZÁVISLOSTÍ
Logické závislosti
Závislost na souboru
Závislost na úloze

WORKFLOW KALENDÁŘ

CO JE DŮLEŽITÉ
• Zajištění přehlednosti a budoucí udržitelnosti procesů datové integrace
• Kontrola datové kvality a čištění dat v rámci integrace dat
• Efektivní přístup k tvorbě DWH
• Orientace na potřeby uživatelů
• Možnost využití moderních přístupů
• Napojení na Hadoop, Postgre, …

SAS ADD-IN MS EXCEL

SAS REPORTING SAS ADD-IN
• SAS je dostupný z MS Excel
• Zobrazení dat
• Ad-hoc analýzy
• Grafické výstupy
• Dynamické napojení Excelu na SAS
• Možnost využití výpočetního výkonu
SAS serveru

SAS - Integrace dat

Recommended

Recommended

More Related Content

What's hot

What's hot (8)

Similar to SAS - Integrace dat

Similar to SAS - Integrace dat (20)

More from MarketingArrowECS_CZ

More from MarketingArrowECS_CZ (20)

SAS - Integrace dat