2. Prague Data Management Meetup
• Open professional group
• Everyone is welcomed
• There are no bad topics☺
• Since September 2015
Data Management
Data Acquisition
Data Storing
Data Integration
Data Analytics
Data Usage
3. History
# Date Topics
1 10. 9. 2015 Data Management
2 14. 10. 2015 Data Lake
3 23. 11. 2015 Dark Data (without Dark Energy and Dark Force)
4 12. 1. 2016 Data Lake
5 7. 3. 2016 Sad Stories About DW Modeling (sad stories only)
6 23. 3. 2016 Self-service BI Street Battle
7 27. 4. 2016 Let's explore the new Microsoft PowerBI!
8 22. 9. 2016 Data Management pro začátečníky
Data Management for Beginners
9 17. 10. 2016 Small Big Data
10 22. 11. 2016 Základy modelování DW
DW Modeling Basics
11 23.1.2017 Komponenty datových skladů
Data Warehouse Components
12 28.2.2017 Operational Data Store
# Date Topics
13 28.3.2017 Metadata v DW/BI
DW/BI Metadata
14 25.4.2017 Jak se stát DW/BI konzultantem
Be a DW/BI Consultant
15 16.5.2017 SQL
16 29.5.2017 From IoT to AI: Applications of time series data
17 26.9.2017 Aktuální trendy v data managementu
Actual trends in data management
18 24.10.2017 Datové platformy na technologiích Oracle
Data platforms based on Oracle
19 21.11.2017 Big Data rychle a zběsile
Big Data Fast and Furious
20 30.1.2018 Jak se staví velké datové sklady
How to build huge data warehouse
21 27.2.2018 Základy modelování DW #2
DW Modeling Basics
22 27.3.2018 Big Data: How to deal with sensorics (floating) data easily
23 17.4.2018 DWaaS
24 22.5.2018 Be a Consultant
Jak se stát konzultantem
25 19.6.2018 Building AI-Powered Retail Store
6. Data Warehouse
• Konsolidovat data z nejrůznějších
zdrojů v požadované kvalitě a čase
• Poskytovat srozumitelné informace
různým účelům a skupinám
uživatelů
• Poskytovat možnosti, které zajistí
flexibilní a účinný ad-hoc reporting
a analýzu
• Orientace na subjekt
• Integrace
• Nízká proměnlivost
• Historizace
• Hlavní perspektivy
• Datová integrace
• Datová úložiště
• Datové zdroje
• Datová analytika
• Insiders
• Producenti dat
• Uživatelé data
• Analytici
• Vývojáři
• Administrátoři
EDW, DW, DSS, ADS, ADW, DP…
9. DWaaS
• Data warehouse as a service
(DWaaS) is an outsourcing model
in which a service provider
configures and manages the
hardware and software resources
that a data warehouse requires,
and the customer provides the
data and pays for the managed
service.
1. Means “foolish”, ”stupid” in Dutch
2. Data Warehouse as a Service
DWaaS = Customer’s Data + Provider’s Hardware + Provider’s Software + Provider’s Services (People)
Hardware
Software
People
Data
10. Dobrý DWaaS by měl být jako jakýkoliv jiný Mrak (Cloud)
• Metoda přístupu k využití výpočetní
techniky, která je založena na poskytování
sdílených výpočetních prostředků a jejich
využívání formou služby v různých
modelech a způsobech nasazení.
Složitá definice
• Pokročilá klient/server architektura za
kterou se prostě platí
Jednoduchá definice
Vlastnos
ti
Samoobsluh
a dle
potřeby
Široká
dostupnost
přes síť
Sdílení
prostředků
Rychlá
pružnost
Měřená
spotřeba
+ Lepší QoS (Quality of Service)
- Opravdu dobré přípojení nutné
14. Data Warehouse Components
Data Stores Access Tools Metadata
Data
Integration
Tools
Administration
and
Management
Development
Tools
Security
Backup &
Recovery
Not only data store or technology!
15.
16.
17.
18. DWaaS Technology Providers
Amazon Redshift
Microsoft Azure
SQL Data
Warehouse
Snowflake
IBM dashDB
Oracle
Autonoumous
Datawarehouse
Cloud
Google Big Query
+ Managed Service Provider = DWaaS
24. Azure SQL Data Warehouse
A relational data warehouse-as-a-service, fully managed by Microsoft.
Industries first elastic cloud data warehouse with enterprise-grade capabilities.
Support your smallest to your largest data storage needs while handling queries up to 100x faster.
25.
26. Data storage is charged based on Azure Premium Storage rates of $122.88/1 TB/month ($0.17/1
TB/hour). Data storage includes the size of your data warehouse and 7-days of incremental snapshot
storage.
28. CASE STUDY: Retailový řetězec
• Zákazníkem je marketingové oddělení skandinávského
obchodu s nábytkem pro CZ a další země v EU
• Cíle projektu
• Rychle dostupná data o zák. pro účely marketingu a loyalty
programu
• Možnost cílené nabídky dle chování zákazníka
• Vybudovat pro zákaznický portál
• Rychlá a efektivní dodávka, ne technologie, ne IT detaily
• Scope projektu
• Datawarehouse
• Reporting
• Řešení Campaign Management
• Zákaznický portál
• Dodávka projektu
• Na pozadí PaaS od poskytovate infrastruktury
(velký cloud player vs. lokální poskytovatel)
• Dodávka formou Managed Services v cloudu
http://www.adastra.cz/klienti/adastra-vybudovala-datovy-sklad-pro-ikea
29. CASE STUDY: Retailový řetězec
• Dodávka řešení datového skladu
formou Managed Services v cloudu od
Adastra CA.
• Využití best-shoring vývojového a
supportního centra v Adastra BG.
• Shoda s Payment Card Industry Data
Security Standard (PCI DSS).
• Na firewallu IPS modul který
monitoruje provoz a poskytuje
pravidelný report.
30. 30
Application ServerWeb Server
Pentaho Data
Integration
(Web Console)
Adastra
Workflow
GUI
Adastra
Ref Books
GUI
Adastra
Worflow
Middleware
Adastra
Ref Books
Middleware
Pentaho Data
Integration
(Carte)
Pentaho Data
Integration
(Repository)
Adastra
Worfklow
for RDBMS
Database
Scheduler
Adastra
Ref Books
Store
Adastra
ELT
SAP
PowerDesginer
Adastra
ELT & Workflow
Code Generator
External
Worfklow
Adastra
Data Model
Design Time
Run Time
RDBMS
Adastra
DWaaS on
Oracle DB
31. 31
DW Server
SQL Server 2016
Enterprise
8 cores, 128 GB RAM
DB Server
Report
Server
SSRS
Report Server
4 cores, 8 GB RAM
SQL DB
COPY Staging
DB
EDW
DB
Data
Mart DB
OLAP data
DW data
SQL Server 2016
Enterprise
4 cores, 128 GB RAM
OLAP Server
SSAS
(Multidim)
SQL Server 2016
Standard
4 cores, 16 GB RAM
ETL Server
SSIS
SQL Agent
Adastra ETL
framework
App
Server
Web Upload Utility
WUU
CRM
Dynamics
Corp
Business
Dictionar
y
Manual
inputs
ERP
Navision
Output
mngmt
...
Adastra DWaaS on Microsoft SQL Server
32. 32
Pozor na peří a na kabely …
Hayastan Shakarian (75) has been
arrested for single-handedly cutting
off the Internet in Georgia and
Armenia
on March 28 2011
SOURCE: 11 Apr 2011
http://www.telegraph.co.uk/news/worldnews/europe/georgia/8442056/Woman-who-cut-internet-to-Georgia-and-Armenia-had-never-heard-of-web.html
Ďábel je skrytý v detailu
