Prezentace z odborná snídaně na téma Datová architektura -
obecné pojetí datové architektury, její hlavní prvky, logický datový model organizace, Master Data Management, téma datové kvality a metodu Data Landscape Mapping.
Správné nastavení přístupu k datům, reportingu a datovým analýzám dává často firmám konkurenční výhodu. Jak moderní BI nástroje mohou pomoci firmám rychle a správně porozumět datům a na základě toho řídit svůj business?
Poznámka: Prezentace je psána česky.
A “disruptive BI” – How modern BI tools allow companies to understand and manage their business based on facts fast and at a fraction of the cost traditional BI projects cost.
Note: This presentation is written in Czech language.
Note: Presentation is written in Czech.
Jak se mění práce analytika (Martin Bosák)Taste Medio
Jaké problémy dnes řeší dnešní datový analytik v různých firmách a co ho brzy čeká? Ukážeme konkrétní příklady z projektů, jejich řešní a také komplikace po cestě.
Správné nastavení přístupu k datům, reportingu a datovým analýzám dává často firmám konkurenční výhodu. Jak moderní BI nástroje mohou pomoci firmám rychle a správně porozumět datům a na základě toho řídit svůj business?
Poznámka: Prezentace je psána česky.
A “disruptive BI” – How modern BI tools allow companies to understand and manage their business based on facts fast and at a fraction of the cost traditional BI projects cost.
Note: This presentation is written in Czech language.
Note: Presentation is written in Czech.
Jak se mění práce analytika (Martin Bosák)Taste Medio
Jaké problémy dnes řeší dnešní datový analytik v různých firmách a co ho brzy čeká? Ukážeme konkrétní příklady z projektů, jejich řešní a také komplikace po cestě.
Národní architektura ČR - Czech National ArchitecturePavel Hrabe
Prezentace popisuje možnosti využití architektury a architektonického myšlení při budování či reformě české veřejné správy. V závěru naznačuje, z jaký součástí se skládá tzv. Národní architektura ČR, tedy Government Enteprise Architecture pro českou veřejnou správu a jaké kroky musí obsahovat cesta k jejímu vybudování.
The presentattion shows some examples of benefits of GEA and architectural thinking to Public Administration Reform in Czech Republic.
At the end presentation is showing the structure of so called Czech National Architecture and basic steps of Roadmap of its implementation.
Digitální strategie je opěrným bodem, oblastí, které se několik let ve světě vyvíjí, zkoumá a je stále "ve varu". Proto v článku shrnuji některé pohledy a souvislosti, s cílem inspirovat, napomoci vaší orientaci (je-li to pro vás nové téma), vyvolat otázky a zájem pustit se do proudu digitální transformace. Nejde o vyčerpávající pohled, spíše základní rámec, s řadou dalších vazeb.
Prezentace je doplňkem k článku na blogu - https://www.liborfriedel.cz/digitalni-strategie-v-souvislostech/
Data Date #3: Přemysl Horáček - Jak daleko jste s datovou analytikou? Maturit...Taste
Ukážeme si Maturity model datové analytiky, který slouží jako mapa rozvoje firmy v oblasti analýzy dat. V rámci přednášky se podíváme i na praktické Power BI dashboardy zahrnující nejdůležitější firemní data.
Máte pocit, že architektura zpomaluje vývoj řešení? Bylo by vám bez ní lépe? Možná jen nevíte, jak lze architekturu navrhovat a spravovat pragmaticky a hlavně agilně. Představíme Vám, jak se tvoří agilní architektura.
20180201 1 big data jako nastroj pro hluboka transakcní miningProfinit
Prezentace pracovní snídaně s názvem „Big data – jak z nich těžit informace“. Salary detector – hledá vztah „zaměstnavatel – zaměstnanec“ mezi klienty (účty) banky na základě transakčních dat.
Jak vypadá pojetí Big Data v České republice? Jaké nástroje se u nás používají ke zpracování velkého množství dat? A jak je lze efektivně využít pro ještě lepší marketing (nejenom) v online světě?
Reference data is something we often encounter in our projects. In our experience, it is often underestimated and does not get enough attention. In the webinar, we want to make you aware of some interesting aspects of ‘reference data’ such as how it relates to MDM, which it’s often mixed with.
Cloud in examples—(how to) benefit from modern technologies in the cloudProfinit
The world of cloud services is enormous, rapidly growing, and changing fast, so it can be challenging to choose the right service and architecture to meet your needs.
To help you better navigate the options and inspire you, we’ve made this webinar describing two practical ways to use cloud services and benefit from the out-of-the-box features and infrastructure the cloud provides.
More Related Content
Similar to Profinit snídaně datová_architektura_20171017_public
Národní architektura ČR - Czech National ArchitecturePavel Hrabe
Prezentace popisuje možnosti využití architektury a architektonického myšlení při budování či reformě české veřejné správy. V závěru naznačuje, z jaký součástí se skládá tzv. Národní architektura ČR, tedy Government Enteprise Architecture pro českou veřejnou správu a jaké kroky musí obsahovat cesta k jejímu vybudování.
The presentattion shows some examples of benefits of GEA and architectural thinking to Public Administration Reform in Czech Republic.
At the end presentation is showing the structure of so called Czech National Architecture and basic steps of Roadmap of its implementation.
Digitální strategie je opěrným bodem, oblastí, které se několik let ve světě vyvíjí, zkoumá a je stále "ve varu". Proto v článku shrnuji některé pohledy a souvislosti, s cílem inspirovat, napomoci vaší orientaci (je-li to pro vás nové téma), vyvolat otázky a zájem pustit se do proudu digitální transformace. Nejde o vyčerpávající pohled, spíše základní rámec, s řadou dalších vazeb.
Prezentace je doplňkem k článku na blogu - https://www.liborfriedel.cz/digitalni-strategie-v-souvislostech/
Data Date #3: Přemysl Horáček - Jak daleko jste s datovou analytikou? Maturit...Taste
Ukážeme si Maturity model datové analytiky, který slouží jako mapa rozvoje firmy v oblasti analýzy dat. V rámci přednášky se podíváme i na praktické Power BI dashboardy zahrnující nejdůležitější firemní data.
Máte pocit, že architektura zpomaluje vývoj řešení? Bylo by vám bez ní lépe? Možná jen nevíte, jak lze architekturu navrhovat a spravovat pragmaticky a hlavně agilně. Představíme Vám, jak se tvoří agilní architektura.
20180201 1 big data jako nastroj pro hluboka transakcní miningProfinit
Prezentace pracovní snídaně s názvem „Big data – jak z nich těžit informace“. Salary detector – hledá vztah „zaměstnavatel – zaměstnanec“ mezi klienty (účty) banky na základě transakčních dat.
Jak vypadá pojetí Big Data v České republice? Jaké nástroje se u nás používají ke zpracování velkého množství dat? A jak je lze efektivně využít pro ještě lepší marketing (nejenom) v online světě?
Similar to Profinit snídaně datová_architektura_20171017_public (20)
Reference data is something we often encounter in our projects. In our experience, it is often underestimated and does not get enough attention. In the webinar, we want to make you aware of some interesting aspects of ‘reference data’ such as how it relates to MDM, which it’s often mixed with.
Cloud in examples—(how to) benefit from modern technologies in the cloudProfinit
The world of cloud services is enormous, rapidly growing, and changing fast, so it can be challenging to choose the right service and architecture to meet your needs.
To help you better navigate the options and inspire you, we’ve made this webinar describing two practical ways to use cloud services and benefit from the out-of-the-box features and infrastructure the cloud provides.
Building big data pipelines—lessons learnedProfinit
What is the power of business departments? What is missing in communication between layers responsible for building big data solutions? What mistakes can happen when IT departments are too proactive in creating solutions for big data?
Understand your data dependencies – Key enabler to efficient modernisation Profinit
Modernising any system is a comprehensive task. Every step has to be estimated, appropriately planned, then carefully executed and verified. Data with its dependencies are the common denominator in almost every case and crucial in understanding the whole initiative.
In this webinar, experts from Profinit and Manta will present their approach to resolving data-related challenges while modernising software systems using Profinit Modernisation Framework in collaboration with Manta tools.
Knowing your clients well and knowing when they need financial support is a key part of a bank’s success in lending. But it is challenging to gather and process information about your customers to know them all entirely. Our senior consultant Lukáš Dvořák will show you how to use data to drive your lending business and improve the conversion rate of loan offers.
What to do when a system stops providing the value that your business needs and an immediate change is necessary? Replacing such a system is usually the first idea that comes to mind. However, is it the only and the best approach you should consider? Not necessarily!
Automating Data Lakes, Data Warehouses and Data StoresProfinit
This webinar discusses automating data warehouses, lakes, and stores. It introduces the speaker, Petr Hájek, and his experience. Profinit, the company hosting the webinar, is introduced along with their competencies and certifications. The webinar then covers challenges with traditional manual approaches and how automation can help through frameworks, templates, and metadata to generate scripts. A case study of automating a data warehouse for a gambling regulator is presented, highlighting benefits like reduced time and costs. Automation is argued to make solutions more transparent, agile, and organized compared to traditional approaches.
When the complexity of all the data in your business exceeds a certain level, it is time to make a sound decision and start taking steps towards professional and systematic data governance and clear data architecture. This step is what we call “data landscape mapping”. At the end of this initial process, you will get something like a Google map of all the data in your company, visualised from different angles and dimensions.
What to do when a system stops providing the value that your business needs and an immediate change is necessary? Replacing such a system is usually the first idea that comes to mind. However, is it the only and the best approach you should consider? Not necessarily!
Profinit Webinar: Benefits of Software Systems Modernization over their Repla...Profinit
Nowadays, many companies are facing challenges linked to their core systems. The systems lack support for the new business models, do not fit-for-purpose anymore or provide poor UX. In general, they are slow to change, risky and costly to enhance and maintain. What would you do, when a system does not provide the value that your business needs? Replacing such a system is usually the first idea that comes to mind. However, is it the only approach you should consider?
In our webinar, Michal Petřík (Profinit's Head of Software Development) will discuss a different approach that is often faster, safer and better suited for many businesses.
Dominik Matula presented Instalment Detector, a tool that reveals clients' payment behaviors from transactional banking data through advanced machine learning techniques. It aims to improve risk scoring, maximize profit, and help clients save through detecting hidden loan payments. The tool engineers complex features from relationships between transactions and uses Bayesian networks to achieve a 100% boost in detecting instalment payments compared to conventional methods. The tool provides interpretable results while adapting to market changes and can be applied to other financial fields.
4. 4
Proč datová architektura?
Data jsou v čím dál větší míře základními
stavebními prvky každé moderní
organizace – od malého e-shopu až po
velké globální obchodní společnosti.
Stejně jako se všechny stavby budují podle
plánů vytvořených architektem, tak pro
datově orientované organizace je nezbytná
dobře rozmyšlená a řízená datová
architektura.
7. 7
Co nás dnes čeká
› Nejprve budeme diskutovat roli datové architektury a její začlenění
v organizační struktuře společnosti
› Zmíníme přínosy datové architektury a to s využitím případových studií
a projektových zkušeností z bankovnictví, telekomunikací a pojišťovnictví
› Představíme některé prvky datové architektury: logický datový model
organizace, master data management a řízení datové kvality
› Představíme metodu Data Landscape Mapping a nabídneme postupy
jak vytvořit a udržovat Logický datový model, metadata a další komponenty
datové architektury
8. 8
Co je naším cílem?
› Data-driven company
– Business řízený daty / Business provozovaný
prostřednictvím dat / Business založený na
datech
– Všechna rozhodnutí v rámci všech úrovní
managementu jsou prováděna na základě dat
a výsledky těchto rozhodnutí jsou opět zpětně
pomocí dat vyhodnocovány a měřeny
› Metadata-driven data governance
– Data řízená metadaty
– Všechna data v rámci organizace jsou popsána
daty (=metadaty)
– Celá (nejen datová) architektura organizace je
též (meta)datově popsána a řízena
12. 12
5 otázek
› Proč bychom měli investovat do vzniku Logického datového
modelu organizace?
› Co obsahuje Logický datový model organizace?
› Jaký je vztah mezi Logickým modelem organizace a modelem
jádra datového skladu?
› Jak vznikne Logický datový model organizace?
› Jak měřit a hodnotit model?
13. 13
Proč bychom měli investovat do vzniku Logického
datového modelu organizace?
› Abychom se domluvili navzájem
– Obchodní oddělení, právní oddělení, controlling, legacy, bezpečnost
› Abychom se domluvili s ostatními
– Požadavky externích institucí versus interní systémy
› Abychom popsali, co chceme
– Přenos byznys požadavků do IT
› Abychom našli, co potřebujeme
– Identifikace entit
– Vazba mezi byznys termíny a technickým řešením
14. 14
Co obsahuje Logický datový model organizace?
› Byznys definice entit
› Identifikace entit
› Popis struktury entit (atributy, vazby)
› Požadavky na spravované data
› Vrstvy modelu
– Byznys slovník, informační model, logický datový model, fyzické modely
› Model nejsou obrázky, model je komunikace
15. 15
Jaký je vztah mezi Logickým modelem organizace
a modelem jádra datového skladu?
› Často vznikají společně - DWH vyžaduje nějaký datový model
› Často se zaměňují
› Shody
– Model musí být srozumitelný pro co největší počet pracovníků
› Rozdíly
– S modely pracují různé skupiny pracovníků
– DWH modely používají složité modelovacích techniky, umožňující uložit
skoro jakákoliv data, Logický model musí být jednoduchý a přímočarý
– Pro DWH modely existují hotové industriální modely, Logický model
organizace je vždy unikátní a daný byznys architekturou
17. 17
Jak vznikne Logický datový model organizace?
› From Scratch
› Source Systems Oriented Models
› Industrial Logical Data Models
› Kimbal, Inmon
› DataVault methodology
18. 18
FSLDM – Definice základních oblastí a vazeb
PARTY
(People / Org.
of interest & their
relationships)
http://mike2.openmethodology.org/wiki/Guidelines_for_Using_the_FSLDM
LOCATION
CAMPAIGN
ARRANGEMENT
(Accounts, etc)
EVENT
(Contact/TXN, etc)
FEATURES
PRODUCTORGANIZATION
CHANNEL
(ATM, Kiosk, etc)
19. 19
Data Vault – identifikace entit
LINKHUB SATHUB
SAT HUB LINK SAT
SATSAT SAT HUB SAT
20. 20
Metriky modelů. Jak měřit a hodnotit model?
› Kolik oddělení (pracovníků) modelu rozumí
› Kolik pracovníků model používá? V kolika rozvojových projektech
a iniciativách je využit?
› Kolik obsahuje entit? (čtverečků při zobrazení)
› Kolik jednotlivé entity mají instancí?
22. 22
Čím z oboru MDM začít?
› Správa číselníků (Reference Data
Management)
› Jednotná identita u hlavních entit
23. 23
Reference Data Management
› Správa všech kategorických oborů hodnot
› Zásadní je napojení na organizační dimenzi (vlastnictví, garantství)
› Hlavní a sjednocené dimenze datového modelu
– Klíčové např. pro entitu Product, Service (návaznost na produktový katalog,
katalog služeb apod.)
› V rámci organizace se může jednat o stovky číselníků
24. 24
Identita záznamů hlavních datových entit
› Ideální je zavedení interních identifikátorů
– Přednost před přirozenými klíči z vnějšího světa – např. rodné číslo, číslo pasu atd.
– Klíčové entity: Party, Contract, Transaction, ve finančnictví např. Security
› Rozhodnutí, zda a jak budeme fyzicky udržovat tzv. master záznamy
– Fyzické vs. logické master záznamy?
– Přiřazování jen master IDs nebo sestavování tzv. zlatých záznamů?
– Zpětná propagace master IDs a vyčištěných dat do původních systémů?
Original (duplicated) recordsOriginal (duplicated) recordsOriginal (duplicated) records
Master IDs
Original (duplicated) recordsOriginal (duplicated) records
Golden RecordsGolden
records
Master
Ids
28. Proč čistit data?
Perspektiva
dat
Perspektiva
uživatele
Perspektiva
společnosti
Chyba v pravopisu Informace není dostupná Rozhodnutí učiněná na základě
špatných informací
Duplicitní záznam Informace je těžko
agregovatelná
Drahé a neúčinné marketingové
kampaně
Nesprávná hodnota Informace je nesprávná Odliv zákazníků díky špatné kvalitě
služeb
Zastaralá informace Na data se nelze spolehnout Vysoká náročnost nalezení
požadovaných informací
Nesprávný formát Data zachycují jen část celku Zpoždění projektů implementace
nových systémů
Chybějící záznam Data obsahují logické
nekonzistence
Problémy s compliance
29. Kdy data čistit?
› Pokud se objeví problém s datovou kvalitou, je třeba porovnávat přínosy
a náklady na čištění
Fin. ztráty způsobené
nekvalitou dat
Náklady na zlepšení
datové kvality
– Náklady na dodatečnou
verifikaci dat
– Náklady na data re-entry
– Kompenzace
– Pokuty
– Náklady způsobené
zhoršenou reputací
– Náklady způsobené
špatným rozhodnutím
– Náklady na školení
– Náklady na pravidelný
monitoring
– Náklady na deployment
DQ
– Náklady na analýzu
– Náklady na plánování
a implementaci opravy
30. Kdy jsou data kvalitní? – Dimenze datové kvality
Dimenze Popis
Dostupnost Data jsou k dispozici nebo snadno získatelné
Odpovídající granularita Granularita dat odpovídá zadané úloze
Věrohodnost Data jsou pravdivá a pochází z důvěryhodného zdroje
Úplnost Žádná data nechybí
Interpretovatelnost Data lze interpretovat bez složitých transformací – jsou ve správném
jazyce, jednotkách, apod.
Relevantnost Data jsou použitelná a užitečná pro vykonávané úlohy
Konzistence Data jsou ve správné logické provázanosti
Včasnost Data jsou k dispozici včas
Srozumitelnost Data jsou snadno pochopitelná a srozumitelná
Přidaná hodnota Data jsou přínosná
Unikátnost Data jsou unikátní
31. Jak zvýšit kvalitu dat? – DQ proces
Identify &
Assess
Improve &
Cleanse
Maintain
& Monitor
32. 32
Důvody nekvality dat
› Chyby uživatelů
› Zastarávání dat
› Změna zvnějšku, kterou
nereflektujeme ve svých
systémech
› Nesprávně provedená migrace dat
› Špatně nastavená datová
integrace
› Úprava IT systémů (přehledné
uživatelské prostředí, nápovědy,
číselníky)
› Manuální / automatická úprava dat
› Zavedení governance
› Školení uživatelů
Náprava
33. Datová kvalita – Nikdy nekončící proces
› Je třeba monitorovat výsledky čištění
› Dělat pravidelný profiling, abych včasně odhalila negativní trend
› Dělat pravidelné review všech DQ dokumentů, zejména Datových standardů
a Datových slovníků
› Datovou kvalitu řešit v primárních systémech, nikoli až v DWH!
› Vždy je možné zlepšit kvalitu dat, nikdy nedosáhnu 100% kvality ve všech
systémech, mohu se jen tomuto stavu přibližovat