Recommended
More Related Content
What's hot
What's hot (20)
Similar to Data vault
Similar to Data vault (20)
Recently uploaded
Recently uploaded (20)
Data vault
- 1. Datavault Hennie de Nooijer
- 2. Dan Linstedt Data modeling All data, all the time Method of design Data Vault
- 3. Agenda Position Definition Architecture Modeling Methodology Questions? 3 8-12-2010
- 5. Controllled informationprovisioning Information provisioning DWH 8-12-2010 5
- 6. Business Intelligence Data warehouse ETL Hardware RDBMS 8-12-2010 6
- 7. Definition The Data Vault is a detail oriented, historical tracking and uniquely linked set of normalized tables that support one or more functional areas of business. 7 The Data Vault is a detail oriented, historical tracking and uniquely linked set of normalized tables that support one or more functional areas of business. 8-12-2010
- 9. Historical tracking 9 8-12-2010
- 10. Uniquely linked set normalized tables 10 8-12-2010
- 11. Functional areas of business 11 8-12-2010
- 12. 8-12-2010 12 But there are more aspects…..
- 18. 8-12-2010 18 MDM aware
- 19. Agenda Position Definition Architecture Modeling Methodology Questions? 19 8-12-2010
- 20. Conventional architecture Current Business Demands/Wishes Integration Storage Presentation D W H TRANSFORM S T A G E Business Information Model
- 21. Modern architecture Integration Storage Presentation Storage Current Business Demands/Wishes S T A G E s o u r c e D W H b u s i n e s s D W H TRANSFORM ALL DATA, ALL THE TIME Current Business Information Model
- 22. Is geplaatst onder /betreft werkdag Bestelling op Business Information Model Ontvangt /Is geplaatst bij heeft omvang Verplicht tot /Is realisatie van Leverancier Bestaat uit /zit in Leverings condities Is bereid te leveren /kan geleverd worden door Levering Bestaat uit /komt voor in Materiaal soort Voorziet in /wordt in voorzien door werkdag omvang Komt voor in met Moet in voorzien worden voor Wordt ontvangen door /ontvangt Bestaat uit Materiaalbehoefte magazijn Betreft de bereidhied tot het levereren aan een /kan conform worden geleverd aan Magazijn
- 23. Architecture (detail) 23 8-12-2010 Frond end Patient Datamarts Patient Business Datavault Patient Raw Datavault 1 Raw Datavault 2 Raw Datavault n KNA1 Patient Customer Replicatielaag Bron n Bron 2 Bron 1 KNA1 Customer Patient
- 24. Architecture (Advanced) Enterprise Service Bus (Biztalk/Cloverleaf/SOA) 24 8-12-2010 Frond end tools Datamarts Datavault Bron n Bron 1 Bron 2
- 25. Benefits Manage and enforce Compliance (SOX, HIPPA en BASEL II). Reduces Business cycle time. Enabling Master Data management. CMM Level 5 compliant. Repeatable, consistent and redundant. Trace all data back to source systems. Flexibility. Scalability. Consistent. Adaptable. Possible automatic generation of the DDL and ETL. Supports VLDB Designed for EDW 25 8-12-2010
- 26. Agenda Position Definition Architecture Modeling Methodology Questions? 26 8-12-2010 Patient Treat Satellite Satellite Treatment Link Satellite Hub Hub Satellite Satellite Satellite Satellite
- 27. Hub 27 8-12-2010 Hub Represents the business key. A surrogate key as the primary key. Load date timestamp (when did it get there?) Record source (where did it come from?) Patient_ID Patient_Key Patient_Code Patient_Name Patient_Desc Patient_Category Patient_SubCategory Patient_Address Patient_Gender Patient_Code Load_Date Record_Source Hub_Patient Patient
- 28. Satellite 28 8-12-2010 Satellite Descriptive items of a hub or a link A surrogate key as the primary key. Load date timestamp (when did it get there?) Record source (where did it come from?) Patient_Key Load_Date Patient_ID Patient_Key Load_Date Patient_Key Load_Date Patient_Code Patient_Name Patient_Desc Patient_Category Patient_SubCategory Patient_Address Patient_Gender Patient_Name Patient_Desc Patient_Category Patient_SubCategory Patient_Address Patient_Gender Patient_Name Patient_Desc Patient_Address Patient_Gender Patient_Category Patient_SubCategory SAT_Patient SAT_PatientCategory SAT_Patient Patient
- 29. Link Links two or more hubs Own surogate key. Keys from the hub Load date time stamp Record source 29 8-12-2010 Link Patient_Key Treat_Key Treatment_Key Hub_Patient Patient_Key Treat_Key Load_Date Record_Source Patient_Code Load_Date Record_Source Treat_Code Load_Date Record_Source Hub_Treat Link_Treatment
- 30. Bron datamodel 30 8-12-2010
- 31. Analyse datamodel 31 8-12-2010
- 32. Datavault datamodel 32 8-12-2010
- 33. 8-12-2010 33 Datavault Point in Time views (PIT). ‘truth’ at a certain moment. Helper table? Bridge. Same as Point in Time but then a range.
Editor's Notes
- Kern punten :Data Vault schema vergelijkbaar met eenneuralenetwerk.Neuronen,dendriten en synapses.Worden gemaakt en vernietigdwanneerditnodig is (vawegerelaties die ontstaan of ernietmeerzijn)Neuronenzijn Hubs en Hub SatellietenLinks zijn de dendritesAndere links zijn de synapses (vectors in the opposite direction). Conclusie:
- Compliance AuditabilityFlexibilityTraceabilityDDL and ETL generated.
- Kern punten :Conclusie:
- DWH is gereedschapkistvoor BIFinancieeldirecteur is nietgeinteresseerd in ETL
- Kern punten :Spreek voor zich.Conclusie:
- Kern punten :Lowest granularity.Atomic level.No aggregation.Details omdat je business rules op nieuw kunnen genereren als de inzichten in een organisatie kan veranderen.Als we het niet doen en je laad data geaggregeerd dan mis detail informatie.Conclusie:
- Kern punten :LineageConclusie:
- Kern punten :Spreek voor zich.Conclusie:
- Kern punten :Spreek voor zich.Conclusie:
- Kern punten :Spreek voor zich.Conclusie:
- Kern punten :Alle data moet traceerbaar zijn.Conclusie:
- Near real time dataOperational datawarehouse
- Kern punten :Conclusie:
- Information model close to the business.When information model close to the source systems you need to modify or rewrite complete ETL, DDL, etc.
- Kern punten :Naamgeving business vault voor business herkenbaar.Vraaggestuurd. Alleenelementen die gebruiktwordenvolgens businessBusiness key integratie (unieke business keys) (overeenkomstige business keys).Geendirecterapporten op de Raw datavault en Business datavault.Conclusie:
- Kern punten :Conclusie:
- Kern punten :Conclusie:
- Kern punten :Elegante modelleer techniek met een minimum van een aantal componenten: Hub, Link en Satellite.Hub representing the primary key. The Link Entities provide transaction integration between the Hubs. The Satellite Entities provide the context of the Hub primary key. Conclusie:
- Kern punten :Spreek voor zich.Conclusie:
- Kern punten :Historisch perpectiefChanging over timeHieruit kunnen we allerlei dimensies opbouwen met TYPE 1, 2 of 3Mogelijk om Load date time stamp, load end date time stamp en record source toe te voegen.Voor elke rij in de hub een satellite record. Waarom? Vanwege inner joining.Conclusie:
- Kern punten :Een patient wordt op een bepaald moment behandeldAls er meer informatie bij een behandeling hoort dan moet er een extra satellite bij de link tabel worden opgenomen.Het is mogelijkomelke hub, satellite en satellites parallel telaten laden.Hoge mate van parallelismemogelijk.Conclusie:
- Kern punten :Spreek voor zich.Conclusie:
- Kern punten :Spreek voor zich.Conclusie:
- Kern punten :Spreek voor zich.Conclusie: