Data vault

1,337
-1

Published on

Published in: Technology
1 Comment
0 Likes
Statistics
Notes
  • Be the first to like this

No Downloads
Views
Total Views
1,337
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
97
Comments
1
Likes
0
Embeds 0
No embeds

No notes for slide
  • Kern punten :Data Vault schema vergelijkbaar met eenneuralenetwerk.Neuronen,dendriten en synapses.Worden gemaakt en vernietigdwanneerditnodig is (vawegerelaties die ontstaan of ernietmeerzijn)Neuronenzijn Hubs en Hub SatellietenLinks zijn de dendritesAndere links zijn de synapses (vectors in the opposite direction). Conclusie:
  • Compliance AuditabilityFlexibilityTraceabilityDDL and ETL generated.
  • Kern punten :Conclusie:
  • DWH is gereedschapkistvoor BIFinancieeldirecteur is nietgeinteresseerd in ETL
  • Kern punten :Spreek voor zich.Conclusie:
  • Kern punten :Lowest granularity.Atomic level.No aggregation.Details omdat je business rules op nieuw kunnen genereren als de inzichten in een organisatie kan veranderen.Als we het niet doen en je laad data geaggregeerd dan mis detail informatie.Conclusie:
  • Kern punten :LineageConclusie:
  • Kern punten :Spreek voor zich.Conclusie:
  • Kern punten :Spreek voor zich.Conclusie:
  • Kern punten :Spreek voor zich.Conclusie:
  • Kern punten :Alle data moet traceerbaar zijn.Conclusie:
  • Near real time dataOperational datawarehouse
  • Kern punten :Conclusie:
  • Information model close to the business.When information model close to the source systems you need to modify or rewrite complete ETL, DDL, etc.
  • Kern punten :Naamgeving business vault voor business herkenbaar.Vraaggestuurd. Alleenelementen die gebruiktwordenvolgens businessBusiness key integratie (unieke business keys) (overeenkomstige business keys).Geendirecterapporten op de Raw datavault en Business datavault.Conclusie:
  • Kern punten :Conclusie:
  • Kern punten :Conclusie:
  • Kern punten :Elegante modelleer techniek met een minimum van een aantal componenten: Hub, Link en Satellite.Hub representing the primary key. The Link Entities provide transaction integration between the Hubs. The Satellite Entities provide the context of the Hub primary key. Conclusie:
  • Kern punten :Spreek voor zich.Conclusie:
  • Kern punten :Historisch perpectiefChanging over timeHieruit kunnen we allerlei dimensies opbouwen met TYPE 1, 2 of 3Mogelijk om Load date time stamp, load end date time stamp en record source toe te voegen.Voor elke rij in de hub een satellite record. Waarom? Vanwege inner joining.Conclusie:
  • Kern punten :Een patient wordt op een bepaald moment behandeldAls er meer informatie bij een behandeling hoort dan moet er een extra satellite bij de link tabel worden opgenomen.Het is mogelijkomelke hub, satellite en satellites parallel telaten laden.Hoge mate van parallelismemogelijk.Conclusie:
  • Kern punten :Spreek voor zich.Conclusie:
  • Kern punten :Spreek voor zich.Conclusie:
  • Kern punten :Spreek voor zich.Conclusie:
  • Data vault

    1. 1. Datavault<br />Hennie de Nooijer<br />
    2. 2. Dan Linstedt<br />Data modeling<br />All data, all the time<br />Method of design<br />Data Vault<br />
    3. 3. Agenda<br />Position<br />Definition<br />Architecture<br />Modeling<br />Methodology<br />Questions?<br />3<br />8-12-2010<br />
    4. 4. Informationprovisioning<br />8-12-2010<br />4<br />
    5. 5. Controllled informationprovisioning<br />Information provisioning<br />DWH<br />8-12-2010<br />5<br />
    6. 6. Business Intelligence<br />Data warehouse<br />ETL<br />Hardware<br />RDBMS<br />8-12-2010<br />6<br />
    7. 7. Definition<br />The Data Vault is a detail oriented, historical tracking and uniquely linked set of normalized tables that support one or more functional areas of business.<br />7<br />The Data Vault is a detail oriented, historical tracking and uniquely linked set of normalized tables that support one or more functional areas of business.<br />8-12-2010<br />
    8. 8. Detailoriented<br />8<br />8-12-2010<br />
    9. 9. Historical tracking<br />9<br />8-12-2010<br />
    10. 10. Uniquely linked <br />set normalized <br />tables<br />10<br />8-12-2010<br />
    11. 11. Functional areas <br />of business<br />11<br />8-12-2010<br />
    12. 12. 8-12-2010<br />12<br />But there are more aspects…..<br />
    13. 13. Auditable<br />13<br />8-12-2010<br />
    14. 14. Scalable<br />14<br />8-12-2010<br />
    15. 15. 8-12-2010<br />15<br />Adaptable<br />
    16. 16. 8-12-2010<br />16<br />Active<br />
    17. 17. 8-12-2010<br />17<br />Metadata<br />
    18. 18. 8-12-2010<br />18<br />MDM aware<br />
    19. 19. Agenda<br />Position<br />Definition<br />Architecture<br />Modeling<br />Methodology<br />Questions?<br />19<br />8-12-2010<br />
    20. 20. Conventional architecture<br />Current Business Demands/Wishes<br />Integration<br />Storage<br />Presentation<br />D<br />W<br />H<br />TRANSFORM<br />S<br />T<br />A<br />G<br />E<br />Business Information Model<br />
    21. 21. Modern architecture<br />Integration<br />Storage<br />Presentation<br />Storage<br />Current Business Demands/Wishes<br />S<br />T<br />A<br />G<br />E<br />s<br />o<br />u<br />r<br />c<br />e<br />D<br />W<br />H<br />b<br />u<br />s<br />i<br />n<br />e<br />s<br />s<br />D<br />W<br />H<br />TRANSFORM<br />ALL DATA, ALL THE TIME<br />Current Business Information Model<br />
    22. 22. Is geplaatst onder<br />/betreft<br />werkdag<br />Bestelling<br />op<br />Business<br />Information<br />Model<br />Ontvangt<br />/Is geplaatst bij<br />heeft<br />omvang<br />Verplicht tot<br />/Is realisatie van<br />Leverancier<br />Bestaat uit<br />/zit in<br />Leverings<br />condities<br />Is bereid te leveren<br />/kan geleverd worden door<br />Levering<br />Bestaat uit<br />/komt voor in<br />Materiaal<br />soort<br />Voorziet in<br />/wordt in voorzien door<br />werkdag<br />omvang<br />Komt voor in<br />met<br />Moet in voorzien worden voor<br />Wordt ontvangen door<br />/ontvangt<br />Bestaat uit<br />Materiaalbehoefte<br />magazijn<br />Betreft de bereidhied tot het levereren aan een<br />/kan conform worden geleverd aan<br />Magazijn<br />
    23. 23. Architecture (detail)<br />23<br />8-12-2010<br />Frond end<br />Patient<br />Datamarts<br />Patient<br />Business Datavault<br />Patient<br />Raw <br />Datavault 1<br />Raw <br />Datavault 2<br />Raw <br />Datavault n<br />KNA1<br />Patient<br />Customer<br />Replicatielaag<br />Bron n<br />Bron 2<br />Bron 1<br />KNA1<br />Customer<br />Patient<br />
    24. 24. Architecture (Advanced)<br />Enterprise Service Bus (Biztalk/Cloverleaf/SOA)<br />24<br />8-12-2010<br />Frond end tools<br />Datamarts<br />Datavault<br />Bron n<br />Bron 1<br />Bron 2<br />
    25. 25. Benefits<br />Manage and enforce Compliance (SOX, HIPPA en BASEL II).<br />Reduces Business cycle time.<br />Enabling Master Data management.<br />CMM Level 5 compliant.<br />Repeatable, consistent and redundant.<br />Trace all data back to source systems.<br />Flexibility.<br />Scalability.<br />Consistent.<br />Adaptable.<br />Possible automatic generation of the DDL and ETL.<br />Supports VLDB<br />Designed for EDW<br />25<br />8-12-2010<br />
    26. 26. Agenda<br />Position<br />Definition<br />Architecture<br />Modeling<br />Methodology<br />Questions?<br />26<br />8-12-2010<br />Patient<br />Treat<br />Satellite<br />Satellite<br />Treatment<br />Link<br />Satellite<br />Hub<br />Hub<br />Satellite<br />Satellite<br />Satellite<br />Satellite<br />
    27. 27. Hub<br />27<br />8-12-2010<br />Hub<br />Represents the business key.<br />A surrogate key as the primary key.<br />Load date timestamp (when did it get there?)<br />Record source (where did it come from?)<br />Patient_ID<br />Patient_Key<br />Patient_Code<br />Patient_Name<br />Patient_Desc<br />Patient_Category<br />Patient_SubCategory<br />Patient_Address<br />Patient_Gender<br />Patient_Code<br />Load_Date<br />Record_Source<br />Hub_Patient<br />Patient<br />
    28. 28. Satellite<br />28<br />8-12-2010<br />Satellite<br />Descriptive items of a hub or a link<br />A surrogate key as the primary key.<br />Load date timestamp (when did it get there?)<br />Record source (where did it come from?)<br />Patient_Key<br />Load_Date<br />Patient_ID<br />Patient_Key<br />Load_Date<br />Patient_Key<br />Load_Date<br />Patient_Code<br />Patient_Name<br />Patient_Desc<br />Patient_Category<br />Patient_SubCategory<br />Patient_Address<br />Patient_Gender<br />Patient_Name<br />Patient_Desc<br />Patient_Category<br />Patient_SubCategory<br />Patient_Address<br />Patient_Gender<br />Patient_Name<br />Patient_Desc<br />Patient_Address<br />Patient_Gender<br />Patient_Category<br />Patient_SubCategory<br />SAT_Patient<br />SAT_PatientCategory<br />SAT_Patient<br />Patient<br />
    29. 29. Link<br />Links two or more hubs<br />Own surogate key.<br />Keys from the hub<br />Load date time stamp<br />Record source<br />29<br />8-12-2010<br />Link<br />Patient_Key<br />Treat_Key<br />Treatment_Key<br />Hub_Patient<br />Patient_Key<br />Treat_Key<br />Load_Date<br />Record_Source<br />Patient_Code<br />Load_Date<br />Record_Source<br />Treat_Code<br />Load_Date<br />Record_Source<br />Hub_Treat<br />Link_Treatment<br />
    30. 30. Bron datamodel<br />30<br />8-12-2010<br />
    31. 31. Analyse datamodel<br />31<br />8-12-2010<br />
    32. 32. Datavault datamodel<br />32<br />8-12-2010<br />
    33. 33. 8-12-2010<br />33<br />Datavault<br />Point in Time views (PIT).<br />‘truth’ at a certain moment.<br />Helper table?<br />Bridge.<br />Same as Point in Time but then a range.<br />
    34. 34. Questions?<br />34<br />8-12-2010<br />

    ×