Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Automatisierung im DWH - Sich das Leben erleichern mit dem ODI

1,056 views

Published on

http://www.opitz-consulting.com

"Automatisierung im DWH" war das Thema unserer Experten Marian Strüby und Dr. Jens Bleiholder zusammen mit Ulf Jeffke, Manager Voice & Data Anlalyst - Vodafone Kabel Deutschland, bei der DOAG 2015 Konferenz und Ausstellung.

Modularisierung, Standardisierung, Automatisierung. Mit diesen drei Stichworten kann man die Vorteile des ODI 12c als ETL-Tool im eigenen DWH-Projekt auf den Punkt bringen. Der ODI eröffnet hier eine ganze Reihe an Möglichkeiten, die Entwicklung eines DWH zu beschleunigen, dem Entwickler Arbeit abzunehmen und gleichzeitig die Entwicklung zuverlässiger und fehlerfreier zu machen. Dabei wird die Entwicklung noch wesentlich effizienter, wenn man auch bei Datenmodellierung und Architektur auf Modularisierung, Standardisierung und Automatisierung achtet und z.B. Data Vault verwendet. Anhand von Beispielen aus einem Kundenprojekt stellen wir unsere Erfahrungen auf diesem Gebiet vor und zeigen, wie der ODI 12c im Projekt dabei hilft und ein DWH größtmöglich automatisiert, aufzubauen: Generieren von Datenmodellen und zugehörigen Mappings, automatisches Deployment, Anpassung von Knowledge-Modulen etc. Den Kunden freut es, bekommt er nun mehr DWH für sein Geld. Den Entwickler freut es, muss er nun nicht mehr die langweiligen immer gleichen Arbeiten erledigen. Den Endanwender freut es, bleibt nun mehr Zeit übrig, um auf seine Probleme und Businesslogik einzugehen.

Published in: Technology
  • Be the first to comment

Automatisierung im DWH - Sich das Leben erleichern mit dem ODI

  1. 1. © OPITZ CONSULTING GmbH 2015 Seite 2Automatisierung im DWH Marian Strüby Dr. Jens Bleiholder Ulf Jeffke Senior Consultant Project Manager Manager Voice & Data Analyst OPITZ CONSULTING Deutschland GmbH Vodafone Kabel Deutschland Standort Berlin Betastr. 6-8 Tempelhofer Weg 64 85774 Unterföhring 12347 Berlin Sich das Leben erleichtern mit dem ODI Nürnberg, 19.11.2015 Automatisierung im DWH
  2. 2. © OPITZ CONSULTING GmbH 2015 Seite 4Automatisierung im DWH  Umsatz  2012: 36,7 Mio. €  2013: 38,8 Mio. €  2014: 44,0 Mio. €  Mitarbeiter  2012: 382 Mitarbeiter  2013: 385 Mitarbeiter  2014: 400 Mitarbeiter Wo stehen wir als Unternehmen? Peter Dix (CFO): „Solides Wirtschaften in Verbindung mit einer langfristigen kundenorientierten Strategie garantiert den wirtschaftlichen Erfolg.“ Standorte Unternehmensentwicklung
  3. 3. © OPITZ CONSULTING GmbH 2015 Seite 5Automatisierung im DWH Was wir machen – unser Leistungsangebot Rolf Scheuch (CSO): „Mit diesem ganzheitlichen Lösungsangebot sind wir ein langfristiger, strategischer Partner für komplexe und einzigartige IT-Lösungen.“ Wir bieten ein umfassendes und ganzheitliches Application Lifecycle Management zur Sicherung des Wertbeitrags der Anwendungssysteme im gesamten Lebenszyklus an. Wir stimmen die Modelle individuell auf unsere Kunden ab und unterstützen somit optimal alle Phasen des Lebenszyklus:  Strategische Beratung,  Planung/Design,  Implementierung und  Wartung/Betrieb.
  4. 4. © OPITZ CONSULTING GmbH 2015 Seite 8Automatisierung im DWH Project Technical Data Warehouse App- Server Exadata Weblogic Data Warehouse Staging Area WIFI Operational Data Store Raw Data Vault GoldenGate 1:1 Replikat, Operationales BI möglich 1:1 Tabellenstrukur, Deltadaten Data Vault 2.0 Modellierung, Raw und Business Layer Dimensionale Modellierung OBIEE Analysis and Dashboards Oracle Data Integrator Business Data Vault Data Marts
  5. 5. © OPITZ CONSULTING GmbH 2015 Seite 9Automatisierung im DWH Agenda 1. Standardisierung  Datenmodelle + Namensregelungen 2. Modularisierung  Knowledge Module + Beladungsschemata 3. Automatisierung  Datenmodelle  ETL-Prozesse  Tips + Tricks 4. Fazit
  6. 6. © OPITZ CONSULTING GmbH 2015 Seite 10Automatisierung im DWH 1 Standardisierung
  7. 7. © OPITZ CONSULTING GmbH 2015 Seite 11Automatisierung im DWH Standardisierung…  … vereinfacht Wissenstransfer  … und Dokumentation  … bringt Ordnung ins Chaos  … ermöglicht Wiederverwendung  Kurz: macht Vieles einfacher!
  8. 8. © OPITZ CONSULTING GmbH 2015 Seite 12Automatisierung im DWH Standardisierungsmöglichkeiten im Datenmodell  Namensregeln  Präfixe, z.B. D_, F_,  Konsistente Benennung von Tabellen, FK‘s, Indizes, …  Abkürzungen  …  Prinzipien  Bridgetabellen, Historientabellen, N:M-Beziehungen, …  Stern vs. Snowflake  ID‘s, NK‘s, FK‘s, Domänen, …  …  Oder auch: Data Vault  Als standardisierte Datenmodellierungstechik
  9. 9. © OPITZ CONSULTING GmbH 2015 Seite 13Automatisierung im DWH Standardisierungsmöglichkeiten im ETL  Beladungstemplates  Gleichartige Tabellen werden gleichartig beladen  ETL-Jobs sind jederzeit wieder startbar  UPDATE/MERGE vs. TRUNCATE/INSERT vs. DELETE  Im ODI durch Knowledge Module realisiert  Beladungsreihenfolge  Zuerst Dimensionen, dann Fakten  ETL Workflow im ODI durch Load Plans realisiert  Gleiche Art der Historisierung  Im ODI durch Knowledge Module realisiert
  10. 10. © OPITZ CONSULTING GmbH 2015 Seite 14Automatisierung im DWH 2 Modularisierung
  11. 11. © OPITZ CONSULTING GmbH 2015 Seite 15Automatisierung im DWH Modularisierung im ODI
  12. 12. © OPITZ CONSULTING GmbH 2015 Seite 16Automatisierung im DWH Beispiel Integration Knowledge Module  Im ODI bilden IKM‘s Beladungstemplates ab  TRUNCATE/INSERT vs. MERGE  Historisierung nach SCD2  DELETE statt INSERT (Rollback-Funktionalität)  Reusable Mappings  Best Practice: Ein Mapping pro Quelltabelle  Folge: ETL wird (fast) beliebig konfigurierbar
  13. 13. © OPITZ CONSULTING GmbH 2015 Seite 17Automatisierung im DWH 3 Automatisierung
  14. 14. © OPITZ CONSULTING GmbH 2015 Seite 18Automatisierung im DWH Automatisierung mit ODI-SDK
  15. 15. © OPITZ CONSULTING GmbH 2015 Seite 19Automatisierung im DWH Das ODI-SDK  Technologie: Java  Prinzipiell: alles fernsteuerbar  Was auch über die Oberfläche erreichbar ist  Ähnlich zu OMB+ im OWB  Aber: andere Sprache  Aufrufe  Groovy-Skripte aus der GUI  Methoden und Objekte direkt aus eigenen Java-Klassen
  16. 16. © OPITZ CONSULTING GmbH 2015 Seite 21Automatisierung im DWH Meta-Datenbank T_HUB T_LINK T_SATELLITE T_SOURCE_COLUMN T_HUB_LINK T_HUB_SATELLITE T_LINK_SATELLITE T_DV_META T_SOURCE_TABLE
  17. 17. © OPITZ CONSULTING GmbH 2015 Seite 22Automatisierung im DWH Data Vault Metadaten DV_TYPE DV_NAME_PATTERN COL_DATA_TYPE HUB_TBL HUB_{hub_name} LNK_TBL LNK_{lnk_name} SAT_TBL SAT_{sat_name} HUB_HASH {hub_name}_HASH raw(32) LNK_HASH {lnk_name}_HASH raw(32) BK {hub_name}_BK varchar2(255) TS LOAD_DTS timestamp RS REC_SRC_ID varchar2(255) LOAD_ID LOAD_INS_SID number PK PK_{table_name} FK FK##_{table_name} Namensregeln Einheitliche Datentypen
  18. 18. © OPITZ CONSULTING GmbH 2015 Seite 23Automatisierung im DWH Erstellen eines Hub-Mappings 1. Füge Quelltabelle(n) ein (aus T_SOURCE_TABLE) 2. Füge union all Komponente hinzu (bei mehreren Quelltabellen) 3. Füge not null Filter auf Business Key Spalten ein 4. Füge Aggregate Komponente hinzu, um eine eindeutige Liste zu erhalten 5. Füge Zieltabelle ein (Hub)
  19. 19. © OPITZ CONSULTING GmbH 2015 Seite 24Automatisierung im DWH Blick in den Code… Ein Mapping erzeugen  Modularisierung Quelltabelle einfügen Filter einfügen
  20. 20. © OPITZ CONSULTING GmbH 2015 Seite 25Automatisierung im DWH IKM zuordnen Festgelegtes IKM verwenden  Standardisierung!
  21. 21. © OPITZ CONSULTING GmbH 2015 Seite 26Automatisierung im DWH ODI Project Objekte erstellen Wiederholbarer (testbarer) Aufbau der ODI Umgebung sichert festgelegte Standards und Richtlinien!
  22. 22. © OPITZ CONSULTING GmbH 2015 Seite 27Automatisierung im DWH Models erstellen Iterieren über Schemas, die in ODI Toplogy festegelegt sind
  23. 23. © OPITZ CONSULTING GmbH 2015 Seite 28Automatisierung im DWH Reverse Engineering eines Models Verwenden von externen ODI Programmen, falls SDK nicht ausreichend
  24. 24. © OPITZ CONSULTING GmbH 2015 Seite 29Automatisierung im DWH Automatisches Deployment von Szenarien Import der gezippten Scenarios mit festgelegtem Import Mode
  25. 25. © OPITZ CONSULTING GmbH 2015 Seite 30Automatisierung im DWH Setzen von Attributeigenschaften mit Groovy
  26. 26. © OPITZ CONSULTING GmbH 2015 Seite 31Automatisierung im DWH Blick in den Groovy-Code Setzen alle Spalten auf ADD_ROW_ON_CHANGE Setzen alle HASH-Spalten auf NATURAL_KEY Implementieren der Historisierung (SCD2) in Data Vault Satellites!  Standardisierung!
  27. 27. © OPITZ CONSULTING GmbH 2015 Seite 32Automatisierung im DWH Weitere Ideen  Metadaten erweitern  Knowledge Module  DWH-Layer  Geschäftsregeln in Metadaten festhalten  In Reusable Mappings implementieren  Aufwand / Nutzen abschätzen!  GUI für Verwaltung der Metadaten  Testframework aufbauen  Metadaten nutzen, um strukturgleiche Testumgebung aufzubauen  Stetiges, automatisiertes Setup und Testen der Mappings mit Testdaten  Ziel: vollständig getestetes DWH/BI-System  Dokumentation aus Metadaten erstellen
  28. 28. © OPITZ CONSULTING GmbH 2015 Seite 33Automatisierung im DWH 4 Fazit
  29. 29. © OPITZ CONSULTING GmbH 2015 Seite 34Automatisierung im DWH Take Home Message  Ersparnis (Zeit + Geld)  Zufriedenere Entwickler  Mehr spannende Aufgaben  Weniger Bugs  Konzentration aufs Wesentliche  Das Geschäft, die Analyse  Metadaten ermöglichen weitere Ausbaustufen  Fragen?
  30. 30. © OPITZ CONSULTING GmbH 2015 Seite 35Automatisierung im DWH Kontakt Marian Strüby Senior Consultant OPITZ CONSULTING Deutschland GmbH marian.strueby@opitz-consulting.com Telefon: +49 (0)30 6298889-1625 Mobil: +49 (0)173 7279144

×