Essbase & OBI11g - DOAG Business Intelligence 2011 - Frank Tenzer, Denis Gense

1,430 views

Published on

http://www.opitz-consulting.com/go/3-2-866

Die Oracle BI Suite 11g bietet viele neue und verbesserte Features. Im analytischen Bereich bieten hier vor allem die verbesserten Fähigkeiten im OLAP-Bereich zahlreiche neue Möglichkeiten. Drill-down- & Roll-up-Analysen entlang der Hierarchien multidimensionaler Daten sind mit wenigen Mausklicks erstellt. Was liegt näher, als auch eine echte multidimensional Datenquelle wie zum Beispiel Oracle Essbase zu nutzen? Die Integration von EssbaseDatenbanken in die Oracle BI Suite ist ebenso einfach getan, wie man es von den relationalen Datenbanken kennt. Aber wie sieht es mit der optimalen Performance im Zusammenspiel von OBI und Essbase aus? Der Vortrag gibt einen Überblick über den Weg zum optimalen Datenmodell-Design und die Ermittlung der richtigen Essbase Server- und Datenbank-Konfiguration, um beim Einsatz dieser beiden mächtigen Komponenten im Bereich der OLAP-Analyse die beste Leistung zu erzielen.

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,430
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Essbase & OBI11g - DOAG Business Intelligence 2011 - Frank Tenzer, Denis Gense

  1. 1.
  2. 2. Oracle Essbase & OBI 11g<br />Best Practices in Design und Tuning<br />Frank TenzerProject Manager <br />Denis GenseConsultant<br />OPITZ CONSULTING Hamburg GmbH<br />München, 26.05.2011<br />
  3. 3.
  4. 4. Agenda<br />Oracle Essbase & OBI 11g – Motivation<br />MOLAP – Neue Features der OBI 11g<br />Oracle Essbase: Storage, Block Creation u. Statistics<br />Server Configuration– Essbase und OBI 11g<br />Essbase: Outline Design „Do´s & Dont‘s“ <br />Essbase: Data Load u. Calculation<br />Farben und Linienals Kopiervorlage<br />A<br />A<br />A<br />A<br />A<br />A<br />A<br />
  5. 5. 1<br />Essbase & OBI 11g – Motivation<br />Design:<br /><ul><li>Das Farbschema ist im Design als „OC 2009“ hinterlegt.
  6. 6. Ebenso sind die Schriftarten als „OC 2009“ hinterlegt.
  7. 7. Die Standardfarben sind:</li></li></ul><li>Motivation – Multidimensionale Quellsysteme<br /><ul><li> OBI 11g bietet verbesserte Unterstützung für MOLAP:
  8. 8. Darstellung und Handling von Hierarchien
  9. 9. Pivot-Spalten aus Dimensionen
  10. 10. Verbesserte Generierung von MDX-Statements
  11. 11. Speziell: Optimierung der Essbase Anbindung (C-API)
  12. 12. Im Ergebnis:
  13. 13. Effiziente OLAP-Analysen
  14. 14. Optimierte Visualisierung und „Look & Feel“
  15. 15. Optimierte Analyse-Performance</li></ul>… innerhalb einer unternehmensweiten, <br /> skalierbaren und sicheren Architektur<br />Design:<br /><ul><li>Das Farbschema ist im Design als „OC 2009“ hinterlegt.
  16. 16. Ebenso sind die Schriftarten als „OC 2009“ hinterlegt.
  17. 17. Die Standardfarben sind:</li></ul>Design:<br /><ul><li>Das Farbschema ist im Design als „OC 2009“ hinterlegt.
  18. 18. Ebenso sind die Schriftarten als „OC 2009“ hinterlegt.
  19. 19. Die Standardfarben sind:</li></li></ul><li>Essbase & OBI 11g – Architekturübersicht<br />Detect& Alert<br />DataIntegration<br />Scorecards<br />Interactive Dashboards<br />Reporting &Publishing<br />Ad-hoc Analysis<br />Office Integration<br />Collaborate<br />Search<br />Embedded<br />Mobile <br />Common Enterprise Information Model<br /><ul><li>Common Metadata Foundation across all Data Sources
  20. 20. Common Security, Access Control, Authorization, Auditing
  21. 21. Common Request Generation and Optimized Data Access Services
  22. 22. Common Clustering, Workload Management, & Deployment
  23. 23. Common Systems & Operational Lifecycle Management</li></ul>OBI 11 g (11.1.1.5.0)<br />OLAP<br />Sources<br />Unstructured & Semi-Structured<br />OLTP & ODS<br />Systems<br />Data Warehouse<br />Data Mart<br />Packaged<br />Applications<br />(Oracle, SAP, Others)<br />Excel<br />XML/Office<br />Business<br />Process<br />Exadata<br />Essbase(11.1.2.1)<br />
  24. 24. Motivation – Oracle Essbase als Quellsystem<br /><ul><li>Design und Implementiertung mit geringerem Aufwand und Zeitbedarf:
  25. 25. „Rapid Application Development“ in Essbase: Iterativer Prozess in enger Kopplung mit den Fachanwendern
  26. 26. Minimaler Aufwand bei der Integration und Pflege der Essbase-Metadaten im BI-Server:</li></ul>Design:<br /><ul><li>Das Farbschema ist im Design als „OC 2009“ hinterlegt.
  27. 27. Ebenso sind die Schriftarten als „OC 2009“ hinterlegt.
  28. 28. Die Standardfarben sind:</li></ul>Design:<br /><ul><li>Das Farbschema ist im Design als „OC 2009“ hinterlegt.
  29. 29. Ebenso sind die Schriftarten als „OC 2009“ hinterlegt.
  30. 30. Die Standardfarben sind:</li></li></ul><li>2<br />MOLAP – Neue Features der OBI 11g<br />Design:<br /><ul><li>Das Farbschema ist im Design als „OC 2009“ hinterlegt.
  31. 31. Ebenso sind die Schriftarten als „OC 2009“ hinterlegt.
  32. 32. Die Standardfarben sind:</li></li></ul><li>Hierarchy / Member Browsing<br />Hierarchie-Metadaten vollständig im Presentation-Layer verfügbar<br />Drilldown & Rollup: Echte Hierarchie-Darstellung und Handling<br />Parallele und unbalancierte Hierarchien<br />Hierarchie- und spaltenorientierte Daten in einem Request<br /> MOLAP – Neue Features der OBI 11g<br />Design:<br /><ul><li>Das Farbschema ist im Design als „OC 2009“ hinterlegt.
  33. 33. Ebenso sind die Schriftarten als „OC 2009“ hinterlegt.
  34. 34. Die Standardfarben sind:</li></ul>11g<br />10g<br />
  35. 35. Calculated Items<br />Custom Groups<br /> MOLAP – Neue Features der OBI 11g<br />Design:<br /><ul><li>Das Farbschema ist im Design als „OC 2009“ hinterlegt.
  36. 36. Ebenso sind die Schriftarten als „OC 2009“ hinterlegt.
  37. 37. Die Standardfarben sind:</li></li></ul><li>Dimensionen in Pivot-Tabellen<br />Drilldown & Rollup in Spalten und Zeilen<br />Member Selection(Query Steps)<br />„Historie“ der Request-Erstellung<br />Essbase Keep & Removeprotokolliert und reversibel<br />OptimizedforEssbase<br />UDAs in Spalten<br />Alias Tables in Spalten<br />Attribute Dimensions<br /> MOLAP – Neue Features der OBI 11g<br />Design:<br /><ul><li>Das Farbschema ist im Design als „OC 2009“ hinterlegt.
  38. 38. Ebenso sind die Schriftarten als „OC 2009“ hinterlegt.
  39. 39. Die Standardfarben sind:</li></li></ul><li>3<br />Essbase: Storage, Block Creation & Statistics<br />Design:<br /><ul><li>Das Farbschema ist im Design als „OC 2009“ hinterlegt.
  40. 40. Ebenso sind die Schriftarten als „OC 2009“ hinterlegt.
  41. 41. Die Standardfarben sind:</li></li></ul><li>Multidimensionale Würfel …<br />… spannen sich aus den Dimensionenund der Anzahl ihrer Member auf:<br />4 Kunden x 4 Quartale x 4 Produkte= 64 Datenzellen….kein Problem, oder?<br />Aber was ist mit:2.400 Kunden x 72 Monate x 385 Produkte= 66.528.000 Zellen…und das ist kein großes Datenmodell!<br />Multidimensionale Daten … <br />… leiden meist an „geringer Dichte“:<br />„Nicht jeder Kunde kauft in jedem Monat jedes Produkt“ <br />Im Ergebnis: „Lücken“ im Würfel<br />Typische Dense-Dimensionen: Kennzahlen, Zeit, Szenario, …<br />Typische Sparse-Dimensionen: Kunde, Produkt, Markt, …<br />Produkt<br />Zeit<br />Kunde<br />Das Konzept „Density & Sparsity“ in Essbase<br />
  42. 42. Storage-Grundlagen der Essbase BSO*<br />100<br />Data Value<br />100-20Texas<br />2011<br />Jan<br />2011<br />Feb<br />2011<br />Mar<br />2011<br />Apr<br />Sunroof Texas<br />Sparse<br />2011 Feb  Units  Actual<br />Dense<br />100<br />Units<br />Ess00001.pag<br />Ess00001.ind<br />Actual<br />* Block Storage Option<br />
  43. 43. Die Berechnung der Dense-Dimensions … <br />… wirkt sich nur auf Zellen innerhalb bestehender Blöcke aus<br />Berechnung von Sparse-Dimensions …<br />… erzeugt neue Blöcke ( n x m x ….)<br />Block-Creationdurch Sparse-Dimension-Calculation<br />Market<br />Multidimensionale Vorfahren<br />20011 Jan > Units<br />South<br />Produkt- Vorfahren<br />Texas<br />Product<br />Sunroof<br />Carbody<br />
  44. 44. Essbase Statistics – Ein Performance-Indikator<br /><ul><li>Block size: 35 x 13 x 4 = 1820 Zellen</li></ul> 1820 x 8 Byte = 14560 <br /><ul><li> Blockdichte: Verhältnis der Zellen je Block </li></ul> (hier 1820) zur mittleren Anzahl<br /> vorhandener Werte je Block <br /> < 1%<br />Ausgangsoutline<br />DataLoad<br />1% < 10%<br /> > 10%<br />
  45. 45. Essbase Statistics – Ein Performance-Indikator<br /><ul><li>Block Density: 53,22%
  46. 46. „Gestalte den kleinstmöglichen Block mit der höchstmöglichen Dichte“
  47. 47. Bei geringer Dichte …
  48. 48. … lässt sich hohe Kompression erreichen (… weil sich unbenutzter Platz gut komprimieren lässt),
  49. 49. … aber nur auf der Platte!
  50. 50. … im RAM: Anzahl Zellen x 8 Byte!
  51. 51. Beispiel:
  52. 52. Block size: 22 KB, Density: 5%,
  53. 53. 10.000 Blöcke lesen  214 MB lesen …,
  54. 54. … davon sind 204 MB (95%) ohne Informationsgehalt!</li></ul>Calculation Script<br />
  55. 55. 4<br />Server Configuration – Essbase & OBI 11g<br />
  56. 56. Caching – Essbase vs. OBI 11g<br />Caching<br />Caching<br />
  57. 57. Caching – Essbase vs. OBI 11g<br />OBI 11g: File-basierter Ergebnis-Cache <br />speichert Abfrage-Ergebnisse bis zu einer bestimmten Speichermenge,<br />kann bereits abgefragte Ergebnisse bei exakt gleichen Abfragen sehr schnell liefern (gute Unterstützung von Standard-Dashboards und -Reports),<br />bietet keine geeignete Unterstützung von OLAP, da diese Analysetätigkeit ständig wechselnde Abfragen bedingt (slice, dice, drill-down, roll-up).<br />vs. <br />Essbase: Hauptspeicher-basierter Data und Index Cache<br />Index Cache: Hält Index-File (oder Seiten daraus) im RAM <br />Data Cache: Hält Blöcke im RAM<br />Data File Cache: Hält ganze(s) Data-File(s) im RAM (nur bei „direct I/O“ ! )<br />Caching-Parameter je Datenbank konfigurierbar<br />OBI-Caching im Physical Layer deaktivieren <br />
  58. 58. Server Configuration Essbase<br />Cache Sizing<br />Index Cache: Hält im Idealfall das gesamte Index Fileim RAM <br />Data Cache: Faustregel: 3 x Index Cache (oder mehr, bei aufwendigen Calculations oder vielen parallelen Usern  Viele Blöcke „in Gebrauch“)<br />Data File Cache: Hält ganze Data Files im RAM (nur bei „direct I/O“ ! ); im Idealfall Summe der Größen aller pag.-Files <br />Im Ergebnis: Hit Ratios <br />Für Index: möglichst dicht an „1“<br />Für Data: möglichst groß<br />
  59. 59. Server Configuration ESSBASE<br />Block-Commit: Schreibzugriffe minimieren<br />Default: 3.000; bedeutet: Bei Berechnungen werden diese nach je 3.000 Blöcken auf die Platte geschrieben<br />Unnötig viele Schreibzugriffe, wenn der Data cache ein vielfaches davon fassen kann<br />Beispiel: <br />Eine Outline enthält 180 Mio. Blöcke bei einer Blocksize von 22 KB<br />Ein Calculation Script bearbeitet nur 5% hiervon  9 Mio Blöcke.<br />Commit alle 3.000 Blöcke  3.000 Schreibzugriffe <br />Bei einem Data cache von 1 GB kann dieser aber rund 45.000 Blöcke aufnehmen<br />… also würden 200 Schreibzugriffe genügen!<br />Faustregel: Block commit 50.000 – 150.000<br />
  60. 60. 5<br />Essbase: Outline Design „Do´s & Dont´s“ <br />
  61. 61. Outline Design – Fachliche Anforderungsanalyse<br />Festlegung der Granularität in der Outline<br />Auswahl der erforderlichen Dimensionen<br />Bestimmung der Density/Sparsity<br />Spezifizierung der Kennzahlen <br />
  62. 62. Nachteile<br />Langsame Abfrageperformancedurch Ad-hoc-Berechnung<br />Hoher Hauptspeicherbedarf (Cache), um vom Dynamic Calc zu profitieren<br />Dynamic Calc bei Sparse Member  Ad-hoc-Berechnung eines gesamten Blocks erforderlich<br />Vorteile<br />Optimiert die reguläre Zeit für Berechnungen<br />Weniger DB-Zugriffe<br />Verminderter Speicherplatzverbrauch<br />Reduktion der Restrukturierungszeit im Falle einer Outlineanpassung<br />Schnellere Datensicherung<br />Geringerer Anteil an Daten im Cache und bessere Abfrage-performance – bei geringer Verwendung von Dynamic Calc Member<br />Outline Design - Dynamic Calc<br />
  63. 63. „Hourglass“ – Berechnungsreihenfolge der Dimensionen in einer Essbase-Outline<br />1. Dimensionen vom Typ „Accounts“ (Kennzahlen)2. Dimensionen vom Typ „Zeit“<br />Von derGrößten zur Kleinsten <br />3. Dimensionen vom<br /> vom Typ „Dense“ (lt. Reihenfolge Outline) <br />Von derKleinsten zur Größten<br />4. Dimensionen vom<br /> vom Typ „Sparse“ (lt. Reihenfolge Outline) <br />„Hourglass“-Design erzeugt: <br /><ul><li>Optimale Calculation Performance
  64. 64. Minimale Fragmentierung</li></ul>5. Two-Pass Calculations<br />
  65. 65. Abweichende Anordnung der Sparse-Dimensions<br />1. Dimensionen vom Typ „Accounts“ ( Kennzahlen)2. Dimensionen vom Typ „Zeit“<br />Von derGrößten zur Kleinsten <br />3. Dimensionen vom<br /> vom Typ „Dense“ (lt. Reihenfolge Outline) <br />Häufigste<br />Nutzung <br />in Abfragen<br />4. Sparse-Dimensions<br />Design unterstützt optimale Abfrageperformance durch entsprechende Anordnung im Index-File<br />5. Two-Pass Calculations<br />
  66. 66. 6<br />Essbase: Data load & Calculation<br />
  67. 67. Data Load optimieren<br /> Sortiert<br /><ul><li> Data Load mittels „gekipptem Hourglass“
  68. 68. Vorgehen:
  69. 69. Index erzeugen
  70. 70. Block erzeugen
  71. 71. Block füllen
  72. 72. Reduziert Fragmentierung(„Cluster Ratio“)</li></li></ul><li>Member Formulas in Dense Dimensions treffen alle Blöcke!<br />Reduktion über: FIX, IF oder Cross Dimensional Operator<br />„Gross Sales“ = „Units“ * „List Price“<br />Calculation– Top-down mit Member Formulas<br />CALC ALL<br />*.pag vor Calculation<br />Blöcke im RAM<br />*.pag nach Calculation<br />
  73. 73. Mit FIX die Berechnung auf das notwendige Fokussieren<br />FIX schränkt die zu lesenden und zu schreibenden Blöcke ein <br />FIX („Budget“, @ICHILDREN(„East“))<br /> „Gross Sales“ = „Units“ * „List Price“<br />END FIX<br />*.pag vor Calculation<br />Blöcke im RAM<br />*.pag nach Calculation<br />
  74. 74. Optimaler FIX<br />FIX auf Sparse-Dimensionen: <br />Index-bezogene Auswahl der Blöcke<br />Effektive Reduktion von Schreib-/Lese-Zugriffen<br />FIX auf Dense-Dimensionen:<br />Keine Einschränkung auf Blöcke<br /> (ALLE Member von Dense-Dimensionen existieren in jedem Block!)<br />Einschränkung innerhalb der Blöcke (fachlich vielleicht benötigt, aber kein massiver Performance-Faktor)<br />Jedes FIX ist ein separater Calculation-Pass!<br />Positiv bei der Berechnung von Anteilen (rates): Für den Umsatzanteil der Produktgruppe 100 muss man zunächst den Gesamt-Produkt-Umsatz kennen (Zwei Passes)<br />Negativ, wenn unbedacht verwendet: Zwei FIX … ENDFIX auf zwei verschiedene Dense-Dimensionen bearbeiten beispielsweise 100% der Blöcke doppelt!<br />
  75. 75. Optimaler FIX<br />FIX bei fehlendem dimensionalen Zusammenhang: <br />Beispiel: Die Wareneinsatz-Kosten („COGS“) für das Produkt „Sunroof“ stehen in keiner Beziehung zu dem Markt, in dem das Produkt später verkauft wird.<br />Essbase erfordert aber, dass Daten über alle in der Outline existierenden Dimensionen referenziert werden: „COGS“ werden für jedes Member von „Market“ einmal mit dem gleichen Wert gespeichert.<br />Abhilfe: Ein spezieller Member in der Dimension „Market“: „No Market“ liefert eine Basis für Daten, die fachlich keinen Bezug zur Dimension „Market“ haben.<br />Da Market Sparse ist, werden hier effektiv weniger Blöcke erzeugt und berechnet.<br />FIX („Actual“, „No Market“)<br /> „COGS“ = „Wareneinsatz“ + „Montage“<br />END FIX<br />
  76. 76. Kontakt<br />Frank Tenzer, Project Manager<br />OPITZ CONSULTING Hamburg GmbHfrank.tenzer@opitz-consulting.comTel. +49 40 741122 1360<br />Design:<br /><ul><li>Das Farbschema ist im Design als „OC 2009“ hinterlegt.
  77. 77. Ebenso sind die Schriftarten als „OC 2009“ hinterlegt.
  78. 78. Die Standardfarben sind:</li></ul>OPITZ CONSULTING Hamburg GmbHdenis.gense@opitz-consulting.comTel. +49 40 741122 1350<br />Denis Gense, Consultant<br />

×