It symposium 2011-ods821_data_replication_04-11-2011


Published on

Presentation at Tennessee IT Symposium at Fall Creek Falls 2011 on Data Replication using SGHE Banner ODS/EDW

Published in: Education
  • Be the first to comment

  • Be the first to like this

No Downloads
Total views
On SlideShare
From Embeds
Number of Embeds
Embeds 0
No embeds

No notes for slide

It symposium 2011-ods821_data_replication_04-11-2011

  1. 1. IT Symposium 2011 Tennessee Board of Regents Operational Data Store – Data ReplicationPresented by Greg Turmel & Pamela Clippard Tennessee Board of Regents Monday, April 11th 2011 Session 1.3 Time: 9:15a – 10:00a
  2. 2. ODS 8.2.1 Data ReplicationAbstract: This presentation will explore and discuss technical and functional differences seen when implementing the SunGard Oracle Operational Data Store version 8.2.1, its impact to Banner as a source system, and the expectations for securing quality data feeds into the Enterprise Data Warehouse version 8.2. The open discussion segment of the session will attempt to answer many of the questions surrounding the expected changes from current replication methodologies used in ODS 8.1 reporting processes. 
  3. 3. ODS 8.2.1 Data ReplicationWhere is the value?  Data Replication services provide a core business process  for Research Reporting.  This version reduces the existing frustrations and high  impact on transactional systems (Banner). It can be a key part of daily operations instead of Banner.  Value increases when used for longitudinal analysis and  trending for analytical decision support.
  4. 4. ODS 8.2.1 Data ReplicationManaging Business Processes: Defining the scope of the problem and support it with  research. Leveraging trend analysis opportunities.Decision Support based on key performance indicators:  evaluating available courses of action. selecting a course of action. implementing the selection.Continuous improvement: Evaluating and monitoring Achieving a “Total Quality management” model.
  5. 5. ODS 8.2.1 Data ReplicationDetermining the resource scope will center on:  Time constraints on personnel or requester... [e.g.] Institution, State, THEC/US Higher Ed. The availability of data... [e.g.] No current collection process defined. The nature of the decision that must be made… [e.g.] Student Retention/Graduation. The value of the research in relation to its costs… [e.g.] Funding.
  6. 6. ODS 8.2.1 Data ReplicationPurpose: Financial responsibility is key to any mission and should be a core strategy in data replication.Governance: Workflows should involve approvals by required personnel.Structure: Reporting designs and access levels should maintain the integrity of a reporting system.Policies: Clarify and redefine budgetary policies and develop additional accounting policies. [e.g.] SAN Reference:
  7. 7. ODS 8.2.1 Data ReplicationProcesses: Specific changes should result in more timely, detailed financial reporting.Culture: All changes should be made with due consideration of the overall campus culture.Infrastructure: Changes should support features and functionality of both new/existing software tools.Information: Changes to any structures should be based on information‐timely relevant data provided in a format that enables campus leaders to make informed decisions in response to emerging trends. Reference:
  8. 8. Pre-Streams : ODS 8.1 Link Administration
  9. 9. Streams Administration: ODS 8.2.1 Database Server # A Database Server # B CompositeUser or process input Views MST* Banner Transactional System mappings OAV: Object Operational Data Store Access Views Tx-composite Changes Tx-composite Complex Join Redo.log Groups Query Queue Queue Streams Capture Streams Apply Propagation Write
  10. 10. Streams Administration: ODS 8.2.1 Summary Banner  ODS 8.2 Production ETL – Load, Delete, • Banner Table  Update • ODS Tables  Changes and  • Replicated  And Views the Redo Logs Banner Tables  for Staging Reporting  Streams  Views & Tables Capture  Streams Apply Streams  Propagation
  11. 11. Replication TerminologyStreams Capture:   Reads the database redo logs. Collects DML  and DDL changes that have been made on the  Banner source tableStreams Propagation:  The process moves changes (LCR) from the  Banner source DB to the ODS target DBStreams Apply: Takes the changes into the ODS stage tables.  Matches and updates the modified record in  the ODS target tableError Queue:  Low level streams data errors encountered can  be reviewed and reprocessed. 
  12. 12. Replication TerminologyLCR —Logical Change Record  Includes the old and new values from  the source table for each record  column replicated.ODS Apply Error— An error recorded when the old  record value in the source table  cannot be matched in the target tableRe‐stage Process— A target table is dropped from the  ODS database which allows the  staging process to re‐create that  target table.Note: When target tables are re‐staged – any insert_ods_change triggers for that table need to be re‐created!
  13. 13. Transactional Source system (Banner)Replication Advantages: Banner [e.g.] SOKODSF,  ODS Triggers, Views removed. Banner data changes captured in redo logs. Reduced impact to Banner operations [e.g.] CPU,  Memory, processes, back up schedules…Replication Disadvantages: Staged tables and Views/Materialized Views can no  longer be used for daily reporting in Banner. Banner patching break/fit support changes radically. New streams capture process to support.
  14. 14. Data Store - Target system (ODS)Replication Advantages: ODS objects are all on the down line system with minimal  exceptions. [e.g.] Blobs (img file), clobs… use a DB_LINK. Minimized impact to student registration, grade posting,  or payroll [e.g.] Views supporting ODS are gone in  Banner.  Changes are propagated from Banner redo logs, not  triggers that interfere with other baseline processes. No more bulk loads against Banner scheduled: impacting  Banner backups, Database Statistics jobs, or the data  quality in the loads due to a disabled trigger. Faster refresh of ODS, near continuous feeds. [e.g.]  Smaller redo logs now equates to quicker refresh rates. 3  sets x 100 meg is less efficient (slower) than 6x50 meg.
  15. 15. Data Store - Target system: (ODS)Replication Disadvantages: Staged tables can’t be used for daily reporting.  [e.g.] Briefly contains only the changes. Banner patching potentially breaks ODS objects. [e.g.] Banner object changes are replicated automatically. New streams propagation and apply processes.  [e.g.] New processes means new methods of support and  training. Still requires a schedule for changes to load. [e.g.] Data replicated by streams still requires a job to move  to ODS tables and materialized views. Streams error logs to review: data left unapplied.  [e.g.] Requires intervention by IT to review, consult, apply.
  16. 16. Academic Outcome: Graduation - ODS SGHE Banner Operational Data Store   Contains data about all awards sought Description  Details include program of  degree GPA, total credits  GOVERNMENT_ACADEMIC_OUTC and/or earned by a student.  academic study, majors,  earned etc.  OME reporting view One row per person per outcome Key & Frequency  number. PERSON_UID,OUTCOME_NUMBER STATUS,STUDENT_LEVELRecommended Search Columns  ACADEMIC_PERIOD_GRADUATION PROGRAM,MAJOR,PERSON_UID COLLEGE,DEPARTMENT,PERSON_UID Target Column Business Definition Database Data Type Source Name Source Column Academic period or time frameACADEMIC_PERIOD VARCHAR2(63) SHRDGMR  SHRDGMR_TERM_CODE_STUREC  associated with this degree record.ACADEMIC_PERIOD_DESC Academic period description. VARCHAR2(255) FUNCTION  GOKODSF.F_GET_DESC  Academic period when graduationACADEMIC_PERIOD_GRADUATION VARCHAR2(63) SHRDGMR  SHRDGMR_TERM_CODE_GRAD  requirements will be completed.ACADEMIC_PERIOD_GRAD_DESC Academic period description. VARCHAR2(255) STVTERM  STVTERM_DESC  Academic year associated with thisACADEMIC_YEAR_GRADUATION VARCHAR2(63) SHRDGMR  SHRDGMR_ACYR_CODE  graduation date.ACADEMIC_YEAR_GRADUATION_DESC Academic year description. VARCHAR2(255) STVACYR  STVACYR_DESC  Organization-oriented identifier for theADMINISTRATIVE_GROUP record used to determine access VARCHAR2(255) NA  NA  authorization to this record. Indicates whether the person hasAPPLIED_FOR_OUTCOME_IND applied to officially receive this VARCHAR2(1) FUNCTION  F_APPLIED_FOR_DEGREE  specific degree.
  17. 17. Preparing for ImplementationEvaluate your database configuration Run the SGHE script: SGHE_BPRA_Check_Streams_Config.sql to  review the DB parameters AQ_TM_PROCESSES = 1 shared_pool_sizemin. 256 streams_pool_sizemin. 256 global_names= true Compatible 10.2 or higher job_queue_processes>= 4 _job_queue_interval= 1 10g _CMPKEY_ONLY = ‘N’ 11g COMPARE_KEY_ONLY = ‘N’ PARALLELISM = 0 (review defect correction 1‐H4R3OC)If you are planning to use RAC configuration Streams propagation must be queue_to_queue
  18. 18. Preparing for ImplementationFAQ 1‐EN5VG9 : How should STREAMS_POOL_SIZE be set for Banner/BPRA environment streams configurationFAQ 1‐GBP75K: ODS 8.2 ORA‐04031 unable to allocate bytes of shared memory (increasing SHARED_POOL_SIZE and STREAMS_POOL_SIZE)FAQ 1‐AXRVD8: Steps required to change passwords in ODS 8.2/EDW 8.1.x after initial installFAQ 1‐7UYF83 : ODS Creating an ODS 8.2 Database environment on Red Hat Linux 4.0 64‐bit
  19. 19. Preparing for ImplementationFAQ 1‐GBP75K: ODS 8.2 ORA‐04031 unable to allocate bytes of shared memory (in Banner)FAQ 1‐IEH1Z4: ODS 8.2 Oracle Streams Spilled messages and BPRA_BANNER$CAP queueFAQ 1‐IEH1Z4: ODS 8.2 Oracle Streams Spilled messages and BPRA_BANNER$CAP queueRAC ODS 8.2: How to fix the error ORA‐25315 shown in the dba_propagator the alert.log
  20. 20. Patching and UpgradingODS ‐ Apply Errors  ORA‐01435: user does not exist ORA‐06512   at SYS.LCR$_DDL_RECORD Fixed in patch P1‐BXVYD5_ODS8020113Banner Do not change the ODSSTG password in  Banner –It is used by the db_link from ODS  to Banner
  21. 21. Patching and UpgradingPatch 1‐hlgaku_ods8020111 ODS8.2 Streams ORA‐01403 error caused by applying transaction with matching on non‐key columns.Defect 1‐H4R3OC ODS 8.2.x ‐Oracle Streams apply parameter "parallel" set higher than 1 generates deadlock  (This is fixed in 8.3)Defect 1‐HT9VLBStreams ORA‐25315: unsupported configuration for propagation of buffered messages (RAC)
  22. 22. Streams Apply processesApply Errors: ORA‐1403 no data found (LCR’s match on non‐key data ) Apply Patch 1‐hlgaku_ods8020111  { … and above –sets init parameter  COMPARE_KEY_ONLY = ‘Y’  Previous Oracle versions sets init parameter  _CMPKEY_ONLY = ‘Y’  …  }FAQ 1‐E5P4VJ: after the Grant Fund Conversion program (FRRGRNL, FGRGRBD) FAQ CMS‐12719 after Budget Availability Rebuild processes (FGBBAVL, FGRBAVL) 
  23. 23. Cloning with Streams turned onFollow SunGard Higher Education’s recommended procedure for cloning both Banner and ODS.FAQ 1‐B2VYHB  How to backup and clone environments for ODS and  streams using RMANFAQ 1‐B2UMX7  Post clone steps of an ODS and Banner environment with  ODS streams
  24. 24. Cloning with Streams turned onCloning: both ODS and Banner environments at the same timeCloning: the ODS target onlyCloning: the Banner source onlyFAQ#: 1‐BM5JZA ODS 8.2: Steps to remove ODS stream objects from a clone banner environmentRemember to re‐point the db_link to the correct database and also complete a password rotation for your ODS and OWB component.
  25. 25. Streams Administration: EDW 8.2
  26. 26. EDW: Star Schema Design EDW Dimensional Model for EnrollmentThe star schema is the simplest data warehouse schema. It is called a star schema because the diagram resembles a star, with points radiating from a center. The center of the star consists of one or more fact tables and the points of the star are the dimension tables, as shown in the following discussion.The most natural way to model a data warehouse is as a star schema, only one join establishes the relationship between the fact table and any one of the dimension tables.A star schema optimizes performance by keeping queries simple and providing fast response time. All the information about each level is stored in one row.
  27. 27. EDW: Star Schema Design
  28. 28. EDW : Star Schema Design
  29. 29. EDW : Star Schema DesignEnrollment Star Report: Target Reports – DescriptionWDT_ACADEMIC_STUDY Academic Study Dimension Academic Study Dimension table provides information for the program of study for the individual. This may be the data on the admission application or the academic outcome record that identifies the major subject area and sought award or degree, etc.. It uses the cleansing rules in the EDW for the short and long descriptions.WDT_DEMOGRAPHIC Demographic Dimension Demographic Dimension table provides information for the person that is consistent whether this is an employee, inquirer, applicant, student or graduate at the institution. This information includes gender, ethnicity, age range and family income range. It uses the cleansing rules in the EDW for the short and long descriptions as well as the definition of the ranges in this dimension.
  30. 30. EDW : Star Schema DesignWDT_ENROLLMENT_STATUS Enrollment Status Dimension Enrollment Status Dimension table provides information for the person that includes the time frame status of enrollment. This information includes whether they intended to study full or part time, whether or not they are currently enrolled and their current time status based on the institution defined rules. It uses the cleansing rules in the EDW for the short and long descriptions.WDT_STUDENT Student Dimension Student Dimension table provides information for the person as the student for the time frame. This information includes student population (New first time, continuing, re‐admit, etc.), year of study or student class, residency (in district or out) and campus affiliation. It uses the cleansing rules in the EDW for the short and long descriptions.
  31. 31. EDW: Star Schema DesignWDT_TIME Time Dimension Time Dimension table provides information on the time frame for which the rest of the associated dimension and fact table are storing the information in the star. The time dimension may be based either on a calendar, academic, financial aid or fiscal year, The time frame will go down at least one and sometimes two layers to periods and or sub periods of time. It uses the cleansing rules in the EDW for the short and long descriptions.WFT_ENROLLMENT Enrollment Fact Table Enrollment Fact table provides measures that may be compared and displayed based on the dimensions in this star schema. This set of measures is stored per person per enrollment academic period
  32. 32. QuestionsQ&A ?
  33. 33. Contact InformationPamela Clippard Greg TurmelSr. Data Architect Sr. Database AdministratorTennessee Board of Regents Tennessee Board of Regents1415 Murfreesboro Rd. #358 1415 Murfreesboro Rd. #358Nashville, TN. 37217 Nashville, TN. 37217615.366.3915 (Office) 615.366.4467 (Office) (IT website) (IT website)
  34. 34. Reference MaterialsMaster Note for Streams Recommended Configuration [ID 418755.1]Streams Secure Queues & Using DBMS_STREAMS_ADM.SET_UP_QUEUE to Setup the Secure Queue [ID 230902.1]Streams Support for Compression [ID 763997.1]How To Exclude A Table From Schema Capture And Replication When Using Schema Level Streams Replication [ID 239623.1]How To Configure Streams Real‐Time Downstream Environment [ID 753158.1]How To Setup Schema Level Streams Replication with a Downstream Capture Process with Implicit Log Assignment [ID 733691.1]How To Access Streams Or Advanced Queuing Information From The 10.2 Dbconsole [ID 336061.1]Banner Operational Data Store 8.2 Handbook / Architecture 
  35. 35. Reference Materials11gR2 Streams Concepts and Administration ‐ e17069.pdf11gR2 Streams Replication Administrators guide ‐ e10705.pdf11gR2 Streams Advanced Queuing users guide ‐ e11013.pdf11gR2 Oracle Database Warehouse Builder ‐ Concepts ‐ e10581.pdf11gR2 Oracle Database Warehouse Builder Release Notes ‐ e10585.pdf11gR2 Oracle Warehouse Builder Data Modeling ‐ ETL ‐ Data Quality guide ‐ e10935.pdfBPRA Upgrades ‐ Oracle 11g/OWB 11g, PM App Dependencies, Jim Carter, Brian Large:‐Installation Steps for Oracle Warehouse Builder 11g Release 2 ( 8.2 and Oracle Streams – One Year Later, Karen Funston, presented at the SunGardHE Summit 2011, March 22, 2011