Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Webinar Oracle Data Integrator 12c (ODI)

1,394 views

Published on

Webinar sobre de las ventajas que aporta trabajar con la herramienta de integración ODI 12c y además abordar la migración de Oracle Warehouse Builder (OWB) y ODI 11g, con todas las garantías, hacia ODI 12c.

Published in: Technology
  • How to start a wildly profitable 7 figure marketing business and get your first commission check tonight, click here ◆◆◆ https://bit.ly/2kS5a5J
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Stop getting scammed by online, programs that don't even work! ➤➤ http://ishbv.com/ezpayjobs/pdf
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Webinar Oracle Data Integrator 12c (ODI)

  1. 1. Data Integrator 12c Moving Data to Transform Business Raúl Tarifa Vega Business Analytics Solution Specialists Webinar
  2. 2. Webinar Índice © avanttic Consultoría Tecnológica, S.L.2 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g a 12c 8 Oracle Data Integrator Cloud Service 9 Conclusiones
  3. 3. Webinar Introducción • Pertenece a la línea de productos de Business Analytics • Es la herramienta de integración de datos estratégica de Oracle 3 © avanttic Consultoría Tecnológica, S.L. Oracle Data Integrator (ODI) en el portfolio de Oracle Data Integration Engineered Systems Packaged Analytics & EPM Apps Data Analytic Tools ODI 12c
  4. 4. Webinar Introducción Es el proceso combinar datos que residen en diferentes fuentes para permitir al usuario final tener una vista unificada de todos sus datos, mediante: Diseño Declarativo (KM) Desarrollo orientado a flujos Reutilización de código Rendimiento optimizado para Oracle: Particionado/Paralelismo/Hints/Merge/Inserts multiples destinos Simulación ejecución Depuración paso a paso Funcionalidad extensible y/o customizable ¿Qué es la Integración de Datos? 4 © avanttic Consultoría Tecnológica, S.L.
  5. 5. Webinar Introducción 5 © avanttic Consultoría Tecnológica, S.L. Necesidades actuales en la integración de datos Cualquier Fuente de datos Real Time, Quality Data Máximo rendimiento, Alta disponiblidad Interna o en la Nube Integrada, Alta productividad
  6. 6. Webinar Introducción 6 © avanttic Consultoría Tecnológica, S.L. Desarrolla con ODI
  7. 7. Webinar Introducción • Procesos ELT para Data Warehouse / Integraciones ODS / Migraciones • BD Heterogéneas, cualquier fuente BBDD, XML, … • Real time Data Warehouse • Con sus KM’s para CDC • Mediante integración con OGG (GoldenGate) • Diseñado para arquitecturas SOA • Funcionalidad para Master Data Management (MDM) • Alta disponibilidad • Consolas monitorización infraestructura y ejecuciones • Conectores para BigData • Funcionalidad para Data Quality • Desarrollo de alta productividad 7 © avanttic Consultoría Tecnológica, S.L. Principales características de ODI 12c
  8. 8. Webinar Índice © avanttic Consultoría Tecnológica, S.L.8 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g a 12c 8 Oracle Data Integrator Cloud Service 9 Conclusiones
  9. 9. Webinar Arquitectura de ODI 12c • Repositorios • ODI Studio • Agentes • Componentes J2EE • Management Pack 9 © avanttic Consultoría Tecnológica, S.L. Componentes
  10. 10. Webinar Arquitectura de ODI 12c Almacenados en esquema en BD • Repositorio Master • Topología de la infraestructura IT • Información de seguridad • Objetos versionados y archivados • Repositorios: Work (n Entornos de Desarrollo) • Estructuras de datos (Modelos) • Proyectos • Información de ejecución Exec (n Entornos Ejecución) 10 © avanttic Consultoría Tecnológica, S.L. Repositorios de ODI Master Work Exec
  11. 11. Webinar Arquitectura de ODI 12c • Tipos Agente • Standalone • Collocated • J2EE • Responsabilidades • Listener • Scheduler • Procesos java ejecutándose próximos al host de BD 11 © avanttic Consultoría Tecnológica, S.L. Agentes ODI Cualquier origen Cualquier destino ODI J2EE (Dominio WLS) ODI Console J2EE Agent Standalone Agent (Dominio WLS) Collocated Agent Repositorio ODI Cliente (Cualquier Plataforma) ODI Studio … Cliente web ODI Console
  12. 12. Webinar Arquitectura de ODI 12c • Interface web • Monitorizar resultados de ejecución • Lanzar procesos • Linaje y flujo de datos 12 © avanttic Consultoría Tecnológica, S.L. ODI Console
  13. 13. Webinar Arquitectura de ODI 12c • Gestión y Rendimiento • Gestión Configuración • Gestión SLM • Análisis histórico y reporting 13 © avanttic Consultoría Tecnológica, S.L. ODI Management Pack
  14. 14. Webinar 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g a 12c 8 Oracle Data Integrator Cloud Service 9 Conclusiones Índice © avanttic Consultoría Tecnológica, S.L.14
  15. 15. Webinar Desarrollo con ODI • Topología • Designer • Data Model • Proyectos • Mappings • Packages • Execution Plans • Procedures • KM’s • Operador • Monitorizar estado ejecuciones • Programación • Seguridad 15 © avanttic Consultoría Tecnológica, S.L. ODI Studio
  16. 16. Webinar Desarrollo con ODI Define • Fuentes de datos • Origen • Destino • Staging • Modelos datos • Lógico • Físico • Contextos de ejecución • Agentes en nuestra infraestructura • Repositorios ODI existentes 16 © avanttic Consultoría Tecnológica, S.L. Topología DIAgent_DES DEV PRO
  17. 17. Webinar Desarrollo con ODI Modelo • Describe conjuntos de Datastores (Atributos, claves, filtros y condiciones) • Ingeniería inversa • Define reglas integridad (Estáticas/Flujo) • Configuración para CDC 17 © avanttic Consultoría Tecnológica, S.L. Designer
  18. 18. Webinar Desarrollo con ODI Contenido de un Proyecto • Variables, Secuencias • Procedimientos • Funciones • Mappings (Interfaces) • KM’s • Packages • Load Plans 18 © avanttic Consultoría Tecnológica, S.L. Designer Múltiples implementaciones función
  19. 19. Webinar Desarrollo con ODI Perspectivas • Lógica • Física 19 © avanttic Consultoría Tecnológica, S.L. Estructura de un mapping Propiedades Físicas • Esquemas: destino, staging • Estrategia de carga (KM) • Opciones (Borrar temporales, autocommit, ….) Lógica de negocio • Objetos de datos y sus Relaciones • Filtros Restricciones
  20. 20. Webinar Desarrollo con ODI Plantillas de código especializadas en la ejecución de un tipo de tarea • LKM • IKM • CKM • JKM • RKM • SKM 20 © avanttic Consultoría Tecnológica, S.L. Knowledge Modules (KM)
  21. 21. Webinar Desarrollo con ODI • Objetos ejecutables • Mappings • Paquetes • Load Plans • Procedures • Escenarios (Casos) • Ejecución • Interactiva • Programada • Simulación • Ver resultado ejecución (Operador) 21 © avanttic Consultoría Tecnológica, S.L. Ejecución de procesos ELT
  22. 22. Webinar Desarrollo con ODI Packages • Define secuencia ejecución • ODI Tools • Mappings • Procedimientos Load Plans • Definen el flujo de carga • En serie • En paralelo • Ejecuta escenarios • Diferentes tipos de reinicio • Ejecución parcial 22 © avanttic Consultoría Tecnológica, S.L. Orquestar el flujo de datos
  23. 23. Webinar Desarrollo con ODI • Objetos debugables • Mappings • Escenarios • Procesos • Paquetes • Sobre cualquier agente (sesiones en ejecución) • Ejecución paso a paso • Edición sentencias SQL • Ejecutar código modificado 23 © avanttic Consultoría Tecnológica, S.L. Debugger integrado
  24. 24. Webinar Desarrollo con ODI • Dos modos de journalizing • Simple • Consistente • Modelo publicación/suscripción • Journal/Vistas • Procesos de captura • Suscriptores • Dos implementaciones • Análisis Log transacciones • Triggers • ODI automatiza procesos • Despliegue • Control 24 © avanttic Consultoría Tecnológica, S.L. Realtime Data Warehouse con Change Data Capture (CDC)
  25. 25. Webinar Desarrollo con ODI • KM’s y Substitution API • SDK • Groovy scripts • Puede utilizar comandos del SDK • Automatizar edición/ejecución masiva objetos 25 © avanttic Consultoría Tecnológica, S.L. Extendiendo/Personalizando ODI
  26. 26. Webinar 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g a 12c 8 Oracle Data Integrate Cloud Service 9 Conclusiones Índice © avanttic Consultoría Tecnológica, S.L.26
  27. 27. Webinar Big Data con ODI 12c • Integración de datos en Hadoop (Sistema ficheros local / HDFS / Hbase / BD SQL estándar) • Realizar validaciones y transformaciones de datos en Hadoop • Llevar los resultados obtenidos en Hadoop a otro almacén de datos (Oracle / BD SQL estándar / Hbase) • Disponible a partir de ODI 11.1.1.6 • Se licencia por separado 27 © avanttic Consultoría Tecnológica, S.L. Application Adapter for Hadoop (ODIAAH)
  28. 28. Webinar28 © avanttic Consultoría Tecnológica, S.L. Big Data con ODI 12c Nombre (KM) Propósito Origen Destino LKM File to Hive Cargar datos de local o HDFS en tablas Hive File system Hive IKM Hive Control Append Integra datos en Hive en modo truncate/insert Hive Hive IKM Hive Transform Integra datos en Hive una vez transformados con un script desarrollado en Perl/Python Hive Hive IKM File-Hive to Oracle (OLH- OSCH) Integra datos desde HDFS o Hive en tablas Oracle File system/Hive Oracle IKM File-Hive to SQL Integra datos desde HDFS o Hive en BD SQL File system/Hive BD SQL IKM SQL to Hive-HBase-File Integra datos desde BD SQL en HDFS/Hbase/Hive BD SQL Hive/HBase/ HDFS IKM Hive to Hbase Incremental Update Integra datos desde Hive a Hbase, pudiendo realizar insert/update. Hive HBase LKM HBase to Hive Cargar datos de Hbase a Hive HBase Hive CKM Hive Validar cumplimiento restricciones - Hive RKM Hive Ingeniería inversa de tablas Hive - Hive RKM HBase Ingeniería inversa de tablas Hbase - HBase KM’s incluidos en el Application Adapter for Hadoop (ODIAAH)
  29. 29. Webinar 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g a 12c 8 Oracle Data Integrator Cloud Service 9 Conclusiones Índice © avanttic Consultoría Tecnológica, S.L.29
  30. 30. Webinar Integración con otras herramientas • Cualquier agente puede exponer transformaciones de ODI como WS • Los agentes J2EE pueden exponer Data Services • Invocar Web Services y procesar su respuesta 30 © avanttic Consultoría Tecnológica, S.L. Arquitectura SOA
  31. 31. Webinar Integración con otras herramientas • Funcionalidad EDQ • Profiling • Validar direcciones • Estandarización/Análisis Sintáctico • Combinar y enriquecer registros • Integración EDQ con ODI • Mediante ODI Tools • Monitorización estado jobs EDQ en Operador • Disponible desde 11.1.1.6 31 © avanttic Consultoría Tecnológica, S.L. Enterprise Data Quality (EDQ)
  32. 32. Webinar Integración con otras herramientas • OGG transformaciones básicas “in-row” / ODI transformaciones complejas (lookups, …) • Rendimiento OGG optimizado al procesar microbatches con ODI • Mismo mapping soporta bulk-loads y microbatches • GG es menos invasivo que CDC 32 © avanttic Consultoría Tecnológica, S.L. Oracle GoldenGate (OGG) para Real Time Data Warehouse 32 EMP DEPT DIM FACT DIM DIMDIM ODS Schema DW Schema Oracle BI Log-based, Real-time Data Feeds EMP DEPT Oracle GoldenGate Source OLTP System trans2 trans1trans3 Batch Feed Historic AnalyticsReal-time Analytics Oracle Data Integrator & Data Quality
  33. 33. Webinar Integración con otras herramientas • Linaje de los datos • Análisis de impacto 33 © avanttic Consultoría Tecnológica, S.L. Master Data Management (MDM) con OBIEE
  34. 34. Webinar 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g a 12c 8 Oracle Data Integrator Cloud Service 9 Conclusiones Índice © avanttic Consultoría Tecnológica, S.L.34
  35. 35. Webinar • Porque… • OWB 11.2 es versión terminal • “Premier Support” de OWB 11.2 finalizó en enero de 2015 • La BD 12.x no incluye OWB en la instalación • OWB 11.2 NO estará certificado en BD > 12.1 • Ahora • Oracle provee utilidad de migración de OWB 11.2.0.x a ODI 12.1.y* • Rediseño filosofía desarrollo de ODI orientándola a flujo Migración de OWB 11g a ODI 12c 35 © avanttic Consultoría Tecnológica, S.L. ¿Por qué, cuándo y cómo? *(x>= 3, y>=4)
  36. 36. Webinar Migración de OWB 11g a ODI 12c • Gradualmente • Integrando desarrollos OWB en los flujos ODI • Migrando automáticamente los proyectos OWB a ODI (utilidad migración) • Empezando a desarrollar en ODI los nuevos proyectos (y lo no migrable) 36 © avanttic Consultoría Tecnológica, S.L. ¿Por qué, cuándo y cómo?
  37. 37. Webinar Migración de OWB 11g a ODI 12c 1) Rediseño intuitivo de la filosofía: orientado a flujos. 2) Ejecuta las transformaciones en las BBDD existentes en lugar de tener un servidor intermedio robusto de uso exclusivo para el motor de transformación. 3) Permite utilizar cualquier motor de BBDD como motor de transformación reduciendo los costes y aumentando el desempeño. 4) La arquitectura de ODI permite trabajar de manera declarativa (Cero Código SQL) reutilizando las mejores prácticas de carga y extracción de datos a partir de plantillas ya predefinidas (Knowledge modules - KMs). 5) Arquitectura Nativa y Compatible con SOA. Todas las tareas y el control de los procesos de integración están expuestos como servicios gracias a un agente en java. 6) No tiene restricciones de marca o versión del motor de BBDD que se utilice como motor de transformación o como destino de la información. 7) Menor costos de implementación en cuanto a la curva de aprendizaje, el hardware utilizado y la capacidad e acoplarse a una infraestructura de SOA existente dentro de la organización. 8) El producto sigue evolucionando hacia el futuro, siendo compatible con nuevas tecnologías como Big data… Principales Funcionalidades de ODI frente a OWB © avanttic Consultoría Tecnológica, S.L.37
  38. 38. Webinar 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 12c 7 Actualización de ODI 11g a 12c 8 Oracle Data Integrate Cloud Service 9 Conclusiones Índice © avanttic Consultoría Tecnológica, S.L.38
  39. 39. Webinar Actualización de ODI 11g a 12c • Nomenclatura (interface => mapping) • Filosofía de desarrollo • Dos implementaciones de KM: Template style / Component style • Desarrollo de mappings orientado a flujo • Desaparecen interfaces temporales • Aparecen reusable mappings • Múltiples destinos en un mismo mapping • Aparecen Collocated Agents • Conversión de internal ID a Global Unique Identifiers (GUID) • Mejora rendimiento • Ejecución en paralelo automática • Ejecución tareas concurrentemente 39 © avanttic Consultoría Tecnológica, S.L. ¿Qué ha cambiado?
  40. 40. Webinar Actualización de ODI 11g a 12c • Modos ejecución ODI 12c • Mappings nativos 12c • Compatiblidad 11g • ¿Cómo generar mappings en modo compatibilidad? • Activando opción en la utilidad de actualización • Mediante una opción antes de importar un mapping • Todos los módulos se ejecutan de la misma manera • Es posible convertir mappings compatibles 11g a 12c 40 © avanttic Consultoría Tecnológica, S.L. Modo compatibilidad
  41. 41. Webinar 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c12c 7 Actualización de ODI 11g a 12c 8 Oracle Data Integrator Cloud Service 9 Conclusiones Índice © avanttic Consultoría Tecnológica, S.L.41
  42. 42. Webinar Oracle Data Integrator Cloud Service 42 © avanttic Consultoría Tecnológica, S.L. Facilidades en Cloud Acelere Desarrollos y Análisis • Implemente ODI en Oracle Public Cloud y ejecute cargas de trabajo de E-LT en Oracle Platform as a Service • Mejor procesamiento de inserción, para un ETL de alto rendimiento en cloud, con menos movimiento de datos Costos de desarrollo más bajos • Integración nativa con Oracle Database Cloud Service, Exadata Cloud Service, Big Data Cloud Service y Java Cloud Service • Costos de infraestructura y mantenimiento reducidos con ODICS Potente solución de nube híbrida • Suscripción mensual o a medida
  43. 43. Webinar Oracle Data Integrator Cloud Service 43 © avanttic Consultoría Tecnológica, S.L. Integraciones Cloud • Integración Ficheros diarios y Programados • Integraciones Configurables • Integración datos con archivos XML • Integración incorporada con BICS • Integración incorporada con DBCS • Integración Información histórica ICS integraciones en tiempo real con otras SAAS API SOAP • Invocaciones WS • Datos disponibles, para mayor Capacidad • políticas OWSM API REST • Futuro inmediato • Estará disponible en las siguientes versiones
  44. 44. Webinar Oracle Data Integrator Cloud Service 44 © avanttic Consultoría Tecnológica, S.L. ETL-ELT en Cloud All Data Warehouse 1. Disminuya los costos de su EDW ejecutándose en PaaS o LaaS 2. Movimiento de datos más rápido en tiempo real o por lotes con ODCS y GGCS 3. Maximice el rendimiento de sus procesos de ODI y Data Warehouse con la computación en la nube 4. Consolide todos sus datos en un solo lugar para sus análisis 5. Tiene las Innovaciones con las últimas tecnologías en base de datos y Big Data para una visión más rápida
  45. 45. Webinar Oracle Data Integrator Cloud Service 45 © avanttic Consultoría Tecnológica, S.L. Resumen Moviento de Datos 1. Opciones ORACLE VPN, Oracle Cloud se convierte en una extensión de su propia red 2. Sin VPN, los datos locales se pueden transferir a través de Oracle Storage CS, automatizado utilizando ODI 3. ODI admite la integración con GoldenGate Cloud Service para el movimiento de datos en tiempo real 4. ODI respalda los servicios de SaaS a través de los servicios RESTful o adaptadores de terceros 5. Los datos se transforman en una base de datos relacional o Hadoop utilizando los motores de procesamiento de datos: SQL o Hive
  46. 46. Webinar 1 Introducción 2 Arquitectura de ODI 12c 3 Desarrollo con ODI 12c 4 Big Data con ODI 12c 5 Integración con otras herramientas 6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 7 Actualización de ODI 11g a 12c 8 Oracle Data Integrator Cloud Service 9 Conclusiones Índice © avanttic Consultoría Tecnológica, S.L.46
  47. 47. Webinar Oracle Data Integrator 12c • ODI 12c es una inversión segura • Consolida la experiencia de OWB y ODI para ofrecer elevada productividad • Amplia cobertura funcional, pero extensible y costumizable • Alta disponibilidad, monitorización • Preparada para el presente … y el presente inminente • Conectores Big data • Real time (CDC, OGG) • Momento para migrar de OWB 11g a ODI 12g • Momento para ir a CLOUD 47 © avanttic Consultoría Tecnológica, S.L. Conclusiones
  48. 48. Webinar Oracle Data Integrator 12c 48 © avanttic Consultoría Tecnológica, S.L. Preguntas
  49. 49. Raul.tarifa@avanttic.com Para más información contacte con nosotros a través de comercial@avanttic.com 49 © avanttic Consultoría Tecnológica, S.L. BARCELONA Aragó 182, 4ª planta 08011 Barcelona Tel. 93 151 84 51 MADRID Poeta Joan Maragall 38, 6º B, Edificio Cuzco II 28020 Madrid Tel. 91 116 17 89 el partner

×