Data Quality

715
-1

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
715
On Slideshare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
40
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide
  • In order to truly cleanse your enterprise data, you will need a breadth of capabilities. Some frequent requirements includeDetermining the existing state of data by doing Data Analysis and Discovery.Formating data according to the desired standards by doing parsing and standardizationFormating, validating, and enriching addresses across geographiesFinding and removing duplicates (people, product, locations…)Providing reports and dashboards that measure the quality according to the metrics you setAnd lastly, the ability to perform these functions across all data types.
  • The graphical intuitive web interface lets a user handle multiple spectrums of analysis including cataloging source systems, data completeness, data patterns and structures. Discovery allows for an increase in useful information by creating preliminary steps or checkpoints for the business user to create.
  • Data Quality

    1. 1. “Soluciones de Gestiónde Datos”Luis RodriguezLima, lunes, 13 de mayo de 2013
    2. 2. CALIDADDEDATOS
    3. 3. Calidad de Datos• Los datos son ACTIVOS de las empresas, perono se administran con el mismo rigor que losactivos tradicionales.• Lograr y mantener un adecuado nivel deCalidad de Datos requiere un esfuerzo planeadoy permanente que cuesta tiempo, dedicación ydinero.• Los datos, en la mayoría de lasorganizaciones, son deficientes encalidad.
    4. 4. Calidad de Datos• Los problemas de Calidad de Datos sonuniversales – existen en toda organización.• Por lo general estos problemas ocurren, no poruna mala administración, sino por la ejecuciónnormal de los procesos de negocio en lasorganizaciones.• Un pequeño error en algún sistematransaccional se puede convertir en unproblema grave para la toma de decisiones.
    5. 5. Calidad de Datos• Factores que afectan a la calidad de datosProcesos Externos• Migración• Consolidación• Entrada Manual• Cargas Masivas• InterfacesProcesos Internos• Procesamiento• Limpieza• DepuraciónDeterioro Natural• Nuevo uso de los datos• Cambios no registrados• Actualización de Sistemas• Pérdida de conocimientos• Automatización de los procesosBASES DEDATOS
    6. 6. Calidad de Datos• Beneficios del manejo adecuado de la Calidadde Datos– Mayor confianza en los sistemas de toma dedecisiones (76%).– Mejor tiempo para cuadres de información (70%).– Única visión de la verdad (69%).– Satisfacción del cliente (57%).– Reducción de costos (56%).– Aumento en los ingresos (30%).Fuente: The Data Warehousing Institute (TDWI)
    7. 7. Calidad de Datos• Datos propensos a problemas de Calidad dedatos• Los datos de los clientes 74%.• Datos de los productos 43%.• Los datos financieros 36%.• Datos de contacto de ventas 27%.• Datos de los sistemas ERP 25%.Fuente: The Data Warehousing Institute (TDWI)
    8. 8. Calidad de Datos• Procesos de Calidad de DatosPerfilamientode DatosLimpieza deDatosMonitoreo deCalidad deDatos
    9. 9. Calidad de Datos• Perfilamiento de datos (Data Profiling)- Proceso de reconstruir el conjunto de rasgosparticulares que caracterizan los datos.- Consiste en la aplicación de técnicas analíticas alos datos para determinar:* Contenido* Estructura* Calidad
    10. 10. Calidad de Datos• Perfilamiento de datos (Data Profiling)- Se utilizan dos métodos:* Descubrimiento: Se revelas las características delos datos a partir de los mismos.* Pruebas asertivas: Se formulan condicionesverdaderas (Reglas) y se prueban sobre losdatos.
    11. 11. Calidad de Datos• Pasos para el análisis de los datosAnálisis de las propiedadesde las columnasAnálisis de la estructuraAnálisis de reglas de datossimplesAnálisis de reglas de datoscompuestasAnálisis estadístico de losvaloresValores no validosCombinacionesválidas devalores novalidosResultadosilógicosDATOSINEXACTOS No detectablescon técnicasanalíticas
    12. 12. Calidad de Datos• ¿Cuándo hacer un Perfilamiento de Datos?– Proyectos de evaluación o mejoramiento decalidad de datos.– Proyectos de TI que trasladan datos a otrasestructuras, migran o consolidan datos.– Las bases de datos importantes de laorganización se deben “Perfilar”periódicamente.
    13. 13. Calidad de Datos• Limpieza de datos (Data Cleansing)– Implementación de una metodología confiable decalidad de datos que soluciona desde problemastécnicos a esquemas complejos de negocios.• Normalización.• Desduplicación.• Parsing y estandarización.• Enriquecimiento de losdatos.
    14. 14. LA PLATAFORMA DEINFORMATICA
    15. 15. ¿Por qué INFORMATICA?• Liderazgo tecnológico comprobado.• Amplia trayectoria de innovación continua.• El socio confiable más neutral.• Larga historia de éxitos de clientes.date, we’ve seen a return on our investment fromthis program over 2,000 percent”.“… complete, accurate and timely data is afundamental requirement for optimal performance”Enfoque singular en la Integración deDatos.
    16. 16. • Plataforma de Integraciónde datos líder segúnGartner (Octubre 2012).¿Por qué INFORMATICA?
    17. 17. • Plataforma de Calidad dedatos líder según Gartner(Agosto 2012).¿Por qué INFORMATICA?
    18. 18. • Plataforma de ETLEmpresarial líder segúnForrester (Q1, 2012).¿Por qué INFORMATICA?
    19. 19. • Plataforma de Calidadde datos líder segúnForrester (Q1, 2012).¿Por qué INFORMATICA?
    20. 20. Entrega información oportuna a la empresa- Dar soporte durante todo el ciclo de vida de integración de los datos- Permite el desarrollo de cualquier proyecto de integración de datos- Entrega de información en cualquier latenciaMaximiza la productividad- Colaboración basada en roles y perfiles- Servicios compartidos- Interfaces uniformesAgnóstica en integración con aplicaciones heterogéneas- Acceso a datos desde cualquier fuente- Mitiga los riesgos de trabajar con tecnologías actuales y de futuroEnfoque económico de Integración de Datos- Reduce el costo total de propiedad (TCO), Hacer más con menos.- Rápido retorno de la inversión (ROI)IntegralUnificadaEconómicaAbierta¿Por qué INFORMATICA?
    21. 21. Data QualityAssessmentDataLoaderDataSynchronizationDataReplication Cloud EditionGlobal AddressVerificationCloud EditionDataTransformationData ExchangeStandard EditionData ArchiveData SubsetData PrivacyRulePointRuleCastReal-TimeAlert ManagerReal-time EditionAdvanced EditionPowerExchangeData ExplorerData QualityIdentityResolutionAddressDoctorBusiness DirectorMulti-domain HubLatency BusterMessaging (LBM)Ultra Messaging(UME)La Plataforma de Informatica
    22. 22. Análisis y perfiladode los datosParsingyStandardizationValidación dedireccionesMatching ydesduplicaciónMonitoreo&ReportingData Quality
    23. 23. Data Quality• Seis Dimensiones de Data QualityCompletitud Qué datos se pierden o son inservibles?Conformidad Qué datos se almacenan en un formato no estandar?Consistencia Qué valores de datos dan información inconsistente?Precisión Qué datos son incorrectos o fuera de fecha?Duplicidad Qué datos o atributos están repetidos?Integridad Qué datos se pierden o no son referenciados?
    24. 24. Análisis de DatosDatosextraídosEntrada deArchivode datosAnálisisDepuración de los datosAlta calidadde datosQualityreportsEvaluar la integridad de losdatos, su conformidad yconsistenciaMatchingEvaluar la duplicación dedatos, integridad, yexactitudEstandarización Mejoramiento de laintegridad de los datos,conformidad yconsistenciaConsolidaciónEliminar datos duplicadosMejorar la integridadReemplazar los datosinexactosdAnálisis de salidaInformatica Data Quality enfoca los datos del ciclo de vida a través de cuatromódulos flexibles:Baja calidadde datos Salida deArchivo de datosData Quality• Enfoque Modular
    25. 25. DataQuality1. Perfilar2. Establecermétricas yobjetivos3. Definir reglas denegocio4. Implementarservicios de DQ6. Monitoreo delas metricas5. RevisarExcepcionesUsuario deNegocioUsuarioTIAnalistaDeDatosScorecardsBrowser-based toolData Quality para TI y el negocioData Quality
    26. 26. Data Quality• Descubrir - Perfilar: Comprensión Sencilla de los DatosIncremento productividad y eficiencia al habilitar al negocio a tomarresponsabilidad de la calidad de los datos de manera proactiva y asíreducir su dependencia de IT.• Rápido análisis de datos enmúltiples orígenes.• Catálogo de los detalles decada dato en repositorio.• Tablas, columnas, dominios,estructura de datos (Inferidoy Documentado).• Redundancia y completitud deDatos.• Estado y incidentes de DQ aalto nivel.• Marcar datos y documentarinstrucciones para desarrollosde procesos.
    27. 27. Aplicar reglasdentro delperfilamientodesde el origende datos.Seleccionarreglas pre-definidas ocrear propias.InformaticaDeliveredRulesCustomDeveloperCreatedRulesData Quality• Descubrir - Perfilar: Aplicación de Reglas de Negocio
    28. 28. Aplicar lasreglas en elperfilado.Ejecutar elperfilado paraver losresultados.Opcionalmenteejecutar solouna regla y notodo elperfilado.Data Quality• Descubrir - Perfilar: Aplicación de Reglas de Negocio
    29. 29. • Creación de Métricasde seguimiento paratodos los datos• Ver la calidad de losdatos y podermoverse entre ellos• Monitoreartendencias• Compartir cuadrosde mando con elresto de usuariosTodos los usuarios de negocio tienen una vista única y compartidade la calidad de los datos, así participan en su governanceData Quality• Usuario de negocio: Herramienta web sencilla
    30. 30. Data Quality• Análisis de JoinCondiciones de JoinResultadosDrill Down de los datosExportar
    31. 31. Data Quality• Matching y consolidaciónSelección decamposConsolidaciónPrevisualizaciónde resultados
    32. 32. Filtro porincidenciaFiltro porcolumnaAuditoriaManejo de filtrospara la vistaFlag de acción para losregistros: “Accepted”,“Rejected”, o“Reprocessed”Data Quality• Revisión de excepciones
    33. 33. Funcion de Clustery MasterAuditoriaManejo de filtrospara la vistaFlag de acción:“Cluster” recordso“Extract” records deun cluster para crearuno nuevoObservaciones ocomentariosEdición devaloresData Quality• Revisión de duplicados
    34. 34. Creación de grupos porreglase.g. Completeness,Conformity...Conformity,ConsistencyData Quality• Monitoreo y reporting
    35. 35. Data Quality• Monitoreo y reporting
    36. 36. Data Quality• Monitoreo y reporting
    37. 37. Data Quality• Monitoreo y reporting
    38. 38. Gracias por su atención.
    39. 39. LATINOAMÉRICA insidesales@powerdata.peChileAv. Presidente Errázuriz Nº 2999 - Oficina 202Las Condes, Santiago CP 7550357Tel: (+56) 2 892 0362ColombiaCalle 100 No. 8A-55 Torre C. Of. 718BogotáTel: (+57 1) 616 77 96MéxicoInsurgentes Sur Nº 600 Of. 301 y 302,Col. del Valle, Benito JuarezDistrito Federal, México, 03100Tel: (+52 55) 1107-0812PerúCalle Los Zorzales Nº 160, piso 9San Isidro, LimaTel: (+51) 1634 4901ArgentinaAvenida Leandro N Alem 530, Piso 4CD C100 1AAN Ciudad Autónoma de Buenos AiresTel: (+54) 11 4314 1370www.powerdataam.comBarcelonaC/ Frederic Mompou, 4B 1º, 3º08960 Sant Just DesvernT (+34) 934 45 60 01ValenciaEdificio Europa - 5º I Avda, Aragón, 3046021 ValenciaT (+34) 960 91 60 25MadridC/ Miguel Yuste, 17, 4º C28037 MadridT (+34) 911 29 72 97info@powerdata.es www.powerdata.esESPAÑA
    1. ¿Le ha llamado la atención una diapositiva en particular?

      Recortar diapositivas es una manera útil de recopilar información importante para consultarla más tarde.

    ×