• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Data Quality
 

Data Quality

on

  • 461 views

 

Statistics

Views

Total Views
461
Views on SlideShare
431
Embed Views
30

Actions

Likes
0
Downloads
16
Comments
0

1 Embed 30

http://blog.powerdata.es 30

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment
  • In order to truly cleanse your enterprise data, you will need a breadth of capabilities. Some frequent requirements includeDetermining the existing state of data by doing Data Analysis and Discovery.Formating data according to the desired standards by doing parsing and standardizationFormating, validating, and enriching addresses across geographiesFinding and removing duplicates (people, product, locations…)Providing reports and dashboards that measure the quality according to the metrics you setAnd lastly, the ability to perform these functions across all data types.
  • The graphical intuitive web interface lets a user handle multiple spectrums of analysis including cataloging source systems, data completeness, data patterns and structures. Discovery allows for an increase in useful information by creating preliminary steps or checkpoints for the business user to create.

Data Quality Data Quality Presentation Transcript

  • “Soluciones de Gestiónde Datos”Luis RodriguezLima, lunes, 13 de mayo de 2013
  • CALIDADDEDATOS
  • Calidad de Datos• Los datos son ACTIVOS de las empresas, perono se administran con el mismo rigor que losactivos tradicionales.• Lograr y mantener un adecuado nivel deCalidad de Datos requiere un esfuerzo planeadoy permanente que cuesta tiempo, dedicación ydinero.• Los datos, en la mayoría de lasorganizaciones, son deficientes encalidad.
  • Calidad de Datos• Los problemas de Calidad de Datos sonuniversales – existen en toda organización.• Por lo general estos problemas ocurren, no poruna mala administración, sino por la ejecuciónnormal de los procesos de negocio en lasorganizaciones.• Un pequeño error en algún sistematransaccional se puede convertir en unproblema grave para la toma de decisiones.
  • Calidad de Datos• Factores que afectan a la calidad de datosProcesos Externos• Migración• Consolidación• Entrada Manual• Cargas Masivas• InterfacesProcesos Internos• Procesamiento• Limpieza• DepuraciónDeterioro Natural• Nuevo uso de los datos• Cambios no registrados• Actualización de Sistemas• Pérdida de conocimientos• Automatización de los procesosBASES DEDATOS
  • Calidad de Datos• Beneficios del manejo adecuado de la Calidadde Datos– Mayor confianza en los sistemas de toma dedecisiones (76%).– Mejor tiempo para cuadres de información (70%).– Única visión de la verdad (69%).– Satisfacción del cliente (57%).– Reducción de costos (56%).– Aumento en los ingresos (30%).Fuente: The Data Warehousing Institute (TDWI)
  • Calidad de Datos• Datos propensos a problemas de Calidad dedatos• Los datos de los clientes 74%.• Datos de los productos 43%.• Los datos financieros 36%.• Datos de contacto de ventas 27%.• Datos de los sistemas ERP 25%.Fuente: The Data Warehousing Institute (TDWI)
  • Calidad de Datos• Procesos de Calidad de DatosPerfilamientode DatosLimpieza deDatosMonitoreo deCalidad deDatos
  • Calidad de Datos• Perfilamiento de datos (Data Profiling)- Proceso de reconstruir el conjunto de rasgosparticulares que caracterizan los datos.- Consiste en la aplicación de técnicas analíticas alos datos para determinar:* Contenido* Estructura* Calidad
  • Calidad de Datos• Perfilamiento de datos (Data Profiling)- Se utilizan dos métodos:* Descubrimiento: Se revelas las características delos datos a partir de los mismos.* Pruebas asertivas: Se formulan condicionesverdaderas (Reglas) y se prueban sobre losdatos.
  • Calidad de Datos• Pasos para el análisis de los datosAnálisis de las propiedadesde las columnasAnálisis de la estructuraAnálisis de reglas de datossimplesAnálisis de reglas de datoscompuestasAnálisis estadístico de losvaloresValores no validosCombinacionesválidas devalores novalidosResultadosilógicosDATOSINEXACTOS No detectablescon técnicasanalíticas
  • Calidad de Datos• ¿Cuándo hacer un Perfilamiento de Datos?– Proyectos de evaluación o mejoramiento decalidad de datos.– Proyectos de TI que trasladan datos a otrasestructuras, migran o consolidan datos.– Las bases de datos importantes de laorganización se deben “Perfilar”periódicamente.
  • Calidad de Datos• Limpieza de datos (Data Cleansing)– Implementación de una metodología confiable decalidad de datos que soluciona desde problemastécnicos a esquemas complejos de negocios.• Normalización.• Desduplicación.• Parsing y estandarización.• Enriquecimiento de losdatos.
  • LA PLATAFORMA DEINFORMATICA
  • ¿Por qué INFORMATICA?• Liderazgo tecnológico comprobado.• Amplia trayectoria de innovación continua.• El socio confiable más neutral.• Larga historia de éxitos de clientes.date, we’ve seen a return on our investment fromthis program over 2,000 percent”.“… complete, accurate and timely data is afundamental requirement for optimal performance”Enfoque singular en la Integración deDatos.
  • • Plataforma de Integraciónde datos líder segúnGartner (Octubre 2012).¿Por qué INFORMATICA?
  • • Plataforma de Calidad dedatos líder según Gartner(Agosto 2012).¿Por qué INFORMATICA?
  • • Plataforma de ETLEmpresarial líder segúnForrester (Q1, 2012).¿Por qué INFORMATICA?
  • • Plataforma de Calidadde datos líder segúnForrester (Q1, 2012).¿Por qué INFORMATICA?
  • Entrega información oportuna a la empresa- Dar soporte durante todo el ciclo de vida de integración de los datos- Permite el desarrollo de cualquier proyecto de integración de datos- Entrega de información en cualquier latenciaMaximiza la productividad- Colaboración basada en roles y perfiles- Servicios compartidos- Interfaces uniformesAgnóstica en integración con aplicaciones heterogéneas- Acceso a datos desde cualquier fuente- Mitiga los riesgos de trabajar con tecnologías actuales y de futuroEnfoque económico de Integración de Datos- Reduce el costo total de propiedad (TCO), Hacer más con menos.- Rápido retorno de la inversión (ROI)IntegralUnificadaEconómicaAbierta¿Por qué INFORMATICA?
  • Data QualityAssessmentDataLoaderDataSynchronizationDataReplication Cloud EditionGlobal AddressVerificationCloud EditionDataTransformationData ExchangeStandard EditionData ArchiveData SubsetData PrivacyRulePointRuleCastReal-TimeAlert ManagerReal-time EditionAdvanced EditionPowerExchangeData ExplorerData QualityIdentityResolutionAddressDoctorBusiness DirectorMulti-domain HubLatency BusterMessaging (LBM)Ultra Messaging(UME)La Plataforma de Informatica
  • Análisis y perfiladode los datosParsingyStandardizationValidación dedireccionesMatching ydesduplicaciónMonitoreo&ReportingData Quality
  • Data Quality• Seis Dimensiones de Data QualityCompletitud Qué datos se pierden o son inservibles?Conformidad Qué datos se almacenan en un formato no estandar?Consistencia Qué valores de datos dan información inconsistente?Precisión Qué datos son incorrectos o fuera de fecha?Duplicidad Qué datos o atributos están repetidos?Integridad Qué datos se pierden o no son referenciados?
  • Análisis de DatosDatosextraídosEntrada deArchivode datosAnálisisDepuración de los datosAlta calidadde datosQualityreportsEvaluar la integridad de losdatos, su conformidad yconsistenciaMatchingEvaluar la duplicación dedatos, integridad, yexactitudEstandarización Mejoramiento de laintegridad de los datos,conformidad yconsistenciaConsolidaciónEliminar datos duplicadosMejorar la integridadReemplazar los datosinexactosdAnálisis de salidaInformatica Data Quality enfoca los datos del ciclo de vida a través de cuatromódulos flexibles:Baja calidadde datos Salida deArchivo de datosData Quality• Enfoque Modular
  • DataQuality1. Perfilar2. Establecermétricas yobjetivos3. Definir reglas denegocio4. Implementarservicios de DQ6. Monitoreo delas metricas5. RevisarExcepcionesUsuario deNegocioUsuarioTIAnalistaDeDatosScorecardsBrowser-based toolData Quality para TI y el negocioData Quality
  • Data Quality• Descubrir - Perfilar: Comprensión Sencilla de los DatosIncremento productividad y eficiencia al habilitar al negocio a tomarresponsabilidad de la calidad de los datos de manera proactiva y asíreducir su dependencia de IT.• Rápido análisis de datos enmúltiples orígenes.• Catálogo de los detalles decada dato en repositorio.• Tablas, columnas, dominios,estructura de datos (Inferidoy Documentado).• Redundancia y completitud deDatos.• Estado y incidentes de DQ aalto nivel.• Marcar datos y documentarinstrucciones para desarrollosde procesos.
  • Aplicar reglasdentro delperfilamientodesde el origende datos.Seleccionarreglas pre-definidas ocrear propias.InformaticaDeliveredRulesCustomDeveloperCreatedRulesData Quality• Descubrir - Perfilar: Aplicación de Reglas de Negocio
  • Aplicar lasreglas en elperfilado.Ejecutar elperfilado paraver losresultados.Opcionalmenteejecutar solouna regla y notodo elperfilado.Data Quality• Descubrir - Perfilar: Aplicación de Reglas de Negocio
  • • Creación de Métricasde seguimiento paratodos los datos• Ver la calidad de losdatos y podermoverse entre ellos• Monitoreartendencias• Compartir cuadrosde mando con elresto de usuariosTodos los usuarios de negocio tienen una vista única y compartidade la calidad de los datos, así participan en su governanceData Quality• Usuario de negocio: Herramienta web sencilla
  • Data Quality• Análisis de JoinCondiciones de JoinResultadosDrill Down de los datosExportar
  • Data Quality• Matching y consolidaciónSelección decamposConsolidaciónPrevisualizaciónde resultados
  • Filtro porincidenciaFiltro porcolumnaAuditoriaManejo de filtrospara la vistaFlag de acción para losregistros: “Accepted”,“Rejected”, o“Reprocessed”Data Quality• Revisión de excepciones
  • Funcion de Clustery MasterAuditoriaManejo de filtrospara la vistaFlag de acción:“Cluster” recordso“Extract” records deun cluster para crearuno nuevoObservaciones ocomentariosEdición devaloresData Quality• Revisión de duplicados
  • Creación de grupos porreglase.g. Completeness,Conformity...Conformity,ConsistencyData Quality• Monitoreo y reporting
  • Data Quality• Monitoreo y reporting
  • Data Quality• Monitoreo y reporting
  • Data Quality• Monitoreo y reporting
  • Gracias por su atención.
  • LATINOAMÉRICA insidesales@powerdata.peChileAv. Presidente Errázuriz Nº 2999 - Oficina 202Las Condes, Santiago CP 7550357Tel: (+56) 2 892 0362ColombiaCalle 100 No. 8A-55 Torre C. Of. 718BogotáTel: (+57 1) 616 77 96MéxicoInsurgentes Sur Nº 600 Of. 301 y 302,Col. del Valle, Benito JuarezDistrito Federal, México, 03100Tel: (+52 55) 1107-0812PerúCalle Los Zorzales Nº 160, piso 9San Isidro, LimaTel: (+51) 1634 4901ArgentinaAvenida Leandro N Alem 530, Piso 4CD C100 1AAN Ciudad Autónoma de Buenos AiresTel: (+54) 11 4314 1370www.powerdataam.comBarcelonaC/ Frederic Mompou, 4B 1º, 3º08960 Sant Just DesvernT (+34) 934 45 60 01ValenciaEdificio Europa - 5º I Avda, Aragón, 3046021 ValenciaT (+34) 960 91 60 25MadridC/ Miguel Yuste, 17, 4º C28037 MadridT (+34) 911 29 72 97info@powerdata.es www.powerdata.esESPAÑA