Your SlideShare is downloading. ×
Conferencia fidelantoniotorres
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Saving this for later?

Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime - even offline.

Text the download link to your phone

Standard text messaging rates apply

Conferencia fidelantoniotorres

166
views

Published on

Published in: Lifestyle

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
166
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. EL CICLO DE VIDA DEL DATO EN EL QUE EL CICLO DE VIDA DEL DATO EN EL QUE HACER ESTADÍSTICO Fidel Antonio Torres Moya Septiembre de 2008 Septiembre de 2008
  • 2. AGENDA1. Conceptos básicos2. Enfoque de procesos en el quehacer Enfoque de procesos en el quehacer  estadístico3. Infraestructura Colombiana de Datos
  • 3. CONCEPTOS  BÁSICOS
  • 4. DATOSSegún Larry English los datos son:• Representaciones de las cosas o entidades en el mundo real.• R Representaciones d l t i de las características o hechos (atributos) de las entidades.• El material bruto y básico del cual se deriva la información para tomas de decisiones y acciones inteligentes. g• Junto con los datos que describan y contextualicen (metadata) los datos se produce información información.
  • 5. INFORMACIÓN • La información son datos en contexto, d t usables o t t datos bl útiles, datos con significado que pueden ser interpretados y comprendidos. comprendidosINFORMACIÓN = F(datos + definición + presentación) F(datos presentación
  • 6. CONOCIMIENTO Y SABIDURIA La información en contexto, comprendida y aplicada por la gente se convierte en conocimiento Conoc. F(Gente Conoc. = F(Gente + Información + Significado) Significado) El conocimiento es un valor agregado a la información a través de la experiencia y aplicación de la información en un área específica. Cuando se combina conocimiento correcto, C d bi i i t t experiencia e intuición comprendida es posible tomar decisiones y actuar adecuadamente ante situaciones específicas. específicas Esta combinación es lo que se llama sabiduría, el conocimiento empoderado para actuar: Sabiduría = F(Gente + conocimiento + acción) F(Gente acción)http://en.wikipedia.org/wiki/Albert_Einstein
  • 7. DATOS, INFORMACIÓN, CONOCIMIENTO Y SABIDURÍADATOS, INFORMACIÓN, CONOCIMIENTO Y SABIDURÍA
  • 8. DATOS, INFORMACIÓN, CONOCIMIENTO Y SABIDURÍA
  • 9. CICLO DE VIDA DE LOS DATOS• Uso de los datos – Definir la subvista: diseñar la consulta – Recuperar los datos: procesar la consulta – Manipular los datos: ordenar, agregar, reformatear y datos Uso de  li analizar los datos – Presentar resultados diseñar reporte, la forma de resultados: presentación de los datos• Procesamiento de los datos – Depurar l d t D los datos – Consolidar e integrar los datos Procesamiento – Generar valor agregado a partir de los datos de los datos• Adquisición de los datos – Definir la vista: modelamiento lógico de los datos – Implementar la vista: diseño e implementación física de los datos físicos Adquisición – Definir D fi i canales d captura l de t de datos de datos – Asegurar la calidad de los datos en los canales de captura – Obtener los datos: poblar la base de datos – Actualizar registros: almacenamiento y mantenimiento de los datos, copias de seguridad de los datos, archivar los datos datos datos
  • 10. CICLO DE VIDA DE LOS DATOS:  ADQUISICIÓN DE DATOS CICLO DE VIDA DE LOS DATOS: ADQUISICIÓN DE DATOS Implementación Canales de capturaDiseño lógico física Consolición de datosAnálisis de requerimientos
  • 11. CICLO DE VIDA DE LOS DATOS: PROCESAMIENTO DE DATOSCICLO DE VIDA DE LOS DATOS: PROCESAMIENTO DE DATOSDepurar datos Consolidar e Generar valor integrar datos agregado
  • 12. CICLO DE VIDA DE LOS DATOS:  USO DE LOS DATOSDiseño deconsultas Presentación P t ió de resultados Procesar Manipular los datos consulta
  • 13. CONCEPTOS BÁSICOS:  CALIDAD DE DATOS • Calidad de alguna entidad, objeto o cualquier cosa haceQué es calidad? referencia al nivel de satisfacción o cumplimiento consistente con los requerimientos, necesidades o requerimientos, expectativas de los usuarios p usuarios. Qué es calidad de datos? • La calidad de los datos hace referencia al cumplimiento consistente (completo) de los requerimientos o necesidades de los consumidores de los datos. En ese sentido, la calidad de los datos es relativa al uso potencial de los datos datos. • Según Jurán, los datos son de alta calidad si ellos son conformes a su uso previsto en operaciones, tomas de operaciones, decisiones y planeación. planeación. • En otras palabras, calidad de datos es el estado de completitud, validez, consistencia, completitud, validez, consistencia, oportunidad y exactitud que hace que los datos sean apropiados para un uso específico o permitan satisfacer un propósito dado. – CCompletitud l tit d – Validez – Consistencia – Oportunidad (temporalidad) p ( p ) – Exactitud
  • 14. ENFOQUE DE PROCESOS  EN EL QUE HACER  EN EL QUE HACER ESTADISTICO
  • 15. Departamento Administrativo Nacional de Estadística Departamento Administrativo Nacional de Estadística ‐ DANE• MISION “La misión del DANE es producir y  difundir información estadística estratégica  f f ó í é para la toma de decisiones en el desarrollo  económico y social del país, a partir de su  ó ld l í d liderazgo técnico ejercer la regulación del  sistema estadístico nacional” dí l”
  • 16. DANE  ‐DANE   SU QUEHACERDANE ‐ SU QUEHACER Producción de Estadísticas Estratégicas p g para el p , país,garantizando su continuidad y comparabilidad (espacio-temporal) Actualmente el DANE realiza 65 Investigaciones al año, entre investigaciones continuas y especiales Coordinación del Sistema Estadístico Nacional (SEN) Difusión de Estadísticas
  • 17. DANE  ‐DANE  ‐ SU QUEHACER Difusión Armonización Análisis Normalización Ejecución y  Ejecución y Estandarización Procesamiento Planificación DANE Regulación Producción Coordinación
  • 18. MAPA DE PROCESOMAPA DE PROCESO
  • 19. ANÁLISIS DE REQUERIMIENTOS Y DISEÑO Solicitudes VALIDACIÓN DE  DISEÑO DE  CLIENTE Requerimientos REQUERIMIENTOS INVESTIGACIÓN Requerimiento de marco estadístico MARCO UNICO Registros Formato Administrativos Electrónico MARCO MARCO LISTAS AREAS INTERNETDiseño de cuestionario METODOLOGIAS Reglas de validación y consistenciaDefinición de la muestra Plan Pl operativo ti SISTEMA DOCUMENTALDIGITAL …
  • 20. FUENTES BÁSICAS DE CAPTACIÓN CENSOS Encuesta exhaustiva que cubre la totalidad de la población objetivo. Requiere altos niveles de organización y planeación, por lo que típicamente se realiza cada 5 o 10 años años. Interés frente a la fuente •Ajuste y actualización de marcos y directorios •Nuevas estructuras •Proyecciones de población Proyecciones
  • 21. FUENTES BÁSICAS DE CAPTACIÓN MUESTRAS NBasado en un marco muestral dondelos elementos son seleccionadosl l t l i daleatoriamente con una probabilidadde selección conocida. n Interés frente a la fuente•Seguimiento a marcos y directorios•Detección de cambios de coyuntura
  • 22. FUENTES BÁSICAS DE CAPTACIÓN REGISTROS ADMINISTRATIVOS Base de datos actualizada Las deficiencias en casi continuamente por terceros (en la totalidad de los Registros la mayoría de los casos para Administrativos hacen que propósitos administrativos) y de los INE tengan que la cual se pueden desarrollar su ingenio para la extraer/agregar/calcular g g utilización estadística de estadísticas. estas herramientas, lo que no implica asumir el papel de Interés frente a la fuente administrador de estos•Adopción d estándares y normas Ad ió de tá d instrumentos.•Cobertura y comparabilidad Que asegure la calidad de la producción estadística
  • 23. CADENA DE VALOR CADENA DE VALOR DETECCION Y PRODUCCIÓN DIFUSION CLIENTECLIENTE ANALISIS DE DISEÑO ANALISIS ESTADISTICA ESTADISTICA REQUERIMIENTOS SOPORTE CIENTIFICO SOPORTE Y TECNICO INFORMATICO
  • 24. PRODUCCIÓN ESTADÍSTICA  ‐ PRODUCCIÓN ESTADÍSTICA  ‐ RECOLECCIÓN DE DATOS Registros Administrativos BAES DE DATOS Cruda Sectorial MunicipalCAPTURA ENTERRENO EN DMC INTERNET Metadatos Microdato CERO PAPEL Sistemas de producciónFORMULARIOSELECTRÓNICOS Sistema de Monitoreo y Control Estadístico
  • 25. RECOLECCION Acceso autenticación Banco Generación G ió Parámetrospreguntas instrumentos Encuesta Marcos Prediligenciamiento PrediligenciamientoÁrea - Lista Asignación Cargas Cargas Asignadas Recolección Datos Recolectados Transmisión Datos Y Consolidación Crudos Sistema de Monitoreo y Control Estadístico Formulación Datos indicadores De indicadores
  • 26. PRODUCCION ESTADISTICA: SISTEMA ESTANDAR DE RECOLECCION DE DATOS Sistema para la planeación operativa SAPRED GEA SIMCE Sistema para la generación de  Sistema de monitoreo y control   cuestionarios estadístico
  • 27. GENERADOR DE ENCUESTA AUTOMATICO Aplicativo de generación de  cuestionariosAplicativo de habilitación de instrumentos de recolección Aplicativo de recolección de  datosAplicativo de consolidación de  BD bases de datos 27
  • 28. ARQUITECTURA GEA ARQUITECTURA GEA Autenticación Web Service DMC WSDLSQL CE Servidor ADO Base de XML Web datos SOAP SQL HTTP WINDOWS XML ORACLE Acceso a datos Web Service WSDL PLATAFORMA WINDOWS IIS FRAMEWORK .NET PC
  • 29. SISTEMA DE MONITOREO Y CONTROL  INDICADORES INDICADORES  PRE‐ OPERATIVOS OPERATIVOS INDICADORES  TEMATICOS
  • 30. Indicadores preoperativos Para Oiba Santander Proceso precensales Rojo Amarillo Verde Cartografía SensibilizaciónEtapa 1 Gestión de personal Distribución de material Tecnología Estado consolidado de Oiba
  • 31. Indicadores preoperativos Para Oiba Santander y Tecnología Rojo Amarillo Verde DMC encuestadorEtapa 2 DMC supervisor p Centro de acopio Para Oiba Santander, Tecnología – Indicador 3 Centro de acopioEtapa 3 Fecha Responsable Acción tomada 5-mayo-05 Responsble 1 Acción tomada 1 17-mayo-05 Responsble 2 Acción tomada 2 ...
  • 32. VISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA   O GEOGRAFICA
  • 33. Indicadores Operativos
  • 34. INDICADORES MUNICIPIO
  • 35. INDICADORES CON NIVELES DE DESAGREGACION
  • 36. VISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA   O GEOGRAFICA
  • 37. VISUALIZACIÓN NUMERICA O GEOGRAFICAVISUALIZACIÓN NUMERICA   O GEOGRAFICA
  • 38. VISUALIZACIÓN OPERATIVA NSULTA CGIS SERVERSISTEMA DE CON CON ARC C Novedades cartográficas y Georreferenciación de unidades.
  • 39. Indicadores Post operativos
  • 40. GENERALIDADES• Permitía conocer información censal referente  a:. • Indicadores de Vivienda • Indicadores de Hogares • Indicadores de Personas • Indicadores de Unidades Agropecuarias Indicadores de Unidades Agropecuarias • Indicadores de Unidades Económicas• Se verifica y garantiza  la calidad información  censal recolectada.
  • 41. CONSULTA O MODIFICACIONES 1. Introduzca el código del Centro de Acopio (9 dígitos). 1 2 2. Click en el botón Consultar 3. Se despliega una tabla con toda la información censal alimentada. alimentada 4. Si desea modificar un dato, de click sobre la fecha que desea la cual se encontrara3 delineada en azul. 29/11/2005
  • 42. PRODUCCIÓN ESTADÍSTICA  ‐ PRODUCCIÓN ESTADÍSTICA  ‐ PROCESAMIENTO DE DATOS• Procesamiento d l d t P i t de los datos – Depurar los datos – Consolidar e integrar los datos – Generar valor agregado a partir de los datos
  • 43. PRODUCCIÓN ESTADÍSTICA  ‐PRODUCCIÓN ESTADÍSTICA  ‐ PROCESAMIENTO DE DATOS Control Recepción Control Datos Crudos Recepción R ió B.D. Consolidación Consolidada B.D. Consistencia Imputada Imputación Metadatas Agregados Con factores de Funciones expansión Especiales Desagregadas Con factores de Evaluación expansión Calidad Producción Documento de resultados Evaluación Sistema de Monitoreo y Control Estadístico Formulación F l ió Datos D t indicadores De indicadores
  • 44. CADENA DE VALOR) CADENA DE VALOR) DETECCION Y PRODUCCIÓN DIFUSION CLIENTECLIENTE ANALISIS DE DISEÑO ANALISIS ESTADISTICA ESTADISTICA REQUERIMIENTOS SOPORTE CIENTIFICO SOPORTE Y TECNICO INFORMATICO
  • 45. Análisis Dif ió A áli i y Difusión BANCO DE DATOS VIRTUALES SISTEMAS DINAMICOS DE DIFUSIÓN BODEGA SISTEMAS DEDE DATOS INTERNET CONSULTA DINAMICA CERO PAPEL MAPAS TEMATICOS FOROS Y Extranet COMUNIDADES VIRTUALES ENTIDADES OFICIALES Sistema de Monitoreo y Control Estadístico
  • 46. Infraestructura Colombiana de DIFUSIÓN D t Datos 1 2 3 tad Repositorio de Información básica . lombiest Evaluación de . Desagregadas CalidadCon factores de . expansión (ETL) Metadato n Col Modelos Dimensiónales De análisis Estadístico Sistema de Monitoreo y Control Estadístico
  • 47. Infraestructura Colombiana de Datos• Estructura General ICD• Enfoque metodológico
  • 48. Decreto 3851 de 2006:  Sistema de aseguramiento de la calidad, almacenamiento y Sistema de aseguramiento de la calidad almacenamiento yconsulta de la información básica colombiana y se dictan otras  disposiciones 1. 2. 3. Proceso de Proceso de Calidad Difusión de la Certificación e Integración Información de Calidad de IB de la Información Básica Básica CANDANE - ACIOB BODEGA DE DATOS COLOMBIESTAD
  • 49. Información Básica:Se define como básica “la información de carácter  estadístico, geográfico, de personas y territorial,  estadístico geográfico de personas y territorial de utilidad para la administración,  resultante de  procesar bases de datos conformadas a partir de  procesar bases de datos conformadas a partir de registros, censos,  encuestas y observaciones”. Decreto 3851 de 2006
  • 50. Infraestructura Colombiana de  Datos“Sistema administrativo de información oficial Sistema básica, de uso público, consistente en unaarquitectura de información estandarizada, apta q , ppara la transmisión, aseguramiento de calidad, procesamiento, difusión, e intercambio electrónico de datos entre generadores y usuarios” Decreto 3851 de 2006
  • 51. Certificación de Calidad“Para ser incorporadas a la ICD, las bases de datos deberán obtener un Certificado de Calidad de la Información Básica -CI-, que expedirá el DANE con base en inspección practicada por una comisión d expertos ti d i ió de t independientes integrada por al menos tres profesionales competentes en la materia, materia escogidos por el DANE entre profesores universitarios, expertos internacionales y , p usuarios de la información”... Decreto 3851 d 2006 D t de
  • 52. Criterios de Evaluación AC DIMENSIONES DE CALIDAD GESTIÓN PRODUCTO Relevancia y Diseño Procesos Recursos Completitud Definición de Objetivo Precisión y Requisitos Recolección Financieros Definiciones metodológicas Oportunidad y de recolección y Infraestructura y Puntualidad Procesamiento procesamiento Tecnológicos Accesibilidad y Validación del Claridad Cl id d Difusión Humanos DiseñoComparabilidad y Coherencia Aseguramiento de calidad REFERENCIAS : FMI, EUROSTAT, CEPAL, ISO900, MODELO EFQM
  • 53. Principales componentes  de la ICD de la ICD Datos sobre Datos Personas Espaciales ICDE Datos Datos Territoriales Estadísticos y Regionales g Decreto 3851 de 2006 D t d
  • 54. 1.Infraestructura de datos sobre personas: “Registros de hechos vitales y migraciones Registros que sirvan para actualizar la información censal de población, cobertura de p p protecciónsocial, registros educativos, registro mercantil, registro de contribuyentes, beneficiarios de subsidios, d b idi damnificados y otros d l misma ifi d t de la i índole”. Decreto 3851 de 2006
  • 55. 2.Infraestructura de datos estadísticos: “Estadísticas generadas por registros administrativos, administrativos censos o encuestas sobre aspectos socio económicos y demográficos,estadísticas derivadas, modelos de estadística prospectiva y demás de la misma índole”. Decreto 3851 de 2006
  • 56. PENDES O OFERTA1. Inventario de1 I t i dOperaciones ActualEstadísticas DEMANDA Prospectiva Oferta2.2 Diagnóstico Demanda Cruce preliminar O - D3.3 Documento PENDES
  • 57. Clasificación de Información de Operaciones Estadísticas SECTOR SUBSECTOR TOTAL TOTAL 1127 TOTAL SECTOR 558 AGRICULTURA, GANADERÍA Y PESCA 97 BANCA Y SERVICIOS FINANCIEROS 99 COMERCIO, INDUSTRIA Y SERVICIOS 111ECONÓMICO COMUNICACIONES 26 CONSTRUCCIÓN Y VIVIENDA 24 CUENTAS ECONÓMICAS 90 MINERO - ENERGÉTICO 39 TRANSPORTE 72 TOTAL SECTOR 54RECURSOS NATURALES Y MEDIO ECOSISTEMAS 47AMBIENTE SUMINISTRO DE AGUA Y SANEAMIENTO BÁSICO 7 TOTAL SECTOR 515 ADMINISTRACIÓN PÚBLICA, ACTIVIDAD 95 POLÍTICA Y ASOCIACIONES CULTURA, DEPORTE Y OCIO 63 DEMOGRAFÍA Y POBLACIÓN 10SOCIAL EDUCACIÓN, CIENCIA Y TECNOLOGÍA 50 JUSTICIA 96 MERCADO LABORAL 13 NIVEL, CALIDAD Y CONDICIONES DE VIDA 17 SEGURIDAD 101 SALUD Y SEGURIDAD SOCIAL 70
  • 58. Clasificación de las Operaciones por tipo CENSO MUESTREO MUESTREO NO REGISTRO ESTADÍSTICA REGISTRO ESTADÍSTICA PROBABILÍSTICO PROBABILÍSTICO ADMINISTRATIVO DERIVADA ADMINISTRATIVO Y DERIVADA Y OTRA OTRA 6% 1.6% 4.7% % 1.9% 9% 76.1% 6 % 14.9% 9% 0 % 0.7% 0 % 0.2% 857 Censo 900 Muestreo 800 Probabilístico 700 Muestreo no 600 Probabilístico 500 Registro Administrativo 400 Estadística Derivada 300 168 200 18 53 21 Registro 8 2 Administrativo y Otra 100 Estadística Derivada 0 y Otra
  • 59. 3.Infraestructura Colombiana de Datos Espaciales ICDE: p “Información geográfica relativa a catastro, inventarios de infraestructura física recursos física, minerales, hídricos, vegetales y biodiversidad, geología, geomorfología, suelos, amenazas naturales, climatología, cobertura y uso del suelo, oceanografía, batimetría, registro depropiedad inmobiliaria, listado de direcciones de edificaciones urbanas y rurales, conexiones de servicios ser icios públicos domiciliares y demás de la domiciliares, misma índole”. Decreto 3851 de 2006
  • 60. 4.Infraestructura de datos generadosen entidades territoriales yregionales: “Bases de datos no comprendidas en los componentes antes enumerados, padministradas por Gobernaciones, Municipios,entes regionales, provinciales, locales y entes no gubernamentales que voluntariamente se b t l l t i t incorporen a la ICD”. Decreto 3851 de 2006
  • 61. Estructura general d l ICD E l de la Arquitectura de Datos Integración y Aplicaciones Certificación Difusión Calidad de datos Área de Integración de la Área de análisis de analíticas información básica información básica ción de datos Consultas Multidimen PORTAL WEB RIB Modelos de Consultas ad hoc CANDANE Análisis Calid e integrac Repositorio de información D D básica D H D H D D H D Indicadores D EPIB RAVEC (Entidad u Analítica por Productora OTRO) dad procesos Centros de s De Informació atención n Basica) MIB Minería de datos Metadatos de información básica ETL Mapas temática • Sistema de metadatos Sistemas Sistema de administración y control Transversales Sistema de aseguramiento de la calidad Repositorio de información básica p Estándares DSL PC Móvil Cable Redes SoftwarePlataforma tecnológica (hardware, software, comunicaciones)
  • 62. Herramientas para aplicación del proceso (Kettle)ETL – Extract: Lectura de datos desde diferentes fuentes (archivos planos tablas de bases de datos planos, datos,consultas SQL, archivos Excel, Etc.)ETL Transform: L – Transform: - Unificación de codificaciones, Descomposición campos compuestos en únicos,Detección los valores erróneos.- Unificación de estándares: unidades de medida, tiempo, moneda. , p ,- Eliminación de valores duplicados.- Creación de Claves numéricas consecutivas (llaves subrogadas).ETL – LoadCargas los datos transformados y mapeados a la nueva fuente de datos.
  • 63. Herramientas para aplicación del proceso (Kettle)
  • 64. Mostrar gráfica • Hacer clic en botón para Visualizar gráfica MedidasDimensión
  • 65. Generar reporte en PDF G t• Hacer clic en el  Hacer clic en el botón para generar  reporte PDF• Configuración del  reporte PDF• Almacenar o  Almacenar o visualizar reporte  en disco local
  • 66. Operaciones estadísticas disponibles (14)O i t dí ti di ibl (14)• Ministerio de Transporte 1. Costos operacionales (por Carretera). 2. 2 Movilización Mo ili ación de carga (enc esta origen destino a vehículos de carga). (encuesta origen-destino ehíc los carga) 3. Movimiento Portuario Fluvial 4. Registro Nacional de vehículos de carga.• DANE 1. Encuesta de Transporte Urbano. 2. Índice de Precios al Consumidor IPC.• Aeronáutica Civil 1. Origen y destino pasajeros y carga. 2. Operaciones de trafico regular. 3. Operación de aerotaxis. 4. 4 Operación de vuelos charter. charter 5. Tráfico de Helicópteros.• INVIAS 1. 1 Conteos Manuales de Transito. Transito 2. Ingreso por concepto de peajes. 3. Control de Peso Bruto Vehicular.
  • 67. Preguntas?Fidel Antonio Torres Moya Jefe Oficina de Sistemas DANE @ g fatorresm@dane.gov.co