Infraestructura de difusión de datos y metadatos estadísticos del ISTAC en el marco Linked Open Data y SDMX

DIFUSIÓN ESTADÍSTICA
PROYECTO METAMAC
Infraestructura de datos y
metadatos estadísticos

DIFUSIÓN ESTADÍSTICA
PROYECTO METAMAC
Infraestructura de datos y
metadatos estadísticos
Alberto González Yanes
Jefe de Servicio de Estadísticas Económicas
jgonyanp@gobiernodecanarias.org
@agonzalezyanes

PROYECTO METAMAC: Infraestructura de datos y metadatos estadísticos
• Introducción
• Marco internacional
• Estrategia de desarrollo
• Características generales
• Aplicaciones desarrolladas
– ¿Cuáles son?
– ¿Dónde se instalan?
• Módulos transversales
• Módulos de planificación
• Móduolos de normalización
• Módulos de difusión
• Buenas prácticas usadas en la construcción de las APIS
Indice

INTRODUCCIÓN

Proveer, con independencia técnica y profesional, información
estadística de interés de la CAC atendiendo a la fragmentación del
territorio y a sus singularidades y cumpliendo con los principios de
pertinencia, precisión y fiabilidad, oportunidad y puntualidad,
coherencia y comparabilidad, accesibilidad y claridad.
Asimismo, promover, dirigir, coordinar y centralizar la actividad de
los órganos y unidades estadísticos de la CAC y cooperar en materia
estadística con otros organismos.
MISIÓN DEL ISTAC – Plan estratégico 2010/2015
Proveer información estadística cumpliendo
con los principios de accesibilidad y claridad
¿Qué son los principios de accesibilidad y claridad?

Principio número 15.- Accesibilidad y claridad
“Las estadísticas europeas deberían presentarse de forma clara y
comprensible, difundirse de forma adecuada y conveniente y estar
disponibles, asimismo se debería permitir el acceso a las mismas de forma
imparcial, con metadatos y orientación de apoyo”.
CÓDIGO DE BUENAS PRÁCTICAS DE LAS ESTADÍSTICAS EUROPEAS
PUBLICAR
ENTENDER
INFORMACIÓN ESTADÍSTICA

1. Las estadísticas se presentan de tal forma que facilitan una interpretación adecuada y
comparaciones significativas.
2. Los servicios de difusión utilizan una tecnología moderna de información y comunicación y, si
procede, una copia impresa tradicional.
3. Cuando sea posible se suministran análisis a medida y se hacen públicos.
4. Se puede permitir el acceso a los microdatos a efectos de investigación. Dicho acceso está
sometido a protocolos estrictos.
5. Los metadatos están documentados con arreglo a sistemas de metadatos normalizados.
6. Se mantiene informados a los usuarios sobre la metodología de los procesos estadísticos y la
calidad de la producción estadística respecto a los criterios de calidad del SEE.
Indicadores del principio número 15.- Accesibilidad y claridad

Interoperabilidad
“La interoperabilidad es la capacidad de los sistemas de
información y de los procedimientos a los que éstos dan soporte, de
compartir datos y posibilitar el intercambio de información y
conocimiento entre ellos.”
LEY 11/2007 DE ACCESO ELECTRÓNICO DE LOS CIUDADANOS A LOS
SERVICIOS PÚBLICOS
Real Decreto 4/2010, de 8 de enero, por el que se regula el Esquema Nacional
de Interoperabilidad en el ámbito de la Administración Electrónica.
INTEROPERAR

Reutilización de la información
“Se entiende por reutilización el uso de documentos que obran en
poder de las Administraciones y organismos del sector público,
por personas físicas o jurídicas, con fines comerciales o no
comerciales, siempre que dicho uso no constituya una actividad
administrativa pública.”
LEY 37/2007 SOBRE REUTILIZACIÓN DE INFORMACIÓN DEL SECTOR PÚBLICO
REUTILIZAR

PUBLICAR
INTEROPERAR
REUTILIZAR
PRINCIPIOS DE ACTUACIÓN EN LA DIFUSIÓN ESTADÍSTICA
Accesibilidad
Claridad ENTENDER
UN RETO
Construir la Infraestructura de Datos Estadísticos que
integre datos, metadatos, servicios e información para
promover el uso de los mismos.

MARCO INTERNACIONAL

Generic Statistical Business Process Model (GSBPM)

Generic Statistical Information Model (GSIM)

Estándares – modelos – implementaciones - herramientas

ESTRATEGIA DE DESARROLLO

INFRAESTRUCTURA
MICRODATO
MACRODATO
i
Cartografías, callejeros,
directorios, nomenclaturas, códigos…
Cada oveja con su pareja: datos, metadatos y usuarios
ANALISTAS
CIUDADANOS
I+D+i METADATOS
METADATOS

Estrategias para facilitar el uso de las estadísticas
INFRAESTRUCTURA
MICRODATO
MACRODATO
i
PÚBLICO
INFRAESTRUCTURA
MICRODATO
MACRODATO
i
PÚBLICO
METADATOS: Estructurales y referenciales >> acceder, entender, procesar, compartir
Infraestructura de Datos Estadísticos: Datos + metadatos + servicios
API Rest
Widget
Apps móviles
API Rest
API SOAP
SPARQL
endpoint
API Rest
API SOAP
API Rest
API SOAP
WMS
JSON-stat =

PC-AXIS
SDMX-ML
SDMX-RDF
ESTRUCTURAR Y DOCUMENTAR
2010
2013-2014
Sine die
INFRAESTRUCTURA
MICRODATO
MACRODATO
i
METADATOS
Hoja de ruta para el caso de los macrodatos

JSON-STATJSON-STAT
API con salidas JSON
Exportación a DSPL
Difusión mediante widgets y APPs
Difusión en Google Public Data Explorer
http://json-stat.org/
INFRAESTRUCTURA
MICRODATO
MACRODATO
i
Facilitando el acceso a sistemas de indicadores
QUÉ – DÓNDE – CUÁNDO
Los dónde llevan asociados longitud y
latitud lo que facilita la elaboración de
mapas con símbolos proporcionales, por
ejemplo por Google Public Data Explorer

CARACTERÍSTICAS GENERALES

Ciclo de vida / versionado
Características generales

Meta-documentación
SDMX
PC-AXIS
DUBLIN
CORE
DSPL
DDI
ESMS
DCAT

Roles

Roles
Estos roles podrían ampliarse
según las necesidades del ISTAC
en otros aplicativos

Servicios
SISTEMA EXTERNO
SISTEMA INTERNO

Servicios
SISTEMA INTERNO
SISTEMA EXTERNO
SISTEMA INTERNO
SISTEMA EXTERNO

Servicios
SISTEMA INTERNO
SISTEMA EXTERNO
SISTEMA INTERNO
SISTEMA EXTERNO
API API
API API

Servicios
SISTEMA INTERNO
SISTEMA EXTERNO
SISTEMA INTERNO
SISTEMA EXTERNO
API API
API API
SISTEMA INTERNO
SISTEMA EXTERNO
API API
API API

Ubicación de las BBDD
SISTEMA INTERNO
SISTEMA EXTERNO
SISTEMA INTERNO

APLICACIONES DESARROLLADAS

Entornos
Alberga las aplicaciones internas del ISTAC que
no pueden ser accedidas desde el exterior
Alberga las aplicaciones que se desea que sean
accedidas desde un entorno ajeno al Gobierno
de Canarias
Aplicaciones desarrolladas

Entorno de Difusión
Entornos
Entorno de ProducciónEntorno de Planificación

Entornos
Normalización
Producción
de la
difusión
Difusión

Entornos
Normalización
Producción
de la
difusión
Difusión
*.sdmx-ml
*.csv normalizados
*.sdmx-ml
*.px
*.csv estructurados
Datos
*.sdmx-ml
*.px
*.csv estructurados
*.xls
*.json
Gráficos
Mapas

Entornos
Normalización
Producción
de la
difusión
Difusión
Gestor de
operaciones
estadísticas
Gestor de
recursos
estructurales
Gestor de
recursos
estructurales
Gestor de
recursos
estadísticos
Visualizador de
datasets
Registro SDMX
Es la misma aplicación
Gestor de
sistemas de
indicadores
Widgets

Entornos
Servicios Transversales
Normalización
Producción
de la
difusión
Difusión

Entornos
Gestor de
avisos
Gestor de
accesos
Servicio de
autenticación
Servicio de
avisos
Gestor de
ayudas
Contenedor de
aplicaciones
Normalización
Producción
de la
difusión
Difusión

Entornos
Producción de la
difusión
Difusión
Entornode
Producción
Entornode
Planificación
NORMALIZACIÓN

Entorno: Subsistema de Producción de la difusión
SERVICIO DE AUTENTICACIÓN
CONTENEDOR DE APLICACIONES
SERVICIO DE AVISOS GESTOR DE AVISOS
GESTOR DE AYUDAS
Aplicaciones desarrolladas Entorno de Difusión
Producción
de la
difusión
Difusión
EntornodeProducción
Entornode
Planificación

GESTOR DE AYUDAS
Gestor de recursos
estadísticos
Gestor de operaciones
estadísticas
Gestor de recursos
estructurales
Control de accesos Metadatos Comunes
Gestor de indicadores
Producción
de la
difusión
Difusión
Entornode
Planificación

GESTOR DE AYUDAS
estadísticas
Gestor de recursos
estructurales
Gestor de recursos estadísticos
Gestor de
datasets
Gestor de
colecciones
Gestor de
consultas
Producción
de la
difusión
Difusión
Entornode
Planificación

GESTOR DE AYUDAS
estadísticas
Gestor de recursos estructurales
CodelistsAgencias ConceptosCategorías DSD
Gestor de
datasets
Gestor de
colecciones
Gestor de
consultas
Producción
de la
difusión
Difusión
Entornode
Planificación

GESTOR DE AYUDAS
estadísticas
Gestor de
datasets
Gestor de
colecciones
Gestor de
consultas
Indicadores Sistemas
Producción
de la
difusión
Difusión
Entornode
Planificación

GESTOR DE AYUDAS
estadísticas
Gestor de
datasets
Gestor de
colecciones
Gestor de
consultas
API Int. API Ext. API Ext.
API Int. API Ext. API SDMXAPI Ext. API SDMXAPI Int. API Int. API Ext.
Producción
de la
difusión
Difusión
Entornode
Planificación

GESTOR DE AYUDAS
estadísticas
Gestor de
datasets
Gestor de
colecciones
Gestor de
consultas
API Int.
API Int.API Int. API Int.
Producción
de la
difusión
Difusión
Entornode
Planificación

estadísticas
Metadatos Comunes
Gestor de
datasets
Gestor de
colecciones
Gestor de
consultas
API Ext. API Ext.
API Ext. API SDMXAPI Ext. API SDMX API Ext.
Producción
de la
difusión
Difusión
Entornode
Planificación

Entornos
Producción de la
difusión
Difusión
Entornode
Producción
Entornode
Planificación

Portal Web
Visualizador de
datasets
Registro SDMX
Otros visualizadores
Entorno: Subsistema Difusión
Inventario Operaciones
Glosario de conceptos
Glosario de
clasificaciones
Widgets
Producción
de la
difusión
Difusión
Entornode
Planificación

Portal Web
Visualizador de
datasets
Entorno: Subsistema Difusión
Producción
de la
difusión
Difusión
Entornode
Planificación

Visión general: Sistema final

Visión general: Sistema actual

Visión general: Transición entre sistemas

MÓDULOS TRANSVERSALES

MÓDULOS TRANSVERSALES
Gestor de
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas
Módulos transversales

Relación de módulos transversales
Aplicativos entorno
Gestor de
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas
Módulos transversales

Gestor de accesos
Aplicativo que define los usuarios con acceso a los aplicativos del ISTAC
y los roles que tiene cada usuario por operación estadística en cada uno
de ellos.
Aplicaciones Roles Usuarios
Operaciones
Estadísticas
Accesos
Módulos transversales Gestor de
accesos
Servicio de
autenticación
Contenedor de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Gestor de accesos
 Acceso
Aplicaciones Roles Usuarios
Operaciones
Estadísticas
Accesos
Campos obligatorios
Campos opcionales
accesos
Servicio de
autenticación
Contenedor de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

GESTOR DE ACCESOS
Gestor de accesos
Aplicativo Web
BBDD
GESTOR_OPERACIONES
GESTOR_METADATOS_COMUNES
GESTOR_RECURSOS_ESTADISTICOS
GESTOR_RECURSOS_ESTRUCTURALES
accesos
Servicio de
autenticación
Contenedor de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

GESTOR DE ACCESOS
Gestor de accesos
Aplicativo Web
BBDD
APP 01
APP 02
APP 03
APP 04
accesos
Servicio de
autenticación
Contenedor de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

GESTOR DE ACCESOS
Gestor de accesos
Aplicativo Web
BBDD
APP 01
APP 02
APP 03
APP 04
Servicio de
autenticación
accesos
Servicio de
autenticación
Contenedor de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Servicio de autenticación
El CAS (Central Authentication Service) es el módulo que permite
centralizar las credenciales del usuario para todos los procesos de login
permitiendo Single Sign-On y Single Sign-Out.
Gestor de
accesos
APP 01
APP 02
APP 03
APP 04
Servicio de
autenticación
LDAP
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

CASGESTOR-INDICADORES
1: El aplicativo llama al CAS y
comprueba si es necesario
realizar el login
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

realizar el login 2: El CAS muestra un formulario
para realizar el Login
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

LDAP
3: El CAS valida en el LDAP el
usuario y la contraseña del usuario
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

LDAP
GESTOR-ACCESOS
GESTOR-ACCESOS
4: El CAS obtiene del GESTOR-ACCESOS los
roles del usuario
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

CAS…
LDAP
GESTOR-ACCESOS
GESTOR-ACCESOS
4: El CAS obtiene del GESTOR-ACCESOS los
roles del usuario
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Contenedor de aplicaciones
Permite unificar el acceso a todos los aplicativos desarrollados para el
ISTAC en un único punto de tal manera que se facilite el acceso a los
técnicos a cualquiera de los aplicativos
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

 Existen diferentes opciones para crear los enlaces
 Enlaces simples
 Menús con un único grupo y sin títulos
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

 Existen diferentes opciones para crear los enlaces
 Usando menús con múltiples grupos y títulos
 … variaciones derivadas del uso de grupos y títulos
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Servicio y gestor de avisos
•Las emiten automáticamente las aplicaciones.
•Pueden emitirse tras una acción del usuario o tras una acción en
segundo plano.
•Las acciones en segundo plano siempre notifican al usuario que lanzó la
acción.
Notificaciones
•Se envían manualmente cuando se requiere.
•Siempre envían e-mail.
•Se envían desde el gestor de accesos.
Anuncios
TIPOS DE AVISOS
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

DESTINATARIOS DE LOS AVISOS
Destinatarios
Usuarios Condiciones
Operación
Aplicación
Rol
Ninguna
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Gestor Operaciones
Estadísticas
Gestor Recursos
Estructurales
Gestor Recursos
Estadísticos
…
Servicio de Avisos
API
BBDD
Avisos
Gestor de avisos
Aplicaciones remitentes
Aplicaciones consumidoras
Servicio de e-mail
ARQUITECTURA
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Gestor Operaciones
Estadísticas
Gestor Recursos
Estructurales
Gestor Recursos
Estadísticos
…
Servicio de Avisos
API
BBDD
Avisos
Gestor de avisos
Servicio de e-mail
¿Cuándo recibo e-mail?
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Gestor Operaciones
Estadísticas
Gestor Recursos
Estructurales
Gestor Recursos
Estadísticos
…
Servicio de Avisos
API
BBDD
Avisos
Gestor de avisos
Servicio de e-mail
¿Cuándo recibo e-mail?
• Para cada acceso se define si
se desean recibir e-mail o no.
• Si hay conflicto entre varios
accesos, se enviará.
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Servicio y gestor de avisos:
Posibilidad de mejora 01
Gestor Operaciones
Estadísticas
Gestor Recursos
Estructurales
Gestor Recursos
Estadísticos
…
Servicio de Avisos
API
BBDD
Avisos
Lector de avisos
Contenedor
aplicaciones
Servicio de e-mail
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Gestor Operaciones
Estadísticas
Gestor Recursos
Estructurales
Gestor Recursos
Estadísticos
…
Servicio de Avisos
API
BBDD
Avisos
Lector de avisos
Contenedor
aplicaciones
Servicio de e-mail
3
3
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Gestor Operaciones
Estadísticas
Gestor Recursos
Estructurales
Gestor Recursos
Estadísticos
…
Servicio de Avisos
API
BBDD
Avisos
Lector de avisos
Servicio de e-mail
Servicio de
mensajería
instantánea
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Gestor de ayudas
Gestor Operaciones
Estadísticas
Gestor Recursos
Estructurales
Gestor Recursos
Estadísticos
…
Servicio de Ayudas
API
BBDD
Ayudas
Gestor de ayudas
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

Gestor de ayudas
accesos
Servicio de
autenticación
Contenedor
de
aplicaciones
Servicio de
avisos
Gestor de
avisos
Gestor de
ayudas

MÓDULOS DE PLANIFICACIÓN

MÓDULOS DE PLANIFICACIÓN
Gestor de
operaciones
estadísticas
Módulos de planificación

Módulos de planificación

Gestor de operaciones estadísticas
FAMILIAS DE
OPERACIONES
ESTADÍSTICAS
OPERACIONES
ESTADÍSTICAS
INSTANCIAS DE
OPERACIONES
ESTADÍSTICAS
Módulos de planificación Gestor de
operaciones
estadísticas

FAMILIAS DE
OPERACIONES
ESTADÍSTICAS
OPERACIONES
ESTADÍSTICAS
INSTANCIAS DE
OPERACIONES
ESTADÍSTICAS
Núcleo de metadatos Núcleo de metadatos Núcleo de metadatos
operaciones
estadísticas

FAMILIAS DE
OPERACIONES
ESTADÍSTICAS
OPERACIONES
ESTADÍSTICAS
INSTANCIAS DE
OPERACIONES
ESTADÍSTICAS
Núcleo de metadatos Núcleo de metadatos Núcleo de metadatos
0..n 0..n 0..n 1
operaciones
estadísticas

FAMILIAS DE
OPERACIONES
ESTADÍSTICAS
OPERACIONES
ESTADÍSTICAS
INSTANCIAS DE
OPERACIONES
ESTADÍSTICAS
https://docs.google.com/spreadsheet/ccc?key=0AtzEH6xQBXVAdDZVczk1ekRNQWJpdjNfTUNhVlg5TUE
Referencias:
Metadatos:
Euro-SDMX Metadata Structure (ESMS) (release 3 March 2009)
Neuchâtel Terminology Model. PART II: Variables and related concepts, object types and their attributes
Familias de operaciones
Operaciones estadísticas
Instancias de operaciones estadísticas
operaciones
estadísticas

MÓDULOS DE NORMALIZACIÓN

USO DE MÓDULOS DE NORMALIZACIÓN
CodelistsOrganizaciones ConceptosCategorías DSD
Módulos de normalización

Gestor de organizaciones
PROVEEDORES
DE DATOS
CONSUMIDORES
DE DATOS
UNIDADES
ORGANIZATIVAS
AGENCIAS
Módulos de normalización Gestor de recursos estructurales

PROVEEDORES
DE DATOS
CONSUMIDORES
DE DATOS
UNIDADES
ORGANIZATIVAS
AGENCIAS
Definidos por SDMX

PROVEEDORES
DE DATOS
CONSUMIDORES
DE DATOS
UNIDADES
ORGANIZATIVAS
AGENCIAS
Un tipo de esquema para cada finalidad

PROVEEDORES
DE DATOS
CONSUMIDORES
DE DATOS
UNIDADES
ORGANIZATIVAS
AGENCIAS
Gestión centralizada de los contactos
Contactos
públicos

Gestor de categorías

Gestor de conceptos
CONCEPTOS
OPERATIVOS
CONCEPTOS DE
MEDIDA
CONCEPTOS DE
ROLES
GLOSARIO DE
TÉRMINOS

Gestor de conceptos
CONCEPTOS
OPERATIVOS
CONCEPTOS DE
MEDIDA
CONCEPTOS DE
ROLES
GLOSARIO DE
TÉRMINOS
Definidos por el ISTAC

Gestor de conceptos
CONCEPTOS
OPERATIVOS
CONCEPTOS DE
MEDIDA
CONCEPTOS DE
ROLES
GLOSARIO DE
TÉRMINOS
Transversales
Operacionales
Transversales
Operacionales

Gestor de conceptos
CONCEPTOS
OPERATIVOS
CONCEPTOS DE
MEDIDA
CONCEPTOS DE
ROLES
GLOSARIO DE
TÉRMINOS
Transversales
Operacionales
Transversales
Operacionales
Concepto
Esquema de conceptos
0..n
1
1
0..n

Gestor de conceptos
CONCEPTOS
OPERATIVOS
CONCEPTOS DE
MEDIDA
CONCEPTOS DE
ROLES
GLOSARIO DE
TÉRMINOS
Transversales
Operacionales
Transversales
Operacionales

Gestor de conceptos
CONCEPTOS
OPERATIVOS
CONCEPTOS DE
MEDIDA
CONCEPTOS DE
ROLES
GLOSARIO DE
TÉRMINOS
Metadatos:
Referencias:
SDMX v2.1
DSPL
Esquema de conceptos
Conceptos
Conceptos de medida
https://docs.google.com/spreadsheet/ccc?key=0AtzEH6xQBXVAdHl3QlBJQlVSNHlXWXVhb3EyWG1ybFE#gid=1

Gestor de codelists
CLASIFICACIONES
CODES
CLASIFICACIONES
CODES

Gestor de codelists
CLASIFICACIONES
CODES
FAMILIAS
CLASIFICACIONES
CODES

Gestor de codelists
ITEMS
VARIABLES CLASIFICACIONES
CODES
FAMILIAS
CLASIFICACIONES
CODES

Gestor de codelists
ITEMS
VARIABLES
CLASIFICACIONES
CODES
FAMILIAS
CLASIFICACIONES
CODES
TERRITORIO
CANARIAS

Gestor de codelists
ITEMS
VARIABLES
CLASIFICACIONES
CODES
FAMILIAS
CLASIFICACIONES
CODES
TERRITORIO
CANARIAS
CAN
CANARIAS
ISLAS_CANARIAS
CL_COMUNIDADES
CL_TERRITORIO
CL_ISLAS_CANARIAS

Gestor de codelists
ITEMS
CODES
FAMILIAS
ITEMS
GEOGRÁFICOS
CLASIFICACIONES
CODES

Gestor de codelists
ITEMS
CODES
FAMILIAS
ITEMS
GEOGRÁFICOS
CLASIFICACIONES
CODES
- Latitud
- Longitud
- Shape

Gestor de codelists
ITEMS
CODES
FAMILIAS FAMILIAS
CLASIFICACIONES
CODES
ITEMS
GEOGRÁFICOS

Gestor de codelists
ITEMS
VARIABLESCONCEPTOS CLASIFICACIONES
CODES
FAMILIAS FAMILIAS
ITEMS
GEOGRÁFICOS
CLASIFICACIONES
CODES

Gestor de codelists
ITEMS
VARIABLESCONCEPTOS
CLASIFICACIONES
CODES
FAMILIAS FAMILIAS
ITEMS
GEOGRÁFICOS
CLASIFICACIONES
CODES

Gestor de codelists
ITEMS
VARIABLESCONCEPTOS
CLASIFICACIONES
CODES
FAMILIAS FAMILIAS
ITEMS
GEOGRÁFICOS
CLASIFICACIONES
CODES
TERRITORIO
CL_PAISES
CL_MUNICIPIOS
CL_COMUNIDADES
CL_TERRITORIO

Gestor de codelists
ITEMS
VARIABLESCONCEPTOS
CLASIFICACIONES
CODES
FAMILIAS FAMILIAS
ITEMS
GEOGRÁFICOS
CLASIFICACIONES
CODES
DESTINO_ALOJAMIENTO
LUGAR_RESIDENCIA
TERRITORIO
CL_PAISES
CL_MUNICIPIOS
CL_COMUNIDADES
CL_TERRITORIO

Gestor de codelists
Referencias:
SDMX v2.1
DSPL
CLASIFICACIONES CODES
Metadatos:
Listas de códigos
Códigos

Gestor de codelists
GESTOR DE
CLASIFICACIONES

Gestor de codelists
GESTOR DE
CLASIFICACIONES LUNA

Gestor de codelists
Para llevar a cabo la interacción con el sistema LUNA se crearán unas vistas que
mantenga el acceso de LUNA a la información que necesita de la misma manera que lo
hace ahora mismo.
GESTOR DE
CLASIFICACIONES LUNA

Gestor de DSD
DSD

Gestor de DSD
DSD ORGANIZACIONES

Gestor de DSD
DSD ORGANIZACIONES
(AGENCY SCHEME)

Gestor de DSD
DSD
OPERACIONES
ORGANIZACIONES
(AGENCY SCHEME)
pertenece a

Gestor de DSD
DSDCONCEPTOS
OPERACIONES
ORGANIZACIONES
(AGENCY SCHEME)
pertenece a
dimensiones

Gestor de DSD
DSDCONCEPTOS
CODELIST
OPERACIONES
ORGANIZACIONES
(AGENCY SCHEME)
pertenece a
dimensiones
representación de las dimensiones

Gestor de DSD
Referencias:
SDMX v2.1
PC-Axis
DSPL
Metadatos:
DSD
Visualización de DSD

USO DE MÓDULOS DE DIFUSIÓN

USO DE MÓDULOS DE DIFUSIÓN
Gestor de
recursos
estructurales
Gestor de
recursos
estadísticos
Gestor de
sistemas de
indicadores
Registro SDMX
Visualizador de
datasets
Widgets
Módulos de difusión

Módulos de difusión

COLECCIONES DATASETS CONSULTAS
Módulos de difusión Gestor de
recursos
estructurales
Gestor de
recursos
estadísticos
Gestor de
sistemas de
indicadores
Registro SDMX
Visualizador de
datasets
Widgets

10..n 1 0..n
recursos
estructurales
Gestor de
recursos
estadísticos
Gestor de
sistemas de
indicadores
Registro SDMX
Visualizador de
datasets
Widgets

COLECCIONES
Entorno interno
Entorno externo
recursos
estructurales
Gestor de
recursos
estadísticos
Gestor de
sistemas de
indicadores
Registro SDMX
Visualizador de
datasets
Widgets

Referencias:
SDMX v2.1
PC-Axis
Dublin Core
CKAN
https://docs.google.com/spreadsheet/ccc?key=0AtzEH6xQBXVAdF9DUnJrOGoyZGZNTWZ0OE43RHVNWmc#gid=13
recursos
estructurales
Gestor de
recursos
estadísticos
Gestor de
sistemas de
indicadores
Registro SDMX
Visualizador de
datasets
Widgets

Gestor de sistemas de indicadores
INDICADOR
INSTANCIA DE
INDICADOR
SISTEMAS DE
INDICADORES
recursos
estructurales
Gestor de
recursos
estadísticos
Gestor de
sistemas de
indicadores
Registro
SDMX
Visualizador
de datasets
Widgets

INDICADOR
INSTANCIA DE
INDICADOR
SISTEMAS DE
INDICADORES
1 0..n 10..n
recursos
estructurales
Gestor de
recursos
estadísticos
Gestor de
sistemas de
indicadores
Registro
SDMX
Visualizador
de datasets
Widgets

CIBERCENTRO
JAXI Remoto
ISTAC
Gestor
Indicadores
Visualizador de
Indicadores
Widget serie
temporal
Widget últimos
datos
BBDD
Indicadores
API RestFul
indicadores
Widget indicadores
al día
JAXI Local
recursos
estructurales
Gestor de
recursos
estadísticos
Gestor de
sistemas de
indicadores
Registro
SDMX
Visualizador
de datasets
Widgets

Aplicativos externos
recursos
estructurales
Gestor de
recursos
estadísticos
Gestor de
sistemas de
indicadores
Registro SDMX
Visualizador de
datasets
Widgets

BUENAS PRÁCTICAS USADAS EN LA
CONSTRUCCIÓN DE LAS APIS

Anatomía de las APIS (I)
 La anatomía de las APIs debe ser pensada y diseñada con esmero.
 La URL base de las APIs será como se define:
http://HOST:POR/PATH/api/NAME/VERSION
http://data.istac.org/api/statistical-operations/v1.0
http://data.istac.org/api/common-metadata/v1.0
 Las APIs deben ser versionables
¡Es una de las labores más importantes!
Buenas prácticas usadas en la construcción de APIs

Anatomía de las APIS (II)
 Los sustantivos que conforman las URLs deben estar en plural
http://data.istac.org/operations/v1.0/operation
http://data.istac.org/operations/v1.0/operations
 Las URLs deben ser incrementales.
http://data.istac.org/operations/v1.0/operations/IPC
http://data.istac.org/operations/v1.0/operations/IPC/instances
http://data.istac.org/operations/v1.0/operations/IPC/instances/INS01

Anatomía de las APIS (III)
 Las URLs no deben contener verbos, deben formarse por sustantivos.
http://data.istac.org/operations/v1.0/retrieveOperation
 Los parámetros deberían definirse tras el símbolo “?”
http://data.istac.es/apis/operations/v1.0/operations/limit=2
http://data.istac.es/apis/operations/v1.0/operations#limit=2
http://data.istac.es/apis/operations/v1.0/operations/?limit=2
http://data.istac.es/apis/operations/v1.0/operations?limit=2

Anatomía de las APIS (IV)
 Debe existir paginación de los resultados
 Offset: Parámetro que indica a partir de qué resultado queremos la respuesta
 Limit: Parámetro que indica el número máximo de resultados por página
 Los parámetros de paginación deben tener asignados unos valores por defecto

Parámetros de búsqueda y orden (I)
 Para cada tipo de recurso se especifica en la documentación de la API cuáles son los
metadatos sobres los que se pueden realizar búsquedas y ordenación
 El parámetro de búsqueda es query
 Operadores lógicos: AND, OR
 Operadores de comparación: EQ, IEQ, LIKE, ILIKE, NE, LT, LE, GT, GE, IS_NULL,
IS_NOT_NULL, IN
 Ejemplo:
?query=(ID LIKE "Operation1" AND OFFICIALITY_TYPE_ID EQ "OfficialityType1") OR
(ACRONYM EQ "Op1") OR (INVENTORY_DATE IS_NULL

Parámetros de búsqueda y orden (II)
 El parámetro de ordenación es orderBy
 Posibles órdenes:ASC, DESC
 Ejemplo:
?orderBy=ID ASC
 Para la paginación recordar que disponemos de los parámetros:
 limit
 offset

Respuesta de las APIS (I)
 Las respuestas deben ser auto-documentadas
 Siempre deberíamos saber cómo hemos llegado a un recurso y cómo acceder a otros
con los que guardo relación
 selfLink: Tipo de recurso al que estoy accediendo y URL
<operations:selfLink kind="statisticalOperations#operation"
href="http://data.istac.es/apis/operations/v1.0/operations/operation1"/>
 parentLink: Recurso padre del que provengo
<operations:parentLink kind="statisticalOperations#operations"
href="http://data.istac.es/apis/operations/v1.0/operations"/>
 childLinks: Recursos hijos a los que puedo acceder
<operations:childLinks total="2">
<cdomain:childLink kind="statisticalOperations#instances”
href="http://data.istac.es/apis/operations/v1.0/operations/operation1/instances"/>
…
</operations:childLinks>

Respuesta de las APIS (II)
 En recursos paginados, deberemos aportar la siguiente información:
 Total
 limit
 offset
 first
 previous
 nextLink
 lastLink

Versionado de las APIS (I)
 Cambios que NO generan aumento de versión
 Nuevos recursos
 Nuevos métodos HTTP para los recursos existentes
 Nuevos formatos de datos
 Nuevos atributos o elementos en tipos de datos existentes
 Cambios que SÍ generan aumento de versión
 Eliminar o renombrar URIs
 Diferente respuesta para la misma URI
 Eliminar el soporte de algunos métodos HTTP para URIs existentes

Versionado de las APIS (II)
 Considerar el uso de “latest” para facilitar a los usuarios el acceso a la última versión de
la API.
 Dadas las siguientes versiones de la API de operaciones estadísticas:
http://data.istac.org/operations/v1.0
 La siguiente URL sería equivalente a acceder a la versión 2.1 de la api.
http://data.istac.org/operations/latest

Manejando errores de las APIS
 La API debe devolver códigos de error HTTP.
 200: OK
 201: Created
 202: Accepted
 204: No Content
 301: Moved Permanently
 304: Not Modified
 401: Unauthorized
 404: Not found
 412: Precondition Failed
 5xx: Server-Side Error

Ejemplo: Obtener operación (I)
…

Ejemplo: Obtener operación (II)
…

GRACIAS POR SU
ATENCIÓN
Más información:
www.gobiernodecanarias.org/istac
www.slideshare/istac
@istac_es

Infraestructura de difusión de datos y metadatos estadísticos del ISTAC en el marco Linked Open Data y SDMX

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (6)

Destacado

Destacado (12)

Similar a Infraestructura de difusión de datos y metadatos estadísticos del ISTAC en el marco Linked Open Data y SDMX

Similar a Infraestructura de difusión de datos y metadatos estadísticos del ISTAC en el marco Linked Open Data y SDMX (20)

Más de Instituto Canario de Estadística (ISTAC)

Más de Instituto Canario de Estadística (ISTAC) (20)

Último

Último (15)

Infraestructura de difusión de datos y metadatos estadísticos del ISTAC en el marco Linked Open Data y SDMX