Repositorio Datos Ambientales Guayana2008

Repositorios de Datos Ambientales en la Web

1 er Taller Sensibilización en el uso de redes avanzadas en Venezuela Universidad Nacional Experimental de Guayana Ciudad Guayana Junio 2008

Rodrigo Torréns Zulay Mendez Universidad de Los Andes, Centro de Cálculo Científico, Parque Tecnológico de Mérida

Contenido

El problema de la ubicación, preservación y uso de colecciones de datos científicas (en Venezuela y el mundo)

Tendencias en la colaboración científica

Herramientas que pueden ayudar a solucionar algunos de los problemas

Ejemplos de redes de colaboración en el mundo

Red de Estaciones Bio-climáticas de Mérida y ECORED Venezuela

Hablaremos sobre:

Los datos producto de una investigación científica

Partamos de las preguntas básicas:

Los datos que yo necesito… existen?

Donde están?

Como los obtengo?

La mayoria de los científicos se han planteado estas preguntas alguna vez

Problemas-retos a los que nos enfrentamos

Tenemos que tener capacidades para…

Manejar volumen de datos generados actualmente

Preservarlos

Encontrarlos

Compartirlos, distribuirlos

Usarlos, reusarlos

… Problemas a los que nos enfrentamos Ejemplo de degradación normal de los contenidos de información asociados con datos y metadatos a través del tiempo (Michener, 1997) Momento de publicación Detalles específicos acerca de la recolección de los datos se pierden al pasar el tiempo Retiro o cambio de carrera del científico recolector Accidente puede destruir datos y documentación Muerte del investigador y subsecuente perdida de registros restantes Contenidos de Información Tiempo

Nuevas formas de colaboración científica

Ante estos retos, tenemos posibilidades y nuevas maneras de…

producir datos

de compartirlos (publicarlos)

de trabajar colaborativamente

Nuevas formas de colaboración científica Frecuentemente o cada vez más escuchamos y hablamos de… “ ciberinfraestructura” “ e-ciencia” “ e-investigación” “ colaboracion ubicua” “ data-driven Science” “ computación grid” “ computación social” “ acceso abierto al conocimiento” … refiriendose a nuevas formas de producción y diseminación del conocimiento

Ejemplos (actuales):

Datos generados por redes nacionales y mundiales de investigación (biología, medicina, física, etc.):

Datos del LHC generados en el CERN

Datos generados por las redes mundiales de sensores sísmicos

Estudios sobre cambios globales (GCMD-NASA)

Astronomía, los “telescopios virtuales” (Global Internet Telescope)

Banco de datos de Proteinas (PDB, Protein Data Bank)

Data Grids

Bibliotecas Digitales

Repositorios de datos

… Ejemplos

A esto se unen las iniciativas por el uso sin restricciones de la información y datos:

Iniciativas de Acceso Abierto al Conocimiento (OA, Open Access Initiatives)

Movimiento Datos Libres (OD, Open Data)

Repositorios Institucionales y por disciplina

Ejemplos: - CERN LHC

Necesidad de usar tecnologías de información (TICs)

Ubicar

Accesar

Recuperar

Compartir

… datos

La mayoría usa LA RED para satisfacer estas necesidades

Para…

Un objetivo importante Que debemos hacer para lograr el… Uso secundario y a largo plazo de colecciones de datos científicos Se debe… Garantizar permanencia de los datos en el tiempo Poder ubicar y recuperar la información

Herramientas Herramientas organizativas y tecnológicas que pueden hacer esto posible: Uso de metadatos y estándares de intercambio de información Tecnologías de Información y Comunicaciones Formación de Redes de colaboración entre científicos y entre usuarios de información Creación y mantenimiento de repositorios de datos

" Datos sobre los datos " .

"Nivel superior de la información, o instrucciones que describen el contenido, contexto, calidad, estructura, y accesibilidad de una colección de datos específica" (J.K. Michener 1997).

Qué significa la palabra “metadatos”? D M D M1 D M2 Mc D M a) b) c) Metadatos como parte de los datos Metadatos externos al recurso de información Meta-metadatos (colecciones de metadatos)

Preguntas que se deberían poder responder usando metadatos:

Que datos describe una coleccion de datos científicos?

Quien produjo la colección?

Porqué fue creada la colección?

Como fue creada la colección?

Que datos componen la colección?

Cuan confiables son los datos. Que problemas persisten en la colección?

Como alguien puede obtener una copia de la colección?

Quien escribio los metadatos?

Para qué “metadatos”?

Ejemplos de metadatos y de comunidades que usan metadatos Muestra datos NBII http://www.nbii.gov/ Documentación de datos geoespaciales (estándar FGDC) http://cndg.clearinghouse.gub.uy

Ejemplos de metadatos y de comunidades que usan metadatos Documentación de datos geoespaciales (Interfaz a Clearinghouse FGDC y GCMD Data Documenter)

Algunos de los estándares para metadatos geoespaciales, biológicos y ambientales más usados

FGDC-CSDGM. Content Standard for Digital Geospatial Metadata. Federal Geographic Data Committe (1994): Datos geoespaciales. [www.fgdc.gov]

FGDC-NBII. Perfil Biológico de FGDC. Biología y ciencias naturales. [www.nbii.gov].

Global Change Master Directory Interchange Format – DIF. (1993) Ciencias de la Tierra . [gcmd.gsfc.nasa.gov]

Darwin Core (DwC). Colecciones de Historia Natural.

Descriptores para Metadatos no-geoespaciales . NCEAS-LTER (1997) Datos ecológicos. Base del estándar EML. [lternet.washington.edu]

Dublin Core. Estandar general de identificacion de objetos de información en Internet. [www.dublincore.org]

Manejo de colecciones de datos científicos. Algunas experiencias locales Red de Estaciones Ecológicas de Venezuela (ECORED) Red de Estaciones Bioclimáticas del Estado Mérida ( red bc)

Justificación

Dificultades que existen en Venezuela para ubicar y usar colecciones de datos bio-climáticos.

Interés de organizaciones, instituciones y personas que tienen datos históricos los cuales desean preservar o compartir para su uso a largo plazo.

Necesidad de implementar un repositorio de datos que permita realizar análisis y descubrir correlaciones entre diferentes conjuntos de información, que ayuden a la toma de decisiones e investigación científica.

Red de Estaciones Bio-climáticas del Estado Mérida ( red bc )

Manejo, identificación, y preservación en el tiempo , de recursos de información relacionados con la biología y el clima usando estándares internacionales de formato y contenidos.

Generación de un Sistema de Información a través del Web que permita el facil acceso de investigadores, productores y organizaciones que necesiten la información producida por la red de estaciones.

Objetivos principales La Experiencia de la Red de Estaciones Bio-climáticas del Estado Mérida ( red bc )

Mantener en el tiempo las colecciones de datos y desarrollar mecanismos de almacenamiento, catalogación y distribución de la información generada.

Realizar permanentemente labores de identificación de nuevas fuentes de información que puedan incorporarse a las colecciones existentes.

Concientizar a los científicos sobre la importancia de la preservación de los datos generados en sus investigaciones.

Objetivos secundarios y tareas La Experiencia de la Red de Estaciones Bio-climáticas del Estado Mérida ( red bc )

Estaciones de la red bc

Estación La Hechicera, Mérida

Estación Mucujún, Mérida

Estación Santa Rosa, Mérida

Estación San Juan, Mérida

Estaciones Sur del Lago UNESUR (2 estaciones)

Estación Pico Espejo-MARS

Estación INIA-Chama, Sur del Lago de Maracaibo

Estación Ciplat, Sur del Lago de Maracaibo

Centro Internacional del Plátano (CIPLAT)

Instituto Nacional de Investigaciones Agrícolas (INIA)- Chama, Sur del Lago

Instituto de Ciencias Ambientales y Ecológicas de la ULA (ICAE)

Instituto de Investigaciones Agropecuarlas de la ULA (IIAULA)

Universidad Nacional Experimental del Sur del Lago (UNESUR)

Institut für Meteorologie und Klimaforschung (IMK) (Institute for Meteorology and Climate Research, U. Karlsruhe, Germany )

Instituciones colaboradoras de la red bc

Funcionamiento de la redbc Sistema de Información Bioclimático basado en el web

Ubicación de características de colecciones de datos.

Utilización de tecnologías Internet-Web, que aceleran y facilitan grandemente el proceso de captura, actualización y difusión de la información bio-climática, permitiendo varios niveles de acceso y recuperación de dicha información.

Actualmente sólo se proveen datos sin procesar (archivos de datos provenientes de las estaciones meteorológicas) y sus respectivos metadatos. En el futuro se podrá acceder a información previamente procesada (gráficos, tablas, etc).

Libre acceso a colecciones de datos ( datasets ) producidos por miembros de la red y (en lo posible) por cualquier persona o institución que los necesite

Funcionamiento de la red bc Sistema de manejo de datos: Datos llegan por varias vías (enviados por gerentes locales de información o colaboradores): -E-mail -Web -CD -Entregas personales Gerentes Centrales de información los procesan de ser necesario y los publican en Internet Internet Miembros de la REDBC Servidor (CECALCULA)

Es Ejemplo: Colección de datos Estación Chama Consultando las colecciones de datos

Enlace Ejemplo: Colección de datos Estación Chama

Presentación de datos

Datos originales (sin procesar)

Datos ordenados (Por año y por mes)

html

xml (EML: Ecological Metadata Language)

txt

Formato de metadatos Consultando las colecciones de datos

Metadatos xml (EML) (para intercambio con otros sistemas y procesamiento automático) Ejemplo: Colección de datos Estación Chama Metadatos html (para visualización por Web) Consultando las colecciones de datos

Ejemplo: Colección de datos Estación Chama Interfaces Web: Datos originales Consultando las colecciones de datos

Ejemplo: Colección de datos Estación Chama Datos originales Datos sin procesar, tal como vienen de los instrumentos o científicos que los capturan Consultando las colecciones de datos

Ejemplo: Colección de datos Estación Chama Datos ordenados Datos con algún tipo de procesamiento Consultando las colecciones de datos

Ejemplo: Consulta en KNB Datos enviados a KNB: http://knb.ecoinformatics.org Consultando las colecciones de datos

Afiliarse a la red bc Llenar Planilla de documentación de datos proporcionada por el gerente central de información. Se pueden configurar planillas de diferentes tipos: Web, Word, txt, etc. Documentar los datos

Contactar por e-mail o teléfono al Proveedor de metadatos

Formas de envío y publicación de metadatos y datos?

Escaso conocimiento de la importancia de la preservación y posibilidades de uso secundario de los datos

Poca disposición de los científicos para compartir los datos.

Poca receptividad o disposición para aportar metadatos que documenten las colecciones de datos.

Confusiones y reservas que tienen que ver con los derechos de propiedad, publicación y uso de los datos.

Bajo interés por parte de algunos gerentes de información local en publicar sus colecciones de datos (retardo en envío de datos-pérdida de información).

Dificultades (aún) con la conexión a internet (conectividad, velocidad)

Costos de los instrumentos de captura de datos

No existe la figura de “gerente local de información”, o es muy costoso tenerlos

Dificultades en el desarrollo de proyectos de este tipo

Estaciones y datos en la red bc .

En realidad hasta ahora ha sido una prueba de concepto (exitosa a nuestro modo de ver)

Interes y exigencias crecientes

Volumen creciente de información manejada

Muchas posibilidades abiertas

Mucho trabajo por hacer

La Experiencia de la Red de Estaciones Bio-climáticas del Estado Mérida ( red bc )

Redes de manejo de conocimientos basadas en datos y metadatos (intención de KNB)

Acceso a herramientas analíticas "en-línea" para integrar varias herramientas como SAS, MATLAB, etc. con acceso a datos de red de científicos (LTER)

Herramientas para producir formas alternativas de metadatos que permitan a cualquier sitio participar fácilmente en otras bases de datos internacionales y Clearinghouses de datos (FGDC, GCMD, NBII, etc.)

Creación de más bancos de datos internacionales o federados perteneciantes a multiples dominios y organizaciones

Puesta en marcha de la “infraestructura Grid”. Acceso a “Grid de datos” (Datagrids)

Por último…Comunidades y sociedades del conocimiento

El Futuro

La visión de Rick Luce (y de muchos otras personas) El Futuro Construyendo las bases de las comunidades basadas en el conocimiento

Termino con otra reflexión de Rick Luce… “ Debemos hacer mucho más que mejorar y dar acceso a la información científica. Nuestro trabajo ahora es enlazar juntos los cerebros de las personas para que el compartir, el razonamiento y la colaboración se conviertan en parte del trabajo diario.” Rick Luce. Proyecto Biblioteca sin paredes (Library Without Walls). 1998 Reflexión final