La preservación en la Biblioteca Digital memoriademadrid

La Preservación en la Biblioteca Digital
memoriademadrid
Por Gilberto Pedreira Campillo
http://www.memoriademadrid.es
Jornada sobre la Preservación del Patrimonio Digital
[B.N.E. 11 de octubre de 2018]

Se trataba de
“Digitalizar y trasladar a los formatos más adecuados todos los
contenidos relacionados con actividades culturales que se desarrollan o
han desarrollado en la ciudad de Madrid, así como toda la memoria
histórica que sobre la ciudad guarda el Ayuntamiento con el objetivo de
Compartir con los ciudadanos la memoria histórica y cultural
de la ciudad”.

I.- Digitalizar la totalidad de las colecciones de interés histórico y cultural
conservadas en el ayuntamiento para crear una colección digital.
II.- Difundir en Internet a través de su página web
www.memoriademadrid.es, Redes Sociales o cualquier otro medio como
webs temáticas o aplicaciones para móviles.
III.- Preservar: Tomar parte en la Conservación de los originales
facilitando la necesidad de compatibilizar el derecho a la consulta de los
originales con la obligación institucional de Preservar este legado. Así como
la necesidad de preservar a largo plazo la propia colección digital.

Archivo de Villa de Madrid.
Biblioteca Histórica de Madrid.
Biblioteca Musical Víctor Espinós.
Biblioteca Técnica.
Hemeroteca Municipal de Madrid.
Museo de Historia.
Museo de San Antonio de la Florida.
Museo de los Orígenes. San Isidro.
Templo de Debod.
Banda Sinfónica Municipal.
Biblioteca Técnica.
Y además…
Servicio de Cartografía Histórica del Ayuntamiento de Madrid
Juntas Municipales de Distrito u organizaciones ajenas al Ayto. como
METRO de Madrid o el Diario AS.
Instituciones integradas en BD memoriademadrid

Formar, incrementar y difundir las colecciones digitales pertenecientes al
patrimonio cultural conservado en las instituciones de la memoria de la ciudad.
Recoger, en el ámbito de lo digital, todas las acciones que en materia de difusión, y
relacionadas con la memoria de la ciudad, hayan sido desarrolladas por el
Ayuntamiento de Madrid a lo largo de su historia.
Desarrollar un espacio virtual de encuentro y ocio abierto a instituciones,
investigadores y ciudadanos con la finalidad de profundizar en el conocimiento de
la historia de la ciudad de Madrid.
Potenciar la investigación en el ámbito de la historia, arte y cultura de la ciudad de
Madrid, convirtiéndose en un centro de referencia para dichos estudios.
Establecer convenios y acuerdos con otras instituciones o administraciones tanto a
nivel nacional e internacional para la digitalización y difusión del patrimonio de la
ciudad de Madrid.

Unidad de Digitalización (I)
Tres escáneres cenitales:
- CopyBook Color RGB (A2).
- DigiBook Suprascan II 7600 (A1).
- SupraScan QUARTZ (A1).
Dos escáneres EPSON 850 (placas de
vidrio, negativos y diapositivas).
Un escáner de microfilm ECLIPSE
NetScan (operativo hasta finales de 2016).
Capacidad para digitalizar audio (vinilo,
pizarra...).

Unidad de Digitalización (II)
Cinco Operadores de escáner:
digitalización y transformación de
imágenes.
Un Encargado: control de movimientos
de fondos y solicitudes de investigador.
Dos Operadores Informáticos:
funcionamiento de la plataforma e
implicados en preservación.
Un Bibliotecario: responsable de la
Unidad. Igualmente implicado en tareas de
Preservación.

Unidad de Digitalización (III)
nº de imágenes Medios propios medios externos
2008 15.000 si
2009 220.043 Copybook RGB
2010/11 511.696
Copybook RGB / Digibook
Suprascan 7600 si
2012 193.958
Suprascan 7600
2013 315.168
Suprascan 7600 si
2014 288.784
Suprascan 7600 si
2015 539.229
Suprascan 7600 si
2016 628.784
Suprascan 7600 si
2017 687.308
Suprascan 7600/SupraScan QUARTZ si
3.399.970
(*) A estas habrá que sumar 1.200.000 procedentes de convenios: Diario AS, Metro de Madrid, CESD-CSIC

Unidad de Digitalización (IV)
La conservación a largo plazo de la colección digital constituye un objetivo
prioritario de la biblioteca. Por esta razón, a finales de 2016 la Biblioteca adquirió
un sistema de preservación que permite el almacenamiento y conservación a largo
plazo de objetos digitales.
Este garantizará la integridad de los más de cinco millones y medio de imágenes
con las que cuenta la Biblioteca Digital.
Estos trabajos implican a:
• La Dirección de la Biblioteca.
• El Responsable de la Unidad de Digitalización.
• El personal Informático.
• A través del Software y dos unidades de almacenamiento

Hacia la preservación de la colección
(2009-2011)
En estos años contamos con dos escáneres
cenitales:
- CopyBook Color RGB (A2) – Desde 2009
- DigiBook Suprascan II 7600 (A1) – Desde 2010
Base de Datos en Access para el control de los trabajos
de digitalización.
Un equipo de tres documentalistas que a la vez
actuaban como digitalizadores.
Una interminable colección de discos duros…

Hacia la preservación de la colección
(2009-2011)
Un panorama ATERRADOR desde el punto de vista de la
preservación: 750.000 imágenes, 25.000 documentos…
Almacenados en discos duros, cuya única garantía de
preservación era estar duplicados en otros discos duros.
Realidad de la colección caracterizada por:
•Ausencia de una estructura “clara” en el almacenaje.
•Disparidad de criterios en el renombrado de fichero y
carpetas.
•Convivencia de distintos formatos organizados de
manera arbitraria.
•Ausencia total de criterios de caracterización y validación
de formatos almacenados

Primeros Pasos (2012-2013)
Viendo la situación en la que se encontraba la colección de la
Biblioteca Digital, a comienzos de 2012 se ponen en marcha
distintas acciones destinadas a preparar su preservación a largo
plazo, a la espera de que presupuestariamente fuera posible
adquirir un sistema de preservación que garantice la
conservación indefinida del resultado de los trabajos de
digitalización.
Estas afectarán a:
• Renombrado de ficheros y carpetas.
• Reorganización de la estructura de los objetos digitales.
• Restricciones en el acceso a la colección.
• Validación de los ficheros preservados.
• Implementación de un sistema de refreshing o cambio de soporte”.
• Aplicación de medidas de seguridad a “pie de escáner”.

Renombrado de Ficheros: Se establece un patrón que servirá para
poder identificar cada una de las imágenes de una forma unívoca y
procesable. En términos generales la nomenclatura empleada para el
renombrado de ficheros y carpetas se compone de los siguientes
elementos:
• Acrónimo de la institución.
• Signatura / nº de registro /acrónimo de la institución.
• Paginación.
Ejemplo:
/BHM_I-878/
/ BHM_I-878_0001.tif
/ BHM_I-878_0002.tif
(*) Los ficheros JPG y PDF se nombraran igual, cambiando la extensión
en el caso del primero y sin paginación en el caso del fichero PDF

Validación de ficheros: Se procede a la validación de los formatos de
gran parte de la colección mediante el empleo de DROID para verificar
que realmente los ficheros corresponde a lo que dicen ser.
Restricción del acceso a la colección: Se establecen protocolos para el
uso de los discos duros: manipulación y limitación de uso de segundas
copias.
Definición de la estructura de los objetos digitales: Reordenación de la
estructura de los diferentes objetos digitales con arreglo a un mismo
modelo para todos los objetos, siempre y cuando lo precise tendrá la
siguiente estructura de carpetas: /master (imágenes tif), /derivada_JPG
(imágenes JPG), / derivada_PDF (ficheros PDF) y /metadatos (ficheros
XML–DC y METS).

Implementación de un sistema de “Refreshing”: Para ello se estableció un
protocolo para checkear periodicamente los discos y trasladar el contenido a
unos discos de mayor capacidad de forma periódica, que a su vez son
guardados por duplicado. El almacenamiento de la segunda copia se llevaba
a cabo en una ubicación distinta de la primera.
Implementación de un protocolo de seguridad “a pie de escáner”: todos los
días a las 11:11 pm se programó un backup incremental de todos los trabajos
que se iban realizando a lo largo del día. Esta copia solo se borraba en el
momento en el que el disco externo en el que se guardan los trabajos de
digitalización era duplicado y debidamente almacenado.

El Sistema de Gestión Documental, “Vargas” es un sistema desarrollado “ex novo”
por la propia Biblioteca. En él conviven tres módulos:
- Módulo para la gestión de los flujos de trabajo.
- Módulos para la gestión documental de la colección.
- Módulo para la publicación de colecciones.

En Vargas se contemplan algunos elementos para la preservación de la
colección:
• Información sobre los procesos y software empleados en la captura y transformación
de las imágenes.
• Información descriptiva (Dublin Core Qualificado).
• Información administrativa.
• Información sobre el almacenaje y nombrado de fichero de los objetos digitales
(estructura, ubicación en una unidad almacenaje, reglas (o validaciones) para el
nombrado de ficheros.
• Posibilidad de exportación de esta información para la futura creación de METS.
Proceso que se iniciará posteriomente prácticamente de “manual” empleando un
software libre a este efecto: SobekCM. Un software desarrollado por la University of
Florida Digital Collections (UFDC) y la Digital Library of Caribbean.

Inicio de los trabajos de preservación (2017)
A finales de 2016, la Biblioteca Digital estudia la adquisición de un Sistema de
Preservación Digital con la intención, intuida años atrás, de que a partir de su
puesta en funcionamiento la creación de cualquier objeto digital se hará con la
intención de hacerlo perdurable.
Tras una valoración del mercado y un análisis de distintas soluciones en materia de
preservación, se procedió a la redacción de los pliegos técnicos para la
contratación de un sistema de preservación para la Biblioteca Digital
memoriademadrid.

• Cumplir con la norma ISO-17421 (Open Archival Information System).
• Disponer de un catálogo que permita la búsqueda y localización de objetos.
• Capacidad para realizar una exportación completa de la colección.
• Capacidad de detectar corrupción de datos de forma automática.
• Capacidad de detectar errores en la estructura de los ficheros y nombrado de
archivos o carpetas.
• Capacidad de gestionar usuarios (roles, permisos…)
• Capacidad para generación de informes sobre el estado del repositorio.
• Incorporar metadatos en formato METS, PREMIS, RDF, CSV o TXT
• Capacidad de caracterizar y validar de formatos.
• Capacidad para evolucionar formatos.
• Entre otros…

Finalmente la solución adoptada por la Biblioteca
fue LIBSAFE, un software de preservación
desarrollado por la empresa LIBNOVA.
Se adquirió:
- Una licencia de 100 Tb duplicado, con la
intención de ampliarla en años posteriores.
- Dos cabinas LIBDATA, renunciando a otras formas
de almacenamiento como podían ser el uso de
servidores municipales o almacenamiento en la
nube.

El Plan de Preservación
Se trata de un momento crucial en la implementación de
cualquier Sistema de preservación, ya que las decisiones
que se adopten en este punto deberán resultar “válidas”
el mayor tiempo posible y servir para definir las mejores
condiciones de preservación de cualquier tipo de objeto.
Plan de preservación: Se podría definir como el conjunto de
acciones y procedimientos destinados a la preservación a largo
plazo de una o parte de una colección digital. Estos estarán
subordinados a un Área de preservación de tal modo que un Área
pueda agrupar distintos Planes de Preservación.

El Plan de Preservación
Tomando como referencia el software empleado por la
Biblioteca, todo debería definir y contemplar los
siguientes aspectos:
- Definición de los metadatos que se van a emplear.
- Definición de la forma y el número de copias que se van a
preservar.
- Definir los expurgadores que se van a emplear.
- Definir los controles a los que van a ser sometidos los
objetos en los procesos de ingesta.
- Definición de los caracterizadores y validadores de formatos.
- Definición de las acciones de procesado de los objetos.
- Definición de la firma que se vaya a utilizar.
- Definición de los niveles de auditoria que se van a emplear.

¿Cómo lo hacemos? …
1.- Control de calidad: Se lleva a cabo inmediatamente después de la
digitalización. Se verifica:
• La integridad de los ficheros
• Los nombres de los ficheros: caracteres erróneos y su adaptación al estándar de la Biblioteca.
• El nombrado y estructura de carpetas y la estructura de almacenaje
El extraño caso de “El perro el ratón y el Gato”
HEM_Perroratonygato-1930/
/HEM_Perroratonygato-1930_001.tif
/HEM_Perroratonygato-1930.zip
/HEM_Perroratonygato-19300809.pdf

Mediante este software se llevan a cabo las siguientes validaciones:
a.- Comprobación de los nombres de las carpetas y verificación que existen dentro del Sistema
de gestión Documental.
b.- Comprobación de los nombres de los Ficheros y su ubicación dentro de la carpeta.
c.- Verificación del formato de los archivos a preservar.
d.- Conexión con el Sistema de gestión de la Biblioteca para obtener las copias derivadas.
2.- Generación de los S.I.P. (Submission Information Package):
Para la generación de los S.I.P. recurrimos al desarrollo, de manera conjunta
entre la empresa Libnova y la propia Biblioteca, de un sencillo software que
tiene como misión el hacer posible la interacción entre los Ficheros “master”, el
sistema de Gestión de la Biblioteca con el objeto de formar los distintos objetos
digitales e integrarlos en el Sistema de Preservación.

(**) Todo ello se encontraría bajo la carpeta E01_BM_QJ-220

3.- Ingesta:
• Conexión de HD al sistema de Preservación (LIBSAFE).
• Seleccionar el Área y Plan de preservación que vamos a aplicar.
• Lanzar el trabajo de ingesta y esperar, esperar…
4.- Gestión de datos y acceso:
• Evitar que una misma persona tenga acceso a todas las copias. Limitar el acceso.
• Auditar la información recogida en relativa a acciones de eliminación y preservación de documentos.
• Almacenar y reutilizar conjuntos de metadatos, especialmente los específicos de preservación digital
(METS y DC en nuestro caso).
• Realizar una gran variedad de acciones de preservación digital cuando sea necesario (migraciones,
emulaciones, consulta del estado de nuestras colecciones, etc.).
• Consultar informes estadísticos.
• “Redundar” los resultados de las consultas mediante procesos de recuperación seguros.

¿Cómo lo hacemos?…
5.- Almacenamiento
• Dos cabinas LIBDATA.
• Tres Bloques (Raid Z2): 9 discos
cada uno (3,4 y 6 Tb).
• Con capacidad Bruta para 100 Tb.
• Escalable.

Algunos datos…
• 19 de julio 2017 – Primer trabajo de ingesta.
• 130 trabajos de ingesta.
• 63.674 objetos preservados.
• 42,7 tb (2.380.480 imágenes).
• Formatos preservados: TIF, JPG, PDF, XML.

¿Es seguro mi SPD ? … (NDSA levels)
NDSA es un método de auditoria para poder verificar el buen
funcionamiento y diseño de un sistema de preservación digital.
Interroga a nuestro sistema sobre cinco cuestiones esenciales:
• Almacenamiento y localización geográfica.
• La “NO” alteración de ficheros e integridad de los datos.
• Seguridad de la información.
• Metadatos.
• Formatos de ficheros.
A estas preguntas la nuestra capacidad de respuesta nos podrá situar
de en cuatro niveles.

Almacenamiento y localización geográfica
Nivel 1
(proteja sus datos).
Nivel 2
(Conozca sus datos)
Nivel 3
(Controle sus datos)
Nivel 4
(Repare sus datos)
Dos copias completas que no estén
unidas
Como mínimo tres copias completas.
Como mínimo una copia en una
localización geográfica con una
amenaza de desastres diferentes.
Como mínimo tres copias en
localizaciones geográficas con amenazas
de desasres diferentes.
Para datos en soportes heterogéneos
quitar el contenido del soporte y
ponerlo en vuestro sistema de
almacenamiento
Como mínimo una copia en una
localización geográfica.
Controle el proceso de obsolescencia
de su(s) sistema(s) de almacenamiento
y de sus soportes.
Disponga de un plan integral preparado
par mantener los ficheros y los metadatos
accesibles en los actuales soportes o
sistemas.
Documentar su(s) sistema(s) de
almacenamiento y lo que usted
necesite para usarlos

La “No” alteración de ficheros e integridad de los datos
Nivel 1
Nivel 2
(Conozca sus datos)
Nivel 3
Nivel 4
(Repare sus datos)
Comprobar la integridad de los
ficheros en el momento de la ingesta
si sus valores han sido
proporcionados junto con el
contenido.
Comprobar la integridad de todas las
ingestas.
Comprobar la integridad del contenido
a intervalos regulares.
Comprobar la integridad de todo el
contenido en respuesta a situaciones o
actividades específicas.
Crear la información de integridad si
no fue proporcionada junto con el
contenido
Usar dispositivos con escritura
bloqueada cuando se trabaje con los
soportes originales.
Mantener registros de la información
de integridad; realizar auditoría bajo
demanda.
Capacidad para reemplazar o reparar
datos corrompidos.
Comprobar virus en contenido de alto
riesgo.
Capacidad para detectar datos
corrompidos.
Asegúrese de que ninguna persona tiene
acceso de escritura a todas las copias.
Comprobar virus en todo el contenido.

Seguridad de la información
Nivel 1
Nivel 2
(Conozca sus datos)
Nivel 3
Nivel 4
(Repare sus datos)
Identificar quién ha leído, escrito,
movido o eliminado la autorización a
ficheros concretos.
Documentar las restricciones de
acceso de los contenidos.
Mantener registros de quién ha
realizado qué acciones con los ficheros,
incluyendo acciones de borrado y
preservación.
Realizar auditorías de los registros.
Restringir quién tiene este tipo de
autorizaciones a ficheros concretos.

Metadatos
Nivel 1
Nivel 2
(Conozca sus datos)
Nivel 3
Nivel 4
(Repare sus datos)
Inventario del contenido y de su
localización en el almacenamiento.
Almacenar metadatos
administrativos.
Almacenar metadatos estándar
técnicos y descriptivos.
Almacenar metadatos estándar de
preservación.
Asegurar una copia de seguridad
separada del inventario.
Almacenar metadatos de las
transformaciones y registrar las
incidencias.

Formatos de ficheros
Nivel 1
Nivel 2
(Conozca sus datos)
Nivel 3
Nivel 4
(Repare sus datos)
Cuando usted puede participar en la
creación de archivos digitales
fomente el uso de un conjunto
limitado de formatos abiertos y
conocidos de ficheros y de codecs.
Disponer de un inventario de los
formatos de ficheros usados.
Monitorear los problemas de
obsolescencia de los formatos de
ficheros.
Realizar migraciones de formatos,
emulaciones o actividades similares si es
necesario.

Futuro. ¿Hacía dónde vamos?
1.- Mejorar en lo que se refiere al almacenamiento de
nuestras colecciones con el objetivo de alcanzar al
menos un nivel III de la NDSA:
• Reubicando uno de los las unidades LIBDATA en uno de los Centros de proceso
de DATOS de Informática del Ayuntamiento de Madrid: Emergencias, IAM.
• Generando una tercera copia a la que habría que buscar una nueva ubicación.
2.- Incorporar de forma “plena” el Sistema de
Preservación a nuestra herramienta de gestión.
3.- Incorporación de Metadatos de preservación
PREMIS a nuestro Sistema de preservación.

“En cuestiones de cultura y de saber, sólo se pierde lo que se guarda;
sólo se gana lo que se da”
Antonio Machado
¡Muchas gracias!!!!
pedreiracg@madrid.es

La preservación en la Biblioteca Digital memoriademadrid

Recommended

Recommended

More Related Content

Similar to La preservación en la Biblioteca Digital memoriademadrid

Similar to La preservación en la Biblioteca Digital memoriademadrid (20)

Recently uploaded

Recently uploaded (20)

La preservación en la Biblioteca Digital memoriademadrid