Presentazione dei progetti di storage della BNCF che usano glusterfs: seminario redhat del 30 ottobre 2012 (Milano) e 31 ottobre 2012 (Roma)

1. DIGITAL LONG TERM PRESERVATION:
Glusterfs in BNCF
Cristiano Corsani
Biblioteca Nazionale Centrale di Firenze
30/31 ottobre 2012

2. DIGITAL LONG TERM PRESERVATION:
glusterfs in BNCF

Breve presentazione BNCF

Digital long term Preservation:
Perché glusterfs?

Progetti:

Magazzini Digitali

Low cost cloud

Desktop storage

“Teca Digitale” storage

3. BNCF: cenni storici

La Biblioteca Nazionale Centrale Firenze (BNCF) ha origini
nei 30.000 volumi della biblioteca privata di Antonio
Magliabechi lasciata in eredità nel 1714 alla città di Firenze.

Nel 1861 la Biblioteca Magliabechiana fu unificata con la
Biblioteca Palatina (creata da Ferdinando III di Lorena) e
assunse il nome di Biblioteca Nazionale e, nel 1885, quello
di Biblioteca Nazionale Centrale.

Dal 1870 la BNCF ha il deposito legale di tutta la
produzione editoriale italiana.

4. BNCF: numeri
Le raccolte della Biblioteca si sviluppano su oltre 120
chilometri di scaffali con un aumento annuo di quasi 2
chilometri e comprendono:
 4.000 incunaboli
 25.000 manoscritti
 68.000 incisioni
 oltre 6 milioni di libri
 oltre 120.000 testate di periodici.
i nuovi magazzini

5. BNCF: compiti istituzionali
La BNCF ha come compito la raccolta, la conservazione, la
documentazione e la valorizzazione della memoria storica
italiana attraverso:
 il deposito legale in coordinamento con BNCR e le
istituzione depositarie regionali
 la produzione della Bibliografia Nazionale Italiana (BNI)
 la cooperazione al Servizio Bibliotecario Nazionale
 l'attività di studio e ricerca nel campo della conservazione
nel lungo periodo delle risorse digitali

6. BNCF: digitalizzazione
Manoscritti:
 Unità bibliografiche: 11.104
 Immagini: 166.728
Libro antico:
 Unità bibliografiche: 53.466
 Immagini: 433.151
Libro moderno:
 Unità bibliografiche: 77.330
 Immagini: 2.276.848 le lune di Galileo

7. Digital long term Preservation

Formati: quale formato scegliere per garantire la
conservazione e la fruizione nel tempo?

Storage: quale tecnologia scegliere per garantire la
sicurezza dei dati?
 Flessibile: semplice e facile da gestire
 Scalabile: aggiungere spazio al bisogno
 Sicuro: nessuna perdita di dati
 Economico: hardware low cost

8. Glusterfs

File system distribuito: aggrega spazi disco in rete

Scalabile: oltre i Petabytes

Flessibile: installabile in ogni ambiente

Prestazioni lineari: nessun degrado

Namespace unificato: come una cartella locale

No single-point of failure: completamente decentralizzato

Affidabile: ridondanza dei dati, anche geografica

Integrità: garantisce integrità del dato

9. Magazzini Digitali:
deposito legale di opere digitali
Torino: BNCF

Sicurezza: replica 6 su nodi
geograficamente distanti

Spazio: 32TB storage Bologna: BNCR

Scalabilità: dimensione dei nodi
e il numero di nodi Roma: Dark Archive

Numeri: 30 server, 96 x 2TB
disks, apparati di rete

Nodi: 3 provider iso 27001

Hardware: standard, low cost.

10. Magazzini Digitali: Documento
schema formato dati
compress

Opera: formato digitale
standard (PDF?)

Metadati: xml, contiene i dati WARC
descrittivi dell'opera da
indicizzare
Index
store

WARC: archivio compresso di
200Mb circa – opere+metadati
(ISO 28500:2009) STORAGE
INDEX File System

11. Magazzini Digitali: replica dati sul nodo
replicated glusterfs – replica 2
Front end
Index

Hardware: 4 x 2TB x 8 server
read

Volume: glusterfs replica 2
simmetrica su 4 + 4 server WARC

Totale: 32TB utili
store

Accesso: index del front-end
fornisce il path del file WARC
contenente il documento.
Sys disks Sys disks

12. Magazzini Digitali: replica dati geografica
todo: georeplica glusterfs o torrent – replica 3 x 2
BNCR
deploy

Replica: geografica dei
replica
singoli file WARC

Torrent?
DARK ARCHIVE
deploy
BNCF

13. Low Cost Cloud:
cloud dei servizi BNCF
 Open hypervisor
disponibile nel kernel di ogni distro standard
 Open orchestrator
live migration, ha, backup, … interfaccia web intuitiva
 Hardware standard
no raid, no-frills (Gb net minima)
 No centralized storage system
file system distribuito sui dischi di sistema

14. Low Cost Cloud: storage backend
 Lo storage condiviso non è un opzione per la live migration
e l'alta affidabilità
 Scelte comuni: NAS/SAN
dedicati (NetApp, EMC, ...)
 Soluzione storage glusterfs:
 Flessibile: semplice e facile
da gestire
 Scalabile: aggiungi spazio
al bisogno
 Economico: usa i dischi di sistema ...

15. Low Cost Cloud: storage backend
1TB – replicated glusterfs – replica 3
 … aggrega lo spazio
disponibile dei dischi di
sistema Hosts
 Sicuro: replica dati
(previene data-loss)
Sicuro: no single-point of
VM data

failure (HA)
 Data disponibili via LAN System disks
con protocolli standard:
FUSE, NFS, CIFS. Glusterfs
STORAGE

16. Low Cost Cloud 2: storage backend
1TB – glusterfs replicated + georeplica
Hosts VM data Hosts
VM data
geo-replica
System disks System disks
Glusterfs Glusterfs
STORAGE STORAGE
Ipotesi di georeplica tra volumi su nodi gemelli per
garantire I servizi in caso di crash

17. Desktop migration: home storage
8TB – glusterfs replicated – replica 2
Glusterfs
Migrazione desktop a Linux STORAGE
Hosts
 Oltre 250 postazioni attive
homes
 Oltre il 60% migrato
System disks
 2 server
 8TB glusterfs storage
replica 2 (/home)
 Servizi virtuali:
KVM, proxmox (LDAP, PXE, …)

18. Desktop migration 2: home storage
8TB – glusterfs replicated + georeplica
Glusterfs Glusterfs
STORAGE STORAGE
Hosts
Hosts
homes
geo-replica
homes
System disks
System disks
 Ipotesi georeplica dei dati su
nodo remoto.
 In caso di crash i client
accedono al volume remoto
 Possibile uso dei fs locali

19. Teca Digitale: storage immagini
32TB – glusterfs distributed + georeplica
Glusterfs Glusterfs
STORAGE STORAGE
Hosts Hosts
geo-replica
System disks System disks
WEB server

20. Cristiano Corsani
Servizi Informatici
Biblioteca Nazionale Centrale di Firenze
Piazza dei Cavalleggeri, 1
50122 Firenze
Voce: 055 24919 302 / 339 2287466
mail: cristiano.corsani@beniculturali.it
web: http://www.bncf.firenze.sbn.it
Link:
http://www.rinascimento-digitale.it
http://www.slideshare.com - keysearch: bncf
http://www.bncf.firenze.sbn.it/pagina.php?id=212
http://http://www.depositolegale.it