BNCF Digital long term preservation: glusterfs

2,684 views

Published on

Presentazione dei progetti di storage della BNCF che usano glusterfs: seminario redhat del 30 ottobre 2012 (Milano) e 31 ottobre 2012 (Roma)

Published in: Technology
  • Be the first to comment

  • Be the first to like this

BNCF Digital long term preservation: glusterfs

  1. 1. DIGITAL LONG TERM PRESERVATION: Glusterfs in BNCF Cristiano Corsani Biblioteca Nazionale Centrale di Firenze 30/31 ottobre 2012
  2. 2. DIGITAL LONG TERM PRESERVATION:glusterfs in BNCF  Breve presentazione BNCF  Digital long term Preservation: Perché glusterfs?  Progetti:  Magazzini Digitali  Low cost cloud  Desktop storage  “Teca Digitale” storage
  3. 3. BNCF: cenni storici La Biblioteca Nazionale Centrale Firenze (BNCF) ha origininei 30.000 volumi della biblioteca privata di AntonioMagliabechi lasciata in eredità nel 1714 alla città di Firenze. Nel 1861 la Biblioteca Magliabechiana fu unificata con laBiblioteca Palatina (creata da Ferdinando III di Lorena) eassunse il nome di Biblioteca Nazionale e, nel 1885, quellodi Biblioteca Nazionale Centrale. Dal 1870 la BNCF ha il deposito legale di tutta laproduzione editoriale italiana.
  4. 4. BNCF: numeriLe raccolte della Biblioteca si sviluppano su oltre 120chilometri di scaffali con un aumento annuo di quasi 2chilometri e comprendono: 4.000 incunaboli 25.000 manoscritti 68.000 incisioni oltre 6 milioni di libri oltre 120.000 testate di periodici. i nuovi magazzini
  5. 5. BNCF: compiti istituzionaliLa BNCF ha come compito la raccolta, la conservazione, ladocumentazione e la valorizzazione della memoria storicaitaliana attraverso: il deposito legale in coordinamento con BNCR e le istituzione depositarie regionali la produzione della Bibliografia Nazionale Italiana (BNI) la cooperazione al Servizio Bibliotecario Nazionale lattività di studio e ricerca nel campo della conservazione nel lungo periodo delle risorse digitali
  6. 6. BNCF: digitalizzazione Manoscritti:  Unità bibliografiche: 11.104  Immagini: 166.728 Libro antico:  Unità bibliografiche: 53.466  Immagini: 433.151 Libro moderno:  Unità bibliografiche: 77.330  Immagini: 2.276.848 le lune di Galileo
  7. 7. Digital long term Preservation Formati: quale formato scegliere per garantire la conservazione e la fruizione nel tempo? Storage: quale tecnologia scegliere per garantire la sicurezza dei dati?  Flessibile: semplice e facile da gestire  Scalabile: aggiungere spazio al bisogno  Sicuro: nessuna perdita di dati  Economico: hardware low cost
  8. 8. Glusterfs File system distribuito: aggrega spazi disco in rete Scalabile: oltre i Petabytes Flessibile: installabile in ogni ambiente Prestazioni lineari: nessun degrado Namespace unificato: come una cartella locale No single-point of failure: completamente decentralizzato Affidabile: ridondanza dei dati, anche geografica Integrità: garantisce integrità del dato
  9. 9. Magazzini Digitali: deposito legale di opere digitali Torino: BNCF Sicurezza: replica 6 su nodi geograficamente distanti Spazio: 32TB storage Bologna: BNCR Scalabilità: dimensione dei nodi e il numero di nodi Roma: Dark Archive Numeri: 30 server, 96 x 2TB disks, apparati di rete Nodi: 3 provider iso 27001 Hardware: standard, low cost.
  10. 10. Magazzini Digitali: Documento schema formato dati compress Opera: formato digitale standard (PDF?) Metadati: xml, contiene i dati WARC descrittivi dellopera da indicizzare Index store WARC: archivio compresso di 200Mb circa – opere+metadati (ISO 28500:2009) STORAGE INDEX File System
  11. 11. Magazzini Digitali: replica dati sul nodo replicated glusterfs – replica 2 Front end Index Hardware: 4 x 2TB x 8 server read Volume: glusterfs replica 2 simmetrica su 4 + 4 server WARC Totale: 32TB utili store Accesso: index del front-end fornisce il path del file WARC contenente il documento. Sys disks Sys disks
  12. 12. Magazzini Digitali: replica dati geografica todo: georeplica glusterfs o torrent – replica 3 x 2 BNCR deploy Replica: geografica dei replica singoli file WARC Torrent? DARK ARCHIVE deploy BNCF
  13. 13. Low Cost Cloud:cloud dei servizi BNCF Open hypervisordisponibile nel kernel di ogni distro standard Open orchestratorlive migration, ha, backup, … interfaccia web intuitiva Hardware standardno raid, no-frills (Gb net minima) No centralized storage systemfile system distribuito sui dischi di sistema
  14. 14. Low Cost Cloud: storage backend Lo storage condiviso non è un opzione per la live migration e lalta affidabilità Scelte comuni: NAS/SAN dedicati (NetApp, EMC, ...) Soluzione storage glusterfs:  Flessibile: semplice e facile da gestire  Scalabile: aggiungi spazio al bisogno  Economico: usa i dischi di sistema ...
  15. 15. Low Cost Cloud: storage backend 1TB – replicated glusterfs – replica 3 … aggrega lo spazio disponibile dei dischi di sistema Hosts Sicuro: replica dati (previene data-loss) Sicuro: no single-point of VM data failure (HA) Data disponibili via LAN System disks con protocolli standard: FUSE, NFS, CIFS. Glusterfs STORAGE
  16. 16. Low Cost Cloud 2: storage backend1TB – glusterfs replicated + georeplica Hosts VM data Hosts VM data geo-replicaSystem disks System disks Glusterfs Glusterfs STORAGE STORAGE Ipotesi di georeplica tra volumi su nodi gemelli per garantire I servizi in caso di crash
  17. 17. Desktop migration: home storage 8TB – glusterfs replicated – replica 2 GlusterfsMigrazione desktop a Linux STORAGE Hosts Oltre 250 postazioni attive homes Oltre il 60% migrato System disks 2 server 8TB glusterfs storage replica 2 (/home) Servizi virtuali: KVM, proxmox (LDAP, PXE, …)
  18. 18. Desktop migration 2: home storage8TB – glusterfs replicated + georeplica Glusterfs Glusterfs STORAGE STORAGE Hosts Hosts homes geo-replica homes System disks System disks  Ipotesi georeplica dei dati su nodo remoto.  In caso di crash i client accedono al volume remoto  Possibile uso dei fs locali
  19. 19. Teca Digitale: storage immagini32TB – glusterfs distributed + georeplica Glusterfs Glusterfs STORAGE STORAGE Hosts Hosts geo-replicaSystem disks System disks WEB server
  20. 20. Cristiano Corsani Servizi Informatici Biblioteca Nazionale Centrale di Firenze Piazza dei Cavalleggeri, 1 50122 Firenze Voce: 055 24919 302 / 339 2287466 mail: cristiano.corsani@beniculturali.it web: http://www.bncf.firenze.sbn.itLink:http://www.rinascimento-digitale.ithttp://www.slideshare.com - keysearch: bncfhttp://www.bncf.firenze.sbn.it/pagina.php?id=212http://http://www.depositolegale.it

×