BNCF Digital long term preservation: glusterfs
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share

BNCF Digital long term preservation: glusterfs

  • 2,110 views
Uploaded on

Presentazione dei progetti di storage della BNCF che usano glusterfs: seminario redhat del 30 ottobre 2012 (Milano) e 31 ottobre 2012 (Roma)

Presentazione dei progetti di storage della BNCF che usano glusterfs: seminario redhat del 30 ottobre 2012 (Milano) e 31 ottobre 2012 (Roma)

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
2,110
On Slideshare
2,108
From Embeds
2
Number of Embeds
2

Actions

Shares
Downloads
11
Comments
0
Likes
0

Embeds 2

https://twitter.com 1
https://www.linkedin.com 1

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. DIGITAL LONG TERM PRESERVATION: Glusterfs in BNCF Cristiano Corsani Biblioteca Nazionale Centrale di Firenze 30/31 ottobre 2012
  • 2. DIGITAL LONG TERM PRESERVATION:glusterfs in BNCF  Breve presentazione BNCF  Digital long term Preservation: Perché glusterfs?  Progetti:  Magazzini Digitali  Low cost cloud  Desktop storage  “Teca Digitale” storage
  • 3. BNCF: cenni storici La Biblioteca Nazionale Centrale Firenze (BNCF) ha origininei 30.000 volumi della biblioteca privata di AntonioMagliabechi lasciata in eredità nel 1714 alla città di Firenze. Nel 1861 la Biblioteca Magliabechiana fu unificata con laBiblioteca Palatina (creata da Ferdinando III di Lorena) eassunse il nome di Biblioteca Nazionale e, nel 1885, quellodi Biblioteca Nazionale Centrale. Dal 1870 la BNCF ha il deposito legale di tutta laproduzione editoriale italiana.
  • 4. BNCF: numeriLe raccolte della Biblioteca si sviluppano su oltre 120chilometri di scaffali con un aumento annuo di quasi 2chilometri e comprendono: 4.000 incunaboli 25.000 manoscritti 68.000 incisioni oltre 6 milioni di libri oltre 120.000 testate di periodici. i nuovi magazzini
  • 5. BNCF: compiti istituzionaliLa BNCF ha come compito la raccolta, la conservazione, ladocumentazione e la valorizzazione della memoria storicaitaliana attraverso: il deposito legale in coordinamento con BNCR e le istituzione depositarie regionali la produzione della Bibliografia Nazionale Italiana (BNI) la cooperazione al Servizio Bibliotecario Nazionale lattività di studio e ricerca nel campo della conservazione nel lungo periodo delle risorse digitali
  • 6. BNCF: digitalizzazione Manoscritti:  Unità bibliografiche: 11.104  Immagini: 166.728 Libro antico:  Unità bibliografiche: 53.466  Immagini: 433.151 Libro moderno:  Unità bibliografiche: 77.330  Immagini: 2.276.848 le lune di Galileo
  • 7. Digital long term Preservation Formati: quale formato scegliere per garantire la conservazione e la fruizione nel tempo? Storage: quale tecnologia scegliere per garantire la sicurezza dei dati?  Flessibile: semplice e facile da gestire  Scalabile: aggiungere spazio al bisogno  Sicuro: nessuna perdita di dati  Economico: hardware low cost
  • 8. Glusterfs File system distribuito: aggrega spazi disco in rete Scalabile: oltre i Petabytes Flessibile: installabile in ogni ambiente Prestazioni lineari: nessun degrado Namespace unificato: come una cartella locale No single-point of failure: completamente decentralizzato Affidabile: ridondanza dei dati, anche geografica Integrità: garantisce integrità del dato
  • 9. Magazzini Digitali: deposito legale di opere digitali Torino: BNCF Sicurezza: replica 6 su nodi geograficamente distanti Spazio: 32TB storage Bologna: BNCR Scalabilità: dimensione dei nodi e il numero di nodi Roma: Dark Archive Numeri: 30 server, 96 x 2TB disks, apparati di rete Nodi: 3 provider iso 27001 Hardware: standard, low cost.
  • 10. Magazzini Digitali: Documento schema formato dati compress Opera: formato digitale standard (PDF?) Metadati: xml, contiene i dati WARC descrittivi dellopera da indicizzare Index store WARC: archivio compresso di 200Mb circa – opere+metadati (ISO 28500:2009) STORAGE INDEX File System
  • 11. Magazzini Digitali: replica dati sul nodo replicated glusterfs – replica 2 Front end Index Hardware: 4 x 2TB x 8 server read Volume: glusterfs replica 2 simmetrica su 4 + 4 server WARC Totale: 32TB utili store Accesso: index del front-end fornisce il path del file WARC contenente il documento. Sys disks Sys disks
  • 12. Magazzini Digitali: replica dati geografica todo: georeplica glusterfs o torrent – replica 3 x 2 BNCR deploy Replica: geografica dei replica singoli file WARC Torrent? DARK ARCHIVE deploy BNCF
  • 13. Low Cost Cloud:cloud dei servizi BNCF Open hypervisordisponibile nel kernel di ogni distro standard Open orchestratorlive migration, ha, backup, … interfaccia web intuitiva Hardware standardno raid, no-frills (Gb net minima) No centralized storage systemfile system distribuito sui dischi di sistema
  • 14. Low Cost Cloud: storage backend Lo storage condiviso non è un opzione per la live migration e lalta affidabilità Scelte comuni: NAS/SAN dedicati (NetApp, EMC, ...) Soluzione storage glusterfs:  Flessibile: semplice e facile da gestire  Scalabile: aggiungi spazio al bisogno  Economico: usa i dischi di sistema ...
  • 15. Low Cost Cloud: storage backend 1TB – replicated glusterfs – replica 3 … aggrega lo spazio disponibile dei dischi di sistema Hosts Sicuro: replica dati (previene data-loss) Sicuro: no single-point of VM data failure (HA) Data disponibili via LAN System disks con protocolli standard: FUSE, NFS, CIFS. Glusterfs STORAGE
  • 16. Low Cost Cloud 2: storage backend1TB – glusterfs replicated + georeplica Hosts VM data Hosts VM data geo-replicaSystem disks System disks Glusterfs Glusterfs STORAGE STORAGE Ipotesi di georeplica tra volumi su nodi gemelli per garantire I servizi in caso di crash
  • 17. Desktop migration: home storage 8TB – glusterfs replicated – replica 2 GlusterfsMigrazione desktop a Linux STORAGE Hosts Oltre 250 postazioni attive homes Oltre il 60% migrato System disks 2 server 8TB glusterfs storage replica 2 (/home) Servizi virtuali: KVM, proxmox (LDAP, PXE, …)
  • 18. Desktop migration 2: home storage8TB – glusterfs replicated + georeplica Glusterfs Glusterfs STORAGE STORAGE Hosts Hosts homes geo-replica homes System disks System disks  Ipotesi georeplica dei dati su nodo remoto.  In caso di crash i client accedono al volume remoto  Possibile uso dei fs locali
  • 19. Teca Digitale: storage immagini32TB – glusterfs distributed + georeplica Glusterfs Glusterfs STORAGE STORAGE Hosts Hosts geo-replicaSystem disks System disks WEB server
  • 20. Cristiano Corsani Servizi Informatici Biblioteca Nazionale Centrale di Firenze Piazza dei Cavalleggeri, 1 50122 Firenze Voce: 055 24919 302 / 339 2287466 mail: cristiano.corsani@beniculturali.it web: http://www.bncf.firenze.sbn.itLink:http://www.rinascimento-digitale.ithttp://www.slideshare.com - keysearch: bncfhttp://www.bncf.firenze.sbn.it/pagina.php?id=212http://http://www.depositolegale.it