4 Solutions Linux Spar
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share

4 Solutions Linux Spar

  • 2,012 views
Uploaded on

La préservation numérique de la collection d'une bibliothèque à l'aide de logiciels libres...

La préservation numérique de la collection d'une bibliothèque à l'aide de logiciels libres
par Thomas Ledoux (Chef de projet SPAR de la BnF) et Laurent Sollier (AtosOrigin) donnée lors des conférences administration électronique au Salon Solutions Linux 2009

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
2,012
On Slideshare
2,009
From Embeds
3
Number of Embeds
2

Actions

Shares
Downloads
10
Comments
0
Likes
0

Embeds 3

http://www.slideshare.net 2
https://www.linkedin.com 1

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Retour d'expérience : La gestion pérenne des documents à l'aide d'une architecture modulaire basée sur des logiciels Open Source. Solutions Linux 2009 Session du 01 Avril 2009 Thomas Ledoux (BnF) / Laurent Sollier (AO)
  • 2. Agenda Le modèle OAIS L'OS dans le socle commun Les modules particuliers Le projet SPAR Conclusion & Questions La démarche Sommaire
  • 3.
    • La Bibliothèque nationale de France a été créée par le décret 94.3 du 3 janvier 1994 avec mission de « collecter, de cataloguer, de conserver et d’enrichir tous les champs de la connaissance, le patrimoine national dont elle a la garde, en particulier le patrimoine de langue française ou relatif à la civilisation française ».
    Le projet SPAR de la Bibliothèque nationale de France … Système de préservation et d’archivage réparti
    • Organisation
      • Projet sur 4 ans
      • Env.15 personnes
      • Méthode Agile (Scrum)
    • Volumétrie
      • 1800 To de données
      • Plus d’un milliard d’objets numériques
    SPAR
  • 4. Le projet SPAR … Préserver le patrimoine, l'Archiver, en Répartir l’accès Applications de production de données Applications de diffusion de données Numérisation de conservation … Production administrative Archivage WEB … . … . … SPAR SPAR
  • 5. Le projet SPAR … les principales exigences
    • Être compatible avec le modèle OAIS (ISO 14721:2003)
    • Être modulaire et distribuable
    • Abstraire toute notion de stockage
    • Exploiter des standards et des formats ouverts ou maîtrisés
    • Exploiter des briques techniques libres
    • S'appuyer sur les technologies Java
    • Exploiter une infrastructure matérielle existante
    SPAR
  • 6. La norme OAIS
    • A quoi sert-elle, concrètement ?
      • À établir la responsabilité de la conservation : notion de contrat
      • À surveiller les documents avant que les dégradations ne se produisent (en général, avec le numérique, « après » = trop tard)
      • À garantir l’intégrité des documents , vérifier qu’ils ne sont pas altérés, et s’ils le sont, expliquer pourquoi
      • À organiser l’activité de conservation autour d’un référentiel commun pour faciliter les évolutions
    Entrées Planification de la pérennisation Administration Gestion des données Stockage OAIS PRODUCTEUR UTILISATEUR OAIS Accès DIP SIP AIP AIP
  • 7. Le projet SPAR et le modèle OAIS SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Service d’Abstraction de Stockage (SAS) OAIS PRODUCTEUR UTILISATEUR OAIS Accès
  • 8. Architecture basée sur des modules SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Accès Service d’Abstraction de Stockage (SAS) Soccle commun
  • 9. Architecture basée sur des modules SSB : Backup SSP : Principal Site de secours Site principal SSS-B : secondaire de secours SSS : secondaire Serveurs de secours Serveurs Soccle commun
  • 10. Le socle commun
    • Les objectifs
      • Modularité par services Web selon le protocole REST
      • Déploiement multi-instances
      • Journalisation des actions
      • Traitements asynchrones
    • Les contraintes
      • Exploiter un environnement Java
    • La mise en œuvre
    Soccle commun
  • 11. Le module Versement
    • Les objectifs
      • Caractériser des fichiers de formats variés
    • Les contraintes
      • Pour la caractérisation, chaque framework a ses formats dans lesquels il excelle.
    • La mise en œuvre
    MagicMimeTypeIdentifier Java Advanced Imaging Sommaire Les modules
  • 12. Le module Gestion de données
    • Les objectifs
      • Indexer les métadonnées de l'ensemble des paquets conservés,
      • Permettre une utilisation indépendante du modèle de données.
    • Les contraintes
      • Plusieurs milliards de triples
      • Intégration dans un environnement Java
    • La mise en œuvre
    Sommaire Les modules
  • 13. Le module Gestion des droits
    • Les objectifs
      • Collecter l’information de droits
      • Calculer dynamiquement les licences d’usage associées
    • Les contraintes
      • Volumétrie
      • Calcul dynamique selon l’usage
    • La mise en œuvre
    Sommaire Les modules Xalan - Xerces OAIHarvester2
  • 14. Le module Administration
    • Les objectifs
      • Offrir une interface graphique pour l'exploitation de certains services
      • Prendre en compte les autorisations d'accès
    • Les contraintes
      • Exploiter des services au format REST
      • Offrir une interface graphique multilangue
    • La mise en œuvre
    Sommaire Les modules
  • 15. Le Service d'Abstraction de Stockage
    • Les objectifs
      • Abstraire le stockage sur l'infrastructure
      • Permettre la mise en place de règles de stockage (répartition multi-sites, notion de capsule de stockage, ...)
    • Les contraintes
      • Effectuer un contrôle d'intégrité
      • Héberger plusieurs millions d'objets
      • Contrôler une bandothèque
    • La mise en œuvre
    Sommaire Les modules
  • 16. Le module d'Accès
    • Les objectifs
      • Pouvoir transformer les paquets selon de nouveaux formats
      • Publier le catalogue selon la norme OAI
    • Les contraintes
      • Ne pas présumer des usages futurs
      • Permettre l'intégration de nouvelles transformations sans devoir réécrire le module
    • La mise en œuvre
    Sommaire Les modules
  • 17. Cartographie générale SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Accès SAS Sommaire Sommaire La démarche
  • 18. Étude du besoin
    • Étude amont permettant de définir le besoin
    • De cette étude, identifier les fonctionnalités ou services devant être offerts par les solutions Open Source
    Sommaire Sommaire La démarche
  • 19. Exemple de grille « à grosse maille »
    • Fonctionnel
      • Peut intégrer les identifiants pérenne ARK?
      • Peut intégrer un système d'authentification ?
      • Gère des métadonnées description de manière extensible ?
      • Gère des métadonnées de pérennisation liés aux objets de données/documents ?
      • Comprend des fonctions d'entrées ?
      • Comprend des fonctions d'accès ?
      • Comprend des fonctions d'administration ?
      • Gère différents types de format ?
      • Gère le cycle de vie des documents (workflow) ?
      • Comprend des fonctionnalités de migration (gestion, suivi, etc.) ?
    • Qualité technique
      • Semble extensible ?
      • Est interopérable avec un système de stockage ?
      • Est interopérable avec un système de supervision (SNMP, etc.) ?
      • Est interopérable avec un annuaire (LDAP, X509 etc.) ?
      • A des références d'implémentation de grande taille (équivalent à la BnF) ?
    • Pérennité
    • A pour objectif d'implémenter le modèle OAIS ?
      • Est modulaire ?
      • Est libre/ouvert ?
      • Est maintenable (organisme de maintenance, qualité du support, communauté, documentation)
      • Est mature (références nombreuses, longue expérience, etc.)
    Sommaire Sommaire La démarche Analyse selon 3 axes
  • 20. Engagement avec les communautés
    • Entrer en contact avec les communautés
    • Participer à l'effervescence en s'associant aux listes de diffusion, forum et autre canaux de communication
    • Participer à la capitalisation du savoir en alimentant les wiki ou tout autres outils collaboratifs
    • Vitaliser les échanges physiques par le biais de conférences téléphoniques ou participations à des conférences ou colloques
    • Exemples d'interactions lors du projet :
      • Jersey : échanges par mails
      • LogBack : échanges par mails
      • iRODS : échanges par mails / chat list (forum) /
                    • rencontres physiques / Conférences téléphoniques /
                    • quelques jours d'expertises sur site
    Sommaire Sommaire La démarche
  • 21. Conclusion
    • Il existe quasiment toujours une solution Open Source
    • Toutes n'ont pas le même degré de maturité
    • L'intégration d'autant de frameworks Open Source n'est pas toujours simple
    • La cartographie générale a évolué durant tout le projet : nécessité d'être « Agile »
    • Constat :L'Open Source qui s'est développé dans les outils d'infrastructure, gagne en crédibilité dans les domaines métier
    Sommaire Sommaire Sommaire Conclusion
  • 22. Questions / Réponses Sommaire Sommaire Sommaire Conclusion
  • 23. Thomas Ledoux thomas.ledoux_AT_bnf.fr Chef de projet SPAR Laurent Sollier laurent.sollier_AT_atosorigin.com Responsable Technique SPAR