Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Retour d'expérience : La gestion pérenne des documents à l'aide d'une architecture modulaire basée sur des logiciels Open ...
Agenda Le  modèle  OAIS L'OS dans le socle commun Les modules particuliers Le projet SPAR Conclusion & Questions La démarc...
<ul><li>La Bibliothèque nationale de France a été créée par le décret 94.3 du 3 janvier 1994 avec mission de « collecter, ...
Le projet SPAR … Préserver le patrimoine, l'Archiver, en Répartir l’accès Applications de production de données Applicatio...
Le projet SPAR … les principales exigences <ul><li>Être compatible avec le modèle OAIS (ISO 14721:2003) </li></ul><ul><li>...
La norme OAIS <ul><li>A quoi sert-elle, concrètement ? </li></ul><ul><ul><li>À établir la  responsabilité de la conservati...
Le projet SPAR et le modèle OAIS SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gesti...
Architecture basée sur des modules SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Ges...
Architecture basée sur des modules SSB : Backup SSP : Principal Site de secours Site principal SSS-B : secondaire de secou...
Le socle commun <ul><li>Les objectifs </li></ul><ul><ul><li>Modularité par services Web selon le protocole REST </li></ul>...
Le module Versement <ul><li>Les objectifs </li></ul><ul><ul><li>Caractériser des fichiers de formats variés </li></ul></ul...
Le module Gestion de données <ul><li>Les objectifs </li></ul><ul><ul><li>Indexer les métadonnées de l'ensemble des paquets...
Le module Gestion des droits <ul><li>Les objectifs </li></ul><ul><ul><li>Collecter l’information de droits </li></ul></ul>...
Le module Administration <ul><li>Les objectifs </li></ul><ul><ul><li>Offrir une interface graphique pour l'exploitation de...
Le Service d'Abstraction de Stockage <ul><li>Les objectifs </li></ul><ul><ul><li>Abstraire le stockage sur l'infrastructur...
Le module d'Accès <ul><li>Les objectifs </li></ul><ul><ul><li>Pouvoir transformer les paquets selon de nouveaux formats </...
Cartographie générale SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données...
Étude du besoin <ul><li>Étude amont permettant de définir le besoin </li></ul><ul><li>De cette étude, identifier les fonct...
Exemple de grille « à grosse maille » <ul><li>Fonctionnel </li></ul><ul><ul><li>Peut intégrer les identifiants pérenne ARK...
Engagement avec les communautés <ul><li>Entrer en contact avec les communautés </li></ul><ul><li>Participer à l'effervesce...
Conclusion <ul><li>Il existe quasiment toujours une solution Open Source </li></ul><ul><li>Toutes n'ont pas le même degré ...
Questions / Réponses Sommaire Sommaire Sommaire Conclusion
Thomas Ledoux thomas.ledoux_AT_bnf.fr Chef de projet SPAR Laurent Sollier laurent.sollier_AT_atosorigin.com Responsable Te...
Upcoming SlideShare
Loading in …5
×

4 Solutions Linux Spar

1,654 views

Published on

La préservation numérique de la collection d'une bibliothèque à l'aide de logiciels libres
par Thomas Ledoux (Chef de projet SPAR de la BnF) et Laurent Sollier (AtosOrigin) donnée lors des conférences administration électronique au Salon Solutions Linux 2009

  • Be the first to comment

  • Be the first to like this

4 Solutions Linux Spar

  1. 1. Retour d'expérience : La gestion pérenne des documents à l'aide d'une architecture modulaire basée sur des logiciels Open Source. Solutions Linux 2009 Session du 01 Avril 2009 Thomas Ledoux (BnF) / Laurent Sollier (AO)
  2. 2. Agenda Le modèle OAIS L'OS dans le socle commun Les modules particuliers Le projet SPAR Conclusion & Questions La démarche Sommaire
  3. 3. <ul><li>La Bibliothèque nationale de France a été créée par le décret 94.3 du 3 janvier 1994 avec mission de « collecter, de cataloguer, de conserver et d’enrichir tous les champs de la connaissance, le patrimoine national dont elle a la garde, en particulier le patrimoine de langue française ou relatif à la civilisation française ». </li></ul>Le projet SPAR de la Bibliothèque nationale de France … Système de préservation et d’archivage réparti <ul><li>Organisation </li></ul><ul><ul><li>Projet sur 4 ans </li></ul></ul><ul><ul><li>Env.15 personnes </li></ul></ul><ul><ul><li>Méthode Agile (Scrum) </li></ul></ul><ul><li>Volumétrie </li></ul><ul><ul><li>1800 To de données </li></ul></ul><ul><ul><li>Plus d’un milliard d’objets numériques </li></ul></ul>SPAR
  4. 4. Le projet SPAR … Préserver le patrimoine, l'Archiver, en Répartir l’accès Applications de production de données Applications de diffusion de données Numérisation de conservation … Production administrative Archivage WEB … . … . … SPAR SPAR
  5. 5. Le projet SPAR … les principales exigences <ul><li>Être compatible avec le modèle OAIS (ISO 14721:2003) </li></ul><ul><li>Être modulaire et distribuable </li></ul><ul><li>Abstraire toute notion de stockage </li></ul><ul><li>Exploiter des standards et des formats ouverts ou maîtrisés </li></ul><ul><li>Exploiter des briques techniques libres </li></ul><ul><li>S'appuyer sur les technologies Java </li></ul><ul><li>Exploiter une infrastructure matérielle existante </li></ul>SPAR
  6. 6. La norme OAIS <ul><li>A quoi sert-elle, concrètement ? </li></ul><ul><ul><li>À établir la responsabilité de la conservation : notion de contrat </li></ul></ul><ul><ul><li>À surveiller les documents avant que les dégradations ne se produisent (en général, avec le numérique, « après » = trop tard) </li></ul></ul><ul><ul><li>À garantir l’intégrité des documents , vérifier qu’ils ne sont pas altérés, et s’ils le sont, expliquer pourquoi </li></ul></ul><ul><ul><li>À organiser l’activité de conservation autour d’un référentiel commun pour faciliter les évolutions </li></ul></ul>Entrées Planification de la pérennisation Administration Gestion des données Stockage OAIS PRODUCTEUR UTILISATEUR OAIS Accès DIP SIP AIP AIP
  7. 7. Le projet SPAR et le modèle OAIS SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Service d’Abstraction de Stockage (SAS) OAIS PRODUCTEUR UTILISATEUR OAIS Accès
  8. 8. Architecture basée sur des modules SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Accès Service d’Abstraction de Stockage (SAS) Soccle commun
  9. 9. Architecture basée sur des modules SSB : Backup SSP : Principal Site de secours Site principal SSS-B : secondaire de secours SSS : secondaire Serveurs de secours Serveurs Soccle commun
  10. 10. Le socle commun <ul><li>Les objectifs </li></ul><ul><ul><li>Modularité par services Web selon le protocole REST </li></ul></ul><ul><ul><li>Déploiement multi-instances </li></ul></ul><ul><ul><li>Journalisation des actions </li></ul></ul><ul><ul><li>Traitements asynchrones </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Exploiter un environnement Java </li></ul></ul><ul><li>La mise en œuvre </li></ul>Soccle commun
  11. 11. Le module Versement <ul><li>Les objectifs </li></ul><ul><ul><li>Caractériser des fichiers de formats variés </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Pour la caractérisation, chaque framework a ses formats dans lesquels il excelle. </li></ul></ul><ul><li>La mise en œuvre </li></ul>MagicMimeTypeIdentifier Java Advanced Imaging Sommaire Les modules
  12. 12. Le module Gestion de données <ul><li>Les objectifs </li></ul><ul><ul><li>Indexer les métadonnées de l'ensemble des paquets conservés, </li></ul></ul><ul><ul><li>Permettre une utilisation indépendante du modèle de données. </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Plusieurs milliards de triples </li></ul></ul><ul><ul><li>Intégration dans un environnement Java </li></ul></ul><ul><li>La mise en œuvre </li></ul>Sommaire Les modules
  13. 13. Le module Gestion des droits <ul><li>Les objectifs </li></ul><ul><ul><li>Collecter l’information de droits </li></ul></ul><ul><ul><li>Calculer dynamiquement les licences d’usage associées </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Volumétrie </li></ul></ul><ul><ul><li>Calcul dynamique selon l’usage </li></ul></ul><ul><li>La mise en œuvre </li></ul>Sommaire Les modules Xalan - Xerces OAIHarvester2
  14. 14. Le module Administration <ul><li>Les objectifs </li></ul><ul><ul><li>Offrir une interface graphique pour l'exploitation de certains services </li></ul></ul><ul><ul><li>Prendre en compte les autorisations d'accès </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Exploiter des services au format REST </li></ul></ul><ul><ul><li>Offrir une interface graphique multilangue </li></ul></ul><ul><li>La mise en œuvre </li></ul>Sommaire Les modules
  15. 15. Le Service d'Abstraction de Stockage <ul><li>Les objectifs </li></ul><ul><ul><li>Abstraire le stockage sur l'infrastructure </li></ul></ul><ul><ul><li>Permettre la mise en place de règles de stockage (répartition multi-sites, notion de capsule de stockage, ...) </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Effectuer un contrôle d'intégrité </li></ul></ul><ul><ul><li>Héberger plusieurs millions d'objets </li></ul></ul><ul><ul><li>Contrôler une bandothèque </li></ul></ul><ul><li>La mise en œuvre </li></ul>Sommaire Les modules
  16. 16. Le module d'Accès <ul><li>Les objectifs </li></ul><ul><ul><li>Pouvoir transformer les paquets selon de nouveaux formats </li></ul></ul><ul><ul><li>Publier le catalogue selon la norme OAI </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Ne pas présumer des usages futurs </li></ul></ul><ul><ul><li>Permettre l'intégration de nouvelles transformations sans devoir réécrire le module </li></ul></ul><ul><li>La mise en œuvre </li></ul>Sommaire Les modules
  17. 17. Cartographie générale SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Accès SAS Sommaire Sommaire La démarche
  18. 18. Étude du besoin <ul><li>Étude amont permettant de définir le besoin </li></ul><ul><li>De cette étude, identifier les fonctionnalités ou services devant être offerts par les solutions Open Source </li></ul>Sommaire Sommaire La démarche
  19. 19. Exemple de grille « à grosse maille » <ul><li>Fonctionnel </li></ul><ul><ul><li>Peut intégrer les identifiants pérenne ARK? </li></ul></ul><ul><ul><li>Peut intégrer un système d'authentification ? </li></ul></ul><ul><ul><li>Gère des métadonnées description de manière extensible ? </li></ul></ul><ul><ul><li>Gère des métadonnées de pérennisation liés aux objets de données/documents ? </li></ul></ul><ul><ul><li>Comprend des fonctions d'entrées ? </li></ul></ul><ul><ul><li>Comprend des fonctions d'accès ? </li></ul></ul><ul><ul><li>Comprend des fonctions d'administration ? </li></ul></ul><ul><ul><li>Gère différents types de format ? </li></ul></ul><ul><ul><li>Gère le cycle de vie des documents (workflow) ? </li></ul></ul><ul><ul><li>Comprend des fonctionnalités de migration (gestion, suivi, etc.) ? </li></ul></ul><ul><li>Qualité technique </li></ul><ul><ul><li>Semble extensible ? </li></ul></ul><ul><ul><li>Est interopérable avec un système de stockage ? </li></ul></ul><ul><ul><li>Est interopérable avec un système de supervision (SNMP, etc.) ? </li></ul></ul><ul><ul><li>Est interopérable avec un annuaire (LDAP, X509 etc.) ? </li></ul></ul><ul><ul><li>A des références d'implémentation de grande taille (équivalent à la BnF) ? </li></ul></ul><ul><li>Pérennité </li></ul><ul><li>A pour objectif d'implémenter le modèle OAIS ? </li></ul><ul><ul><li>Est modulaire ? </li></ul></ul><ul><ul><li>Est libre/ouvert ? </li></ul></ul><ul><ul><li>Est maintenable (organisme de maintenance, qualité du support, communauté, documentation) </li></ul></ul><ul><ul><li>Est mature (références nombreuses, longue expérience, etc.) </li></ul></ul>Sommaire Sommaire La démarche Analyse selon 3 axes
  20. 20. Engagement avec les communautés <ul><li>Entrer en contact avec les communautés </li></ul><ul><li>Participer à l'effervescence en s'associant aux listes de diffusion, forum et autre canaux de communication </li></ul><ul><li>Participer à la capitalisation du savoir en alimentant les wiki ou tout autres outils collaboratifs </li></ul><ul><li>Vitaliser les échanges physiques par le biais de conférences téléphoniques ou participations à des conférences ou colloques </li></ul><ul><li>Exemples d'interactions lors du projet : </li></ul><ul><ul><li>Jersey : échanges par mails </li></ul></ul><ul><ul><li>LogBack : échanges par mails </li></ul></ul><ul><ul><li>iRODS : échanges par mails / chat list (forum) / </li></ul></ul><ul><ul><ul><ul><ul><ul><ul><ul><ul><li>rencontres physiques / Conférences téléphoniques / </li></ul></ul></ul></ul></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><ul><ul><ul><ul><li>quelques jours d'expertises sur site </li></ul></ul></ul></ul></ul></ul></ul></ul></ul>Sommaire Sommaire La démarche
  21. 21. Conclusion <ul><li>Il existe quasiment toujours une solution Open Source </li></ul><ul><li>Toutes n'ont pas le même degré de maturité </li></ul><ul><li>L'intégration d'autant de frameworks Open Source n'est pas toujours simple </li></ul><ul><li>La cartographie générale a évolué durant tout le projet : nécessité d'être « Agile » </li></ul><ul><li>Constat :L'Open Source qui s'est développé dans les outils d'infrastructure, gagne en crédibilité dans les domaines métier </li></ul>Sommaire Sommaire Sommaire Conclusion
  22. 22. Questions / Réponses Sommaire Sommaire Sommaire Conclusion
  23. 23. Thomas Ledoux thomas.ledoux_AT_bnf.fr Chef de projet SPAR Laurent Sollier laurent.sollier_AT_atosorigin.com Responsable Technique SPAR

×