Retour d'expérience : La gestion pérenne des documents à l'aide d'une architecture modulaire basée sur des logiciels Open ...
Agenda Le  modèle  OAIS L'OS dans le socle commun Les modules particuliers Le projet SPAR Conclusion & Questions La démarc...
<ul><li>La Bibliothèque nationale de France a été créée par le décret 94.3 du 3 janvier 1994 avec mission de « collecter, ...
Le projet SPAR … Préserver le patrimoine, l'Archiver, en Répartir l’accès Applications de production de données Applicatio...
Le projet SPAR … les principales exigences <ul><li>Être compatible avec le modèle OAIS (ISO 14721:2003) </li></ul><ul><li>...
La norme OAIS <ul><li>A quoi sert-elle, concrètement ? </li></ul><ul><ul><li>À établir la  responsabilité de la conservati...
Le projet SPAR et le modèle OAIS SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gesti...
Architecture basée sur des modules SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Ges...
Architecture basée sur des modules SSB : Backup SSP : Principal Site de secours Site principal SSS-B : secondaire de secou...
Le socle commun <ul><li>Les objectifs </li></ul><ul><ul><li>Modularité par services Web selon le protocole REST </li></ul>...
Le module Versement <ul><li>Les objectifs </li></ul><ul><ul><li>Caractériser des fichiers de formats variés </li></ul></ul...
Le module Gestion de données <ul><li>Les objectifs </li></ul><ul><ul><li>Indexer les métadonnées de l'ensemble des paquets...
Le module Gestion des droits <ul><li>Les objectifs </li></ul><ul><ul><li>Collecter l’information de droits </li></ul></ul>...
Le module Administration <ul><li>Les objectifs </li></ul><ul><ul><li>Offrir une interface graphique pour l'exploitation de...
Le Service d'Abstraction de Stockage <ul><li>Les objectifs </li></ul><ul><ul><li>Abstraire le stockage sur l'infrastructur...
Le module d'Accès <ul><li>Les objectifs </li></ul><ul><ul><li>Pouvoir transformer les paquets selon de nouveaux formats </...
Cartographie générale SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données...
Étude du besoin <ul><li>Étude amont permettant de définir le besoin </li></ul><ul><li>De cette étude, identifier les fonct...
Exemple de grille « à grosse maille » <ul><li>Fonctionnel </li></ul><ul><ul><li>Peut intégrer les identifiants pérenne ARK...
Engagement avec les communautés <ul><li>Entrer en contact avec les communautés </li></ul><ul><li>Participer à l'effervesce...
Conclusion <ul><li>Il existe quasiment toujours une solution Open Source </li></ul><ul><li>Toutes n'ont pas le même degré ...
Questions / Réponses Sommaire Sommaire Sommaire Conclusion
Thomas Ledoux thomas.ledoux_AT_bnf.fr Chef de projet SPAR Laurent Sollier laurent.sollier_AT_atosorigin.com Responsable Te...
Upcoming SlideShare
Loading in...5
×

4 Solutions Linux Spar

1,168

Published on

La préservation numérique de la collection d'une bibliothèque à l'aide de logiciels libres
par Thomas Ledoux (Chef de projet SPAR de la BnF) et Laurent Sollier (AtosOrigin) donnée lors des conférences administration électronique au Salon Solutions Linux 2009

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,168
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
11
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

4 Solutions Linux Spar

  1. 1. Retour d'expérience : La gestion pérenne des documents à l'aide d'une architecture modulaire basée sur des logiciels Open Source. Solutions Linux 2009 Session du 01 Avril 2009 Thomas Ledoux (BnF) / Laurent Sollier (AO)
  2. 2. Agenda Le modèle OAIS L'OS dans le socle commun Les modules particuliers Le projet SPAR Conclusion & Questions La démarche Sommaire
  3. 3. <ul><li>La Bibliothèque nationale de France a été créée par le décret 94.3 du 3 janvier 1994 avec mission de « collecter, de cataloguer, de conserver et d’enrichir tous les champs de la connaissance, le patrimoine national dont elle a la garde, en particulier le patrimoine de langue française ou relatif à la civilisation française ». </li></ul>Le projet SPAR de la Bibliothèque nationale de France … Système de préservation et d’archivage réparti <ul><li>Organisation </li></ul><ul><ul><li>Projet sur 4 ans </li></ul></ul><ul><ul><li>Env.15 personnes </li></ul></ul><ul><ul><li>Méthode Agile (Scrum) </li></ul></ul><ul><li>Volumétrie </li></ul><ul><ul><li>1800 To de données </li></ul></ul><ul><ul><li>Plus d’un milliard d’objets numériques </li></ul></ul>SPAR
  4. 4. Le projet SPAR … Préserver le patrimoine, l'Archiver, en Répartir l’accès Applications de production de données Applications de diffusion de données Numérisation de conservation … Production administrative Archivage WEB … . … . … SPAR SPAR
  5. 5. Le projet SPAR … les principales exigences <ul><li>Être compatible avec le modèle OAIS (ISO 14721:2003) </li></ul><ul><li>Être modulaire et distribuable </li></ul><ul><li>Abstraire toute notion de stockage </li></ul><ul><li>Exploiter des standards et des formats ouverts ou maîtrisés </li></ul><ul><li>Exploiter des briques techniques libres </li></ul><ul><li>S'appuyer sur les technologies Java </li></ul><ul><li>Exploiter une infrastructure matérielle existante </li></ul>SPAR
  6. 6. La norme OAIS <ul><li>A quoi sert-elle, concrètement ? </li></ul><ul><ul><li>À établir la responsabilité de la conservation : notion de contrat </li></ul></ul><ul><ul><li>À surveiller les documents avant que les dégradations ne se produisent (en général, avec le numérique, « après » = trop tard) </li></ul></ul><ul><ul><li>À garantir l’intégrité des documents , vérifier qu’ils ne sont pas altérés, et s’ils le sont, expliquer pourquoi </li></ul></ul><ul><ul><li>À organiser l’activité de conservation autour d’un référentiel commun pour faciliter les évolutions </li></ul></ul>Entrées Planification de la pérennisation Administration Gestion des données Stockage OAIS PRODUCTEUR UTILISATEUR OAIS Accès DIP SIP AIP AIP
  7. 7. Le projet SPAR et le modèle OAIS SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Service d’Abstraction de Stockage (SAS) OAIS PRODUCTEUR UTILISATEUR OAIS Accès
  8. 8. Architecture basée sur des modules SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Accès Service d’Abstraction de Stockage (SAS) Soccle commun
  9. 9. Architecture basée sur des modules SSB : Backup SSP : Principal Site de secours Site principal SSS-B : secondaire de secours SSS : secondaire Serveurs de secours Serveurs Soccle commun
  10. 10. Le socle commun <ul><li>Les objectifs </li></ul><ul><ul><li>Modularité par services Web selon le protocole REST </li></ul></ul><ul><ul><li>Déploiement multi-instances </li></ul></ul><ul><ul><li>Journalisation des actions </li></ul></ul><ul><ul><li>Traitements asynchrones </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Exploiter un environnement Java </li></ul></ul><ul><li>La mise en œuvre </li></ul>Soccle commun
  11. 11. Le module Versement <ul><li>Les objectifs </li></ul><ul><ul><li>Caractériser des fichiers de formats variés </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Pour la caractérisation, chaque framework a ses formats dans lesquels il excelle. </li></ul></ul><ul><li>La mise en œuvre </li></ul>MagicMimeTypeIdentifier Java Advanced Imaging Sommaire Les modules
  12. 12. Le module Gestion de données <ul><li>Les objectifs </li></ul><ul><ul><li>Indexer les métadonnées de l'ensemble des paquets conservés, </li></ul></ul><ul><ul><li>Permettre une utilisation indépendante du modèle de données. </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Plusieurs milliards de triples </li></ul></ul><ul><ul><li>Intégration dans un environnement Java </li></ul></ul><ul><li>La mise en œuvre </li></ul>Sommaire Les modules
  13. 13. Le module Gestion des droits <ul><li>Les objectifs </li></ul><ul><ul><li>Collecter l’information de droits </li></ul></ul><ul><ul><li>Calculer dynamiquement les licences d’usage associées </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Volumétrie </li></ul></ul><ul><ul><li>Calcul dynamique selon l’usage </li></ul></ul><ul><li>La mise en œuvre </li></ul>Sommaire Les modules Xalan - Xerces OAIHarvester2
  14. 14. Le module Administration <ul><li>Les objectifs </li></ul><ul><ul><li>Offrir une interface graphique pour l'exploitation de certains services </li></ul></ul><ul><ul><li>Prendre en compte les autorisations d'accès </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Exploiter des services au format REST </li></ul></ul><ul><ul><li>Offrir une interface graphique multilangue </li></ul></ul><ul><li>La mise en œuvre </li></ul>Sommaire Les modules
  15. 15. Le Service d'Abstraction de Stockage <ul><li>Les objectifs </li></ul><ul><ul><li>Abstraire le stockage sur l'infrastructure </li></ul></ul><ul><ul><li>Permettre la mise en place de règles de stockage (répartition multi-sites, notion de capsule de stockage, ...) </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Effectuer un contrôle d'intégrité </li></ul></ul><ul><ul><li>Héberger plusieurs millions d'objets </li></ul></ul><ul><ul><li>Contrôler une bandothèque </li></ul></ul><ul><li>La mise en œuvre </li></ul>Sommaire Les modules
  16. 16. Le module d'Accès <ul><li>Les objectifs </li></ul><ul><ul><li>Pouvoir transformer les paquets selon de nouveaux formats </li></ul></ul><ul><ul><li>Publier le catalogue selon la norme OAI </li></ul></ul><ul><li>Les contraintes </li></ul><ul><ul><li>Ne pas présumer des usages futurs </li></ul></ul><ul><ul><li>Permettre l'intégration de nouvelles transformations sans devoir réécrire le module </li></ul></ul><ul><li>La mise en œuvre </li></ul>Sommaire Les modules
  17. 17. Cartographie générale SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Accès SAS Sommaire Sommaire La démarche
  18. 18. Étude du besoin <ul><li>Étude amont permettant de définir le besoin </li></ul><ul><li>De cette étude, identifier les fonctionnalités ou services devant être offerts par les solutions Open Source </li></ul>Sommaire Sommaire La démarche
  19. 19. Exemple de grille « à grosse maille » <ul><li>Fonctionnel </li></ul><ul><ul><li>Peut intégrer les identifiants pérenne ARK? </li></ul></ul><ul><ul><li>Peut intégrer un système d'authentification ? </li></ul></ul><ul><ul><li>Gère des métadonnées description de manière extensible ? </li></ul></ul><ul><ul><li>Gère des métadonnées de pérennisation liés aux objets de données/documents ? </li></ul></ul><ul><ul><li>Comprend des fonctions d'entrées ? </li></ul></ul><ul><ul><li>Comprend des fonctions d'accès ? </li></ul></ul><ul><ul><li>Comprend des fonctions d'administration ? </li></ul></ul><ul><ul><li>Gère différents types de format ? </li></ul></ul><ul><ul><li>Gère le cycle de vie des documents (workflow) ? </li></ul></ul><ul><ul><li>Comprend des fonctionnalités de migration (gestion, suivi, etc.) ? </li></ul></ul><ul><li>Qualité technique </li></ul><ul><ul><li>Semble extensible ? </li></ul></ul><ul><ul><li>Est interopérable avec un système de stockage ? </li></ul></ul><ul><ul><li>Est interopérable avec un système de supervision (SNMP, etc.) ? </li></ul></ul><ul><ul><li>Est interopérable avec un annuaire (LDAP, X509 etc.) ? </li></ul></ul><ul><ul><li>A des références d'implémentation de grande taille (équivalent à la BnF) ? </li></ul></ul><ul><li>Pérennité </li></ul><ul><li>A pour objectif d'implémenter le modèle OAIS ? </li></ul><ul><ul><li>Est modulaire ? </li></ul></ul><ul><ul><li>Est libre/ouvert ? </li></ul></ul><ul><ul><li>Est maintenable (organisme de maintenance, qualité du support, communauté, documentation) </li></ul></ul><ul><ul><li>Est mature (références nombreuses, longue expérience, etc.) </li></ul></ul>Sommaire Sommaire La démarche Analyse selon 3 axes
  20. 20. Engagement avec les communautés <ul><li>Entrer en contact avec les communautés </li></ul><ul><li>Participer à l'effervescence en s'associant aux listes de diffusion, forum et autre canaux de communication </li></ul><ul><li>Participer à la capitalisation du savoir en alimentant les wiki ou tout autres outils collaboratifs </li></ul><ul><li>Vitaliser les échanges physiques par le biais de conférences téléphoniques ou participations à des conférences ou colloques </li></ul><ul><li>Exemples d'interactions lors du projet : </li></ul><ul><ul><li>Jersey : échanges par mails </li></ul></ul><ul><ul><li>LogBack : échanges par mails </li></ul></ul><ul><ul><li>iRODS : échanges par mails / chat list (forum) / </li></ul></ul><ul><ul><ul><ul><ul><ul><ul><ul><ul><li>rencontres physiques / Conférences téléphoniques / </li></ul></ul></ul></ul></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><ul><ul><ul><ul><li>quelques jours d'expertises sur site </li></ul></ul></ul></ul></ul></ul></ul></ul></ul>Sommaire Sommaire La démarche
  21. 21. Conclusion <ul><li>Il existe quasiment toujours une solution Open Source </li></ul><ul><li>Toutes n'ont pas le même degré de maturité </li></ul><ul><li>L'intégration d'autant de frameworks Open Source n'est pas toujours simple </li></ul><ul><li>La cartographie générale a évolué durant tout le projet : nécessité d'être « Agile » </li></ul><ul><li>Constat :L'Open Source qui s'est développé dans les outils d'infrastructure, gagne en crédibilité dans les domaines métier </li></ul>Sommaire Sommaire Sommaire Conclusion
  22. 22. Questions / Réponses Sommaire Sommaire Sommaire Conclusion
  23. 23. Thomas Ledoux thomas.ledoux_AT_bnf.fr Chef de projet SPAR Laurent Sollier laurent.sollier_AT_atosorigin.com Responsable Technique SPAR
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×