4 Solutions Linux Spar

Retour d'expérience : La gestion pérenne des documents à l'aide d'une architecture modulaire basée sur des logiciels Open Source. Solutions Linux 2009 Session du 01 Avril 2009 Thomas Ledoux (BnF) / Laurent Sollier (AO)

Agenda Le modèle OAIS L'OS dans le socle commun Les modules particuliers Le projet SPAR Conclusion & Questions La démarche Sommaire

La Bibliothèque nationale de France a été créée par le décret 94.3 du 3 janvier 1994 avec mission de « collecter, de cataloguer, de conserver et d’enrichir tous les champs de la connaissance, le patrimoine national dont elle a la garde, en particulier le patrimoine de langue française ou relatif à la civilisation française ».
Le projet SPAR de la Bibliothèque nationale de France … Système de préservation et d’archivage réparti
Organisation
Projet sur 4 ans
Env.15 personnes
Méthode Agile (Scrum)
Volumétrie
1800 To de données
Plus d’un milliard d’objets numériques
SPAR

Le projet SPAR … Préserver le patrimoine, l'Archiver, en Répartir l’accès Applications de production de données Applications de diffusion de données Numérisation de conservation … Production administrative Archivage WEB … . … . … SPAR SPAR

Le projet SPAR … les principales exigences
Être compatible avec le modèle OAIS (ISO 14721:2003)
Être modulaire et distribuable
Abstraire toute notion de stockage
Exploiter des standards et des formats ouverts ou maîtrisés
Exploiter des briques techniques libres
S'appuyer sur les technologies Java
Exploiter une infrastructure matérielle existante
SPAR

La norme OAIS
A quoi sert-elle, concrètement ?
À établir la responsabilité de la conservation : notion de contrat
À surveiller les documents avant que les dégradations ne se produisent (en général, avec le numérique, « après » = trop tard)
À garantir l’intégrité des documents , vérifier qu’ils ne sont pas altérés, et s’ils le sont, expliquer pourquoi
À organiser l’activité de conservation autour d’un référentiel commun pour faciliter les évolutions
Entrées Planification de la pérennisation Administration Gestion des données Stockage OAIS PRODUCTEUR UTILISATEUR OAIS Accès DIP SIP AIP AIP

Le projet SPAR et le modèle OAIS SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Service d’Abstraction de Stockage (SAS) OAIS PRODUCTEUR UTILISATEUR OAIS Accès

Architecture basée sur des modules SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Accès Service d’Abstraction de Stockage (SAS) Soccle commun

Architecture basée sur des modules SSB : Backup SSP : Principal Site de secours Site principal SSS-B : secondaire de secours SSS : secondaire Serveurs de secours Serveurs Soccle commun

Le socle commun
Les objectifs
Modularité par services Web selon le protocole REST
Déploiement multi-instances
Journalisation des actions
Traitements asynchrones
Les contraintes
Exploiter un environnement Java
La mise en œuvre
Soccle commun

Le module Versement
Les objectifs
Caractériser des fichiers de formats variés
Les contraintes
Pour la caractérisation, chaque framework a ses formats dans lesquels il excelle.
La mise en œuvre
MagicMimeTypeIdentifier Java Advanced Imaging Sommaire Les modules

Le module Gestion de données
Les objectifs
Indexer les métadonnées de l'ensemble des paquets conservés,
Permettre une utilisation indépendante du modèle de données.
Les contraintes
Plusieurs milliards de triples
Intégration dans un environnement Java
La mise en œuvre
Sommaire Les modules

Le module Gestion des droits
Les objectifs
Collecter l’information de droits
Calculer dynamiquement les licences d’usage associées
Les contraintes
Volumétrie
Calcul dynamique selon l’usage
La mise en œuvre
Sommaire Les modules Xalan - Xerces OAIHarvester2

Le module Administration
Les objectifs
Offrir une interface graphique pour l'exploitation de certains services
Prendre en compte les autorisations d'accès
Les contraintes
Exploiter des services au format REST
Offrir une interface graphique multilangue
La mise en œuvre

Le Service d'Abstraction de Stockage
Les objectifs
Abstraire le stockage sur l'infrastructure
Permettre la mise en place de règles de stockage (répartition multi-sites, notion de capsule de stockage, ...)
Les contraintes
Effectuer un contrôle d'intégrité
Héberger plusieurs millions d'objets
Contrôler une bandothèque
La mise en œuvre

Le module d'Accès
Les objectifs
Pouvoir transformer les paquets selon de nouveaux formats
Publier le catalogue selon la norme OAI
Les contraintes
Ne pas présumer des usages futurs
Permettre l'intégration de nouvelles transformations sans devoir réécrire le module
La mise en œuvre

Cartographie générale SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Accès SAS Sommaire Sommaire La démarche

Étude du besoin
Étude amont permettant de définir le besoin
De cette étude, identifier les fonctionnalités ou services devant être offerts par les solutions Open Source
Sommaire Sommaire La démarche

Exemple de grille « à grosse maille »
Fonctionnel
Peut intégrer les identifiants pérenne ARK?
Peut intégrer un système d'authentification ?
Gère des métadonnées description de manière extensible ?
Gère des métadonnées de pérennisation liés aux objets de données/documents ?
Comprend des fonctions d'entrées ?
Comprend des fonctions d'accès ?
Comprend des fonctions d'administration ?
Gère différents types de format ?
Gère le cycle de vie des documents (workflow) ?
Comprend des fonctionnalités de migration (gestion, suivi, etc.) ?
Qualité technique
Semble extensible ?
Est interopérable avec un système de stockage ?
Est interopérable avec un système de supervision (SNMP, etc.) ?
Est interopérable avec un annuaire (LDAP, X509 etc.) ?
A des références d'implémentation de grande taille (équivalent à la BnF) ?
Pérennité
A pour objectif d'implémenter le modèle OAIS ?
Est modulaire ?
Est libre/ouvert ?
Est maintenable (organisme de maintenance, qualité du support, communauté, documentation)
Est mature (références nombreuses, longue expérience, etc.)
Sommaire Sommaire La démarche Analyse selon 3 axes

Engagement avec les communautés
Entrer en contact avec les communautés
Participer à l'effervescence en s'associant aux listes de diffusion, forum et autre canaux de communication
Participer à la capitalisation du savoir en alimentant les wiki ou tout autres outils collaboratifs
Vitaliser les échanges physiques par le biais de conférences téléphoniques ou participations à des conférences ou colloques
Exemples d'interactions lors du projet :
Jersey : échanges par mails
LogBack : échanges par mails
iRODS : échanges par mails / chat list (forum) /
rencontres physiques / Conférences téléphoniques /
quelques jours d'expertises sur site
Sommaire Sommaire La démarche

Conclusion
Il existe quasiment toujours une solution Open Source
Toutes n'ont pas le même degré de maturité
L'intégration d'autant de frameworks Open Source n'est pas toujours simple
La cartographie générale a évolué durant tout le projet : nécessité d'être « Agile »
Constat :L'Open Source qui s'est développé dans les outils d'infrastructure, gagne en crédibilité dans les domaines métier
Sommaire Sommaire Sommaire Conclusion

Questions / Réponses Sommaire Sommaire Sommaire Conclusion

Thomas Ledoux thomas.ledoux_AT_bnf.fr Chef de projet SPAR Laurent Sollier laurent.sollier_AT_atosorigin.com Responsable Technique SPAR

4 Solutions Linux Spar

by Alexis Monville on Apr 09, 2009

Accessibility

Tags

Upload Details

Usage Rights

1 Embed 2

Statistics

4 Solutions Linux Spar — Presentation Transcript