Retour d'expérience : La gestion pérenne des documents à l'aide d'une architecture modulaire basée sur des logiciels Open Source. Solutions Linux 2009 Session du 01 Avril 2009 Thomas Ledoux (BnF) / Laurent Sollier (AO)

Agenda Le modèle OAIS L'OS dans le socle commun Les modules particuliers Le projet SPAR Conclusion & Questions La démarche Sommaire

La Bibliothèque nationale de France a été créée par le décret 94.3 du 3 janvier 1994 avec mission de « collecter, de cataloguer, de conserver et d’enrichir tous les champs de la connaissance, le patrimoine national dont elle a la garde, en particulier le patrimoine de langue française ou relatif à la civilisation française ». Le projet SPAR de la Bibliothèque nationale de France … Système de préservation et d’archivage réparti Organisation Projet sur 4 ans Env.15 personnes Méthode Agile (Scrum) Volumétrie 1800 To de données Plus d’un milliard d’objets numériques SPAR

La Bibliothèque nationale de France a été créée par le décret 94.3 du 3 janvier 1994 avec mission de « collecter, de cataloguer, de conserver et d’enrichir tous les champs de la connaissance, le patrimoine national dont elle a la garde, en particulier le patrimoine de langue française ou relatif à la civilisation française ».

Organisation

Projet sur 4 ans

Env.15 personnes

Méthode Agile (Scrum)

Volumétrie

1800 To de données

Plus d’un milliard d’objets numériques

Le projet SPAR … Préserver le patrimoine, l'Archiver, en Répartir l’accès Applications de production de données Applications de diffusion de données Numérisation de conservation … Production administrative Archivage WEB … . … . … SPAR SPAR

Le projet SPAR … les principales exigences Être compatible avec le modèle OAIS (ISO 14721:2003) Être modulaire et distribuable Abstraire toute notion de stockage Exploiter des standards et des formats ouverts ou maîtrisés Exploiter des briques techniques libres S'appuyer sur les technologies Java Exploiter une infrastructure matérielle existante SPAR

Être compatible avec le modèle OAIS (ISO 14721:2003)

Être modulaire et distribuable

Abstraire toute notion de stockage

Exploiter des standards et des formats ouverts ou maîtrisés

Exploiter des briques techniques libres

S'appuyer sur les technologies Java

Exploiter une infrastructure matérielle existante

La norme OAIS A quoi sert-elle, concrètement ? À établir la responsabilité de la conservation : notion de contrat À surveiller les documents avant que les dégradations ne se produisent (en général, avec le numérique, « après » = trop tard) À garantir l’intégrité des documents , vérifier qu’ils ne sont pas altérés, et s’ils le sont, expliquer pourquoi À organiser l’activité de conservation autour d’un référentiel commun pour faciliter les évolutions Entrées Planification de la pérennisation Administration Gestion des données Stockage OAIS PRODUCTEUR UTILISATEUR OAIS Accès DIP SIP AIP AIP

A quoi sert-elle, concrètement ?

À établir la responsabilité de la conservation : notion de contrat

À surveiller les documents avant que les dégradations ne se produisent (en général, avec le numérique, « après » = trop tard)

À garantir l’intégrité des documents , vérifier qu’ils ne sont pas altérés, et s’ils le sont, expliquer pourquoi

À organiser l’activité de conservation autour d’un référentiel commun pour faciliter les évolutions

Le projet SPAR et le modèle OAIS SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Service d’Abstraction de Stockage (SAS) OAIS PRODUCTEUR UTILISATEUR OAIS Accès

Architecture basée sur des modules SPAR - Infrastructure SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Accès Service d’Abstraction de Stockage (SAS) Soccle commun

Architecture basée sur des modules SSB : Backup SSP : Principal Site de secours Site principal SSS-B : secondaire de secours SSS : secondaire Serveurs de secours Serveurs Soccle commun

Le socle commun Les objectifs Modularité par services Web selon le protocole REST Déploiement multi-instances Journalisation des actions Traitements asynchrones Les contraintes Exploiter un environnement Java La mise en œuvre Soccle commun

Les objectifs

Modularité par services Web selon le protocole REST

Déploiement multi-instances

Journalisation des actions

Traitements asynchrones

Les contraintes

Exploiter un environnement Java

La mise en œuvre

Le module Versement Les objectifs Caractériser des fichiers de formats variés Les contraintes Pour la caractérisation, chaque framework a ses formats dans lesquels il excelle. La mise en œuvre MagicMimeTypeIdentifier Java Advanced Imaging Sommaire Les modules

Les objectifs

Caractériser des fichiers de formats variés

Les contraintes

Pour la caractérisation, chaque framework a ses formats dans lesquels il excelle.

La mise en œuvre

Le module Gestion de données Les objectifs Indexer les métadonnées de l'ensemble des paquets conservés, Permettre une utilisation indépendante du modèle de données. Les contraintes Plusieurs milliards de triples Intégration dans un environnement Java La mise en œuvre Sommaire Les modules

Les objectifs

Indexer les métadonnées de l'ensemble des paquets conservés,

Permettre une utilisation indépendante du modèle de données.

Les contraintes

Plusieurs milliards de triples

Intégration dans un environnement Java

La mise en œuvre

Le module Gestion des droits Les objectifs Collecter l’information de droits Calculer dynamiquement les licences d’usage associées Les contraintes Volumétrie Calcul dynamique selon l’usage La mise en œuvre Sommaire Les modules Xalan - Xerces OAIHarvester2

Les objectifs

Collecter l’information de droits

Calculer dynamiquement les licences d’usage associées

Les contraintes

Volumétrie

Calcul dynamique selon l’usage

La mise en œuvre

Le module Administration Les objectifs Offrir une interface graphique pour l'exploitation de certains services Prendre en compte les autorisations d'accès Les contraintes Exploiter des services au format REST Offrir une interface graphique multilangue La mise en œuvre Sommaire Les modules

Les objectifs

Offrir une interface graphique pour l'exploitation de certains services

Prendre en compte les autorisations d'accès

Les contraintes

Exploiter des services au format REST

Offrir une interface graphique multilangue

La mise en œuvre

Le Service d'Abstraction de Stockage Les objectifs Abstraire le stockage sur l'infrastructure Permettre la mise en place de règles de stockage (répartition multi-sites, notion de capsule de stockage, ...) Les contraintes Effectuer un contrôle d'intégrité Héberger plusieurs millions d'objets Contrôler une bandothèque La mise en œuvre Sommaire Les modules

Les objectifs

Abstraire le stockage sur l'infrastructure

Permettre la mise en place de règles de stockage (répartition multi-sites, notion de capsule de stockage, ...)

Les contraintes

Effectuer un contrôle d'intégrité

Héberger plusieurs millions d'objets

Contrôler une bandothèque

La mise en œuvre

Le module d'Accès Les objectifs Pouvoir transformer les paquets selon de nouveaux formats Publier le catalogue selon la norme OAI Les contraintes Ne pas présumer des usages futurs Permettre l'intégration de nouvelles transformations sans devoir réécrire le module La mise en œuvre Sommaire Les modules

Les objectifs

Pouvoir transformer les paquets selon de nouveaux formats

Publier le catalogue selon la norme OAI

Les contraintes

Ne pas présumer des usages futurs

Permettre l'intégration de nouvelles transformations sans devoir réécrire le module

La mise en œuvre

Cartographie générale SPAR - Réalisation Versement SPAR Préservation Administration Gestion des droits Gestion des données Stockage Accès SAS Sommaire Sommaire La démarche

Étude du besoin Étude amont permettant de définir le besoin De cette étude, identifier les fonctionnalités ou services devant être offerts par les solutions Open Source Sommaire Sommaire La démarche

Étude amont permettant de définir le besoin

De cette étude, identifier les fonctionnalités ou services devant être offerts par les solutions Open Source

Exemple de grille « à grosse maille » Fonctionnel Peut intégrer les identifiants pérenne ARK? Peut intégrer un système d'authentification ? Gère des métadonnées description de manière extensible ? Gère des métadonnées de pérennisation liés aux objets de données/documents ? Comprend des fonctions d'entrées ? Comprend des fonctions d'accès ? Comprend des fonctions d'administration ? Gère différents types de format ? Gère le cycle de vie des documents (workflow) ? Comprend des fonctionnalités de migration (gestion, suivi, etc.) ? Qualité technique Semble extensible ? Est interopérable avec un système de stockage ? Est interopérable avec un système de supervision (SNMP, etc.) ? Est interopérable avec un annuaire (LDAP, X509 etc.) ? A des références d'implémentation de grande taille (équivalent à la BnF) ? Pérennité A pour objectif d'implémenter le modèle OAIS ? Est modulaire ? Est libre/ouvert ? Est maintenable (organisme de maintenance, qualité du support, communauté, documentation) Est mature (références nombreuses, longue expérience, etc.) Sommaire Sommaire La démarche Analyse selon 3 axes

Fonctionnel

Peut intégrer les identifiants pérenne ARK?

Peut intégrer un système d'authentification ?

Gère des métadonnées description de manière extensible ?

Gère des métadonnées de pérennisation liés aux objets de données/documents ?

Comprend des fonctions d'entrées ?

Comprend des fonctions d'accès ?

Comprend des fonctions d'administration ?

Gère différents types de format ?

Gère le cycle de vie des documents (workflow) ?

Comprend des fonctionnalités de migration (gestion, suivi, etc.) ?

Qualité technique

Semble extensible ?

Est interopérable avec un système de stockage ?

Est interopérable avec un système de supervision (SNMP, etc.) ?

Est interopérable avec un annuaire (LDAP, X509 etc.) ?

A des références d'implémentation de grande taille (équivalent à la BnF) ?

Pérennité

A pour objectif d'implémenter le modèle OAIS ?

Est modulaire ?

Est libre/ouvert ?

Est maintenable (organisme de maintenance, qualité du support, communauté, documentation)

Est mature (références nombreuses, longue expérience, etc.)

Engagement avec les communautés Entrer en contact avec les communautés Participer à l'effervescence en s'associant aux listes de diffusion, forum et autre canaux de communication Participer à la capitalisation du savoir en alimentant les wiki ou tout autres outils collaboratifs Vitaliser les échanges physiques par le biais de conférences téléphoniques ou participations à des conférences ou colloques Exemples d'interactions lors du projet : Jersey : échanges par mails LogBack : échanges par mails iRODS : échanges par mails / chat list (forum) / rencontres physiques / Conférences téléphoniques / quelques jours d'expertises sur site Sommaire Sommaire La démarche

Entrer en contact avec les communautés

Participer à l'effervescence en s'associant aux listes de diffusion, forum et autre canaux de communication

Participer à la capitalisation du savoir en alimentant les wiki ou tout autres outils collaboratifs

Vitaliser les échanges physiques par le biais de conférences téléphoniques ou participations à des conférences ou colloques

Exemples d'interactions lors du projet :

Jersey : échanges par mails

LogBack : échanges par mails

iRODS : échanges par mails / chat list (forum) /

rencontres physiques / Conférences téléphoniques /

quelques jours d'expertises sur site

Conclusion Il existe quasiment toujours une solution Open Source Toutes n'ont pas le même degré de maturité L'intégration d'autant de frameworks Open Source n'est pas toujours simple La cartographie générale a évolué durant tout le projet : nécessité d'être « Agile » Constat :L'Open Source qui s'est développé dans les outils d'infrastructure, gagne en crédibilité dans les domaines métier Sommaire Sommaire Sommaire Conclusion

Il existe quasiment toujours une solution Open Source

Toutes n'ont pas le même degré de maturité

L'intégration d'autant de frameworks Open Source n'est pas toujours simple

La cartographie générale a évolué durant tout le projet : nécessité d'être « Agile »

Constat :L'Open Source qui s'est développé dans les outils d'infrastructure, gagne en crédibilité dans les domaines métier

Questions / Réponses Sommaire Sommaire Sommaire Conclusion

Thomas Ledoux thomas.ledoux_AT_bnf.fr Chef de projet SPAR Laurent Sollier laurent.sollier_AT_atosorigin.com Responsable Technique SPAR