SCAPE - Skalierbare Langzeitarchivierung (SCAPE - scalable longterm digital preservation)
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

SCAPE - Skalierbare Langzeitarchivierung (SCAPE - scalable longterm digital preservation)

on

  • 336 views

Sven Schlarb of the Austrian National Library presented SCAPE (in German). Besides giving a general overview of SCAPE the presentation also includes descriptions of SCAPE solutions, including tools, ...

Sven Schlarb of the Austrian National Library presented SCAPE (in German). Besides giving a general overview of SCAPE the presentation also includes descriptions of SCAPE solutions, including tools, software integration, planning, and more.
The presentation was given at the Austrian Library day on ‘National Initiatives on Digital Information. Repositories, Research data and long-term preservation in Austria’ (http://www.obvsg.at/voeb-obvsg-bibliothekstage-2013/programm-410/) on 4 October 2013 in Vienna.

Statistics

Views

Total Views
336
Views on SlideShare
336
Embed Views
0

Actions

Likes
0
Downloads
0
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

SCAPE - Skalierbare Langzeitarchivierung (SCAPE - scalable longterm digital preservation) Presentation Transcript

  • 1. SCAPE Skalierbare Langzeitarchivierung 04.10.2013 Dr. Sven Schlarb Österreichische Nationalbibliothek Abteilung für Forschung und Entwicklung sven.schlarb@onb.ac.at
  • 2. Übersicht • Einführung • SCAPE Lösungen • Repositories • Werkzeuge • Planung der Langzeitarchivierung • Anwendungsfälle • • • • Web-Archivierung Repositories Wissenschaftliche Daten Datenzentren • Weiterführende Informationen This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137).
  • 3. SCAPE – Worum gehts im Allgemeinen? • „Big data“ – Verarbeitung großer Datenmengen • Skalierbarkeit in mehrerlei Hinsicht • • • • Anzahl der zu verarbeitenden Objekte Größe Komplexität Vielfalt der Datenformate • IT Umgebungen (Hardware, Software, Systeme) sind für das Management zunehmender Datenmengen nicht ausgerichtet
  • 4. SCAPE – Worum gehts konkret? • Planung und Durchführung rechenintensiver Maßnahmen der Langzeitarchivierung, zum Beispiel: • Ingest großer Datenmengen in ein Repository • Dateiformat-Identifikation und Bestimmung von Dateieigenschaften • Multi-Terabyte Migration • Ausarbeitung typischer Anwendungsfälle die skalierbare Maßnahmen für die Langzeitarchivierung erfordern • Umsetzung der Anwendungsfälle und Einsatz in Bibliotheken und Datenzentren
  • 5. SCAPE Projektrahmen • SCAPE ist ein Nachfolge-Projekt des Planets-Projekts (FP6) • Framework Program 7 (FP7) - Collaborative Project • Laufzeit: 42 44 Monate • Februar 2011 – Juli September 2014 • Budget: 11.3 12.0 Millionen Euro • Gefördert: 8.6 9.2 Millionen Euro
  • 6. SCAPE Consortium
  • 7. SCAPE Lösungen
  • 8. Skalierbare Datenverarbeitung • Basis • Computer-Cluster • Virtualsierung (XEN/Eucalyptus) • Softwareverteilung • Debian Pakete • Tool Spezifikation • Auftragsausführung • Apache Hadoop (HDFS/MapReduce) • Apache Oozie (Workflows) This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137).
  • 9. Skalierbare Repositories • Fedora 4.0.0 • • • • Nur REST, kein SOAP Auf der Basis von RDF JCR 2.0 Implementieriung – ModeShape (Jboss) Infinispan (Jboss) verteilter NoSQL Datenspeicher • Lily 2.0 • Basierend auf HBase/HDFS • Integrierte Datenverarbeitung und -speicherung This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137).
  • 10. In SCAPE entwickelte Software-Werkzeuge Matchbox – Duplikat-Bilderkennung Pagelyzer– Web-Inhalte vergleichen XCorrSound – Audio-Vergleich Jpylyzer – JPEG 2000 Validierung This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137).
  • 11. Integration existierender Software-Werkzeuge • Tool Wrapper • Integration bestehender Software-Werkzeuge in die SCAPE Platform • Standard-Namensgebung von Werkzeugen für Dateianalyse, Migration und Qualitätssicherung • Standardisierte Ausführung (Kommandozeile) • Einfache Einrichtung auf dem Cluster dank der Bereitstellung von Debian-Paketen • Unterstützt Datenströme, die für Hadoop-Verarbeitungsaufträge nützlich sind. • Generiert Langzeitarchivierungskomponenten • Taverna Workflow-Komponenten inklusive Metadaten, die das Auffinden erleichtern • Automatischer Veröffentlichung von Kompmenten auf myExperiment • Standardisierte Eingabe und Ausgabe, die das Kombinieren der WorkflowKomponenten vereinfacht • Langzeitarchivierungswerkzeugkasten • Werkzeugsammlung für die Langzeitarchivierung • Über 80 Operationen für Migration, Dateianalyse, und Qualitätssicherung • Einfaches deployment unter Linux (via apt-get) • apt-get install digital-preservation-tools This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137).
  • 12. Planung der Langzeitarchivierung • SCOUT: Automatisierte Überwachung der Langzeitarchivierung • Einbindung externer Informationsquellen der Langzeitarchivierung • Fall-basierte Benachrichtigungsfunktionen • c3po: Skalierbare Analyse von Archivinhalten • • • • Scale-out MongoDB (Anzahl der Knoten beliebig erweiterbar) Auswertung von FITS-Datei-Analyseergebnissen Detaillierte Statistiken Möglichkeiten der Stichprobenbildung • PLATO 4.1: scalable preservation planning • www.ifs.tuwien.ac.at/dp/plato • Weiterentwicklung der Version aus dem Planets-Projekt • Neue Funktionalität • Gemeinsame Planung der Langzeitarchivierung in Gruppen • Integration maschinenlesbarer Richtlinien This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137).
  • 13. SCAPE Architektur Pull API Automated Watch Source Assessment Adaptor Automated Watch Sources Push API Report API Knowledge Plan Management API Client Service Automated Planning Notification API Plan Watch Request API Component Lookup API Plan Management GUI Digital Object Repository PLATO Component Catalogue Execution Platform JES API Component Registration API JES Digital Objects/ Metadata Preservation Plan Store Data Connector API Data Loader Application Hadoop LDS3 API Data Publication Platform This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137). Taverna Workbench Component Profile Validator
  • 14. Hadoop/MapReduce-Exkurs
  • 15. Einige Hadoop Grundprinzipien • Bei großen Datenmengen ist es meist einfacher die verarbeitende Komponente zu den Daten zu bringen als umgekehrt, die Daten zur verarbeitenden Komponente • Feingranulare Parallelisierung: Die Ausführung der Datenverarbeitung findet auf den zur Verfügung stehenden Prozessorkernen statt • Hardware-bedingte Ausfälle sind keine Besonderheit, sondern es gibt spezielle Vorkehrungen dafür • Redundanz: Datenblöcke werden redundant gespeichert (Default: 3x)  Ausfallsicherheit, Flexibler Zugriff auf Daten • Daten-Lokalität: Freier Knoten mit direktem Zugang zu Datenblock übernimmt die Verarbeitung This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137).
  • 16. Die physische Sicht: Prozessor (CPU) Beispielkonfiguration einer Quad-Core-CPU Pro Cluster-Knoten 4 physische Kerne 8 Hyperthreading-Kerne (System „sieht“ 8 Kerne) OS Reduce Map Reduce Map Map Map Map This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137).
  • 17. Die physische Sicht: Cluster-Knoten Verteilte Datenverarbeitung (MapReduce) 2 x Quad-Core-CPUs: 10 Map (Parallelisierung) 4 Reduce (Aggregation) 4 x 1 TB Festplatten bei Redundanz 3: 1,33 TB effektiv (rein rechnerisch) Verteilter Datenspeicher (HDFS) Hadoop = MapReduce + HDFS This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137).
  • 18. Verteilte Datenverarbeitung (MapReduce) Task1 Task 2 Aggregated Result Output data Task 3 This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137). Aggregated Result
  • 19. Skalierbares Open Source Puzzle Taverna Workflow Server (REST API) Pig (ETL) Hive (SQL) Sqoop (RDBMS) MapReduce (Job-Ausführung) Hadoop Distributed File System (HDFS) Shared Network Attached File System (NAS) This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137).
  • 20. SCAPE Anwendungsfälle
  • 21. Fragestellungen zur Daten-Vorbereitung • HDFS als Master oder Temporärspeicher: Müssen die Dateien für die Verarbeitung erst auf den Cluster kopiert werden?  Widerspricht eigentlich dem Prinzip: Prozessor bei den Daten. • Daten-Teilbarkeit: Lassen sich die Eingangsdaten für die Parallelisierung in kleinere Datensegmente unterteilen (Standard: 64 MB)? • Das „Kleine Dateien“-Problem: Wenn eine große Menge kleinerer Dateien vorliegen, lässt es der Anwendungsfall zu, diese zu einer einzigen großen Datei zusammenzufassen? • Wahlfreier Datenzugriff: Ist die sequentielle Verarbeitung der Eingangsdaten ausreichend? Gibt es häufig Änderungen? This work was partially supported by the SCAPE Project. The SCAPE project is co‐funded by the European Union under FP7 ICT‐2009.4.1 (Grant Agreement number 270137).
  • 22. SCAPE Anwendungsfälle • Große digitale Repositories • Format-Konvertierung umfangreicher Bestände • Überwiegend Parallelisierung, d.h. vor Allem “Map” • Schlechte Audio-Qualität automatisiert entdecken • XCorrSound-Anwendung • Duplikat-Seiten in großen Buchbeständen erkennen • Matchbox-Anwendung • Duplikate innerhalb eines Buches finden • Verschiedene Buchversionen miteinander vergleichen • Wissenschaftliche Daten • Konvertierung von RAW zu NEXUS • Große Datenmengen aus Physik-Experimenten • Herausforderung: Verschiedene Teilchenbeschleuniger produzieren unterschiedliche RAW Datenformate from digitalbevaring.dk
  • 23. SCAPE Testbeds • Web Content • Datei-Analyse und Datei-Formaterkennung  Statistiken: MapReduce Anwendungsfälle • Qualitätssicherung in der Web-Archivierung • Data Centers • Übertragung medizinischer Daten in Datenzentren • Voraussetzung: Verschlüsselung und Anonymisierung from digitalbevaring.dk
  • 24. Weiterführende Informationen
  • 25. Weiterführende Informationen • Entwicklungs-Infrastruktur • Code-Repository bei der Open Planets Foundation und GitHub • https://github.com/openplanets/ • Wiki • http://wiki.opf-labs.org/display/SP/Home • Veröffentlichungen • http://www.scape-project.eu/category/publication • Projektergebnisse: • http://www.scape-project.eu/category/deliverable • SCAPE-Werkzeuge: • http://www.scape-project.eu/tools
  • 26. SCAPE Hackathon in Wien • Langzeitarchivierung mit Hadoop: Hadoop-driven Digital Preservation • 2. bis 4. Dezember 2013 in Wien an der Österreichischen Nationalbibliothek © Justin Smith / Wikimedia Commons, CC-By-SA-3.0 http://www.openplanetsfoundation.org/events/scape-opf-hackathon-hadoop-driven-digital-preservation
  • 27. SCAPE Contact Information • • • • SCAPE http://www.scape-project.eu Twitter: #scapeproject office@list.scape-project.eu • Dr. Sven Schlarb Österreichische Nationalbibliothek sven.schlarb@onb.ac.at
  • 28. Danke! Fragen?