Your SlideShare is downloading. ×
0
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Provenance-Aufzeichnung und -Analyse für Grid-Workflows
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Provenance-Aufzeichnung und -Analyse für Grid-Workflows

1,047

Published on

Vortrag auf dem Grid Workflow Workshop 2009 (06.03.2009, TU Berlin).

Vortrag auf dem Grid Workflow Workshop 2009 (06.03.2009, TU Berlin).

Published in: Technology, Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,047
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide
  • Transcript

    • 1. Provenance-Aufzeichnung und -Analyse für Grid-Workflows Grid Workflow Workshop 2009 (5./6.3.2009, Berlin) Andreas Schreiber < Andreas.Schreiber@dlr.de> Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR), Köln-Porz http://www.dlr.de/sc
    • 2. Überblick <ul><li>Definition „Provenance“ </li></ul><ul><li>Anwendungsgebiete </li></ul><ul><ul><li>Wofür ist das wichtig? </li></ul></ul><ul><ul><li>Vorteile und Nutzen </li></ul></ul><ul><li>Provenance Model </li></ul><ul><li>Aufzeichnung </li></ul><ul><ul><li>Software </li></ul></ul><ul><li>Analyse </li></ul><ul><ul><li>Visualisierung </li></ul></ul><ul><li>Ausblick </li></ul><ul><ul><li>Integration mit Expertensystemen </li></ul></ul>
    • 3. Definition „Provenance“
    • 4. Was ist „Provenance“? Das sagen Wörterbücher… <ul><li>Duden Fremdwörterbuch </li></ul><ul><li>Provenienz [… we …; zu lat. provenire „hervorkommen, entstehen“] die ; -, -en: Herkunft, Ursprung </li></ul><ul><li>Wiktionary (deutsch) </li></ul><ul><li>Provenienz Bedeutungen: [1] Herkunft, Ursprung [a] die über die Vorbesitzer nachgewiesene Herkunft einer Ware. [b] im Buchwesen den oder die Vorbesitzer eines Schriftstücks, meist private Sammlungen oder geistliche Institutionen, aus denen das Exemplar in den heutigen Besitz einer Bibliothek gelangt ist: Provenienz (Buch). [c] im Archivwesen die Herkunft betreffend [d] in der Medizin wird Provenienz auch einfach im Sinne von Herkunft benutzt </li></ul>
    • 5. Bestimmungen und Konformität Hintergrundwissen <ul><li>Wir leben in einer regulierten Welt: </li></ul><ul><li>Audits, Konformität und Regulierung: Teil der Geschäftssprache </li></ul><ul><li>Geschäftliche „Spielregeln“: Produkthaftung, ISO 9000, Basel II, „Richtlinien zur Sicherung guter wissenschaftlicher Praxis”, … </li></ul><ul><li>Wie erzeugen und verwalten Organisationen Informationen? </li></ul><ul><li>Akademischer „ peer review ” für Wissenschaft und Forschung </li></ul><ul><li>Audit-Regeln für finanzielle Transaktionen </li></ul><ul><li>Flugsicherungs-Regulierungen </li></ul><ul><li>Bestimmungen zur Sicherheit von Patienten-Informationen </li></ul><ul><li>Verfahren zur Zulassung pharmazeutischer Produkte </li></ul><ul><li>Für Konformität müssen Prozesse und daraus gewonnene Informationen … </li></ul><ul><ul><li>offen, transparent und auditierbar sein </li></ul></ul><ul><ul><li>eine geprüfte Integrität haben </li></ul></ul>
    • 6. Provenance in der Informatik Was wir darunter verstehen … <ul><li>Ursprung und Authentizität von Ergebnissen </li></ul><ul><li>Aufzeichnung von Prozessinformationen zur Laufzeit des Prozesses </li></ul><ul><li>Mit dieser Dokumentation kann folgendes ermittelt werden: </li></ul><ul><ul><li>Der Ursprung der Daten </li></ul></ul><ul><ul><li>Die Konformität des (Daten-) erzeugenden Prozesses </li></ul></ul><ul><li>Das bezeichnen wir als „Provenienz”: </li></ul><ul><li>Die Provenienz einer Information ist die Geschichte ihrer Erzeugung </li></ul>
    • 7. Provenance Von der Anwendung zur Repräsentation <ul><li>Beispiel: Bei komplexen Simulationen Aufzeichnung von </li></ul><ul><li>Eingabedaten (Parameter), </li></ul><ul><li>Programmausführungen, </li></ul><ul><li>beteiligte Rechner oder </li></ul><ul><li>erzeugte Dateien. </li></ul><ul><li>UND BEZIEHUNGEN UNTEREINANDER (Unterschied zu „klassischem“ Logging!) </li></ul><ul><li>Computergestützte Repräsentation der Provenienz , die uns erlaubt </li></ul><ul><li>Sinnvolle Analysen durchzuführen </li></ul><ul><li>Unsere Anwendungen zu belegen </li></ul>Dokumentation des Prozesses: „Provenance“- Informationen dazu notwendig
    • 8. Anwendung auf verteilte Business Prozesse Standardisierte Dokumentation von Business Prozessen <ul><li>Provenance </li></ul><ul><li>Architektur </li></ul><ul><li>Methodik </li></ul><ul><li>Überprüfungen </li></ul><ul><li>Wiederholung </li></ul><ul><li>Analyse </li></ul>Provenance Store Record Query Apply Medizin Logistik Finanzwesen Luftfahrt Klima Pharmazie
    • 9. Anwendungsgebiete
    • 10. Anwendungsbereiche <ul><li>Medizin </li></ul><ul><li>Ingenieurwissenschaft </li></ul><ul><li>Klimaforschung </li></ul><ul><li>Finanzwirtschaft </li></ul><ul><li>Bioinformatik </li></ul><ul><li>Pharmazie </li></ul>
    • 11. Provenance in der Medizin <ul><li>Nutzen von Provenance in der Medizin </li></ul><ul><li>Einheitliche Sicht auf Daten, Workflows, Logbücher </li></ul><ul><li>Überblick über alle früheren Behandlungen von Patienten </li></ul><ul><li>Analyse der verteilten medizinischen Infrastruktur zu Erkennung von Problemen </li></ul><ul><li>Durchführung von Audits (medizinisch / rechtlich) </li></ul><ul><li>Aufzeichnung von Provenance-Daten </li></ul><ul><li>Ursprung medizinischer Entscheidungen und Workflows </li></ul><ul><li>Die verfügbaren medizinischen Information in jedem Prozessschritt </li></ul><ul><li>Der Ursprung dieser Informationen </li></ul><ul><li>Beispiel: Organtransplantations-Management </li></ul>
    • 12. Lab_1 Lab_2 Lab_3 Hospital A (donor side) Hospital B (recipient side) Hospital C Lab_A Lab_B OTA General Practice Center Transplant Unit Transplant Unit Transplant Unit General Practice Center Hospital D WL WL WL WL EHCR EHCR EHCR EHCR EHCR
    • 13. Provenance in den Ingenieurwissenschaften <ul><li>Nutzen von Provenance </li></ul><ul><li>Detaillierte Nachvollziehbarkeit des Entstehungsweges eines Berechnungsergebnisses </li></ul><ul><li>Klare Dokumentation von verteilten Berechnungs- Workflows </li></ul><ul><li>Möglichkeit zum „Re-run“ von Simulationen </li></ul><ul><li>Einfache Überprüfung auf Einhaltung von Regularien </li></ul><ul><li>Aufzeichnung von Provenance-Daten </li></ul><ul><li>Modell-Parameter </li></ul><ul><li>Tool-Versionen </li></ul><ul><li>Verwendete Hardware </li></ul><ul><li>Verwendete Libraries & Compiler(-Parameter) </li></ul>
    • 14. Frage: “Was ist passiert?” <ul><li>Lange Rechenzeiten: </li></ul><ul><li>~ 7 Tage auf typischem Cluster (>64 processors) pro Konfiguration </li></ul>SIMULATION FAILED
    • 15. Provenance in den Ingenieurwissenschaften Fragestellungen zur Nutzung der Informationen <ul><li>In welcher Simulation wurde eine bestimmte Datei erzeugt? </li></ul><ul><li>In welchen Simulationen wurde ein bestimmtes Modell berechnet? </li></ul><ul><li>In welchen Simulationen wurde ein bestimmter Parameter verwendet? </li></ul><ul><li>Welche Monitoring-Informationen wurden in einer Simulation mit Parameter == x aufgezeichnet? </li></ul><ul><li>Welche Simulationen wurden mit einer bestimmten numerischen oder Modell-Konfiguration gerechnet? </li></ul><ul><li>Haben bei vertraulichen/geheimen Rechnungen die Daten die Rechner der Firma nicht verlassen? </li></ul>
    • 16. Provenance in der Klimaforschung <ul><li>Klimadaten werden in unterschiedlich(st)en Formaten ausgetauscht </li></ul><ul><li>Suche und Benutzung der Daten erfordert standardisierte Metadaten (ISO 19115/19139) </li></ul><ul><li>Sicherstellung der Datenqualität durch Provenance-Dokumentation („Lineage“): </li></ul><ul><ul><li>Prozessierungsschritte </li></ul></ul><ul><ul><li>Datenquellen </li></ul></ul>
    • 17. Provenance Model
    • 18. Provenance-Konzepte is an execution of Application Services Provenance ( concept ) Data product produces Process Documentation P - structure has a structure operates over P - assertions consists of contains assert Process documents is defined as a past Provenance ( representation ) is represented by Provenance Query is obtained by has
    • 19. Anwendungen „Provenance-Aware“ machen Provenance Store Provenance von Daten ermitteln durch Stellen von Abfragen Administration von Store und Inhalt Anwendung Daten (Ergebnis) P-Assertions feststellen und als Prozess-Dokumentation aufzeichnen
    • 20. Service Orientiere Architekturen <ul><li>Ein Service ist eine Komponente, die irgendwelche Eingaben bekommt und irgendwelche Ausgabe produziert </li></ul><ul><li>Services werden in Form von Workflows zusammen benutzt, um konkrete Probleme zu lösen </li></ul><ul><li>Interaktionen zwischen den Services geschieht durch Nachrichten , die gemäß der Service- Interface -Spezifikation übermittelt werden </li></ul><ul><li>Als Akteur wird in SOAs entweder ein Client oder ein Service bezeichnet </li></ul><ul><li>Ein Prozess ist definiert als die Ausführung eines Workflow </li></ul>
    • 21. Prozess-Dokumentation und P-Assertions (1) <ul><li>Prozess-Dokumentation </li></ul><ul><li>Die Provenienz von Daten wird durch Dokumentieren des Prozesses, der zu den Daten geführt hat, repräsentiert </li></ul><ul><li>Die Dokumentation kann </li></ul><ul><ul><li>vollständig oder unvollständig sein, </li></ul></ul><ul><ul><li>korrekt oder aber unpräzise sein, </li></ul></ul><ul><ul><li>strittige oder einvernehmliche Sichten der beteiligten Akteure darstellen oder </li></ul></ul><ul><ul><li>funktionale Details der Prozess-Abarbeitung bereitstellen oder abstrakt sein. </li></ul></ul><ul><li>P-Assertions </li></ul><ul><li>Bestimmtes Element der Prozess-Dokumentation </li></ul><ul><li>Ein Annahme durch einen Akteur, die sich auf den Prozess bezieht </li></ul>
    • 22. Prozess-Dokumentation und P-Assertions (2) M1 M2 M3 M4 M3 = f1(M1) M2 = f2(M1,M4) M2 is in reply to M1 I received M1, M4 I sent M2, M3 Interaction p-assertions Relationship p-assertions Service state p-assertions I received M1 at time t I used algorithm x.y.z f1 f2
    • 23. Datenfluss <ul><li>Interaction P-Assertions erlauben die Spezifikation von Datenfluss zwischen Akteuren </li></ul><ul><li>Relationship P-Assertions erlauben Charakterisierung des Datenflusses innerhalb von Akteuren </li></ul><ul><li>Der Gesamt-Datenfluss (extern und intern) stellt einen gerichteten azyklischen Graphen (DAG) dar, der den datenerzeugenden Prozess charakterisiert </li></ul>
    • 24. P-Assertion XML-Schema
    • 25. P-Structure (1) <ul><li>P-Structure ist eine gemeinsame logische Struktur des Provenance-Stores; genutzt durch alle Akteure </li></ul><ul><li>Hierarchisch </li></ul>Receiver’s view Sender’s view Extensibility (other views or signatures)
    • 26. P-Structure (2) All p-assertions asserted by a given actor participating in an interaction Asserter identity
    • 27. Aufzeichnung
    • 28. Provenance-Architektur <ul><li>Provenance-Store zum Speichern der Informationen </li></ul><ul><li>Bibliotheken zum Einbau in eigene Applikationen </li></ul>
    • 29. Provenance-Store Beispiel-Implementierung IBM RecordPort XQueryPort XPathPort XPathFactoryPort Provenance Service eXist XML Database OGSA-DAI ProvenanceServiceResourceHome Uses Uses Manages ProvenanceService GT4 Container Tomcat/GT4 Container ProvenanceAuthorizationPDP PStoreDatabase OGSA-DAI Client API ProvenanceStoreResource PStoreDatabase OGSA-DAI Client API ProvenanceStoreResource PStoreDatabase OGSA-DAI Client API ProvenanceServiceResource ProvenanceStoreFactory ProvenanceStoreFactoryPortType ACL File
    • 30. Client Side Library Implementierungen in Java und Python <ul><li>Application API </li></ul><ul><li>ProvenanceService </li></ul><ul><li>PortFactory </li></ul><ul><li>Record and Query </li></ul><ul><li>Security </li></ul><ul><li>DocumentationStyle </li></ul><ul><li>Policy, Relationship and PHeader </li></ul><ul><li>Utilities </li></ul><ul><li>Convert application to Server APIs </li></ul><ul><li>Data creation, mapping and error handling </li></ul><ul><li>Server API </li></ul><ul><li>Supports Provenance Service WSDL </li></ul>Provenance Aware Application API Utilities Server API Provenance Service Client Side Library
    • 31. Analyse
    • 32. Beispiel-Workflow 2D-CFD-Simulation mit Parametervariation
    • 33. Mapping von Workflow auf Provenance-Modell “ caused_by” Beziehungen (Relationship P-Assertions) Interaktionen Events zwischen Anwendungskomponenten Aktoren Anwendungskomponenten (z.B. integrierte 3 rd -Party Software) Provenance-Modell Workflow
    • 34. Beispiel Provenance-Informationen in Simulations-Workflows Interaktionen: Konfiguration Prozessablauf Monitoring Datentransfer Relationen: - r0: i0 causes i1 - r1: i1 causes i2 - r2: i2 causes i3 - r3: i2 causes i4 - r4: i3 causes i2 - r5: i2 causes m1 - r6: i2 causes d1 - r7: i0 causes d2 Status Akteur Process control File-Server Pre- Processing Parameter variation Simulation Visualization i0 i1 i2 i3 i4 m1 d1 d2 c1 c-1 c2 c-2 c3 c-3 c4 c-4
    • 35. Visualisierung: Process Portlet
    • 36. Visualisierung: Relationship Portlet
    • 37. Weitere Visualisierungskonzepte (1) <ul><li>Überblick über mehrere Prozesse und deren Verbindungen </li></ul><ul><li>Mögliche Wechselwirkungen von Prozessen </li></ul><ul><li>Akteure und deren Kommunikation im Fokus </li></ul><ul><li>Dynamisches orthogonales Layout </li></ul><ul><li>Wichtig: Kontrastreiche Farben </li></ul><ul><li>Speziell: Magic Lenses Technik </li></ul><ul><li>Kein Abhängigkeitsbezug der Interaktionen </li></ul><ul><li>Kein Datum oder Inhalt der Interaktionen </li></ul>
    • 38. Weitere Visualisierungskonzepte (2) <ul><li>Ein Prozess mit allen involvierten Faktoren im Fokus </li></ul><ul><li>Ähnlich eines Sequenzdiagramms </li></ul><ul><li>Hierarchisches Layout </li></ul><ul><li>Speziell: Overview Plus Detail Technik </li></ul><ul><li>Dynamische Exploration sehr wichtig </li></ul><ul><li>Sehr Komplex </li></ul><ul><li>Exploration muss sehr konservativ stattfinden </li></ul>
    • 39. Ausblick
    • 40. Weitere Themen <ul><li>Security </li></ul><ul><li>Zugriffskontrolle, Authentifizierung, Datenintegrität </li></ul><ul><li>Skalierbarkeit </li></ul><ul><li>Provenance-Aufzeichnung muss genauso skalierbar sein wie die Anwendungen selber </li></ul><ul><li>Standardisierung </li></ul><ul><li>Provenance Model, Recording/Query Interfaces, APIs </li></ul><ul><li>Methodik </li></ul><ul><li>Vorgehensweise, um Anwendungen „Provenance-Aware“ zu machen </li></ul>
    • 41. Compliance Oriented Architecture Einhaltung von Regularien <ul><li>Erlaubt Applikations-übergreifende Überprüfung von Regularien </li></ul><ul><li>Auch über mehrere Einrichtungen (z.B. bei Unteraufträgen, Outsourcing, Projekten) </li></ul><ul><li>Geeignet für wiss. Peer-Review (e-Science) und Verifikation von Business Workflows </li></ul>Provenance Store Query Provenance of data Record documentation of execution Anwendung Regularien- Prüfung
    • 42. Einbettung in Arbeits-Umgebung Integration mit weiteren Tools <ul><li>Benutzer </li></ul><ul><li>Teilt Wissen </li></ul><ul><li>Benutzt Wissen </li></ul><ul><li>Arbeitet mit Daten </li></ul><ul><li>Sucht nach Metadaten </li></ul><ul><li>Wählt Ressourcen </li></ul><ul><li>Software Tools </li></ul><ul><li>Generieren Workflow Beschr. </li></ul><ul><li>Führen Workflows im Grid aus </li></ul><ul><li>Zeichnen Provenance- Informationen auf </li></ul>Provenance Store generate workflow execute workflow feedback analysis trace workflow execution trace user action Expert System Data & Workflow Management
    • 43. Provenance in D-Grid <ul><li>Bereitstellung durch AeroGrid </li></ul><ul><li>Provenance-Store </li></ul><ul><li>Client Libraries (Java, Python) </li></ul><ul><li>Methodisches Know-How </li></ul><ul><li>Dokumentation </li></ul><ul><li>Kontakt </li></ul><ul><li>Henning Bergmeyer (DLR) [email_address] </li></ul>
    • 44. Credits & Informationsquellen <ul><li>Einzelne Slides bekommen/geklaut/inspiriert von </li></ul><ul><li>Luc Moreau (University of Southampton) + Team </li></ul><ul><li>John Ibbotson (IBM UK) </li></ul><ul><li>Guy K. Kloß (Massey University, Auckland) </li></ul><ul><li>Henning Bergmeyer, Markus Kunde (DLR) </li></ul><ul><li>Weitere Informationen & Software </li></ul><ul><li>http://www.aero-grid.de /projektbeschreibung/provenance </li></ul><ul><li>http://www.gridprovenance.org/ </li></ul><ul><li>http://www.ipaw.info </li></ul>
    • 45. Fragen?

    ×