Service Level Agreements for Job Control in High-Performance Computing Roland Kübert (kuebert@hlrs.de) 07.10.2009

Inhaltsverzeichnis Einführung in Service Level Agreements (SLAs) HLRS und SLAs SLAs für Job Control Zusammenfassung 07.10.2009

Einführung in Service Level Agreements (SLAs)

HLRS und SLAs

SLAs für Job Control

Zusammenfassung

Einführung in Service Level Agreements (SLAs) HLRS und SLAs SLAs für Job Control Zusammenfassung 07.10.2009

Einführung in Service Level Agreements (SLAs)

HLRS und SLAs

SLAs für Job Control

Zusammenfassung

Was sind Service Level Agreements? Service Level Agreements sind Vereinbarungen über die Güte eines angegebenen Dienstes (Quality of Service) Definieren einen Vertrag zwischen mehreren Parteien – normalerweise Anbieter (Service Provider) und Kunde (Customer) Stammen ursprünglich aus der Telekommunikationsindustrie, sind seit langem aber auch in der IT präsent 02/03.06.09

Service Level Agreements sind Vereinbarungen über die Güte eines angegebenen Dienstes (Quality of Service)

Definieren einen Vertrag zwischen mehreren Parteien – normalerweise Anbieter (Service Provider) und Kunde (Customer)

Stammen ursprünglich aus der Telekommunikationsindustrie, sind seit langem aber auch in der IT präsent

Service Level Agreement in einem Satz “ The purpose of [a] Service Level Agreement (SLA) is to define the services and responsibilities of the [service provider] and its clients.” ( Michigan State University High Performance Computing Center Service Level Agreement ) 07.10.2009

“ The purpose of [a] Service Level Agreement (SLA) is to define the services and responsibilities of the [service provider] and its clients.”

( Michigan State University High Performance Computing Center Service Level Agreement )

Was wird in einem SLA festgehalten? Allgemeine Daten die den Kontext des Vertrags betreffen Garantien des Providers Pflichten des Kunden Strafen und Boni 07.10.2009

Allgemeine Daten die den Kontext des Vertrags betreffen

Garantien des Providers

Pflichten des Kunden

Strafen und Boni

Beispiel-SLA: Garantien des Providers „ HPC Host guarantees that our data center network will be available 100% of the time and there will not be 100% packet loss from our network backbone to our upstream providers at any time in a given month.“ „ HPC Host guarantees that power will be available 100% of the time to all Dedicated Servers or colocation customers with redundant power included or ordered seperately.“ ( „100 Percent SLA“ von hpchost.com ) 07.10.2009

„ HPC Host guarantees that our data center network will be available 100% of the time and there will not be 100% packet loss from our network backbone to our upstream providers at any time in a given month.“

„ HPC Host guarantees that power will be available 100% of the time to all Dedicated Servers or colocation customers with redundant power included or ordered seperately.“

( „100 Percent SLA“ von hpchost.com )

Beispiel-SLA: Pflichten des Kunden „ Client will possess a valid MSU NetID Client will adhere to the MSU Acceptable Use Policy Client will not store any confidential, restricted, or sensitive data on HPCC systems, except in forms or fashions not readily accessible or useable to unauthorized parties.“ (Michigan State University High Performance Computing Center Service Level Agreement) 07.10.2009

„ Client will possess a valid MSU NetID Client will adhere to the MSU Acceptable Use Policy Client will not store any confidential, restricted, or sensitive data on HPCC systems, except in forms or fashions not readily accessible or useable to unauthorized parties.“

(Michigan State University High Performance Computing Center Service Level Agreement)

Beispiel-SLA: Vertragsstrafen „ HPC Host will credit the customer 5% of the bandwidth fee for each hour of downtime (up to 100% of your bandwidth fee) for network downtime. Network downtime is measured from the time the network is 100% unreachable, until service is once again restored.“ („100 Percent SLA“ von hpchost.com) 07.10.2009

„ HPC Host will credit the customer 5% of the bandwidth fee for each hour of downtime (up to 100% of your bandwidth fee) for network downtime. Network downtime is measured from the time the network is 100% unreachable, until service is once again restored.“

(„100 Percent SLA“ von hpchost.com)

Einführung in Service Level Agreements (SLAs) HLRS und SLAs SLAs für Job Control Zusammenfassung 07.10.2009

Einführung in Service Level Agreements (SLAs)

HLRS und SLAs

SLAs für Job Control

Zusammenfassung

HLRS und SLAs Großer Forschungsbereich sowohl im Rahmen von EU-Projekten (NextGRID, BeinGRID, IRMOS, ...) als auch bei BMBF-Projekten (InGrid, FinGrid, SLA4D-Grid) Expertise in der (Ex-)Distributed Systems-Abteilung (SANE und ISIS) Praxisrelevanz bisher nicht gegeben, keine Anwendung der Erkenntnisse aus den Forschungsprojekten 07.10.2009

Großer Forschungsbereich sowohl im Rahmen von EU-Projekten (NextGRID, BeinGRID, IRMOS, ...) als auch bei BMBF-Projekten (InGrid, FinGrid, SLA4D-Grid)

Expertise in der (Ex-)Distributed Systems-Abteilung (SANE und ISIS)

Praxisrelevanz bisher nicht gegeben, keine Anwendung der Erkenntnisse aus den Forschungsprojekten

HLRS und SLAs 2 Arbeit von Bastian Koller: Erarbeitung einer Struktur von SLAs, die im HPC-Bereich verwendet werden können Ansonsten wenig Forschung speziell im Bereich HPC, eher im Bereich Grid Computing Forschungsperspektive nicht unbedingt die gleiche wie praktische Anwendung 07.10.2009

Arbeit von Bastian Koller: Erarbeitung einer Struktur von SLAs, die im HPC-Bereich verwendet werden können

Ansonsten wenig Forschung speziell im Bereich HPC, eher im Bereich Grid Computing

Forschungsperspektive nicht unbedingt die gleiche wie praktische Anwendung

Einführung in Service Level Agreements (SLAs) HLRS und SLAs SLAs für Job Control Zusammenfassung 07.10.2009

Einführung in Service Level Agreements (SLAs)

HLRS und SLAs

SLAs für Job Control

Zusammenfassung

SLAs für Job Control Einsatz von SLAs für die Übermittlung (Submission) sowie Ausführung (Scheduling), Überwachung und Steuerung (Control) von Jobs Klassische Forschungsperspektive ist dabei wahrscheinlich eher uninteressant, da dort immer eine 1:1-Zuordnung von SLA und Job betrachtet wird Kontrolle und Verarbeitung der submittierten Jobs wird in der Forschung wenig betrachtet 07.10.2009

Einsatz von SLAs für die Übermittlung (Submission) sowie Ausführung (Scheduling), Überwachung und Steuerung (Control) von Jobs

Klassische Forschungsperspektive ist dabei wahrscheinlich eher uninteressant, da dort immer eine 1:1-Zuordnung von SLA und Job betrachtet wird

Kontrolle und Verarbeitung der submittierten Jobs wird in der Forschung wenig betrachtet

Job Submission im HPC Kunde hat Vertrag mit HLRS (für Kunden von der Uni gelten zum Beispiel die Benutzungsbedingungen) Kunde lässt Jobs rechnen, Preis ergibt sich aus Benutzerordnung Verträge eher statisch und unflexibel 07.10.2009

Kunde hat Vertrag mit HLRS (für Kunden von der Uni gelten zum Beispiel die Benutzungsbedingungen)

Kunde lässt Jobs rechnen, Preis ergibt sich aus Benutzerordnung

Verträge eher statisch und unflexibel

Job Control im HPC Teilweise exklusiver Zugang zu Ressourcen Allgemein Jobabarbeitung durch Batch Processing Wenig Einflussnahme auf Jobs in der Ausführung 07.10.2009

Teilweise exklusiver Zugang zu Ressourcen

Allgemein Jobabarbeitung durch Batch Processing

Wenig Einflussnahme auf Jobs in der Ausführung

Anwendung von SLAs X will etwas rechnen Hat keinen Vertrag mit dem HLRS Kann mit dem HLRS einen elektronischen Vertrag aushandeln Wenn X Job rechnen will, übermittelt er ihn unter Referenz auf einen Vertrag -Vertrag steuert Rahmenbedingungen der Annahme von Jobs, beeinflusst Scheduling und Jobabarbeitung 07.10.2009

X will etwas rechnen

Hat keinen Vertrag mit dem HLRS

Kann mit dem HLRS einen elektronischen Vertrag aushandeln

Wenn X Job rechnen will, übermittelt er ihn unter Referenz auf einen Vertrag

-Vertrag steuert Rahmenbedingungen der Annahme von Jobs, beeinflusst Scheduling und Jobabarbeitung

Vorteile für den Provider Flexiblere Auslastung durch dynamische Verträge Anbieten von verschiedensten Verträgen Unterstützung von Urgent Computing 07.10.2009

Flexiblere Auslastung durch dynamische Verträge

Anbieten von verschiedensten Verträgen

Unterstützung von Urgent Computing

Vorteile für den Kunden Dynamischer Abschluss von Verträgen Durch verhandeln evtl. günstige Konditionen erhaltbar Flexibilität bei der Übermittlung von Jobs (unter Vertrag X, weil günstig, oder unter Vertrag Y, weil schnell) 07.10.2009

Dynamischer Abschluss von Verträgen

Durch verhandeln evtl. günstige Konditionen erhaltbar

Flexibilität bei der Übermittlung von Jobs (unter Vertrag X, weil günstig, oder unter Vertrag Y, weil schnell)

Realisierung von SLAs auf Provider-Seite Realisierung als Web Services (SOA) Architektur ist relativ gut erforscht HLRS hat eine große Auswahl an Komponenten schon selbst realisiert Integration zum Beispiel in GT4 gut möglich, zum Teil schon als Testfall realisiert (FinGrid-Prototyp) 07.10.2009

Realisierung als Web Services (SOA)

Architektur ist relativ gut erforscht

HLRS hat eine große Auswahl an Komponenten schon selbst realisiert

Integration zum Beispiel in GT4 gut möglich, zum Teil schon als Testfall realisiert (FinGrid-Prototyp)

Realisierung von SLAs auf Kunden-Seite Wenig Unterschied zur „normalen“ Job Submission Verhandlung von SLAs kommt (evtl.) hinzu Ansonsten Submission auch wie gehabt (abwärtskompatibel) 07.10.2009

Wenig Unterschied zur „normalen“ Job Submission

Verhandlung von SLAs kommt (evtl.) hinzu

Ansonsten Submission auch wie gehabt (abwärtskompatibel)

Einführung in Service Level Agreements (SLAs) HLRS und SLAs SLAs für Job Control Zusammenfassung 07.10.2009

Einführung in Service Level Agreements (SLAs)

HLRS und SLAs

SLAs für Job Control

Zusammenfassung

Zusammenfassung Service Level Agreements für Job Submission, Scheduling und spätere Kontrolle einsetzen HLRS hat viel Expertise auf diesem Gebiet Bisher keine Anwendung der Resultate Expertise für eigene Ansprüche nutzbar machen und in die Produktion integrieren 02/03.06.09

Service Level Agreements für Job Submission, Scheduling und spätere Kontrolle einsetzen

HLRS hat viel Expertise auf diesem Gebiet

Bisher keine Anwendung der Resultate

Expertise für eigene Ansprüche nutzbar machen und in die Produktion integrieren

Fragen? ? 07.10.2009

?