D-Grid IaaS Vorstellung

  • 406 views
Uploaded on

 

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
406
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
1
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. D-Grid IaaSRisch, FreitagAllgemeineInformationenD-Grid IaaS D-Grid IaaSSchnittstellenzu D-Grid Projektvorstellung Stefan Freitag, Marcel Risch TU Dortmund, fluid Operations AG 24. Oktober 2011
  • 2. ¨ Ubersicht D-Grid IaaSRisch, FreitagAllgemeineInformationen 1 Allgemeine InformationenD-Grid IaaSSchnittstellenzu D-Grid 2 D-Grid IaaS 3 Schnittstellen zu D-Grid Diensten 4 Zusammenfassung
  • 3. Ausgangssituation D-Grid IaaSRisch, FreitagAllgemeine Sicherer, uniformer und einfacher Zugang zuInformationenD-Grid IaaS Rechenleistung und Speicherkapazit¨ten aSchnittstellen → Grid Middlewareszu D-Grid D-Grid setzt seit Beginn auf Vielfalt Compute: gLite, Globus Toolkit und UNICORE Storage: dCache, iRODS, OGSA-DAI und SRB Cloud-Schnittstellen offerieren weitere Form des Ressourcenzugangs
  • 4. Allgemeine Informationen D-Grid IaaSRisch, Freitag Fragestellung:AllgemeineInformationen Wie positionieren sich Grid-Initiativen zum Thema Cloud?D-Grid IaaSSchnittstellenzu D-Grid Fokus: Bereitstellung von Rechenressourcen Software-As-A-Service (SaaS) Entfernter Zugriff auf in einer Cloud betriebene Software Platform-As-A-Service (PaaS) Kunden erhalten vom Anbieter eine Software-Plattform und entwickeln darauf eigene Dienste Infrastructure-As-A-Service (IaaS) Bereitstellung von virtuellen Appliances
  • 5. Allgemeine Informationen D-Grid IaaSRisch, Freitag Fokus: GridAllgemeine Betrieb von Grid Middleware-Diensten in CloudsInformationen Bereitstellung von Cloud-Diensten uber Grid Middlewares ¨D-Grid IaaS Integration von Clouds in bestehende Grid-InfrastrukturSchnittstellenzu D-Grid (a) Grid in Cloud (b) Cloud over Grid (c) Cloud and Grid F¨r Distributed Computing Infrastructures interessant: (c) u
  • 6. D-Grid IaaS D-Grid IaaSRisch, FreitagAllgemeineInformationenD-Grid IaaSSchnittstellen F¨rdergeber: BMBF ozu D-Grid F¨rderprogramm: KMU-innovativ. Vorfahrt f¨r o u Spitzenforschung im Mittelstand. Projektpartner: fluid Operations AG und TU Dortmund Laufzeit: 01.06.2010 bis 31.05.2012
  • 7. D-Grid IaaS D-Grid IaaSRisch, Freitag ZielAllgemeine Erweiterung der D-Grid Basis f¨r eine kommerzielle Nutzung uInformationenD-Grid IaaSSchnittstellenzu D-Grid . . . oder anders formuliert Prototypische Einbringung einer Cloud Middleware in das D-Grid Erg¨nzung der D-Grid Infrastrukturbasis um eine vierte a Middleware-S¨ule a Verbreiterung des Kundenspektrums Verbesserung des bisherigen Angebots
  • 8. Schematische Ansicht einer D-Grid Ressource D-Grid IaaSRisch, FreitagAllgemeineInformationenD-Grid IaaSSchnittstellenzu D-Grid (Virtualisierungsschicht optional)
  • 9. Cloudifizierte D-Grid Ressource D-Grid IaaSRisch, FreitagAllgemeineInformationenD-Grid IaaSSchnittstellenzu D-Grid
  • 10. Cloud Frontend D-Grid IaaSRisch, FreitagAllgemeineInformationenD-Grid IaaSSchnittstellenzu D-Grid Realisiert durch den fluidOps eCloudManager Vorstellung durch Marcel Risch
  • 11. Schnittstellen zu D-Grid Diensten D-Grid IaaSRisch, Freitag Einbindung einer neuen Middleware erfordertAllgemeine Technisch: Ankopplung an die zentralen D-Grid DiensteInformationen Organisatorisch: Integration in das BetriebskonzeptD-Grid IaaS Cloud Computing im Kontext des D-Grid, Open IssuesSchnittstellenzu D-Grid Session, D-Grid All-Hands-Meeting 2010
  • 12. Schnittstellen zu D-Grid Diensten D-Grid IaaS D-MON (http://d-mon.d-grid.de/gridsphere/gridsphere)Risch, FreitagAllgemeineInformationenD-Grid IaaSSchnittstellenzu D-Grid
  • 13. Schnittstellen zu D-Grid Diensten D-Grid IaaSRisch, FreitagAllgemeine D-MONInformationen Integration eines GLUE 2.0-kompatiblenD-Grid IaaS Informationssystems in eCMSchnittstellenzu D-Grid Zugeh¨riger Adapter online verf¨gbar o u So good news! It worked out of the box! It’s not visible from the d-mon.d-grid.de because the VO functions use GRRS to attach resources to VOs. (Emmanouil Paisios)
  • 14. Schnittstellen zu D-Grid Diensten D-Grid IaaS D-MON, GLUE 2.0-AusgabeRisch, Freitag 1 <C o m p u t i n g S e r v i c e C r e a t i o n T i m e=” . . . >Allgemeine <ID>h t t p : / / 1 2 9 . 2 1 7 . 1 6 2 . 1 1 < / ID>Informationen 3 <C a p a b i l i t y >e x e c u t i o n m a n a g e m e n t . j o b e x e c u t i o n </D-Grid IaaS Capability >Schnittstellen <T o t a l J o b s >56</ T o t a l J o b s >zu D-Grid 5 <R u n n i n g J o bs >56</Ru n n in g Jo b s > ... 7 <ComputingManager BaseType=” Manager ”> <Name>f l u i d O p s eCloudManager </Name> 9 <ProductName>f l u i d O p s eCloudManager </ProductName> <P r o d u c t V e r s i o n >4.0.0.672 </ P r o d u c t V e r s i o n > 11 ... <T o t a l P h y s i c a l C P U s >204</ T o t a l P h y s i c a l C P U s > 13 <T o t a l L o g i c a l C P U s >204</ T o t a l L o g i c a l C P U s > </ComputingManager> 15 </C o m p u t i n g S e r v i c e >
  • 15. Schnittstellen zu D-Grid Diensten D-Grid IaaSRisch, FreitagAllgemeineInformationen NutzerverwaltungD-Grid IaaS Einsatz des dgridmap-Skripts zum Bezug derSchnittstellen Nutzerinformationenzu D-Grid Alternative Idee: VOMRS SOAP-Client Integration der dgridmap-Informationen in die eCM-Nutzerverwaltung Eindeutige Abbildung der Nutzer Derzeit keine Unterst¨tzung des VO-Konzepts u M¨glichkeit zur Registrierung D-Grid-fremder Nutzer o
  • 16. Schnittstellen zu D-Grid Diensten D-Grid IaaS NutzerverwaltungRisch, FreitagAllgemeineInformationenD-Grid IaaSSchnittstellenzu D-Grid Abbildung: In den eCloudManager eingef¨gte D-Grid VO-Mitglieder u
  • 17. Schnittstellen zu D-Grid Diensten D-Grid IaaSRisch, FreitagAllgemeineInformationen DGAS EE (http://www.rrzn.uni-hannover.de/d-grid_accounting.html)D-Grid IaaS Potentieller Nachfolger von DGASSchnittstellenzu D-Grid Einsatz von OGF Usage Records Erweiterung durch den eCloudManagerSensor Implementierung zweier Komponenten URCollector: Einsammeln der Usage Records ATMClient: Transfer an Accounting Server APEL
  • 18. Schnittstellen zu D-Grid Diensten D-Grid IaaSRisch, Freitag URCollector (gek¨rzte) Darstellung der eCM-Accounting Informationen uAllgemeineInformationen 1 Name : a c 3 f 4 4 3 2 −d953 −4f 6 2 −7533−43 a b f 7 3 7 5 3 f 3 ;D-Grid IaaSSchnittstellen 3 From : Tue J u l 19 1 2 : 4 4 : 2 5 CEST 2 0 1 1 ;zu D-Grid To : Wed J u l 27 1 1 : 3 0 : 4 7 CEST 2 0 1 1 ; 5 Costs :[1311072265749=0.0] ,[1311072289336=1.5] , 7 [1311754541842=0.0] ,[1311759047996=0.0]; 9 Power Changes : [ Tue J u l 19 1 2 : 4 4 : 4 9 CEST 2 0 1 1 ] , [ Wed J u l 27 1 0 : 1 5 : 4 1 CEST 2 0 1 1 ] ; 11 S e l f s e r v i c e t y p e : EC2 ;
  • 19. Zusammenfassung D-Grid IaaSRisch, FreitagAllgemeineInformationen Zusammenspiel von Grid und Cloud in DCI durchausD-Grid IaaS interessantSchnittstellen Identifikation der Schnittstellen am Beispiel D-Gridzu D-Grid Prototypische Umsetzung anhand einer kommerziellen Cloud Middleware Was w¨re m¨glich? a o Angebot zum Deployment von Diensten Bereitstellung von zertifizierten Appliances f¨r VOs u ...
  • 20. D-Grid IaaSRisch, FreitagAllgemeineInformationenD-Grid IaaSSchnittstellenzu D-Grid Fragen?
  • 21. Monitoring D-Grid IaaSRisch, FreitagAllgemeineInformationenD-Grid IaaS Offener PunktSchnittstellen Integration in die Nagios-basierte Monitoring-Infrastrukturzu D-Grid HTTP-Check f¨r die Erreichbarkeit des u Informationssystems HTTP(S)-Check f¨r die Erreichbarkeit des User Interface u (Self-service Portals)
  • 22. Ressourcenverwaltung D-Grid IaaS Offener PunktRisch, Freitag Integration in den D-Grid GRRSAllgemeineInformationenD-Grid IaaS Hinzuf¨gen eines neuen Ressourcen-Typs uSchnittstellen Abh¨ngigkeit zwischen GRRS und D-MON azu D-Grid Kontaktaufnahme mit dem FZJ Was man beim Anmelden einer solchen Ressource einsammeln m¨ßte? [...] Neben einer Beschreibung, u dem Administrator, admin und support mailinglisten nur noch den Endpunkt in Form einer URL. [...] Es geht [...] darum die Machbarkeit einer solchen Integration zu zeigen. (Stefan Freitag)
  • 23. Interaktion mit dem Batchsystem D-Grid IaaS WN des LRMS laufen als Appliances auf der physischenRisch, Freitag HardwareAllgemeineInformationen Physische Hardware kann auch durch Cloud-Nutzer inD-Grid IaaS Anspruch genommen werdenSchnittstellenzu D-Grid → Konkurrenz-Situation → Partitionierung der physischen Ressourcen
  • 24. Interaktion mit dem Batchsystem D-Grid IaaSRisch, FreitagAllgemeineInformationen Dynamische Gestaltung der Partitionsgr¨ße oD-Grid IaaS Agent uberwacht die Auslastung des LRMS anhand der ¨Schnittstellen Anzahl wartender Jobs und freier Knotenzu D-Grid Freie Ressourcen des LRMS k¨nnen bei Bedarf regelbasiert o in die Cloud-Partition wandern Der umgekehrte Fall ist ebenso m¨glich o Kein Abbrechen von Jobs im LRMS Die WNs laufen leer und werden anschließend heruntergefahren