3. Ausgangssituation
D-Grid IaaS
Risch, Freitag
Allgemeine Sicherer, uniformer und einfacher Zugang zu
Informationen
D-Grid IaaS
Rechenleistung und Speicherkapazit¨ten
a
Schnittstellen
→ Grid Middlewares
zu D-Grid
D-Grid setzt seit Beginn auf Vielfalt
Compute: gLite, Globus Toolkit und UNICORE
Storage: dCache, iRODS, OGSA-DAI und SRB
Cloud-Schnittstellen offerieren weitere Form des
Ressourcenzugangs
4. Allgemeine Informationen
D-Grid IaaS
Risch, Freitag
Fragestellung:
Allgemeine
Informationen
Wie positionieren sich Grid-Initiativen zum Thema Cloud?
D-Grid IaaS
Schnittstellen
zu D-Grid
Fokus: Bereitstellung von Rechenressourcen
Software-As-A-Service (SaaS)
Entfernter Zugriff auf in einer Cloud betriebene Software
Platform-As-A-Service (PaaS)
Kunden erhalten vom Anbieter eine Software-Plattform
und entwickeln darauf eigene Dienste
Infrastructure-As-A-Service (IaaS)
Bereitstellung von virtuellen Appliances
5. Allgemeine Informationen
D-Grid IaaS
Risch, Freitag
Fokus: Grid
Allgemeine Betrieb von Grid Middleware-Diensten in Clouds
Informationen
Bereitstellung von Cloud-Diensten uber Grid Middlewares
¨
D-Grid IaaS
Integration von Clouds in bestehende Grid-Infrastruktur
Schnittstellen
zu D-Grid
(a) Grid in Cloud (b) Cloud over Grid (c) Cloud and Grid
F¨r Distributed Computing Infrastructures interessant: (c)
u
6. D-Grid IaaS
D-Grid IaaS
Risch, Freitag
Allgemeine
Informationen
D-Grid IaaS
Schnittstellen
F¨rdergeber: BMBF
o
zu D-Grid
F¨rderprogramm: KMU-innovativ. Vorfahrt f¨r
o u
Spitzenforschung im Mittelstand.
Projektpartner: fluid Operations AG und TU Dortmund
Laufzeit: 01.06.2010 bis 31.05.2012
7. D-Grid IaaS
D-Grid IaaS
Risch, Freitag Ziel
Allgemeine Erweiterung der D-Grid Basis f¨r eine kommerzielle Nutzung
u
Informationen
D-Grid IaaS
Schnittstellen
zu D-Grid
. . . oder anders formuliert
Prototypische Einbringung einer Cloud Middleware in das
D-Grid
Erg¨nzung der D-Grid Infrastrukturbasis um eine vierte
a
Middleware-S¨ule
a
Verbreiterung des Kundenspektrums
Verbesserung des bisherigen Angebots
8. Schematische Ansicht einer D-Grid Ressource
D-Grid IaaS
Risch, Freitag
Allgemeine
Informationen
D-Grid IaaS
Schnittstellen
zu D-Grid
(Virtualisierungsschicht optional)
10. Cloud Frontend
D-Grid IaaS
Risch, Freitag
Allgemeine
Informationen
D-Grid IaaS
Schnittstellen
zu D-Grid
Realisiert durch den fluidOps eCloudManager
Vorstellung durch Marcel Risch
11. Schnittstellen zu D-Grid Diensten
D-Grid IaaS
Risch, Freitag Einbindung einer neuen Middleware erfordert
Allgemeine Technisch: Ankopplung an die zentralen D-Grid Dienste
Informationen Organisatorisch: Integration in das Betriebskonzept
D-Grid IaaS
Cloud Computing im Kontext des D-Grid, Open Issues
Schnittstellen
zu D-Grid Session, D-Grid All-Hands-Meeting 2010
12. Schnittstellen zu D-Grid Diensten
D-Grid IaaS D-MON (http://d-mon.d-grid.de/gridsphere/gridsphere)
Risch, Freitag
Allgemeine
Informationen
D-Grid IaaS
Schnittstellen
zu D-Grid
13. Schnittstellen zu D-Grid Diensten
D-Grid IaaS
Risch, Freitag
Allgemeine
D-MON
Informationen
Integration eines GLUE 2.0-kompatiblen
D-Grid IaaS
Informationssystems in eCM
Schnittstellen
zu D-Grid
Zugeh¨riger Adapter online verf¨gbar
o u
So good news! It worked out of the box! It’s not
visible from the d-mon.d-grid.de because the VO
functions use GRRS to attach resources to VOs.
(Emmanouil Paisios)
14. Schnittstellen zu D-Grid Diensten
D-Grid IaaS D-MON, GLUE 2.0-Ausgabe
Risch, Freitag
1 <C o m p u t i n g S e r v i c e C r e a t i o n T i m e=” . . . >
Allgemeine
<ID>h t t p : / / 1 2 9 . 2 1 7 . 1 6 2 . 1 1 < / ID>
Informationen 3 <C a p a b i l i t y >e x e c u t i o n m a n a g e m e n t . j o b e x e c u t i o n </
D-Grid IaaS Capability >
Schnittstellen <T o t a l J o b s >56</ T o t a l J o b s >
zu D-Grid 5 <R u n n i n g J o bs >56</Ru n n in g Jo b s >
...
7 <ComputingManager BaseType=” Manager ”>
<Name>f l u i d O p s eCloudManager </Name>
9 <ProductName>f l u i d O p s eCloudManager </ProductName>
<P r o d u c t V e r s i o n >4.0.0.672 </ P r o d u c t V e r s i o n >
11 ...
<T o t a l P h y s i c a l C P U s >204</ T o t a l P h y s i c a l C P U s >
13 <T o t a l L o g i c a l C P U s >204</ T o t a l L o g i c a l C P U s >
</ComputingManager>
15 </C o m p u t i n g S e r v i c e >
15. Schnittstellen zu D-Grid Diensten
D-Grid IaaS
Risch, Freitag
Allgemeine
Informationen
Nutzerverwaltung
D-Grid IaaS Einsatz des dgridmap-Skripts zum Bezug der
Schnittstellen Nutzerinformationen
zu D-Grid
Alternative Idee: VOMRS SOAP-Client
Integration der dgridmap-Informationen in die
eCM-Nutzerverwaltung
Eindeutige Abbildung der Nutzer
Derzeit keine Unterst¨tzung des VO-Konzepts
u
M¨glichkeit zur Registrierung D-Grid-fremder Nutzer
o
16. Schnittstellen zu D-Grid Diensten
D-Grid IaaS Nutzerverwaltung
Risch, Freitag
Allgemeine
Informationen
D-Grid IaaS
Schnittstellen
zu D-Grid
Abbildung: In den eCloudManager eingef¨gte D-Grid VO-Mitglieder
u
17. Schnittstellen zu D-Grid Diensten
D-Grid IaaS
Risch, Freitag
Allgemeine
Informationen DGAS EE (http://www.rrzn.uni-hannover.de/d-grid_accounting.html)
D-Grid IaaS
Potentieller Nachfolger von DGAS
Schnittstellen
zu D-Grid Einsatz von OGF Usage Records
Erweiterung durch den eCloudManagerSensor
Implementierung zweier Komponenten
URCollector: Einsammeln der Usage Records
ATMClient: Transfer an Accounting Server
APEL
18. Schnittstellen zu D-Grid Diensten
D-Grid IaaS
Risch, Freitag URCollector
(gek¨rzte) Darstellung der eCM-Accounting Informationen
u
Allgemeine
Informationen
1 Name : a c 3 f 4 4 3 2 −d953 −4f 6 2 −7533−43 a b f 7 3 7 5 3 f 3 ;
D-Grid IaaS
Schnittstellen 3 From : Tue J u l 19 1 2 : 4 4 : 2 5 CEST 2 0 1 1 ;
zu D-Grid
To : Wed J u l 27 1 1 : 3 0 : 4 7 CEST 2 0 1 1 ;
5
Costs :[1311072265749=0.0] ,[1311072289336=1.5] ,
7 [1311754541842=0.0] ,[1311759047996=0.0];
9 Power Changes : [ Tue J u l 19 1 2 : 4 4 : 4 9 CEST 2 0 1 1 ] ,
[ Wed J u l 27 1 0 : 1 5 : 4 1 CEST 2 0 1 1 ] ;
11
S e l f s e r v i c e t y p e : EC2 ;
19. Zusammenfassung
D-Grid IaaS
Risch, Freitag
Allgemeine
Informationen
Zusammenspiel von Grid und Cloud in DCI durchaus
D-Grid IaaS
interessant
Schnittstellen Identifikation der Schnittstellen am Beispiel D-Grid
zu D-Grid
Prototypische Umsetzung anhand einer kommerziellen
Cloud Middleware
Was w¨re m¨glich?
a o
Angebot zum Deployment von Diensten
Bereitstellung von zertifizierten Appliances f¨r VOs
u
...
21. Monitoring
D-Grid IaaS
Risch, Freitag
Allgemeine
Informationen
D-Grid IaaS
Offener Punkt
Schnittstellen Integration in die Nagios-basierte Monitoring-Infrastruktur
zu D-Grid
HTTP-Check f¨r die Erreichbarkeit des
u
Informationssystems
HTTP(S)-Check f¨r die Erreichbarkeit des User Interface
u
(Self-service Portals)
22. Ressourcenverwaltung
D-Grid IaaS
Offener Punkt
Risch, Freitag
Integration in den D-Grid GRRS
Allgemeine
Informationen
D-Grid IaaS
Hinzuf¨gen eines neuen Ressourcen-Typs
u
Schnittstellen Abh¨ngigkeit zwischen GRRS und D-MON
a
zu D-Grid
Kontaktaufnahme mit dem FZJ
Was man beim Anmelden einer solchen Ressource
einsammeln m¨ßte? [...] Neben einer Beschreibung,
u
dem Administrator, admin und support mailinglisten
nur noch den Endpunkt in Form einer URL. [...] Es
geht [...] darum die Machbarkeit einer solchen
Integration zu zeigen.
(Stefan Freitag)
23. Interaktion mit dem Batchsystem
D-Grid IaaS
WN des LRMS laufen als Appliances auf der physischen
Risch, Freitag
Hardware
Allgemeine
Informationen Physische Hardware kann auch durch Cloud-Nutzer in
D-Grid IaaS Anspruch genommen werden
Schnittstellen
zu D-Grid → Konkurrenz-Situation
→ Partitionierung der physischen Ressourcen
24. Interaktion mit dem Batchsystem
D-Grid IaaS
Risch, Freitag
Allgemeine
Informationen
Dynamische Gestaltung der Partitionsgr¨ße
o
D-Grid IaaS Agent uberwacht die Auslastung des LRMS anhand der
¨
Schnittstellen Anzahl wartender Jobs und freier Knoten
zu D-Grid
Freie Ressourcen des LRMS k¨nnen bei Bedarf regelbasiert
o
in die Cloud-Partition wandern
Der umgekehrte Fall ist ebenso m¨glich
o
Kein Abbrechen von Jobs im LRMS
Die WNs laufen leer und werden anschließend
heruntergefahren