Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle

  • 908 views
Uploaded on

 

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
908
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
6
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. S. Freitag DGRZR Erweiterung einer D-Grid Ressource um eine OpenNebula Compute Cloud Schnittstelle am DGRZR Grid und 3. DFN-Forum 2010 Kommunikationstechnologien Cloud am DGRZR Verteilte Systeme im Wissenschaftsbereich Cloud Computing und D-Grid Stefan Freitag Institut f¨r Roboterforschung u Technische Universit¨t Dortmund a 26. Mai 2010
  • 2. S. Freitag DGRZR OpenNebula 1 D-Grid Resourcen Zentrum Ruhr am DGRZR Grid und Cloud am DGRZR 2 OpenNebula am DGRZR Cloud Computing und D-Grid 3 Grid und Cloud am DGRZR 4 Cloud Computing und D-Grid
  • 3. Hardware S. Freitag DGRZR OpenNebula am DGRZR Grid und 256 Blades, je 8 Cores, 16 GByte RAM Cloud am DGRZR SLES 10 SP3 mit Xen 3.2 Kernel Cloud Computing 100 TByte Massenspeicher sowie 25 TByte SFS 3.1 und D-Grid (Lustre 1.6) D-Grid und LCG Ressource seit April 2008
  • 4. Dienste S. Freitag Starke Anlehnung an die D-Grid Referenz-Installation1 DGRZR Drei Compute Middlewares OpenNebula am DGRZR gLite 3.1 (lcg-CE) und 3.2 (CREAM-CE, BDII) Grid und UNICORE 5 und 6 Cloud am Globus Toolkit 4.0.8 (in Vorbereitung GT 5) DGRZR Cloud Zwei Storage Middlewares Computing dCache 1.9.5 und D-Grid OGSA-DAI WSRF 2.2 Zus¨tzlich a LDAP MySQL DB f¨r OGSA-DAI u Alle Dienste laufen in Xen VMs. Derzeit Evaluation von Xen 4.0. 1 http://dgiref.d-grid.de/wiki/Introduction
  • 5. Compute Middlewares – Schichtenansicht S. Freitag DGRZR UNICORE gLite WS OpenNebula VSite CE GRAM am DGRZR Grid und Cloud am Globus Toolkit DGRZR Cloud Computing Batchsystem Server und D-Grid Torque & Maui Worker Nodes Platform Virtualization
  • 6. Durchgef¨hrte Erweiterung – Schichtenansicht u S. Freitag DGRZR OpenNebula UNICORE gLite WS am DGRZR VSite CE GRAM Grid und Cloud am DGRZR Globus Toolkit Cloud Computing Batchsystem Server und D-Grid Torque & MAUI Open Worker Nodes Nebula Platform Virtualization
  • 7. OpenNebula S. Freitag Auszug aus der Beschreibung (http://www.opennebula.org) DGRZR OpenNebula Standard-based open-source toolkit to build private, public am DGRZR and hybrid clouds. The toolkit provides flexible Grid und Cloud am architecture, interfaces and components that fit into any DGRZR existing data center. Cloud Computing Key features der Version 1.4 und D-Grid Unterst¨tzung f¨r Xen, KVM und VMware u u Zugang zu Amazon EC2 und ElasticHosts libvirt, EC2 Query API und OCCI Schnittstellen Analog zu Eucalyptus: Unternehmensgr¨ndung (C12G Labs) u zur Bereistellung von value-added enterprise-solutions und commercial support
  • 8. OpenNebula am DGRZR S. Freitag DGRZR OpenNebula Angepasster ONE 1.4 GIT Snapshot (M¨rz 2010) a am DGRZR Einbindung physischer Partitionen in Worker Nodes Grid und Cloud am file statt tap:aio aufgrund Xen Bug DGRZR Cloud Xen Infrastructure und SSH Transfer Computing und D-Grid Abbilder/ Templates f¨r SL 5.4 Worker Nodes u In Vorbereitung u. a. gLite CREAM-CE, siteBDII Nutzerinteraktion mit ONE via CLI und ONE MC Unterst¨tzung von OCCI via HTTPS u
  • 9. Executions Hosts S. Freitag DGRZR OpenNebula am DGRZR Grid und Cloud am DGRZR Cloud Computing und D-Grid
  • 10. Virtuelle Netzwerke S. Freitag DGRZR OpenNebula am DGRZR Grid und Cloud am DGRZR Cloud Computing und D-Grid
  • 11. Virtuelle Maschinen S. Freitag DGRZR OpenNebula am DGRZR Grid und Cloud am DGRZR Cloud Computing und D-Grid
  • 12. Worker Node Template S. Freitag NAME = udo−wn300 DGRZR VCPU = 8 MEMORY = 13312 OpenNebula am DGRZR Grid und OS = [ b o o t l o a d e r = ”/ r o o t / b i n / domUloader . py ” ] Cloud am DGRZR DISK = [ s o u r c e = <path >/ w n s l 5 4 x 8 6 6 4 . img ” , Cloud Computing t a r g e t = ” xvda ” , r e a d o n l y = ” no ” ] und D-Grid DISK = [ t y p e = swap , s i z e = 1 0 2 4 , t a r g e t = ” xvdb ” , r e a d o n l y = ” no ” ] DISK = [ t y p e = ” b l o c k ” , c l o n e = ” y e s ” , s o u r c e = ”/ dev / c c i s s / c0d0p4 ” , t a r g e t = ” x v d c ” , r e a d o n l y = ” no ” ] NIC = [ NETWORK = ” DGRZRWorkernodes ” , IP = 1 2 9 . 2 1 7 . 2 4 2 . 1 6 6 ]
  • 13. Szenario 1: Private Cloud S. Freitag DGRZR Deployment von Grid Worker Nodes mittels ONE OpenNebula am DGRZR Homogen (derzeit im Einsatz) Grid und Heterogen (bereits in small scale getestet 2 ) Cloud am DGRZR Annahme: VO Anforderungen sind durch VO-spezifische Cloud Worker Nodes erf¨llbar u Computing 1:1 Abbildung von Worker Node Typen auf LRMS Queues und D-Grid ¨ Uberpr¨fung der F¨llstands jeder Queue u u Leere Queue → Reduktion der zugewiesenen Worker Nodes Vergabe der freigewordenen Ressourcen an andere (overcrowded) Queues 2 B. Konrad: Dynamic management of VMs on HPC resources of TU Dortmund (Diplomarbeit, 2009)
  • 14. Szenario 2: Public Cloud S. Freitag DGRZR Hauptunterschied zu Szenario 1 OpenNebula am DGRZR Zugriff auf Cloudschnittstellen f¨r externe Nutzer u Grid und Cloud am Verwaltung von VLANs 3 , VMs und VStorage DGRZR Cloud Computing Spaltung der physischen Ressourcen in Cloud & Grid Partition und D-Grid ¨ Dynamische Anderung der Partitionsgr¨ße o Verdr¨ngung (Suspendierung) von z. B. VMs a Welche VM sind anzuhalten? → Priorisierung Job Typ: simple batch jobs, MPI jobs, services Kundenstatus: z. B. Normal, Premium und Platin 3 VLANS != ONE virtual networks
  • 15. Integration in D-Grid S. Freitag DGRZR Ein Ziel von D-Grid (Quelle: Wikipedia) OpenNebula am DGRZR Create sustainable & longterm Grid infrastructure in Germany Grid und Cloud am → D-Grid ist fokussiert auf Grid Nutzung. Was ist mit Clouds? DGRZR Cloud Cloud Schnittstellen erlauben einen neuen und einfacheren Computing und D-Grid Zugang zu entfernten Ressourcen Offene Probleme f¨r eine m¨gliche Integration in D-Grid u o Nutzerverwaltung Autorisation Accounting/ Billing Monitoring Informationssystem
  • 16. Ausblick S. Freitag DGRZR OpenNebula DGRZR am DGRZR Kontextualisierung Grid und Cloud am Zugriff uber OCCI f¨r externe Nutzer ¨ u DGRZR Cloud Ausweitung der Cloud uber die UAMR ¨ Computing und D-Grid D-Grid Erweiterung des D-Grid Portfolio um IaaS Protoypische Integration neuer Technologien KMUinnovativ Projekt D-Grid IaaS“(Start: 01.06.2010) ”