Ecole d'été RESCOM - 06/06/11

1. Les Clouds: Buzzword ou révolution technologiqueFrédéric Desprez, Adrian MuresanLIP ENS Lyon/INRIA Grenoble Rhône-AlpesEPI GRAAL/Avalon 06/06/2010

2. Hype !

4. Cloud Computing: modes d’utilisation et exemples

5. Programmer les Clouds

6. Sécurité et pannes

7. Performances

8. Problèmes de recherche

11. La transparence d’utilisation des grandes plates-formes distribuées est primordiale

12. Pouvoir gérer ces ressources de manière dynamique et élastique!

13. Un long historique du calcul distribué à plus ou moins grande échelle

14. Des supercalculateurs et grappes aux Clouds en passant par les grilles

15. Des besoins applicatifs de plus en plus importants et variés

16. Explosion du nombre et du volume de données

17. Utility computing

19. Les grilles Qu’est-cequ’une grille ? « A fully distributed, dynamically reconfigurable, scalable and autonomous infrastructure to provide location independent, pervasive, reliable, secure and efficient access to a coordinated set of services encapsulating and virtualizing resources (computing power, storage, instruments, data, etc.) in order to generate knowledge ... » d’après le CoreGRIDNoE

21. 1980: Client-serveurs,

22. 1990: Web, grilles,

23. 2000: SOA,

24. 2010: Clouds Credit: IBM Corp. Cloud Computing

26. La profusion de ressources (data centers)

27. Une technologie de virtualisation mature et des communications à haut débit

28. Quelques caractéristiques

29. Libre service à la demande

30. Le consommateur récupère des ressources de calcul et de stockage à la demande (machines virtuelles)

31. Accès réseau

32. Ressources, briques logicielles et applications disponibles à travers le réseau pour des clients de tailles différentes

33. Mise en commun de ressources

34. Data centers fournissant les ressources (machines, stockage, mémoire, BP réseau) pour différents clients en mode partagé. Diminution des tâches de maintenance.

35. « Elasticité » réactive et rapide

36. Croissance ou décroissance dynamique du nombre de ressources en fonction de la demande et des besoins. Extensibilité !

37. Service mesuré et facturation à l’usage

38. Reporting de l’utilisation des ressources

39. Résilience

43. The Million-Server Data Center http://spectrum.ieee.org/tech-talk/semiconductors/devices/what-will-the-data-center-of-the-future-look-like

44. Constat : Coût Investissement *Source :http://media.amazonwebservices.com/AWS_Cloud_Best_Practices.pdf 14

45. Une vue à 10000 pieds SLAs Services web Virtualisation

47. simplifier l’accès aux ressources distantes de la manière la plus transparente possible

48. Technologie différente

49. Grappes et batchs vs datacenters et virtualisation

50. Gestion de ressources

51. Statique vs dynamique

52. Modèle de programmation

53. MPI/GridRPC vs MapReduce/scripts/workflows

54. Modèle de sécurité

55. Certificats vs Web + SSL

56. Des domaines applicatifs différents (pour l’instant!)

58. Modes d’utilisation

60. Le matériel est fourni sous forme de machines virtuelles sur lesquelles on installe son image disque

61. Amazon EC2, Rackspace, GoGRID, Orange, …

62. Platform as a Service (PaaS)

63. On peut développer ses propres applications en utilisant les services fournis

64. Google Apps, Windows Azure, Amazon S3, IBM CloudBurst et Websphere, …

65. Software as a Service (SaaS)

66. Des applications entières sont disponibles à distance

68. Virtualisation Machines virtuelles s’exécutant sur un nœud de calcul VM0 VM1 VM2 N0 Proposé par IBM dans les années 60 “Virtual Machines have finallyarrived. Dismissed for a number of years as merelyacademiccuriosities, they are nowseen as cost-effective techniques for organizing computer systemsresources to provideextraordinary system flexibility and support for certain unique applications”. Goldberg, Survey of Virtual Machine Research, 1974 Nœud de calcul Crédits: T. Priol, INRIA

71. PortabilitéMachine virtuelle Machine virtuelle VM0 N1 Noeud de calcul Crédits: T. Priol, INRIA

73. Portabilité

74. Suspend/restart (et migration ?)Machine virtuelle VM0 Crédits: T. Priol, INRIA

75. Techno App App App App App App SE SE SE Systèmed’exploitation Hyperviseur Matériel Matériel Pile virtualisée Pile traditionnelle

76. Architecture logicielleIaaS NIST DRAFT Cloud Computing Synopsis and Recommendations

78. On ne paye que ce qu’on utilise

79. Plus de 20 produits

80. Datacenters sur 5 régions géographiques

81. Des nouveautés régulièrement

82. Références : Dropbox, Slideshare, Netflix, Zinga …Credits: Fabien Bousquet, Kalistic

83. AWS : géo localisation : 5 régions De 2 à 4 zones de disponibilité dans chaque région Credits: Fabien Bousquet, Kalistic

84. AWS : Vue générale *Source : http://media.amazonwebservices.com/AWS_Cloud_Best_Practices.pdf Credits: Fabien Bousquet, Kalistic

85. AWS : Mise en place Inscription internet Carte bancaire Instantané Console Web pour démarrer Pas d’attente de mise en place Pas de coût d’installation Système ouvert / automatisable : Outil SDK API Credits: Fabien Bousquet, Kalistic

86. Amazon Elastic Compute Cloud A set of APIs and business models which give developer-level access to Amazon’s infrastructure and content: Search As A Service Alexa Web Information Service Alexa Top Sites Alexa Site Thumbnail Alexa Web Search Platform Data As A Service Amazon E-Commerce Service Amazon Historical Pricing Infrastructure As A Service Amazon Simple Queue Service Amazon Simple Storage Service Amazon Elastic Compute Cloud Other tools BD : RDS, SimpleDB Messaging : SNS, SQS, SES Stockage : EBS, AWS Import/Export CDN : CloudFront » « Calcul » : MapReduce Déploiement/Gestion : Beanstalk, CloudFormation Surveillance : CloudWatch Réseaux : Route 53, VPC People As A Service Amazon Mechanical Trunk Credits: Jeff Barr, Amazon

88. provides an easy way to setup, operate and scale a relational database in the cloud. You can launch a DB Instance and get access to a full-featured MySQL database and not worry about common database administration tasks like backups, patch management etc.

89. Amazon Simple Queue Service (Amazon SQS)

90. a reliable, highly scalable, hosted distributed queue for storing messages as they travel between computers and application components.

91. Amazon Simple Notifications Service (Amazon SNS)

92. provides a simple way to notify applications or people from the cloud by creating Topics and using a publish-subscribe protocol.

93. Amazon Elastic MapReduce

95. allows you to extend your corporate network into a private cloud contained within AWS. Amazon VPC uses IPSec tunnel mode that enables you to create a secure connection between a gateway in your data center and a gateway in AWS.

96. Amazon Route

97. a highly scalable DNS service that allows you manage your DNS records by creating a HostedZone for every domain you would like to manage.

98. AWS Identity and Access Management (IAM)

102. Elastic Capacity

103. 1.7 GHz x86

104. 1.7 GB RAM

105. 160 GB Disk

106. 250 MB/Second Network

107. Network Security ModelTime or Traffic-based Scaling, Load testing, Simulation and Analysis, Rendering, Software as a Service Platform, Hosting $.10 - $.18 per GB data transfer

108. Amazon EC2 Concepts Amazon Machine Image (AMI) Bootable root disk Pre-defined or user-built Catalog of user-built AMIs OS: Fedora, Centos, Gentoo, Debian, Ubuntu, Windows Server App Stack: LAMP, mpiBLAST, Hadoop Limited to 10 GB Instance Running copy of an AMI Launch in less than 2 minutes Start/stop programmatically Network Security Model Explicit access control Security groups Inter-service bandwidth is free

109. Types d’instances http://aws.amazon.com/fr/ec2/instance-types/ High-Memory Extra Large Instance 17.1 Go de Mémoire6.5 EC2 ComputeUnits (2 virtualcores avec chacun 3.25 EC2 ComputeUnits)420 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Modérée High-Memory Double Extra Large Instance 34.2 Go de Mémoire13 EC2 ComputeUnits (4 virtualcores avec chacun 3.25 EC2 ComputeUnits)850 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée High-Memory Quadruple Extra Large Instance 68.4 Go de Mémoire26 EC2 ComputeUnits (8 virtualcores avec chacun 3.25 EC2 ComputeUnits)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée Applications à grand trafic, notamment les bases de données et les applications de mise en mémoire cache Petites Instances – défaut 1.7 Go de Mémoire1 EC2 Compute Unit (1 virtualcore avec 1 EC2 Compute Unit)160 Go de stockage d’instancePlateforme 32-bitPerformance I/O: Modérée Large Instance 7.5 Go de Mémoire 4 EC2 ComputeUnits (2 virtualcores avec chacun 2 EC2 ComputeUnits)850 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée Extra Large Instance 15 Go de Mémoire8 EC2 ComputeUnits (4 virtualcores avec chacun 2 EC2 ComputeUnits)1,690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée

110. Types d’instances, suite http://aws.amazon.com/fr/ec2/instance-types/ Quadruple Extra Large Instance Grappe de Calcul 23 Go de Mémoire33.5 EC2 ComputeUnits (2 x Intel Xeon X5570, quad-core architecture “Nehalem”)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Très Elevée (10 Gigabit Ethernet)Nom API: cc1.4xlarge Les instances cette famille fournissent proportionnellement plus de ressources CPU avec une performance réseau améliorée et sont adaptées aux applications Calculs Haute Performance (HPC) et aux autres applications nécessitant un lien réseau. High-CPU Medium Instance 1.7 Go de Mémoire5 EC2 ComputeUnits (2 virtualcores avec chacun 2.5 EC2 ComputeUnits)350 Go de stockage d’instancePlateforme 32-bitPerformance I/O: ModéréeNom API: c1.medium High-CPU Extra Large Instance 7 Go de Mémoire20 EC2 ComputeUnits (8 virtualcores avec chacun 2.5 EC2 ComputeUnits)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: ElevéeNom API: c1.xlarge

112. Elastic Capacity

113. Reliable, Simple, SecureInter-process messaging, data buffering, architecture component $.10 per 1000 messages $.10 - $.18 per GB data transfer

114. EC2: Stockage Instance store Copie de l’AMI / disque de boot Limité à 10 GB Instance EC2 Mount Disque lié à l’instance sans coût additionnel Nombre et taille variable en fonction du type d’instance Ephemeraldisk EBS Non lié au cycle de vie de l’instance Nombre et taille libres S3 Copie d’un EBS à un instant T Stocké sur S3 SNAPSHOT Accès via API Données non persistantes => Données perdues si machine arrêtée (« terminate ») ou machine plantée Données persistantes => Données non liées au cycle de vie de l’instance Credits: Fabien Bousquet, Kalistic

116. 1 B – 5 GB / object

117. Fast, Reliable, Scalable

118. Redundant, Dispersed

119. 99.99% Availability Goal

120. Private or Public

121. Per-object URLs & ACLs

122. BitTorrent Support$.15 per GB per month storage $.10 - $.18 per GB data transfer

123. Amazon S3 Concepts Objects Opaque data to be stored (1 byte … 5 Gigabytes) Authentication and access controls Buckets Object container – any number of objects 100 buckets per account / buckets are “owned” Keys Unique object identifier within bucket Up to 1024 bytes long Flat object storage model Standards-Based Interfaces REST and SOAP URL-Addressability – every object has a URL Credits: Jeff Barr, Amazon

124. Amazon S3 Concepts, cont Stockage. 3 actions : Ecrire Lire Supprimer Buckets : Dossiers / fichiers Contrôle de version et droit d’accès Accès via API Plusieurs régions géographiques => Latence, disponibilité Credits: Fabien Bousquet, Kalistic

125. Vuegénérale S3 EC2 Region bucket Zone Instance EC2 EBS API Mount S3 Security Group Start with Do snapshot SNAPSHOT API AMI AMI Web Credits: Fabien Bousquet, Kalistic

127. 750 heures d’ElasticLoadBalancing plus 15 GO de traitement de données

128. 10 GO de stockage Amazon Elastic Block Storage (EBS) plus 1 million d’E/S, 1 GO de stockage de copies instantanée, 10 000 copies instantanées de demandes GET et 1000 copies instantanées de demandes Put

130. Combiençàcoûte, instances réservées Paiement fixe à l’année et réduction tarif horaire.

132. Facturées au prix spot défini par Amazon EC2, qui fluctue de manière périodique en fonction de l’offre et de la demande pour la capacité d’instance spot.

133. Pour utiliser les instances spot, on fait une demande en spécifiant

134. le type d’instance, la région souhaitée,

135. le nombre d’instances qu’on veut exécuter

136. le prix maximum qu’on est disposé à payer par heure d’instance.

137. Afin de comparer ce prix maximum aux prix spot antérieurs, l’historique des prix spot est disponible via l’API d’Amazon EC2 et AWS Management Console.

139. Combiençàcoûte, instances spot http://www.spothistory.com/

143. Access to Amazon EC2 and ElasticHostsclouds

145. Challenges Extensibility Simple architecture and open internal APIs Client-side interface Amazon’s EC2 interface and functionality (familiar and testable) Networking Virtual private network per cloud Must function as an overlay => cannot supplant local networking Security Must be compatible with local security policies Packaging, installation, maintenance system administration staff is an important constituency for uptake Credit: R. Wolsky.

146. Eucalyptus Architecture: WS-Cloud Amazon EC2 Interface Client-side API Translator Walrus (S3) Cloud Controller Database Cluster Controller Node Controller RHEV-M ESXi vSphere ESX Storage Controller Credit: R. Wolsky.

148. Customizable

150. Cumulus – storage servicehttp://www.nimbusproject.org/

152. Essentially a site VM manager

153. Interfaces are built on top of it: EC2 (SOAP, Query), WSRF

155. Based evolved from GridFTP

156. Implements Amazon’s S3 interfacehttp://www.nimbusproject.org/

157. Nimbus architecture * Source: http://www.nimbusproject.org/files/keahey_CloudComp2010.pdf

159. EC2

161. Usually acts as a classical cluster front-end

162. Repository of VM images

163. Multiple backends (LVM, iSCSI..)

164. Usually in a separate host

165. Modular components to interact with the cluster services

167. Must have a hypervisor installed* Credits: Ruben S. Montero

168. OpenStack http://www.openstack.org/

170. Pas de gestion de l’infrastructure sous-jacente (machines, réseaux, stockage, systèmes d’exploitation, …). Le support d’exécution gère le déploiement et le nombre de ressources.

171. Mais contrôle de l’application et de la configuration de son environnement

173. Datacenters on 3 continents (2 regions each)

174. Pay as you go

175. No installation cost

176. Management through an onlineconsole

177. Integration with Microsoft Visual Studio

179. Application and Data Windows Azure Windows OS for running applications on Microsoft datacenters CDN Connect Storage Compute Fabric Controller * source: http://lancord.com/images/pdf/2_WP.pdf

181. .NET applications (C#, Visual Basic, ...)

183. Binary large objects (blobs)

191. Python, Java, Go, JVM languages

192. Must use the platform’s APIs

194. Authentication – Google accounts

195. Sending emails

196. Caching – Memcache

197. URL fetch

200. Blobstore size 2 GB / app

201. HTTP response size 32 MB

202. Datastore item size 1 MB

204. Bandwidth

205. Stored data

208. Pas de gestion de l’infrastructure sous-jacente (machines, réseaux, stockage, systèmes d’exploitation, …)

209. Exemples

211. Architecture de la solution ExtremeFactory SOA / Web Services based HPC Portal Users &Authent. Clients &Projects DataMgmt Visualisation ApplicationMgmt JobMgmt AccountingBilling AdminWorkflows HPC middleware & APIs Infrastructure 150 Tflops au 15 mai 2011 Datacenter F9/M50Bull - Les Clayes-sous-Bois (78)

212. Le portail d’accès à la solution

213. La gestion des travaux

214. La gestion des données

215. Informations détaillées sur les jobs

216. Consultation des logs d’un job

217. La gestion des sessions de visualisations

218. Vos simulations visualisées à distance

220. NAMD

221. AmberTools

222. BLAST

223. GROMACS

224. LAMMPS

225. FASTA

226. HMMER

227. GAMESS

229. Rien n'est installé sur la machine hormis ChromeOS et son navigateur. Tout est sur le nuage : applications, données, stockages.

230. Fini les applications à installer, plus de mise à jour, une sécurité améliorée, etc.

231. Le démarrage effectué en quelques secondes et le mode déconnecté sera géré par de plus en plus d'applications.

232. Besoin d'être connecté au web et aux services cloud (Wifi ou 3G)

233. Deux approches :

234. pour le grand public achat pur et simple du chromebook + forfait 3G par mois,

236. Infrastructure (propriété du fournisseur) louée à n’importe qui

237. Cloud privé

238. Propriété d’une entreprise

239. interne ou externe

240. Cloud communautaire

241. Mise en commun de ressources pour une communauté d’utilisateurs

242. interne ou externe

243. Cloud hybride

244. Composition de plusieurs formes de Clouds, voir même de grilles

246. Sky computing Permettre l’exécution d’applications à grande échelle sur des plates-formes multi-cloud Expérience entre les USA et la France Nimbus (gestion de ressources, contextualisation)/ViNe (connectivité)/Hadoop (distribution des tâches, tolérance aux pannes, dynamicité) Plates-formes FutureGrid (3 sites) et Grid’5000 (3 sites) Optimisation de la création et de la propagation de machines virtuelles SD Rennes Grid’5000 firewall Lille UF Application Distribuée Application MapReduce White-listed Queue VR Hadoop Sophia ViNe UC Logiciel IaaS Logiciel IaaS All-to-allconnectivity! Crédits: Pierre Riteau (IRISA)

247. PERFormances

250. Google AppEngine [PaaS]

251. Rackspace [IaaS]

252. Salesforce [PaaS]

253. Terremark [IaaS]Figure and table credits On the Performance Variability of Production Cloud Services, A. Iosup, N. Yigitbasi, and D. Epema, IEEE/ACM International Symposium on Cluster, Cloud, and Grid Computing (CCGrid 2011) Cloud Computing Performance - A bitcurrent study in the performance of cloud computing platforms, bitcurrent, http://www.bitcurrent.com, 2010

255. In secondsfor 2009www.pds.ewi.tudelft.nl

257. Latency is important for applications using auto-scalingwww.pds.ewi.tudelft.nl

259. 2009www.pds.ewi.tudelft.nl

261. Performance – Comparison Four tests A one-pixel GIF to test response time and caching of static content A 2-Mbyte GIF to test network throughput and congestion Across one month A CPU-intensive task 1.000.000 operations (100.000 for SalesForce because of limitations) An I/O intensive task Used smallest VM type for IaaS clouds

265. Performance – Comparison Test 4 – I/O intensive task

266. Heterogeneity in Virtualized Environments VM technology isolates CPU and memory, but disk and network are shared Full bandwidth when no contention Equal shares when there is contention 2.5x performance difference EC2 small instances

267. Isolation Research Need predictable variance over raw performance Some resources that people have run into problems with: Power, disk space, disk I/O rate (drive, bus), memory space (user/kernel), memory bus, cache at all levels (TLB, etc), hyperthreading/etc, CPU rate, interrupts Network: NIC (Rx/Tx), Switch, cross-datacenter, cross-country OS resources: File descriptors, ports, sockets

269. Utilisation d’outils de monitoring comme

270. CloudWatch

271. CPUUtilization, DiskReadOps, DiskWriteOps, DiskReadBytes, DiskWriteBytes, NetworkIn, NetworkOut

272. VolumeReadBytes, VolumeWriteBytes, VolumeReadOps, VolumeWriteOps, VolumeTotalReadTime, VolumeTotalWriteTime, VolumeIdleTime, VolumeQueueLength

273. http://aws.amazon.com/fr/cloudwatch/

274. AzureWatch

275. CPU utilization, amount of requests per second, number of concurrent users, amounts of bytestransferred, or amount of memoryused by your application

276. http://www.paraleap.com/

278. Variations

279. Prévisibles

280. Non-prévisibles

282. Standards et Programmation

284. Besoins de standards pour assurél’intéropérabilité entre les plates-formes et les applications

285. API de gestion des ressources

286. OGF : Open Grid Forum

287. DMTF : Distributed Management Task Force

288. OCCI : Open Cloud Computing Interface

289. API stockage Cloud

290. SNIA : Storage Networking Industry Association

291. Intercloud

292. GICTF : Global Intercloud Technology Forum

293. Aspects sécurité

294. CSA: Cloud Security Alliance

295. Et d’autres

297. MapReduce 3 A hash function maps the results of the map tasks to r reduce tasks Data is split into mparts 1 D1 map 5 O1 reduce A combinetask may be necessary to combine all the outputs of the reduce functions together D2 map Data O2 reduce Dm map 2 data split map reduce mapfunction is performed on each of these data parts concurrently 4 Once all the results for a particular reducetask is available, the framework executes thereducetask

298. Google MapReduce: execution Credits: J. Dean, S. Ghemawat, Google, Inc.

299. Google MapReduce: parallel execution Credits: J. Dean, S. Ghemawat, Google, Inc.

300. Google MapReduce: Task Granularity And Pipelining Fine granularity tasks: many more map tasks than machines Minimizes time for fault recovery Can pipeline shuffling with map execution Better dynamic load balancing Often use 200,000 map/5000 reduce tasks w/ 2000 machines Credits: J. Dean, S. Ghemawat, Google, Inc.

301. Google File System Built for Google large scale data management One big problem: hardware failure ! GFS concepts Data spread evenly throughout cluster Replicated 3x (locality aware replication, replica migrates) Master machine detects failure and rebalances data on the fly Some features Data automaticallydistributed to nodesat load time Loss of nodes causesautomatic datarebalance Credits: A. kimball

302. Google Bigtable A Google database layer Data model: a big map <Row, Column, Timestamp> triple for key - lookup, insert, and delete API

304. In each iteration, a vertex can

305. Receive messages sent in previous iteration

306. Perform calculations

307. Modify its state

308. Send messages to neighbouring vertexes

310. Social networks

312. Has a modifiable user-defined value

313. Is not a first-class citizen – has no associated computation

314. Executes a generic computation that is characteristic of the algorithm

316. Has a modifiable user-defined value

318. Google Pregel – Experiments Single-source shortest path algorithm on a cluster of 300 multicore commodity PCs Binary tree Random graph with mean out degree 127.1 * Source: Grzegorz Malewicz , Matthew H. Austern , Aart J.C Bik , James C. Dehnert , Ilan Horn , Naty Leiser , Grzegorz Czajkowski, Pregel: a system for large-scale graph processing, Proceedings of the 2010 international conference on Management of data, June 06-10, 2010, Indianapolis, Indiana, USA [doi>10.1145/1807167.1807184]

319. Securité et pannes

320. Sécurité et pannes

321. Sécurité et pannes

323. Problèmes juridiques

324. Localisation des données et des calculs

325. Propriété des données

326. Lois internationales

327. Gestion de l’isolation

328. Attraction des hackers

329. Besoin de chiffrement à plusieurs niveaux

330. Déplacements de données

331. Perte de contrôle

332. Mais aussi des avantages

333. Gestion des fautes et des pannes par un fournisseur externe

334. Gestion automatisée de la sécurité

336. Pour quelques $, être capable de voir ce que fait l’autre !

337. Amazon EC2 comme cible

338. Le modèle d’attaque

339. Déterminer où est la machine virtuelle qui contient le service à attaquer

340. Déterminer si la machine virtuelle de l’attaquant co-réside avec la machine virtuelle à attaquer

341. Si non, essayer de lancer des nouvelles machines virtuelles jusqu’à être co-résident avec la machine virtuelle à attaquer

342. Exploiter les fuites d’information (CPU caches, branchtarget buffers, network queues, ...)T. Ristenpart, E. Tromer, H. Shacham, S. Savage, Hey, You, Get Off of My Cloud! Exploring Information Leakage in Third-PartyCompute Clouds, ACM Conf. on Computer and Communications Security (CCS) 2009, 199-212, ACM, 2009.

344. Eviter le “single point of failure”

345. Sur Amazon, répartir les applications sensibles entre les régions

346. Avoir des zones d’isolation des fautes

347. Sur des matérielsdifférents (data centers)

348. Eviter les communications synchrones entre zones

349. Mettre des time-out sur les communications asynchrones

352. Quelques challenges de recherche

353. Composition de services

354. Service Level Agreement (SLA)

355. Sécurité

356. Résistance aux fautes/pannes

357. Gestion de l’infrastructure

358. Ordonnancement et gestion élastique des ressources

359. Gestion de données

360. Accès transparent à des plateformes hybrides

361. Multi-clouds

362. Nouveaux modèles

363. économiques, énergie

364. Programmation des applications

366. MapReduce Modèle (ré)-introduit par Google “MapReduceis a programming model and an associatedimplementation for processing and generating large data sets. Usersspecify a mapfunctionthatprocesses a key/value pair to generate a set of intermediatekey/value pairs, and a reducefunctionthatmerges all intermediate values associatedwith the sameintermediatekey.”MapReduce: Simplified Data Processing on Large Clusters Jeffrey Dean and Sanjay Ghemawat Version open-source: Hadoop Nombreux travaux de recherche Extensions du langage Systèmes de fichiers distribués Réplication des données Gestion des ressources Nouvelles applications Nouvelles plates-formes (multicores, GPU) Tolérance aux pannes

367. OS Grid/Cloud-aware Des systèmes et des plates-formes hétérogènes Grappes, grilles, clouds Une utilisation compliquée intergiciels multiples, OS différents, gestion de ressources, de données, fichiers, tolérance aux pannes, sécurité, … Vers des OS pour les grilles et les clouds ? Des challenges ! Maîtrise de la grande échelle Nombre de ressources Sites et domaines multiples Dynamicité Charge, pannes, ajouts de ressources Difficulté à prédire le comportement des plates-formes et de leurs utilisateurs

368. Gestionoptimisée de l’énergie Les grilles et les Clouds participent au changement climatique ! Approches « vertes » pour les grilles Optimisation : améliorer la conception des matériels et logiciels pour réduire leur consommation d’énergie Eteindre / Shutdown : réduire le nombres de ressources et d’équipements alimentés et inutiles : nœuds de calculs, de stockage, de communication, périphériques, … Adaptation / Slowdown : adapter la vitesse des ressources à l’usage réel : DVFS, ALR, … Coordination : proposer des solutions à grande échelle afin de bénéficier de leviers de réduction énergétique plus importants Crédits: Laurent Lefèvre (INRIA/LIP)

369. Gestion de la virtualisationàgrandeéchelle Quelques problématiques liées à l’utilisation de machines virtuelles à grande échelle Gérer les tâches dynamiquement (SALINE) Utiliser les capacités des machines virtuelles pour suspendre une tâche et l’exécuter (potentiellement) ailleurs Sauver des snapshots et gérer leur sauvegarde de manière extensible Combiner la virtualisation des ressources et du réseau (HiperNet) Donner à l’utilisateur l’illusion qu’il utilise un système privé Un langage de reconfiguration pour les infrastructures virtualisées (VMScript) pour décrire les jobs, les VOs, les architectures physiques Migrer une image virtuelle ou un cluster entier entre des datacenters (Shrinker) Réduire le coût de déplacement (ne transférer que le strict minimum) Tirer partie de la bande-passante d’un réseau WAN Crédits: AdrienLèbre (LINA, EMN)

370. Gestion de ressources à grande échelle Comment ordonnancer les tâches à grande échelle Workflows, tâches hétérogènes, liens avec la gestion de données, la réplication, modèles énergétiques, … Comment gérer l’allocation de machines virtuelles Modéliser les plates-formes, prédire? Gestion élastique des ressources Maîtriser les pics de charge Déplacer les VMs, les tâches Modèles économiques, énergétiques, … Self-* Méta-schedulers Ordonnancer et gérer les ressources dans un monde multi-batch et multi-gestionnaires Pilot jobs DIRAC, Condor

372. + Very flexible and scalable as DIET nodes can be launched

374. + EC2 is treated as a new Batch System

375. + Automatic deployment of VMs with associated serviceshttp://www.sysfera.fr/

376. Grid Application Grid Middleware OS (…) Grid BIOS Grid’5000 Une vision originale Pouvoir effectuer des expérimentations à tous les niveaux de la pile logicielle d’une grille (ou d’un Cloud) avec La possibilité de reproduire les conditions d’expérimentation Isoler les expériences entre elles Avoir une grande flexibilité Comprendre ce qu’il se passe sur la plate-forme Injections de conditions expérimentales (fautes, charge) Un instrument pour l’informatique distribuée 9 sites en France connectés par Renater pour un total de 5600 cœurs Un exemple (FutureGrid aux USA) Un des premiers Clouds de type IaaS

377. Grid’5000 vu comme un Cloud Quelques caractéristiques de Cloud Possibilité de gérer vos propres images disques (installées via kDeploy) Réservation de ressources transparente (via OAR) Plateforme complètement contrôlée Images de machines virtuelles (Xen, kvm, Vmware) Isolement d’applications (KaVLAN) Grid’5000 pourrait devenir Cloud’5000? Plateforme parfaite pour la validation de résultats de recherche sur les Clouds Instances de machines virtuelles connectées via un WAN dédié Plusieurs projets autour de Clouds open source, MapReduce et de la virtualisation

378. conclusions

380. Les ressources sont disponibles en quantité !

381. Nombreuses offres de Clouds publics et privés

382. Notion de virtualisation et piles logicielles « mature »

383. « Quelques » problèmes à traiter encore mieux

384. extensibilité, sécurité, gestion de données à grande échelle, tolérance aux fautes, API entre Clouds, standards, …

385. Notion de confiance dans cette nouvelle technologie !

386. Le Cloud n’est pas prêt d’enterrer les supercalculateurs pour autant pour les grosses applications de simulation (architectures petascales et bientôt exascales)

389. http://cordis.europa.eu/fp7/ict/ssai/docs/cloud-report-final.pdf

390. Cloud Strategy and Innovation Blog (I. Llorrente)

391. http://blog.cloudplan.org/

392. Above the Clouds: A Berkeley View of Cloud Computing

393. http://www.eecs.berkeley.edu/Pubs/TechRpts/2009/EECS-2009-28.html

394. http://berkeleyclouds.blogspot.com/

395. The NIST Definition of Cloud Computing

396. http://csrc.nist.gov/publications/drafts/800-145/Draft-SP-800-145_cloud-definition.pdf

397. DRAFT Cloud Computing Synopsis and Recommendations

398. http://csrc.nist.gov/publications/drafts/800-146/Draft-NIST-SP800-146.pdf

399. Cloud Computing Bible,

400. B. Sosinsky, Wiley

401. SIENA European Roadmap on Grid and Cloud Standards for e-Science and Beyond

402. http://www.sienainitiative.eu/Repository/FileScaricati/8ee3587a-f255-4e5c-aed4-9c2dc7b626f6.pdf