Les clouds, du buzz à la vraie science

Les clouds, du buzz à la vraie science Frédéric DesprezLIP ENS Lyon/INRIA Grenoble Rhône-AlpesEPI GRAAL/Avalon
14/06/2010

Hype !

introduction

Introduction
Il est moins coûteux de louer de la capacité de calcul et de stockage que de monter un centre de calcul
La transparence d’utilisation des grandes plates-formes distribuées est primordiale
Pouvoir gérer ces ressources de manière dynamique et élastique!
Un long historique du calcul distribué à plus ou moins grande échelle
Des supercalculateurs et grappes aux Clouds en passant par les grilles
Des besoins applicatifs de plus en plus importants et variés
Explosion du nombre et du volume de données
Utility computing
“Wewillprobablysee the spread of computer utilities, which, likepresentelectric and telephone utilities, will service individual homes and offices accrossthe country”
Professeur John McCarthy, 1961 !!!

Qu’est-ce que le Cloud Computing ?
Un paradigme de calculdistribuéémergeantdanslequel les données et les services sontdisponiblesdans des data centers extensibles et peuventêtreaccédés de manièretransparentedepuis des appareils (ordinateurs, téléphones, grappes, …) connectés par Internet
Systèmes distribués !
5ème génération d’architectures
1970: Mainframes,
1980: Client-serveurs,
1990: Web, grilles,
2000: SOA,
2010: Clouds
Credit: IBM Corp.
Cloud Computing

Cloud Computing
Né de
La profusion de ressources (data centers)
Une technologie de virtualisation mature et des communications à haut débit
Quelques caractéristiques
Libre service à la demande
Le consommateur récupère des ressources de calcul et de stockage à la demande (machines virtuelles)
Accès réseau
Ressources, briques logicielles et applications disponibles à travers le réseau pour des clients de tailles différentes
Mise en commun de ressources
Data centers fournissant les ressources (machines, stockage, mémoire, BP réseau) pour différents clients en mode partagé. Diminution des tâches de maintenance.
« Elasticité » réactive et rapide
Croissance ou décroissance dynamique du nombre de ressources en fonction de la demande et des besoins. Extensibilité !
Service mesuré et facturation à l’usage
Reporting de l’utilisation des ressources
Résilience
Continuité du service

Constat : Coût
Investissement
*Source : http://media.amazonwebservices.com/AWS_Cloud_Best_Practices.pdf
7

Une vue à 10000 pieds
SLAs
Services web
Virtualisation

Grilles vs Clouds
Une vision partagée
simplifier l’accès aux ressources distantes de la manière la plus transparente possible
Technologie différente
Grappes et batchs vs datacenters et virtualisation
Gestion de ressources
Statique vs dynamique
Modèle de programmation
MPI/GridRPC vs MapReduce/scripts/workflows
Modèle de sécurité
Certificats vs Web + SSL
Des domaines applicatifs différents (pour l’instant!)
HPC/HTC vs Business

Grid
Computing
Cloud
Computing
Salesforces.com
Grid‘5000
Infrastructure
IaaS
Cloud
Computing
Amazon EC2/S3
Eucalyptus IaaS
Open Source
Nimbus IaaS
Open Source
OpenNebulaIaaS
Open Source
FP7 Reservoir
Sun
Open Cloud
Microsoft
Azure
IBM
Blue Cloud
HP Flexible
ComputingServices
FutureGrid
Le calculcomme un service : un historique
1998
1999
2003
2006
2008
2009
2007
2005
2011
2010
Crédits: T. Priol, INRIA

Modes d’utilisation

Cloud Computing: modes d’utilisation
Infrastructure as a Service (IaaS)
Le matériel est fourni sous forme de machines virtuelles sur lesquelles on installe son image disque
Amazon EC2, Rackspace, GoGRID, Orange, …
Platform as a Service (PaaS)
On peut développer ses propres applications en utilisant les services fournis
Google Apps, Windows Azure, Amazon S3, IBM CloudBurst et Websphere, …
Software as a Service (SaaS)
Des applications entières sont disponibles à distance
Gmail, Googledocs, Facebook, Orange, IBM LotusLive, …

Infrastructure as a Service
Avoir accès à la demande à un grand nombre de ressources virtualisées
Dynamicité, élasticité
Paiement à la consommation
Concept de virtualisation
Le système d’exploitation n’est plus central et est un logiciel comme un autre !
Le concept de machines virtuelles consiste à recevoir des instances de systèmes.
Les ressources physiques sont partagées par plusieurs machines virtuelles
Exemples
Amazon EC2, RightScale, GoGrid, Orange Open Cloud, …

Virtualisation
Machines virtuelles s’exécutant sur un nœud de calcul
VM0
VM1
VM2
N0
Proposé par IBM dans les années 60
“Virtual Machines have finallyarrived. Dismissed for a number of years as merelyacademiccuriosities, they are nowseen as cost-effective techniques for organizing computer systemsresources to provideextraordinary system flexibility and support for certain unique applications”.
Goldberg, Survey of Virtual Machine Research, 1974
Nœud de calcul

Virtualisation
Apache
web server
simulation
VM0
N0
Noeud de calcul
Propriétés
Isolement
Portabilité
Suspend/restart (et migration ?)
Machine
virtuelle
VM2
VM1
Machine
virtuelle
?
Machine
virtuelle
VM0
N1
VM0
Machine virtuelle
Machine virtuelle
Noeud de calcul

Amazon Web Services : Contexte
Site marchand amazon.com (1995)
Trafic fluctuant
Disponibilité
Analyse de données
Gestion de stock
Large catalogue
International : latence (réplication géographique) => CDN
2006
La référence IaaS => PaaS
On ne paye que ce qu’on utilise
Plus de 20 produits
Datacenters sur 5 régions géographiques
Des nouveautés régulièrement
Références : Dropbox, Slideshare, Netflix, Zinga …
Credits: Fabien Bousquet, Kalistic

AWS : Mise en place
Inscription internet
Carte bancaire
Instantané
Console Web pour démarrer
Pas d’attente de mise en place
Pas de coût d’installation
Système ouvert / automatisable :
Outil
SDK
API

Amazon Elastic Compute Cloud
A set of APIs and business models which give developer-level access to Amazon’s infrastructure and content:
Search As A Service
Alexa Web Information Service
Alexa Top Sites
Alexa Site Thumbnail
Alexa Web Search Platform
Data As A Service
Amazon E-Commerce Service
Amazon Historical Pricing
Infrastructure As A Service
Amazon Simple Queue Service
Amazon Simple Storage Service
Other tools
BD : RDS, SimpleDB
Messaging : SNS, SQS, SES
Stockage : EBS, AWS Import/Export
CDN : CloudFront »
« Calcul » : MapReduce
Déploiement/Gestion : Beanstalk, CloudFormation
Surveillance : CloudWatch
Réseaux : Route 53, VPC
People As A Service
Amazon Mechanical Trunk
Credits: Jeff Barr, Amazon

Amazon Web Services
Elastic Compute
Cloud (EC2)
Calculer
Simple Storage
Service (S3)
Simple Queue
Service (SQS)
Stocker
Echanger
Credits: Jeff Barr, Amazon

Provides on-demand processing power
Virtual machine images (Amazon Machine Image, AMI)
From $.10 per server hour
Virtual Compute Cloud
Elastic Capacity
1.7 GHz x86
1.7 GB RAM
160 GB Disk
250 MB/Second Network
Network Security Model
Time or Traffic-based Scaling, Load testing, Simulation and Analysis, Rendering, Software as a Service Platform, Hosting
$.10 - $.18 per GB data transfer

Amazon EC2 Concepts
Amazon Machine Image (AMI)
Bootable root disk
Pre-defined or user-built
Catalog of user-built AMIs
OS: Fedora, Centos, Gentoo, Debian, Ubuntu, Windows Server
App Stack: LAMP, mpiBLAST, Hadoop
Limited to 10 GB
Instance
Running copy of an AMI
Launch in less than 2 minutes
Start/stop programmatically
Network Security Model
Explicit access control
Security groups
Inter-service bandwidth is free

Types d’instances
http://aws.amazon.com/fr/ec2/instance-types/
High-Memory Extra Large Instance
17.1 Go de Mémoire6.5 EC2 ComputeUnits (2 virtualcores avec chacun 3.25 EC2 ComputeUnits)420 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Modérée
High-Memory Double Extra Large Instance
34.2 Go de Mémoire13 EC2 ComputeUnits (4 virtualcores avec chacun 3.25 EC2 ComputeUnits)850 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée
High-Memory Quadruple Extra Large Instance
68.4 Go de Mémoire26 EC2 ComputeUnits (8 virtualcores avec chacun 3.25 EC2 ComputeUnits)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée
Applications à grand trafic, notamment les bases de données et les applications de mise en mémoire cache
Instance gratuite
Petites Instances – défaut
1.7 Go de Mémoire1 EC2 Compute Unit (1 virtualcore avec 1 EC2 Compute Unit)160 Go de stockage d’instancePlateforme 32-bitPerformance I/O: Modérée
Large Instance
7.5 Go de Mémoire 4 EC2 ComputeUnits (2 virtualcores avec chacun 2 EC2 ComputeUnits)850 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée
Extra Large Instance
15 Go de Mémoire8 EC2 ComputeUnits (4 virtualcores avec chacun 2 EC2 ComputeUnits)1,690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée

Types d’instances, suite
http://aws.amazon.com/fr/ec2/instance-types/
Quadruple Extra Large Instance Grappe de Calcul
23 Go de Mémoire33.5 EC2 ComputeUnits (2 x Intel Xeon X5570, quad-core architecture “Nehalem”)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Très Elevée (10 Gigabit Ethernet)Nom API: cc1.4xlarge
Les instances cette famille fournissent proportionnellement plus de ressources CPU avec une performance réseau améliorée et sont adaptées aux applications Calculs Haute Performance (HPC) et aux autres applications nécessitant un lien réseau.
High-CPU Medium Instance
1.7 Go de Mémoire5 EC2 ComputeUnits (2 virtualcores avec chacun 2.5 EC2 ComputeUnits)350 Go de stockage d’instancePlateforme 32-bitPerformance I/O: ModéréeNom API: c1.medium
High-CPU Extra Large Instance
7 Go de Mémoire20 EC2 ComputeUnits (8 virtualcores avec chacun 2.5 EC2 ComputeUnits)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: ElevéeNom API: c1.xlarge

EC2: Stockage
Instance store
Copie de l’AMI / disque de boot
Limité à 10 GB
Instance EC2
Mount
Disque lié à l’instance sans coût additionnel
Nombre et taille variable en fonction du type d’instance
Ephemeraldisk
EBS
Non lié au cycle de vie de l’instance
Nombre et taille libres
S3
Copie d’un EBS à un instant T
Stocké sur S3
SNAPSHOT
Accès via API
Données non persistantes => Données perdues si machine arrêtée (« terminate ») ou machine plantée
Données persistantes => Données non liées au cycle de vie de l’instance

Amazon Simple Storage Service
$.01 for 1000 to 10000 requests
Virtually infinite storage capacity
Provides permanence layer when EC2 nodes are not running
Object-Based Storage
1 B – 5 GB / object
Fast, Reliable, Scalable
Redundant, Dispersed
99.99% Availability Goal
Private or Public
Per-object URLs & ACLs
BitTorrent Support
$.15 per GB per month
storage
$.10 - $.18 per GB data transfer

Vuegénérale
S3
EC2
Region
bucket
Zone
Instance EC2
EBS
API
Mount
S3
Security Group
Start with
Do snapshot
SNAPSHOT
API
AMI
AMI
Web

Des clouds open source
Nimbus (Freeman and Keahey, University of Chicago)
Client-side cloud-computing interface to Globus-enabled TeraPort cluster at University of Chicago
Based on GT4 and the Globus Virtual Workspace Service
Great if local resources are GT4 proficient
Tutorials and documentation in “grid space”
Eucalyptus (Wolsky, University of Santa Barbara)
Web services based implementation of elastic/utility/cloud computing infrastructure
Linux image hosting (IaaS)
Open Nebula (Montero & Llorente, DSA-Researchat UCM)
Support for the Xen, KVM and VMwarevirtualizationplatforms
Access to Amazon EC2 and ElasticHostsclouds
libvirt, EC2 Query API and OGC OCCI interfaces
Open Stack

Platform as a Service (PaaS)
Un ensemble d’outils (langages + support d’exécution) pour développer, déployer et gérer des applications
Pas de gestion de l’infrastructure sous-jacente (machines, réseaux, stockage, systèmes d’exploitation, …). Le support d’exécution gère le déploiement et le nombre de ressources.
Mais contrôle de l’application et de la configuration de son environnement
ExemplesMicrosoft Azure, Force.com, Google AppEngine,IBM Cloudburst etWebsphere

Microsoft Azure platform
Announced 2008
Released 2010
What does it offer?
PaaS
Datacenters on 3 continents (2 regions each)
Pay as you go
No installation cost
Management through an onlineconsole
Integration with Microsoft Visual Studio
.NET interface

Software as a Service (SaaS)
L’application elle-même est disponible à travers un navigateur
Pas de gestion de l’infrastructure sous-jacente (machines, réseaux, stockage, systèmes d’exploitation, …)
Exemples
Gmail, Google Apps, Salesforce.com, Orange, IBM LotusLive

Modèles de déploiement
Cloud publique
Infrastructure (propriété du fournisseur) louée à n’importe qui
Cloud privé
Propriété d’une entreprise
interne ou externe
Cloud communautaire
Mise en commun de ressources pour une communauté d’utilisateurs
interne ou externe
Cloud hybride
Composition de plusieurs formes de Clouds, voir même de grilles
SkyComputing

Qui contrôle quoi ?
Entreprise
Partageentreprise/fournisseur
Fournisseur
Hébergeur
Informatique
IaaS public
PaaS public
SaaS public
Données
Données
Données
Données
Données
Applications
Applications
Applications
Applications
Applications
Machines virtuelles
Machines virtuelles
Machines virtuelles
Machines virtuelles
Machines virtuelles
Serveur
Serveur
Serveur
Serveur
Serveur
Stockage
Stockage
Stockage
Stockage
Stockage
Réseau
Réseau
Réseau
Réseau
Réseau
Crédits: P. Saulière, Microsoft

Standards et Programmation

Standards
Actuellement, surtoutuneutilisation des normes de l’Internet et des architectures Web Services et SOA
Besoins de standards pour assurél’intéropérabilité entre les plates-formes et les applications
API de gestion des ressources
OGF : Open Grid Forum
DMTF : Distributed Management Task Force
OCCI : Open Cloud Computing Interface
API stockage Cloud
SNIA : Storage Networking Industry Association
Intercloud
GICTF : Global Intercloud Technology Forum
Aspects sécurité
CSA: Cloud Security Alliance
Et d’autres
OMG, TM Forum, OASIS, ISO IEC-JTC 1, ITU-T, W3C, IETF, …

Google MapReduce
Developed by Google in 2003
Programming model: dataflow programming
Input & Output: each a set of key/value pairs
Programmer specifies two functions:
map (in_key, in_value) -> list(out_key, intermediate_value)
Processes input key/value pair
Produces set of intermediate pairs
reduce (out_key, list(intermediate_value)) -> list(out_value)
Combines all intermediate values for a particular key
Produces a set of merged output values (usually just one)
Inspired by similar primitives in LISP and other languages
Example uses:
distributed grep web link-graph reversal
distributed sort web access log stats
term-vector per host inverted index construction
document clustering machine learning
statistical machine translation …
Open-source versions
Hadoop (java implementation of MapReduce + GFS + Bigtable)
http://hadoop.apache.org/
Credits: J. Dean, S. Ghemawat, Google, Inc.

MapReduce
3
A hash function maps the results of the map tasks to r reduce tasks
Data is split into mparts
1
D1
map
5
O1
reduce
A combinetask may be necessary to combine all the outputs of the reduce functions together
D2
map
Data
O2
reduce
Dm
map
2
data split
map
reduce
mapfunction is performed on each of these data parts concurrently
4
Once all the results for a particular reducetask is available, the framework executes thereducetask

Google MapReduce: parallel execution
Credits: J. Dean, S. Ghemawat, Google, Inc.

Securité et pannes

Sécurité et pannes

Quelques problèmes de sécurité
Un des principaux freins à l’adoption !
Quelques défis
Problèmes juridiques
Localisation des données et des calculs
Propriété des données
Lois internationales
Gestion de l’isolation
Attraction des hackers
Besoin de chiffrement à plusieurs niveaux
Déplacements de données
Perte de contrôle
Mais aussi des avantages
Gestion des fautes et des pannes par un fournisseur externe
Gestion automatisée de la sécurité
Relative homogénéité des plates-formes

Et la recherche ?

Et la recherchedans tout çà ?
Explosion du nombre de travaux de rechercheautour des Clouds et de la virtualisation !
Quelques challenges de recherche
Composition de services
Service Level Agreement (SLA)
Sécurité
Résistance aux fautes/pannes
Gestion de l’infrastructure
Ordonnancement et gestion élastique des ressources
Gestion de données
Accès transparent à des plateformes hybrides
Multi-clouds
Nouveaux modèles
économiques, énergie
Programmation des applications
Nouveaux langages, nouveaux modèles

conclusions

Conclusion
De nombreuses applications prêtes à être déployées sur les Clouds à différents niveaux
Les ressources sont disponibles en quantité !
Nombreuses offres de Clouds publics et privés
Notion de virtualisation et piles logicielles « mature »
« Quelques » problèmes à traiter encore mieux
extensibilité, sécurité, gestion de données à grande échelle, tolérance aux fautes, API entre Clouds,skycomputing, énergie, standards, …
Notion de confiance dans cette nouvelle technologie !
Le Cloud n’est pas prêt d’enterrer les supercalculateurs pour autant pour les grosses applications de simulation (architectures pétascaleset bientôtexascales)
Gros potentiel pour de nombreuses applications avec différentes approches (IaaS, PaaS, SaaS) voir une combinaison de ces approches (y compris avec des grilles).

DES QUESTIONS ?

Quelquesréférences
European Commission report on The Future of Cloud Computing
http://cordis.europa.eu/fp7/ict/ssai/docs/cloud-report-final.pdf
Cloud Strategy and Innovation Blog (I. Llorrente)
http://blog.cloudplan.org/
Above the Clouds: A Berkeley View of Cloud Computing
http://www.eecs.berkeley.edu/Pubs/TechRpts/2009/EECS-2009-28.html
http://berkeleyclouds.blogspot.com/
The NIST Definition of Cloud Computing
http://csrc.nist.gov/publications/drafts/800-145/Draft-SP-800-145_cloud-definition.pdf
DRAFT Cloud Computing Synopsis and Recommendations
http://csrc.nist.gov/publications/drafts/800-146/Draft-NIST-SP800-146.pdf
Cloud Computing Bible
B. Sosinsky, Wiley
SIENA EuropeanRoadmap on Grid and Cloud Standards for e-Science and Beyond
http://www.sienainitiative.eu/Repository/FileScaricati/8ee3587a-f255-4e5c-aed4-9c2dc7b626f6.pdf
Les Clouds: Buzzword ou révolution technologique
http://www.slideshare.net/desprez/les-clouds-buzzword-ou-rvolution-technologique-8238203

Les clouds, du buzz à la vraie science

by Frederic Desprez on Jun 21, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

Statistics

Les clouds, du buzz à la vraie science — Presentation Transcript