Google Cluster

3,079 views

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
3,079
On SlideShare
0
From Embeds
0
Number of Embeds
13
Actions
Shares
0
Downloads
86
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Google Cluster

  1. 1. GOOGLE CLUSTER <ul><li>MULTIPROCESAMIENTO </li></ul><ul><li>Leonardo Sarango </li></ul><ul><li>Ruth Hidalgo </li></ul><ul><li>ING. María del Carmen </li></ul>
  2. 2. Introducción <ul><li>Enorme capacidad de procesamiento. </li></ul><ul><li>Uso de clusters ejecutando Linux con sus correpondiente balance de carga. </li></ul><ul><li>Presencia de centros de datos en diferentes puntos geográficos. </li></ul>
  3. 3. Estaciones <ul><li>Más de 450.000 servidores </li></ul><ul><li>En Mountain View (California), Virginia, Atlanta y Dublín. </li></ul><ul><li>Instalaciones en construcción en The Dalles y Saint-Ghislain. </li></ul>
  4. 4. Topología de red <ul><li>Cada cluster de Google tiene miles de servidores, </li></ul><ul><li>Los racks de Google están hechos a medida y pueden contener entre 40 y 80 servidores. </li></ul><ul><li>Cada rack tiene una conexión ethernet a un router local que a su vez se conecta al router central utilizando una conexión de 1 Gigabit. </li></ul>
  5. 5. Hardware original <ul><li>Sun Ultra II con procesador de 200MHz dual y 256 MB de RAM. Esta era la máquina principal del sistema original. </li></ul><ul><li>Dos servidores Pentium II duales a 300 MHz donados por Intel que incluían 512 MB de RAM y 9 discos de 9 GB entre los dos servidores. </li></ul><ul><li>F50 IBM RS/6000 donado por IBM que incluía cuatro procesadores, 512 MB de memoria y ocho discos duros de 9 GB. </li></ul><ul><li>Dos armarios adicionales incluían tres discos duros de 9 GB y seis de 4 GB respectivamente que estaban conectados al servidor Sun Ultra II. </li></ul><ul><li>Un armario de expansión de discos de IBM con otros ocho discos duros de 9 GB donados por IBM. </li></ul><ul><li>Armario de disco duros casero que contenía 10 discos duros de 9 GB SCSI. </li></ul>
  6. 6. Tipos de Servidores <ul><li>Servidores web </li></ul><ul><li>Servidores proxy Squid </li></ul><ul><li>Servidores de recolección de datos(googlebot) </li></ul><ul><li>Servidores de índices </li></ul><ul><li>Servidores de documentos </li></ul><ul><li>Servidores de anuncios. </li></ul>
  7. 7. Hardware Actual <ul><ul><li>Cada cluster 359 racks </li></ul></ul><ul><ul><li>31.654 servidores63.184 CPUs(126.368 GHz) </li></ul></ul><ul><ul><li>64.184 GB memoria </li></ul></ul><ul><ul><li>2.527 Tbytes(2 PB aprox) </li></ul></ul><ul><li>Cada cluster: 40 millones de peticiones diarias </li></ul><ul><li>Google tiene repartido más de 20 datacentes al rededor del mundo con al menos un clúster,  se calcula que google esta soportado por más de 600.000 servidores </li></ul>
  8. 8. ARQUITECTURA DEL CLUSTER GOOGLE <ul><li>Cluster heterogéneo y muy escalable. cada tres meses se actualiza alguno de los componentes de los nodos de cómputo (procesador, memoria o disco) y entre un 2 y un 3% de los nodos son sustituidos cada año. </li></ul><ul><li>El cluster utiliza Gigabit Ethernet (cobre, cables de categoría 5) para la conexión entre los nodos, y los enlaces a Internet tienen un ancho de banda mayor (2 Gb/s en media). </li></ul><ul><li>Todos los nodos tienen instalado un sistema operativo Linux y herramientas a medida para instalación y actualización de software, para la monitorización (en media se reinician al día 20 nodos en remoto) </li></ul>
  9. 9. Google File System <ul><li>El sistema está construido para que el fallo de un componente no le afecte. </li></ul><ul><li>El sistema almacena grandes archivos </li></ul><ul><li>La mayoría del trabajo consiste en dos tipos de lecturas: grandes lecturas de datos y pequeñas lecturas aleatorias </li></ul><ul><li>El sistema debe ser diseñado para ofrecer concurrencia a múltiples clientes que quieran el mismo archivo. </li></ul>
  10. 10. Google File System <ul><li>cluster GFS consiste en un máster y múltiples chukserver que dan servicio a múltiples clientes. </li></ul><ul><li>El máster es el encargado de mantener todos los metadatos del sistema de archivos. </li></ul><ul><li>MASTER </li></ul><ul><li>Tener un solo máster simplifica el diseño y permite tener sofisticados métodos de emplazamiento y replicación de trozos usando un conocimiento global. </li></ul><ul><li>Los clientes nunca escriben datos a través del máster sino que el cliente le pregunta al máster que con qué chunkserver puede contactar. </li></ul>
  11. 11. Tamaño de los Trozos <ul><li>GFS usa 64 MB </li></ul><ul><li>METADATOS </li></ul><ul><li>Espacio de nombres de fichero y de trozos </li></ul><ul><li>La correspondencia de archivos a trozos </li></ul><ul><li>La localización de las réplicas de los trozos </li></ul>
  12. 12. BIBLIOGRAFÍA <ul><li>http://es.wikipedia.org/wiki/Squid </li></ul><ul><li>http://es.wikipedia.org/wiki/Plataforma_de_Google </li></ul><ul><li>http://es.wikipedia.org/wiki/Cluster_%28inform%C3%A1tica%29 </li></ul><ul><li>http://es.wikipedia.org/wiki/PageRank </li></ul><ul><li>http://es.wikipedia.org/wiki/Rack </li></ul><ul><li>http://redindustria.blogspot.com/2009/10/la-arquitectura-hardware-de-google.html </li></ul>

×