Infraestructura para big data Telefónica

1,324 views

Published on

Ponencia de @lorenadelaflor de Telefónica y blogger de www.aunclicdelastic.com en la 15ª Edición BDigital Global Congress 2013.

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,324
On SlideShare
0
From Embeds
0
Number of Embeds
522
Actions
Shares
0
Downloads
39
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Infraestructura para big data Telefónica

  1. 1. 1Telefónica DigitalTelefónica DigitalJunio 2013Grandes cantidadesde DatosServidores de AltorendimientoFoto: http://www.wallpixy.com/competitions-dog-racing-dog-elephant-wallpapers-download/
  2. 2. 2Telefónica DigitalPara Gestionar Grandes Cantidades de Datos…Ilustración: http://humorsalmon.blogspot.com.es/2009/12/un-minimo-de-circo.htmlNecesidades técnicas:acceso a grandes volúmenes dedatos no estructurados, en fuentesdistribuidas que deben capturarse yprocesarse.Limitaciones de coste: senecesita gran capacidad decómputo y almacenamiento por loque se apuesta por un uso eficientede infraestructura genérica.Tiempos de respuesta: losdatos deben poder analizarse enhoras en vez de en semanas parapoder tomar decisiones en tiemporeal.010203
  3. 3. 3Telefónica DigitalNecesidades TécnicasOfrece la capacidad de procesardatos en un volumenanteriormente no atacable conherramientas de DWH clásico.• Utiliza sistema de ficheros distribuido• Tolerante a fallos, gestiona réplicas,fallo de nodos, etc.• Open source (Apache)• Escalable (Yahoo! tiene cluster de4000 nodos)• Muy potente: permite ordenar 1TB denúmeros aleatorios en 62 segundos.Fuentes:http://hadoop.apache.org/http://www.slideshare.net/kevinweil/hadoop-pig-and-twitter-nosql-east-200901http://wiki.apache.org/hadoop/PoweredBy¿Quién usa Hadoop?
  4. 4. 4Telefónica DigitalLimitaciones de CostesCAPACIDAD DE LOS SERVIDORES DEDICADOSTIEMPONIVELDECARGASERVIDORESPeriodo de procesamientode datos: requiere muchacapacidad.Periodo sin procesamiento:capacidad contratadasobranteLa infraestructura dedicadadimensionada según los picos dedemanda es cara e ineficiente02
  5. 5. 5Telefónica DigitalTIEMPOServidores virtualesSe adaptan a la necesidad de carga decada momento (escalado vertical) opueden crearse o destruirse en elmomento (escalado horizontal)3 SERVIDORES S100 SERVIDORES XL20SERVIDORES L3 SERVIDORES S2 SERVIDORESS15 SERVIDORES M15 SERVIDORES MPago por uso: el coste se adapta a lacapacidad que se necesita en cadamomento.02Limitaciones de Costes
  6. 6. 6Telefónica Digital03Tiempos de respuesta• Servidores de alto rendimiento:• Virtualización realizada a nivel de Sistema Operativo• Caché de alto rendimiento• Tecnología 400% CPU bursting• Optimización de procesos de desarrollo con DTrace.Fuente: http://joyent.com/company/press/joyent-launches-high-performance-hadoop-solution3x Las operaciones de E/S de clustersde Hadoop sobre Instant Serversson 3 veces más rápidas(comparando servidores de igualcapacidad)Es posible reducir costes 2/3obteniendo los mismos tiempos derespuesta.1/3más rápidodel costeMenores tiempos de respuesta para obtener resultadosen tiempo real.
  7. 7. 7Telefónica DigitalServidores de Alto Rendimientowww.InstantServers.esPago por usoAltorendimientoDisponibilidad99,95%trimestral pormáquinaDatos en Españay soportetelefónico enespañol
  8. 8. 8Telefónica Digitalo Big Data como Servicio¿Cómo funciona?• Un servicio extremo a extremo• En modo pago por uso• Con un Time to Market muy reducido1. Con Escenarios acotados:Gestión delRiesgo¿Quién tieneriesgo deimpago?¿Dónde invertirmi presupuestode Marketing?Marketing MixPricing¿Qué precio esel óptimo parami producto?2. Mediante un modelo explicativo/predictivo:Modelando eventos pasados para entender porqué han ocurrido y poder crear modelospredictivos.etc…
  9. 9. Lorena de la Flor@lorenadelaflorGraciasMás información en:www.InstantServers.es

×