SlideShare una empresa de Scribd logo
1 de 21
Descargar para leer sin conexión
ESTUDIO DE
SPARK, STORM,
PIG, KAFKA y
HIVE 1
SPARK
Estudio de Spark
1
2
QUÉ ES SPARK?
Qué es?
Es un Cluster de computación similar a
Hadoop (es complementario a él gracias a
Mesos), fue diseñado para operaciones en
paralelo con grandes datasets distribuidos,
normalmente los procesa en memoria, , así
optimiza las cargas de trabajo iterativas
permitiendo además hacer consultas
interactivas.
Es 100 veces más rápido que Map/Reduce de
Hadoop en memoria y 10 veces más rápido
en disco.
Cómo funciona?
◦ Funciona con RDDs, que es una
colección de objetos (Read-Only)
distribuidos a lo largo de nodos, estos
son resilentes.
◦ Las aplicaciones en Spark son
“drivers”, estos objetos se encargan
de las operaciones realizadas en los
nodos (en modo standalone o
paralelo).
Un driver puede llevar a cabo dos
tipos de operaciones:
▫ Acción: Una acción ejecuta una
computación en un dataset y
devuelve un valor al driver.
▫ Transformación: Una
transformación crea un nuevo
dataset desde un dataset
existente.
3
ARQUITECTURA Y CONECTORES
Arquitectura Qué es Mesos?
Mesos (cómo cluster manager) provee de
una plataforma para recursos compartidos y
aislamiento de aplicaciones (sandboxing). Sus
características principales son:
◦ Escalabilidad hasta 10,000 nodos.
◦ Soporte para contenedores Docker.
◦ Aislamiento nativo entre tareas.
◦ Programación multi-recurso.
◦ Programación de aplicaciones en
paralelo en múltiples lenguajes.
◦ Web para visualizar el estado del
cluster.
4
COMPONENTES
5
SparkSQL
Permite realizar consultas SQL sobre
datasets distribuidos, estos datasets pueden
tener diversos orígenes, es compatible con
HIVE, permitiendo hacer uso de sus
resultados con consultas sencillas.
Utiliza JDBC y ODBC.
Spark Streaming
Es una extensión del core de Spark, posibilita
el procesamiento de flujos de datos en tiempo
real, esos datos pueden ser inyectados desde
diferentes fuentes y pueden ser procesados
usando complejos algoritmos escritos en alto
nivel.
Este sistema recibe los inputs en tiempo real
y divide los datos en “batches”, estos son
procesados por Spark, el cual genera el
resultado de los “batches” procesados,
además provee de un sistema de abstracción
de alto nivel llamado DStream. Estos pueden
ser creados a partir de otros DStream o
desde las fuentes que soporta Spark
Streaming.
MLib
Es un motor de desición, utiliza la API de
Spark y interopera con NumPy haciendo fácil
la integración de estos procesos en los
workflows de Hadoop.
GraphX
Es un motor que unifica ETL, análisis de
exploración y computación gráfica.
Es extremadamente rápido y tiene una API
súper flexible, además viene acompañado de
una gran variedad de algoritmos gráficos.
6
STORM
Estudio de Storm
QUÉ ES STORM?
Qué es?
Es un sistema computacional distribuido en
tiempo real (Trident), se utiliza para:
◦ Analíticas en tiempo real.
◦ Machine learning en tiempo real.
◦ Ejecución de RPCs distribuidos.
◦ ETLs.
◦ , etc.
Su nombre es muy apropiado, es muy rápido,
procesa casi un millón de tuplas por segundo
y por nodo, además funciona como un cluster
de Hadoop.
Cómo funciona?
Storm consume flujos de datos y los procesa
de maneras complejas de forma arbitraria.
Posee 2 tipos de nodos, el master y el
worker.
◦ El master ejecuta un demonio llamado
“Nimbus”, este es responsable de
distribuir los datos en el cluster,
asignar tareas a las máquinas y
monitorizar.
◦ Cada worker ejecuta un demonio
llamado “Supervisor”, este escucha si
tiene trabajos asignados e inicia o para
procesos en base a lo que le dicte
“Nimbus”.
7
ARQUITECTURA Y COMPONENTES
Arquitectura Componentes
La coordinación entre los nodos de Storm la
lleva a cabo ZooKeeper.
Storm se posee 3 componentes básicos:
◦ Topologies: Se utilizan para realizar
tareas de computación en tiempo real,
son similares a las tareas
Map/Reduce, pero al contrario que
estas, las topologías están
continuamente procesando mensajes.
◦ Streams: Es la abstracción del core de
Storm. Storm provee de primitivas
para la transformación de streams de
forma distribuida, las más básicas son:
▫ Spouts: Es una fuente de
streams.
▫ Bolts: Procesa streams
entrantes y posibilita la emisión
del resultado como un nuevo
stream.
◦ Data model: Storm utiliza tuplas como
modelo de datos.
8
9
STORM VS SPARKSTREAMING
COMPAREMOS
10
Conceptos
STORM SPARK
Fuentes de Stream Spouts Receivers
Primitivas de Stream Tupla DStream
Computación de Stream Bolts Transformaciones
COMPAREMOS
11
Diferencias
STORM SPARK
Distribución semántica Al menos una vez
Exactamente una vez con Trident
Exactamente una vez
Excepto en algunos escenarios de error
Administración de estado Sin estado
Hazte el tuyo o utiliza Trident
Con estados
Escribe los estados en almacenamiento
Latencia Por debajo de segundos Segundos
Depende del tamaño del batch
Lenguajes soportados Cualquiera Scala, Java, Python
COMPAREMOS
12
Velocidad de incidencias en
Storm
La comunidad es importante
Velocidad de incidencias en
Spark
En los últimos 60 días, Storm ha tenido
34 contribuidores únicos
En los últimos 60 días, Spark ha tenido
140 contribuidores únicos
KAFKA
Mensajes
13
Características
Sistema de mensajería distribuido.
Soporta gran volumen de eventos. Eficiente en procesamiento de datos en tiempo real.
El diseño persigue crear a partir de los eventos originales, nuevos eventos derivados.
Permite la entrega de mensajes desde sistemas tradicionales con baja latencia
Garantiza la tolerancia a fallos si aparecen fallos en algunos nodos
KAFKA
Conceptos
◦ Topics: son categoría para los mensajes
◦ Producers: procesos que publican
mensajes
◦ Consumers: procesos que se suscriben a
topics y reciben/procesan los mensajes
◦ Brokers: cada uno de los nodos que
componen el grupo
14
KAFKA
Organización de los topics:
◦ Las Partitions son estructuras ordenadas e
inmutables a las que se “encolan” mensajes.
Tienen un id secuencial llamado offset
◦ Todos los mensajes se guardan durante un
periodo configurable de tiempo
◦ Las Partitions permiten la escalabilidad y
redundancia.
◦ Esta estructura permite la implementación de
tanto de modelos basados en queues como
Publish-Subscribe.
15
KAFKA
Consumer
◦ Cada consumer tiene una etiqueta que
identifica al grupo al que pertenece
◦ Cada mensaje que se envía a un topic se
entrega a una instancia dentro de cada
grupo de consumers suscritos.
◦ Cada consumer pueden correr en
diferentes procesos o máquinas
16
Producers
◦ Publican mensajes y es responsable de
elegir a que topic enviar que mensaje.
◦ La política puede ser todo lo compleja que
se requiera.
◦ Cada producer envía mensajes a uno o
más topics.
KAFKA
Casos de uso
◦ Message Broker (ActiveMQ or RabbitMQ)
◦ Monitorización y tracking de sitios web
◦ Sistemas de monitorización de métricas
◦ Agregacion de logs. La baja latencia de Kafka lo pone por encima de otros sistemas como
Scribe o Flume
◦ Procesamiento de texto. Los frameworks Storm y Samza usan esta capacidad de Kafka.
◦ Aplicaciones que se abastecen con eventos.
17
Hive
Data Warehouse
18
HIVE
Qué es?
◦ Proporciona un conjunto de
operaciones sobre datos.
◦ Funciona sobre Hadoop.
◦ Provee un dialecto de SQL llamado
HQL (Hive Query Language) cercano
al de MySQL.
◦ En las primeras versiones no
soportaba transacciones ni
operaciones sobre rows.
◦ Adecuado para tratamiento de datos
en lotes.
◦ Permite añadir nuevas operaciones
Map/Reduce a aplicar a los datos.
19
Cómo funciona?
◦ Wrapper “SQL” sobre datos almacenados en
Hadoop.
◦ Mediante un “driver” las consultas en HQL se
convierten en operaciones nativas de
Hadoop.
◦ Permite implementar procesos ETL sobre los
datos.
HIVE
PIG VS HIVE
◦ Ambos añaden una capa de lógica a Hadoop usando pseudo -
SQL
◦ HIVE añade tratamiento de volúmenes mayores de datos
Rendimiento
20
21
LINKS
http://www.ibm.com/developerworks/library/os-spark/#toggle
http://www.slideshare.net/EvanChan2/cassandra2013-spark-talk-final
https://spark.apache.org/docs/latest/streaming-programming-guide.html
http://www.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-214.pdf
http://www.cs.berkeley.edu/~matei/papers/2010/hotcloud_spark.pdf
https://spark.apache.org/docs/latest/mllib-decision-tree.html
http://ampcamp.berkeley.edu/big-data-mini-course/graph-analytics-with-graphx.html
https://amplab.github.io/graphx/
https://storm.apache.org
http://es.slideshare.net/ptgoetz/apache-storm-vs-spark-streaming
http://www.quora.com/What-is-the-criteria-to-chose-Pig-Hive-Hbase-Storm-Solr-Spark-to-analyze-
your-data-in-Hadoop
http://www.slideshare.net/EvanChan2/cassandra2013-spark-talk-final
http://www.zdatainc.com/2014/09/apache-storm-apache-spark/
http://java.dzone.com/articles/streaming-big-data-storm-spark
https://storm.apache.org/documentation/Trident-tutorial.html
http://www.larsgeorge.com/2009/10/hive-vs-pig.html
https://cwiki.apache.org/confluence/display/Hive/GettingStarted
https://cwiki.apache.org/confluence/display/Hive/Tutorial
http://es.slideshare.net/nzhang/hive-training-motivations-and-real-world-use-cases

Más contenido relacionado

La actualidad más candente

Exposing services with Azure API Management
Exposing services with Azure API ManagementExposing services with Azure API Management
Exposing services with Azure API ManagementCallon Campbell
 
Best Practices for Middleware and Integration Architecture Modernization with...
Best Practices for Middleware and Integration Architecture Modernization with...Best Practices for Middleware and Integration Architecture Modernization with...
Best Practices for Middleware and Integration Architecture Modernization with...Claus Ibsen
 
Architecting for the Cloud using NetflixOSS - Codemash Workshop
Architecting for the Cloud using NetflixOSS - Codemash WorkshopArchitecting for the Cloud using NetflixOSS - Codemash Workshop
Architecting for the Cloud using NetflixOSS - Codemash WorkshopSudhir Tonse
 
Understanding MicroSERVICE Architecture with Java & Spring Boot
Understanding MicroSERVICE Architecture with Java & Spring BootUnderstanding MicroSERVICE Architecture with Java & Spring Boot
Understanding MicroSERVICE Architecture with Java & Spring BootKashif Ali Siddiqui
 
Hexagonal Architecture
Hexagonal ArchitectureHexagonal Architecture
Hexagonal ArchitectureMarcelo Cure
 
Real Life Clean Architecture
Real Life Clean ArchitectureReal Life Clean Architecture
Real Life Clean ArchitectureMattia Battiston
 
Onion Architecture / Clean Architecture
Onion Architecture / Clean ArchitectureOnion Architecture / Clean Architecture
Onion Architecture / Clean ArchitectureAttila Bertók
 
Deploying and Operating KSQL
Deploying and Operating KSQLDeploying and Operating KSQL
Deploying and Operating KSQLconfluent
 
APIs in a Microservice Architecture
APIs in a Microservice ArchitectureAPIs in a Microservice Architecture
APIs in a Microservice ArchitectureWSO2
 
Apache Kafka - Martin Podval
Apache Kafka - Martin PodvalApache Kafka - Martin Podval
Apache Kafka - Martin PodvalMartin Podval
 
OSS NA 2019 - Demo Booth deck overview of Egeria
OSS NA 2019 - Demo Booth deck overview of EgeriaOSS NA 2019 - Demo Booth deck overview of Egeria
OSS NA 2019 - Demo Booth deck overview of EgeriaODPi
 
API Gateway How-To: The Many Ways to Apply the Gateway Pattern
API Gateway How-To: The Many Ways to Apply the Gateway PatternAPI Gateway How-To: The Many Ways to Apply the Gateway Pattern
API Gateway How-To: The Many Ways to Apply the Gateway PatternVMware Tanzu
 
Distributed unique id generation
Distributed unique id generationDistributed unique id generation
Distributed unique id generationTung Nguyen
 
Apache Camel K - Copenhagen v2
Apache Camel K - Copenhagen v2Apache Camel K - Copenhagen v2
Apache Camel K - Copenhagen v2Claus Ibsen
 
Software architecture with SOA modeling Flavor
Software architecture with SOA modeling FlavorSoftware architecture with SOA modeling Flavor
Software architecture with SOA modeling FlavorMohamed Zakarya Abdelgawad
 
It depends: Loving .NET Core dependency injection or not
It depends: Loving .NET Core dependency injection or notIt depends: Loving .NET Core dependency injection or not
It depends: Loving .NET Core dependency injection or notAlex Thissen
 
Event Driven Architecture with Apache Camel
Event Driven Architecture with Apache CamelEvent Driven Architecture with Apache Camel
Event Driven Architecture with Apache Camelprajods
 
Integrating Apache Kafka Into Your Environment
Integrating Apache Kafka Into Your EnvironmentIntegrating Apache Kafka Into Your Environment
Integrating Apache Kafka Into Your Environmentconfluent
 

La actualidad más candente (20)

Exposing services with Azure API Management
Exposing services with Azure API ManagementExposing services with Azure API Management
Exposing services with Azure API Management
 
Best Practices for Middleware and Integration Architecture Modernization with...
Best Practices for Middleware and Integration Architecture Modernization with...Best Practices for Middleware and Integration Architecture Modernization with...
Best Practices for Middleware and Integration Architecture Modernization with...
 
Architecting for the Cloud using NetflixOSS - Codemash Workshop
Architecting for the Cloud using NetflixOSS - Codemash WorkshopArchitecting for the Cloud using NetflixOSS - Codemash Workshop
Architecting for the Cloud using NetflixOSS - Codemash Workshop
 
Understanding MicroSERVICE Architecture with Java & Spring Boot
Understanding MicroSERVICE Architecture with Java & Spring BootUnderstanding MicroSERVICE Architecture with Java & Spring Boot
Understanding MicroSERVICE Architecture with Java & Spring Boot
 
Principios SOLID
Principios SOLIDPrincipios SOLID
Principios SOLID
 
Hexagonal Architecture
Hexagonal ArchitectureHexagonal Architecture
Hexagonal Architecture
 
Real Life Clean Architecture
Real Life Clean ArchitectureReal Life Clean Architecture
Real Life Clean Architecture
 
Onion Architecture / Clean Architecture
Onion Architecture / Clean ArchitectureOnion Architecture / Clean Architecture
Onion Architecture / Clean Architecture
 
Deploying and Operating KSQL
Deploying and Operating KSQLDeploying and Operating KSQL
Deploying and Operating KSQL
 
APIs in a Microservice Architecture
APIs in a Microservice ArchitectureAPIs in a Microservice Architecture
APIs in a Microservice Architecture
 
Apache Kafka - Martin Podval
Apache Kafka - Martin PodvalApache Kafka - Martin Podval
Apache Kafka - Martin Podval
 
OSS NA 2019 - Demo Booth deck overview of Egeria
OSS NA 2019 - Demo Booth deck overview of EgeriaOSS NA 2019 - Demo Booth deck overview of Egeria
OSS NA 2019 - Demo Booth deck overview of Egeria
 
API Gateway How-To: The Many Ways to Apply the Gateway Pattern
API Gateway How-To: The Many Ways to Apply the Gateway PatternAPI Gateway How-To: The Many Ways to Apply the Gateway Pattern
API Gateway How-To: The Many Ways to Apply the Gateway Pattern
 
Distributed unique id generation
Distributed unique id generationDistributed unique id generation
Distributed unique id generation
 
Apache Camel K - Copenhagen v2
Apache Camel K - Copenhagen v2Apache Camel K - Copenhagen v2
Apache Camel K - Copenhagen v2
 
Software architecture with SOA modeling Flavor
Software architecture with SOA modeling FlavorSoftware architecture with SOA modeling Flavor
Software architecture with SOA modeling Flavor
 
It depends: Loving .NET Core dependency injection or not
It depends: Loving .NET Core dependency injection or notIt depends: Loving .NET Core dependency injection or not
It depends: Loving .NET Core dependency injection or not
 
Event Driven Architecture with Apache Camel
Event Driven Architecture with Apache CamelEvent Driven Architecture with Apache Camel
Event Driven Architecture with Apache Camel
 
Integrating Apache Kafka Into Your Environment
Integrating Apache Kafka Into Your EnvironmentIntegrating Apache Kafka Into Your Environment
Integrating Apache Kafka Into Your Environment
 
Api pattern
Api patternApi pattern
Api pattern
 

Destacado

Introduction to Cloud Native Computing
Introduction to Cloud Native ComputingIntroduction to Cloud Native Computing
Introduction to Cloud Native ComputingSaju Thomas
 
Big table por Matias tesoriero
Big table por Matias tesorieroBig table por Matias tesoriero
Big table por Matias tesorieromtesoriero
 
Apache Storm and twitter Streaming API integration
Apache Storm and twitter Streaming API integrationApache Storm and twitter Streaming API integration
Apache Storm and twitter Streaming API integrationUday Vakalapudi
 
Presentacion seguridad redes_sociales
Presentacion seguridad redes_socialesPresentacion seguridad redes_sociales
Presentacion seguridad redes_socialessadwou
 
Guiaparapadres[1][1]
Guiaparapadres[1][1]Guiaparapadres[1][1]
Guiaparapadres[1][1]petronila
 
Seguridad en las redes sociales
Seguridad en las redes socialesSeguridad en las redes sociales
Seguridad en las redes socialesDones en Xarxa
 
Apache Spark - Introduccion a RDDs
Apache Spark - Introduccion a RDDsApache Spark - Introduccion a RDDs
Apache Spark - Introduccion a RDDsDavid Przybilla
 
Acción 1.1. Seguridad en Redes Sociales
Acción 1.1. Seguridad en Redes SocialesAcción 1.1. Seguridad en Redes Sociales
Acción 1.1. Seguridad en Redes SocialesAlicantevor
 
Ppt redes sociales y menores
Ppt redes sociales y menoresPpt redes sociales y menores
Ppt redes sociales y menoreskiarasacobi
 
Educación y sociedad: Riesgo de las redes sociales en los menores
Educación y sociedad: Riesgo de las redes sociales en los menoresEducación y sociedad: Riesgo de las redes sociales en los menores
Educación y sociedad: Riesgo de las redes sociales en los menoresangyrgc20
 
Tecnoadicciones. Guía para las familias
Tecnoadicciones. Guía para las familiasTecnoadicciones. Guía para las familias
Tecnoadicciones. Guía para las familiasDavid Romero Martín
 
Tecnoadicciones. Guía para profesores
Tecnoadicciones. Guía para profesoresTecnoadicciones. Guía para profesores
Tecnoadicciones. Guía para profesoresDavid Romero Martín
 
Understanding Data Consistency in Apache Cassandra
Understanding Data Consistency in Apache CassandraUnderstanding Data Consistency in Apache Cassandra
Understanding Data Consistency in Apache CassandraDataStax
 

Destacado (20)

Emr hive barcamp 2012
Emr hive   barcamp 2012Emr hive   barcamp 2012
Emr hive barcamp 2012
 
Introduction to Cloud Native Computing
Introduction to Cloud Native ComputingIntroduction to Cloud Native Computing
Introduction to Cloud Native Computing
 
Big table por Matias tesoriero
Big table por Matias tesorieroBig table por Matias tesoriero
Big table por Matias tesoriero
 
Apache Storm and twitter Streaming API integration
Apache Storm and twitter Streaming API integrationApache Storm and twitter Streaming API integration
Apache Storm and twitter Streaming API integration
 
Ciberacoso
CiberacosoCiberacoso
Ciberacoso
 
Presentacion seguridad redes_sociales
Presentacion seguridad redes_socialesPresentacion seguridad redes_sociales
Presentacion seguridad redes_sociales
 
Guiaparapadres[1][1]
Guiaparapadres[1][1]Guiaparapadres[1][1]
Guiaparapadres[1][1]
 
Fundacion alia2
Fundacion alia2 Fundacion alia2
Fundacion alia2
 
Internet
InternetInternet
Internet
 
Seguridad en redes sociales Día de inernet María Paula Espinosa
Seguridad en redes sociales Día de inernet María Paula EspinosaSeguridad en redes sociales Día de inernet María Paula Espinosa
Seguridad en redes sociales Día de inernet María Paula Espinosa
 
Seguridad en las redes sociales
Seguridad en las redes socialesSeguridad en las redes sociales
Seguridad en las redes sociales
 
Grooming
GroomingGrooming
Grooming
 
Apache Kafka Security
Apache Kafka Security Apache Kafka Security
Apache Kafka Security
 
Apache Spark - Introduccion a RDDs
Apache Spark - Introduccion a RDDsApache Spark - Introduccion a RDDs
Apache Spark - Introduccion a RDDs
 
Acción 1.1. Seguridad en Redes Sociales
Acción 1.1. Seguridad en Redes SocialesAcción 1.1. Seguridad en Redes Sociales
Acción 1.1. Seguridad en Redes Sociales
 
Ppt redes sociales y menores
Ppt redes sociales y menoresPpt redes sociales y menores
Ppt redes sociales y menores
 
Educación y sociedad: Riesgo de las redes sociales en los menores
Educación y sociedad: Riesgo de las redes sociales en los menoresEducación y sociedad: Riesgo de las redes sociales en los menores
Educación y sociedad: Riesgo de las redes sociales en los menores
 
Tecnoadicciones. Guía para las familias
Tecnoadicciones. Guía para las familiasTecnoadicciones. Guía para las familias
Tecnoadicciones. Guía para las familias
 
Tecnoadicciones. Guía para profesores
Tecnoadicciones. Guía para profesoresTecnoadicciones. Guía para profesores
Tecnoadicciones. Guía para profesores
 
Understanding Data Consistency in Apache Cassandra
Understanding Data Consistency in Apache CassandraUnderstanding Data Consistency in Apache Cassandra
Understanding Data Consistency in Apache Cassandra
 

Similar a Estudio sobre Spark, Storm, Kafka y Hive

Spark: una chispa con la velocidad del rayo ¿el sustituto de Hadoop?
Spark: una chispa con la velocidad del rayo  ¿el sustituto de Hadoop?Spark: una chispa con la velocidad del rayo  ¿el sustituto de Hadoop?
Spark: una chispa con la velocidad del rayo ¿el sustituto de Hadoop?Fernando Alfonso Casas De la Torre
 
Why Apache Flink is better than Spark by Rubén Casado
Why Apache Flink is better than Spark by Rubén CasadoWhy Apache Flink is better than Spark by Rubén Casado
Why Apache Flink is better than Spark by Rubén CasadoBig Data Spain
 
Herramientas BigData.pptx
Herramientas BigData.pptxHerramientas BigData.pptx
Herramientas BigData.pptxMauricio Bedoya
 
Analitica y toma de decisiones en tiempo real sobre plataformas big data
Analitica y toma de decisiones en tiempo real sobre plataformas big dataAnalitica y toma de decisiones en tiempo real sobre plataformas big data
Analitica y toma de decisiones en tiempo real sobre plataformas big dataJosé Carlos García Serrano
 
On-the-fly ETL con EFK: ElasticSearch, Flume, Kibana
On-the-fly ETL con EFK: ElasticSearch, Flume, KibanaOn-the-fly ETL con EFK: ElasticSearch, Flume, Kibana
On-the-fly ETL con EFK: ElasticSearch, Flume, KibanaStratio
 
Análisis de datos con Apache Spark
Análisis de datos con Apache SparkAnálisis de datos con Apache Spark
Análisis de datos con Apache SparkEduardo Castro
 
Big data y las apis (big data spain)
Big data y las apis (big data spain)Big data y las apis (big data spain)
Big data y las apis (big data spain)CloudAppi
 
El mundo Big Data y las APIs
El mundo Big Data y las APIsEl mundo Big Data y las APIs
El mundo Big Data y las APIsBig Data Spain
 
Big data para desarrolladores utilizando hadoop y openstack
Big data para desarrolladores utilizando hadoop y openstack Big data para desarrolladores utilizando hadoop y openstack
Big data para desarrolladores utilizando hadoop y openstack Guillermo Alvarado Mejía
 
Big Data para desarrolladores utilizando Hadoop y OpenStack
Big Data para desarrolladores utilizando Hadoop y OpenStackBig Data para desarrolladores utilizando Hadoop y OpenStack
Big Data para desarrolladores utilizando Hadoop y OpenStackSoftware Guru
 
2016 ULL Cabildo KEEDIO - KEEDIO DATA STACK
2016 ULL Cabildo KEEDIO - KEEDIO DATA STACK2016 ULL Cabildo KEEDIO - KEEDIO DATA STACK
2016 ULL Cabildo KEEDIO - KEEDIO DATA STACKKEEDIO
 
Meetup Junio Apache Spark Fundamentals
Meetup Junio Apache Spark FundamentalsMeetup Junio Apache Spark Fundamentals
Meetup Junio Apache Spark FundamentalsDataLab Community
 
Herramientas para computación distribuida. De Hadoop a Spark
Herramientas para computación distribuida. De Hadoop a SparkHerramientas para computación distribuida. De Hadoop a Spark
Herramientas para computación distribuida. De Hadoop a SparkJose Manuel Ortega Candel
 

Similar a Estudio sobre Spark, Storm, Kafka y Hive (20)

Spark: una chispa con la velocidad del rayo ¿el sustituto de Hadoop?
Spark: una chispa con la velocidad del rayo  ¿el sustituto de Hadoop?Spark: una chispa con la velocidad del rayo  ¿el sustituto de Hadoop?
Spark: una chispa con la velocidad del rayo ¿el sustituto de Hadoop?
 
Congreso Academy Journal Celaya 2017
Congreso Academy Journal Celaya 2017Congreso Academy Journal Celaya 2017
Congreso Academy Journal Celaya 2017
 
Why Apache Flink is better than Spark by Rubén Casado
Why Apache Flink is better than Spark by Rubén CasadoWhy Apache Flink is better than Spark by Rubén Casado
Why Apache Flink is better than Spark by Rubén Casado
 
Principales bases de datos
Principales bases de datosPrincipales bases de datos
Principales bases de datos
 
Herramientas BigData.pptx
Herramientas BigData.pptxHerramientas BigData.pptx
Herramientas BigData.pptx
 
Parallel Programming
Parallel ProgrammingParallel Programming
Parallel Programming
 
Analitica y toma de decisiones en tiempo real sobre plataformas big data
Analitica y toma de decisiones en tiempo real sobre plataformas big dataAnalitica y toma de decisiones en tiempo real sobre plataformas big data
Analitica y toma de decisiones en tiempo real sobre plataformas big data
 
De Mensajería hacia Logs con Apache Kafka
De Mensajería hacia Logs con Apache KafkaDe Mensajería hacia Logs con Apache Kafka
De Mensajería hacia Logs con Apache Kafka
 
On-the-fly ETL con EFK: ElasticSearch, Flume, Kibana
On-the-fly ETL con EFK: ElasticSearch, Flume, KibanaOn-the-fly ETL con EFK: ElasticSearch, Flume, Kibana
On-the-fly ETL con EFK: ElasticSearch, Flume, Kibana
 
Análisis de datos con Apache Spark
Análisis de datos con Apache SparkAnálisis de datos con Apache Spark
Análisis de datos con Apache Spark
 
Big data y las apis (big data spain)
Big data y las apis (big data spain)Big data y las apis (big data spain)
Big data y las apis (big data spain)
 
El mundo Big Data y las APIs
El mundo Big Data y las APIsEl mundo Big Data y las APIs
El mundo Big Data y las APIs
 
Spark
SparkSpark
Spark
 
Resilient Distributed Dataset - Analisis paper
Resilient  Distributed Dataset - Analisis paper Resilient  Distributed Dataset - Analisis paper
Resilient Distributed Dataset - Analisis paper
 
Big data para desarrolladores utilizando hadoop y openstack
Big data para desarrolladores utilizando hadoop y openstack Big data para desarrolladores utilizando hadoop y openstack
Big data para desarrolladores utilizando hadoop y openstack
 
Big Data para desarrolladores utilizando Hadoop y OpenStack
Big Data para desarrolladores utilizando Hadoop y OpenStackBig Data para desarrolladores utilizando Hadoop y OpenStack
Big Data para desarrolladores utilizando Hadoop y OpenStack
 
Oracle
OracleOracle
Oracle
 
2016 ULL Cabildo KEEDIO - KEEDIO DATA STACK
2016 ULL Cabildo KEEDIO - KEEDIO DATA STACK2016 ULL Cabildo KEEDIO - KEEDIO DATA STACK
2016 ULL Cabildo KEEDIO - KEEDIO DATA STACK
 
Meetup Junio Apache Spark Fundamentals
Meetup Junio Apache Spark FundamentalsMeetup Junio Apache Spark Fundamentals
Meetup Junio Apache Spark Fundamentals
 
Herramientas para computación distribuida. De Hadoop a Spark
Herramientas para computación distribuida. De Hadoop a SparkHerramientas para computación distribuida. De Hadoop a Spark
Herramientas para computación distribuida. De Hadoop a Spark
 

Último

Familias más ricas de México en la historia (2024) .pdf
Familias más ricas de México en la historia (2024) .pdfFamilias más ricas de México en la historia (2024) .pdf
Familias más ricas de México en la historia (2024) .pdfJC Díaz Herrera
 
RED DE PARQUES NACIONALES DANIELA CASAS 4ºB
RED DE PARQUES NACIONALES DANIELA CASAS 4ºBRED DE PARQUES NACIONALES DANIELA CASAS 4ºB
RED DE PARQUES NACIONALES DANIELA CASAS 4ºBdanihouses0609
 
Familias más ricas de AL en la historia (2024).pdf
Familias más ricas de AL en la historia (2024).pdfFamilias más ricas de AL en la historia (2024).pdf
Familias más ricas de AL en la historia (2024).pdfJC Díaz Herrera
 
Tinkercad Mikaela Lagos- Skarleth Ayala .
Tinkercad Mikaela Lagos- Skarleth Ayala .Tinkercad Mikaela Lagos- Skarleth Ayala .
Tinkercad Mikaela Lagos- Skarleth Ayala .mikalagos1roa
 
PPT Difusión Empresa tmert, material Achs de apoyo
PPT Difusión Empresa tmert, material Achs de apoyoPPT Difusión Empresa tmert, material Achs de apoyo
PPT Difusión Empresa tmert, material Achs de apoyoRalFranciscoMartinez
 
Trabajo herramientas informáticas trabajo pestel.pdf
Trabajo herramientas informáticas trabajo pestel.pdfTrabajo herramientas informáticas trabajo pestel.pdf
Trabajo herramientas informáticas trabajo pestel.pdfjggaratep
 
BASE DE DATOS - INSTALACION LARAGON 2024
BASE DE DATOS - INSTALACION LARAGON 2024BASE DE DATOS - INSTALACION LARAGON 2024
BASE DE DATOS - INSTALACION LARAGON 2024DiegoAlejandroFajard1
 
BOLETÍN HEMEROGRÁFICO-FEBRERO 2024, ICV-.pdf
BOLETÍN HEMEROGRÁFICO-FEBRERO 2024, ICV-.pdfBOLETÍN HEMEROGRÁFICO-FEBRERO 2024, ICV-.pdf
BOLETÍN HEMEROGRÁFICO-FEBRERO 2024, ICV-.pdfIrapuatoCmovamos
 
Países el alto ingreso y stock per cápita en América Latina (1819-2024).pdf
Países el alto ingreso y stock  per cápita en América Latina (1819-2024).pdfPaíses el alto ingreso y stock  per cápita en América Latina (1819-2024).pdf
Países el alto ingreso y stock per cápita en América Latina (1819-2024).pdfJC Díaz Herrera
 

Último (9)

Familias más ricas de México en la historia (2024) .pdf
Familias más ricas de México en la historia (2024) .pdfFamilias más ricas de México en la historia (2024) .pdf
Familias más ricas de México en la historia (2024) .pdf
 
RED DE PARQUES NACIONALES DANIELA CASAS 4ºB
RED DE PARQUES NACIONALES DANIELA CASAS 4ºBRED DE PARQUES NACIONALES DANIELA CASAS 4ºB
RED DE PARQUES NACIONALES DANIELA CASAS 4ºB
 
Familias más ricas de AL en la historia (2024).pdf
Familias más ricas de AL en la historia (2024).pdfFamilias más ricas de AL en la historia (2024).pdf
Familias más ricas de AL en la historia (2024).pdf
 
Tinkercad Mikaela Lagos- Skarleth Ayala .
Tinkercad Mikaela Lagos- Skarleth Ayala .Tinkercad Mikaela Lagos- Skarleth Ayala .
Tinkercad Mikaela Lagos- Skarleth Ayala .
 
PPT Difusión Empresa tmert, material Achs de apoyo
PPT Difusión Empresa tmert, material Achs de apoyoPPT Difusión Empresa tmert, material Achs de apoyo
PPT Difusión Empresa tmert, material Achs de apoyo
 
Trabajo herramientas informáticas trabajo pestel.pdf
Trabajo herramientas informáticas trabajo pestel.pdfTrabajo herramientas informáticas trabajo pestel.pdf
Trabajo herramientas informáticas trabajo pestel.pdf
 
BASE DE DATOS - INSTALACION LARAGON 2024
BASE DE DATOS - INSTALACION LARAGON 2024BASE DE DATOS - INSTALACION LARAGON 2024
BASE DE DATOS - INSTALACION LARAGON 2024
 
BOLETÍN HEMEROGRÁFICO-FEBRERO 2024, ICV-.pdf
BOLETÍN HEMEROGRÁFICO-FEBRERO 2024, ICV-.pdfBOLETÍN HEMEROGRÁFICO-FEBRERO 2024, ICV-.pdf
BOLETÍN HEMEROGRÁFICO-FEBRERO 2024, ICV-.pdf
 
Países el alto ingreso y stock per cápita en América Latina (1819-2024).pdf
Países el alto ingreso y stock  per cápita en América Latina (1819-2024).pdfPaíses el alto ingreso y stock  per cápita en América Latina (1819-2024).pdf
Países el alto ingreso y stock per cápita en América Latina (1819-2024).pdf
 

Estudio sobre Spark, Storm, Kafka y Hive