Your SlideShare is downloading. ×
0
Rio de Janeiro, 10 de julho de 2013
www.amtera.com.br
O que é Big Data
● Conjunto de tecnologias para captura,
armazenamento e análise de grandes
volumes de dados;
● Não é uma ...
O que é Big Data
● Definição da Gartner:
– Big Data são ativos de informação de
extremo volume, alta velocidade e
grande d...
Volume
● 1.2 ZB de informações foram criadas em 2010 e até
2015 serão 7.9ZB (Fonte: EMC/IDC Extracting Value
from Chaos, J...
Volume
Velocidade
● Walmart processa mais de 1 milhão de transações de
clientes a cada hora, aproximadamente 2.5 petabytes
de inf...
Variedade
● Banco de dados, planilhas, documentos de texto,
audios, vídeos, tweets, dados de sensores, click
streams, arqu...
Veracidade
● 4° V?
● Dado o volume a variedade e
velocidade com que novos dados são
armazenados, você acredita neles?
Big Data
● World Economic Summit, Davos
Switzerland, 2012.
– “Data is a new class of economic asset,
like currency or gold...
Arquitetura Big Data
● Principais desafios:
– Captura
– Curadoria
– Armazenamento
– Busca
– Compartilhamento
– Análise
– V...
Open Source Big Data
● Banco de dados NoSQL (Not Only SQL)
– MongoDB
– Cassandra
– Neo4j
– Virtuoso
– HBase
Open Source Big Data
● Processamento distribuído (Map Reduce)
– Apache Hadoop/HDFS
– Hive
– Impala
– Pig
● Análise
– R
– P...
Big Data na Nuvem
● Recursos computacionais sob demanda,
elástico:
– Armazenamento
– Processamento
– Análise
Exemplo de Arquitetura Big Data
Exemplo de Aplicações Big Data
● Big Science
– LHC possui cerca de 150 milhões de
sensores gerando 40 milhões de
amostras ...
Exemplo de Aplicações Big Data
● Aplicações Semânticas
– Análise de sentimento
– Extração de relações
– Processamento de l...
Áreas Big Data
● Inteligência de negócios;
● Inteligência competitiva;
● Analytics
Análise Big Data
● Ferramentas especializadas, paradigma
Map Reduce (Hadoop);
● Novos insights e produtos podem ser
desven...
Análise Big Data
● Caso famoso:
– Target, uma loja de departamentos nos
EUA, descobre que adolescente está
grávida antes d...
Investimentos em Big Data
● Inicialmente
– Mão de obra qualificada;
– Infraestrutura na nuvem;
● Ex: Amazon EC2
● A longo ...
Investimentos em Big Data
● Levantamento da Frost & Sullivan indica
que o mercado brasileiro representa
quase metade da re...
Adoção do Big Data
● Crossing the Chasm;
● O mercado brasileiro é considerado
conservador na aplicação da tecnologia;
Barreiras para adoção do Big Data
● Falta de entendimento sobre o assunto;
● Escassez de profissionais qualificados;
● Pre...
Profissionais Big Data
● Data Scientist, exige perfil multidisciplinar:
Data Scientist
● Data Science: Incorpora técnicas e teorias
de várias áreas de estudo como
matemática, estatística, modela...
Big Data Administrator - BigDBA
● Perfil operacional;
● Foco em escalabilidade;
● Domínio de ferramentas NoSQL;
● Administ...
Big Data Software Engineer
● Arquiteto de soluções Big Data;
● Ecossistema Hadoop;
● Computação distribuída;
● Web Service...
Big Data
● Dúvidas?
Conclusão
● Aproveite a oportunidade, qualifique-se!
● Rio Big Data Meetup, é gratuito.
http://www.meetup.com/Rio-Big-Data...
Referências
● EMC/IDC Extracting Value from Chaos, June 2011
● http://en.wikipedia.org/wiki/Big_data
● http://en.wikipedia...
Rio de Janeiro, 9 de abril de 2013
www.amtera.com.br
Upcoming SlideShare
Loading in...5
×

Palestra Introdução a Big Data

1,677

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,677
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
120
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Palestra Introdução a Big Data"

  1. 1. Rio de Janeiro, 10 de julho de 2013 www.amtera.com.br
  2. 2. O que é Big Data ● Conjunto de tecnologias para captura, armazenamento e análise de grandes volumes de dados; ● Não é uma ideia nova; ● Os três V's: – Volume – Velocidade – Variedade
  3. 3. O que é Big Data ● Definição da Gartner: – Big Data são ativos de informação de extremo volume, alta velocidade e grande diversidade que demandam formas inovadoras e econômicas de processamento para melhores tomadas de decisão e insights.
  4. 4. Volume ● 1.2 ZB de informações foram criadas em 2010 e até 2015 serão 7.9ZB (Fonte: EMC/IDC Extracting Value from Chaos, June 2011); ● 1 ZB = 1 trilhão de gigabytes; ● Mudança de paradigma, armazenar primeiro e perguntar depois;
  5. 5. Volume
  6. 6. Velocidade ● Walmart processa mais de 1 milhão de transações de clientes a cada hora, aproximadamente 2.5 petabytes de informações; ● A cada minuto (Fonte: DOMO): – 48h de vídeos são enviados para o YouTube – 571 novos sites são criados – Mais de 100 mil tweets são enviados – 2083 check-ins são realizados via FourSquare
  7. 7. Variedade ● Banco de dados, planilhas, documentos de texto, audios, vídeos, tweets, dados de sensores, click streams, arquivos de log, etc.
  8. 8. Veracidade ● 4° V? ● Dado o volume a variedade e velocidade com que novos dados são armazenados, você acredita neles?
  9. 9. Big Data ● World Economic Summit, Davos Switzerland, 2012. – “Data is a new class of economic asset, like currency or gold.”
  10. 10. Arquitetura Big Data ● Principais desafios: – Captura – Curadoria – Armazenamento – Busca – Compartilhamento – Análise – Visualização
  11. 11. Open Source Big Data ● Banco de dados NoSQL (Not Only SQL) – MongoDB – Cassandra – Neo4j – Virtuoso – HBase
  12. 12. Open Source Big Data ● Processamento distribuído (Map Reduce) – Apache Hadoop/HDFS – Hive – Impala – Pig ● Análise – R – Pentaho
  13. 13. Big Data na Nuvem ● Recursos computacionais sob demanda, elástico: – Armazenamento – Processamento – Análise
  14. 14. Exemplo de Arquitetura Big Data
  15. 15. Exemplo de Aplicações Big Data ● Big Science – LHC possui cerca de 150 milhões de sensores gerando 40 milhões de amostras por segundo. – Com a tecnologia big data o genoma humano pode ser decodificado em 1 semana, no passado demorou 10 anos.
  16. 16. Exemplo de Aplicações Big Data ● Aplicações Semânticas – Análise de sentimento – Extração de relações – Processamento de linguagem natural (NLP) – Busca e Recuperação da Informação – Reconhecimento de padrões – Aprendizado de máquina (Machine Learning)
  17. 17. Áreas Big Data ● Inteligência de negócios; ● Inteligência competitiva; ● Analytics
  18. 18. Análise Big Data ● Ferramentas especializadas, paradigma Map Reduce (Hadoop); ● Novos insights e produtos podem ser desvendados; ● E o mais importante: deve justificar o investimento em Big Data;
  19. 19. Análise Big Data ● Caso famoso: – Target, uma loja de departamentos nos EUA, descobre que adolescente está grávida antes do pai (Fonte: Forbes)
  20. 20. Investimentos em Big Data ● Inicialmente – Mão de obra qualificada; – Infraestrutura na nuvem; ● Ex: Amazon EC2 ● A longo prazo – Gestão / Governança; – Treinamento de mão de obra; – Infraestrutura própria?
  21. 21. Investimentos em Big Data ● Levantamento da Frost & Sullivan indica que o mercado brasileiro representa quase metade da receita de Big Data da América Latina. Ele deve crescer 71% de 2012 para 2013, totalizando 576 milhões em solo nacional, e 33% de 2013 para 2014.
  22. 22. Adoção do Big Data ● Crossing the Chasm; ● O mercado brasileiro é considerado conservador na aplicação da tecnologia;
  23. 23. Barreiras para adoção do Big Data ● Falta de entendimento sobre o assunto; ● Escassez de profissionais qualificados; ● Preocupações com a privacidade; ● Segurança; ● Alto custo;
  24. 24. Profissionais Big Data ● Data Scientist, exige perfil multidisciplinar:
  25. 25. Data Scientist ● Data Science: Incorpora técnicas e teorias de várias áreas de estudo como matemática, estatística, modelagem, reconhecimento de padrões, aprendizado de máquina, data warehousing, visualização de dados, computação de alto desempenho e busca e recuperação da informação com o objetivo de extrair conhecimento e insights para novos produtos.
  26. 26. Big Data Administrator - BigDBA ● Perfil operacional; ● Foco em escalabilidade; ● Domínio de ferramentas NoSQL; ● Administração dos recursos computacionais; ● Apoio ao sistemas de Big Data;
  27. 27. Big Data Software Engineer ● Arquiteto de soluções Big Data; ● Ecossistema Hadoop; ● Computação distribuída; ● Web Services; ● Aprendizado de máquina; ● Ferramentas NLP; ● Linguagens de programação funcional;
  28. 28. Big Data ● Dúvidas?
  29. 29. Conclusão ● Aproveite a oportunidade, qualifique-se! ● Rio Big Data Meetup, é gratuito. http://www.meetup.com/Rio-Big-Data-Meetup
  30. 30. Referências ● EMC/IDC Extracting Value from Chaos, June 2011 ● http://en.wikipedia.org/wiki/Big_data ● http://en.wikipedia.org/wiki/Data_science ● Crossing the Chasm: Marketing and Selling Disruptive Products to Mainstream Customers, Geoffrey A. Moore ● http://infocus.emc.com/william_schmarzo/crossing-the-chasm-with-big-data/ ● http://mike2.openmethodology.org/ ● http://www.gartner.com/it-glossary/big-data/ ● https://developers.google.com/bigquery/ ● http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-be ● http://en.wikipedia.org/wiki/MapReduce
  31. 31. Rio de Janeiro, 9 de abril de 2013 www.amtera.com.br
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×