Big Data na AWSJosé PapoAWS Tech Evangelist@josepapo
A análise de grandes  volumes de dados  está se tornando a grande barreira parainovação, competição   e produtividade.
O que é Big Data? Gerados por computador – estruturados, semi-estruturados ou não-estruturados   Logs (web sites, jogos) ...
Onde se vê Big Data                                                                                Marketing e   Mídia/   ...
O que é Hadoop?Apache Hadoop  Sistema de storage distribuído e tolerante a falhas   (HDFS)  Usa um algoritmo chamado Map...
"Hadoop é um storage confiável e um sistema analítico"               HDFS                MapReduce
RDBMS               MapReduce (Hadoop)   Schema definido         Schema não requerido Explora índices para    Análises ráp...
Implantar um cluster hadoop é difícilhttp://eddie.niese.net/20090313/dont-pity-incompetence/
Big Data requer infraestrutura flexível  Infraestrutura física leva a  hardware e software estático e  planejado para aten...
+
Data Warehouse Elástico                               Data Warehouse                               (Processo Batch) Data W...
S3Input data
S3        Input dataCode   Elastic       MapReduce
S3        Input dataCode   Elastic       Name       MapReduce     node
S3        Input dataCode   Elastic       Name       MapReduce     node                            Elastic                 ...
S3        Input dataCode   Elastic       Name       MapReduce     node                                      HDFS          ...
S3        Input dataCode   Elastic                Name       MapReduce              node                         Queries  ...
S3        Input dataCode   Elastic                Name                            Output       MapReduce              node...
S3Input data                    Output                  S3 + SimpleDB
AWS MarketplaceInformatica, MapR, Karmasphere, Marketshare, Ac   unu Cassandra, Metamarkets, Aspera e mais.         aws.am...
OBRIGADO!            aws.typepad.com/brasil   slideshare.net/AmazonWebServicesLATAMJosé PapoAWS Tech Evangelist@josepapo
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Big Data na Nuvem da AWS
Upcoming SlideShare
Loading in …5
×

Big Data na Nuvem da AWS

779 views
654 views

Published on

Apresentação introdutória sobre Big Data feita como webinar em 31/10/2012

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
779
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
34
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide
  • title
  • Customize cluster size to support varying resource needReduce costs by increasing server utilizationImprove performance during high usage periods
  • Big Data na Nuvem da AWS

    1. 1. Big Data na AWSJosé PapoAWS Tech Evangelist@josepapo
    2. 2. A análise de grandes volumes de dados está se tornando a grande barreira parainovação, competição e produtividade.
    3. 3. O que é Big Data? Gerados por computador – estruturados, semi-estruturados ou não-estruturados  Logs (web sites, jogos)  Sensores (tempo, água)  Imagens/vídeos (cameras, segurança) Gerados por pessoas  Blogs/Resenhas/Emails/Fotos Redes Sociais  Facebook, Linkedin, Twitter
    4. 4. Onde se vê Big Data Marketing e Mídia/ Instituições Jogos Óleo e Gás Varejo Telecom SegurançaPropaganda Financeiras (sobretudo social) Analise Anti-virus Comporta- Anuncios Simulações mental Recomen- dações de Monte Dirigidos Carlo Cobrança Log de Análise Detecção Análise de Ligações Sismica de Fraudes Uso Uso dos Processa- Produtos mento de Análise de Análise de vídeos e Transações Riscos Reconheci- imagens mento de Métricas Imagens “In-game”
    5. 5. O que é Hadoop?Apache Hadoop  Sistema de storage distribuído e tolerante a falhas (HDFS)  Usa um algoritmo chamado MapReduce para realizar análises estatísticas exaustivas sobre um grande conjunto de dados distribuídosBenefícios-chave Custo mais baixo – Escala linearmente Provado em escala– Petabytes em milhares de nós Flexível – Dados podem ser armazenados com ou sem schema
    6. 6. "Hadoop é um storage confiável e um sistema analítico" HDFS MapReduce
    7. 7. RDBMS MapReduce (Hadoop) Schema definido Schema não requerido Explora índices para Análises rápidas de dados e recuperação rápida performance uniforme de queries SQL apenas Suporta SQL + outras linguagensNão escala linearmente Escalabilidade linear para reads + writes
    8. 8. Implantar um cluster hadoop é difícilhttp://eddie.niese.net/20090313/dont-pity-incompetence/
    9. 9. Big Data requer infraestrutura flexível Infraestrutura física leva a hardware e software estático e planejado para atender picos… …e muitas vezes acaba gerando longas filas de processamento
    10. 10. +
    11. 11. Data Warehouse Elástico Data Warehouse (Processo Batch) Data Warehouse Data Warehouse (Estável) (Estável) Diminui Aumenta para para 25 9 instancias instancias
    12. 12. S3Input data
    13. 13. S3 Input dataCode Elastic MapReduce
    14. 14. S3 Input dataCode Elastic Name MapReduce node
    15. 15. S3 Input dataCode Elastic Name MapReduce node Elastic cluster
    16. 16. S3 Input dataCode Elastic Name MapReduce node HDFS Elastic cluster
    17. 17. S3 Input dataCode Elastic Name MapReduce node Queries HDFS + BI Via JDBC, Pig, Hive Elastic cluster
    18. 18. S3 Input dataCode Elastic Name Output MapReduce node S3 + SimpleDB Queries HDFS + BI Via JDBC, Pig, Hive Elastic cluster
    19. 19. S3Input data Output S3 + SimpleDB
    20. 20. AWS MarketplaceInformatica, MapR, Karmasphere, Marketshare, Ac unu Cassandra, Metamarkets, Aspera e mais. aws.amazon.com/marketplace
    21. 21. OBRIGADO! aws.typepad.com/brasil slideshare.net/AmazonWebServicesLATAMJosé PapoAWS Tech Evangelist@josepapo

    ×