• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
NoSQL e Big Data na Nuvem
 

NoSQL e Big Data na Nuvem

on

  • 2,857 views

Apresentação sobre soluções NoSQL, NewSQL e Big Data na Nuvem da Amazon Web Services. Aprenda sobre as opções de banco de dados na AWS, os benefícios da Nuvem para soluções Big Data, sobre a ...

Apresentação sobre soluções NoSQL, NewSQL e Big Data na Nuvem da Amazon Web Services. Aprenda sobre as opções de banco de dados na AWS, os benefícios da Nuvem para soluções Big Data, sobre a solução NoSQL como serviço DynamoDB e sobre Hadoop simples e rápido com Amazon Elastic Map Reduce

Statistics

Views

Total Views
2,857
Views on SlideShare
2,851
Embed Views
6

Actions

Likes
0
Downloads
100
Comments
0

3 Embeds 6

http://us-w1.rockmelt.com 3
https://twimg0-a.akamaihd.net 2
https://si0.twimg.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    NoSQL e Big Data na Nuvem NoSQL e Big Data na Nuvem Presentation Transcript

    • NoSQL e Big Data na NuvemSua solução na Velocidade da Luz com a Amazon Web ServicesJosé PapoAWS Tech Evangelist@josepapo
    • Nuvem é Liberdade!
    • Liberte-se da Infra Tradicional!
    • Infraestrutura Tradicional é Cara e Complexa Preços Altos para Infraestrutura de TI Recursos de TI com Baixa UtilizaçãoProvedores Lentos para Atender a Demanda de Infra Data Center sem Espaço Gerenciar Crescimento Físico Implantações DemoradasNegociação de Contratos Instalação de Patches Altos Investimentos de Capital Falta de foco no negócio “TI gasta 80% de seu tempo e recursos mantendo as luzes acesas” Gartner Press Release, 2006
    • Infraestrutura Tradicional Demanda Desperdício Desperdício600k Usuários Capacidade de Recursos Demanda Atual Desperdício300k Usuários Clientes Perdidos, Adquirir mais Desperdício infra200k Usuários T1 T2 T3 T4 T1 Tempo
    • O que realmente precisamos é… …capacidade ajustávelhttp://www.flickr.com/photos/purecaffeine/302682456/
    • Quando você desliga seus recursos de Nuvem você pára de pagar por eles
    • Problemas em atenderCusto de Infraestrutura Alta Despesa de Capital clientes Demanda Prevista Hardware Custo de Tradicional Oportunidade Demanda Real Cloud Computing Tempo
    • Elasticidade simples e automática App de Vídeos com Amazon EC2: De 50 a 5,000 servidores em 3 dias!5,000 Número de Instâncias EC2 0 Segunda Terça Quarta Quinta Sexta Sábado Domingo
    • 25% de Economia Web Servers 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 HoraDurante um dia
    • Web Servers 75% de Economia 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 Dia do MêsDurante um mês
    • Nuvem é Democracia!
    • Permitiu o boom das startups!
    • … E facilita o aumento da inovação em grandesempresas
    • O que é NoSQL?
    • Bancos de dados NoSQL normalmente sãofacilmente escaláveis horizontalmente, podemtrabalhar com quantidades de dados maciças enão utilizam um modelo relacional para suasestruturas de dados.
    • Bancos de Dados na Nuvem da Amazon
    • Flexibilidade e independênciaSistemas Operacionais Linguagens e Bibliotecas Aplicações Certificadas
    • Opções de Bancos de Dados Relacional NoSQL
    • Bancos de Dados - Modelos Auto-gestão Database as a Service Banco de Dados no Amazon Relational Amazon DynamoDB Amazon EC2 Database Service (RDS) NoSQLSua escolha de software SQL Server, MySQL ou Modelo não relacional de banco de dados Oracle oferecidos como serviçoBring Your Own License Overhead zero de (BYOL) administração Licenciamento Flexível: BYOL ou Licença Incluída
    • Alta Disponibilidade de NoSQL na AWS
    • Infraestrutura GlobalGovCloud US West US West US East South EU Asia Asia (US ITAR (Northern (Oregon) (Northern America (Ireland) Pacific Pacific Region) California) Virginia) (Sao Paulo) (Singapore) (Tokyo) Regiões AWS Pontos Edge AWS
    • Regiões da AWS e Zonas de Disponibilidade Cliente pode decidir onde suas aplicações e dados residem
    • US West Traffic US East Traffic Europe Traffic Asia Traffic Geo IP/Directional DNS Server ELB ELB ELB ELB Web Web Web Web Web Web Web Web Web Web Web Web Web Web Web Web App Web App Web App Web App Web App Web App Web App Web App Web App App App App App App App App App App App App App App App App Auto Scaling group : Auto Scaling group : Auto Scaling group : Auto Scaling group : Web App Tier Web App Tier Web App Tier Web App Tier RDS RDS RDS RDS Maste Maste Maste Maste r r r rUS-West US-East EU-West AP-SOUTHEAST RDS RDS RDS RDS Multi-AZ Multi-AZ Multi-AZ Multi-AZ US-West-1b US-East-1b EU-West-1b AP-SOUTHEAST-1b Software-based Data Replicator
    • DynamoDB
    • DynamoDB é um Banco de Dados NoSQL “as a service”Armazene e recupere qualquer quantidade de dadosSirva níveis gigantescos de tráfego e requisições
    • Sem as complexidades operacionaisSem instalações de softwareNão é necessário configurar clustersCustos mínimos de administração
    • Performance consistente e previsívelLatências em unidades de milisegundos.Armazenado em discos SSD.
    • Modelo de dados flexívelModelo Chave/atributos.Não requer schemasFácil de criar. Fácil de ajustar.
    • Escalabilidade simplesSem limites de tamanho de tabelas.Armazenamento ilimitado.Zero downtime.
    • Durável e com alta disponibilidade. Escritas consistentes em disco. Replicação em diversos data centers dentro de uma região.
    • Sem complexidades deadministração!
    • Sem complexidades deadministração!
    • Duas decisões + trêscliques = pronto para uso!
    • Duas decisões + trêscliques = pronto para uso!
    • Capacidade provisionada.Reserve quantidade de requisições porsegundo para leituras e escritas.Aumente ou diminua a capacidade aqualquer momento.
    • Pague por capacidade.Precificação por hora de capacidadeprovisionada e dados armazenados
    • Duas decisões + trêscliques = pronto para uso!
    • Duas decisões + umachamada de API = prontopara uso!
    • $create_response = $dynamodb->create_table(array( TableName => ProductCatalog, KeySchema => array( HashKeyElement => array( AttributeName => Id, AttributeType => AmazonDynamoDB::TYPE_NUMBER ) ), ProvisionedThroughput => array( ReadCapacityUnits => 10, WriteCapacityUnits => 5 )));
    • APIs para as principais plataformas Java Perl PHP Python .NET Ruby
    • Modifique capacidademanualmente ou automaticamente
    • Demo!
    • Hadoop na Nuvem
    • "Hadoop é um storage confiável e um sistema analítico" HDFS MapReduce
    • Então, Hadoop diminui o custo dedesenvolver um sistema Big Data…
    • Mas e o custo de operar um sistema de Big Data?
    • Implantar um cluster hadoop é difícilhttp://eddie.niese.net/20090313/dont-pity-incompetence/
    • Big Data requer infraestrutura flexível Infraestrutura on premise leva a hardware e software estático e planejado para atender picos… …e muitas vezes acaba gerando longas filas de processamento
    • +Diminuindo o custo de operar sistemas Big Data…
    • AMAZON ELASTIC MAPREDUCEReduz complexidade/custo da gestão do HadoopIntegra diretamente com Serviços AWS (EC2, S3,DynamoDB, etc)Facilita a elasticidade para Big Data
    • Data Warehouse Elástico Data Warehouse (Processo Batch)Data Warehouse Data Warehouse (Estável) (Estável) Diminui Aumenta para para 25 9 instancias instancias
    • EMR é a Solução Hadoop Corporativa #1AWS é “o provedor Hadoopmais proeminente” e “liderapor causa de seu serviçoElastic MapReduce jáprovado e rico emfuncionalidades…”-The Forrester Wave™:Enterprise Hadoop SolutionsQ1 2012
    • Exemplos de uso eescala de NoSQL e NewSQL na AWS
    • DynamoDB NoSQL as a Service 500.000 transações / segundo 60 dólares / horaAmazon DynamoDB site
    • 288 servidores com Cassandra 1.100.000 transações / segundo 51 dólares / hora (Instâncias Reservadas)Benchmarking Cassandra Scalability on AWS - Over a million writes per second
    • 500 servidores 600.000 transações ACID / segundo 47 dólares / hora (Instâncias Reservadas)NuoDB Presentation at Under the Radar
    • Calvin 100 servidores 500.000 transações ACID / segundo 20 dólares / hora (Instâncias Reservadas)Calvin: Fast Distributed Transactions for Partitioned Database Systems
    • 10 dólares / hora (Instâncias Reservadas)695k TPS with Node.js and VoltDB
    • Referências
    • NoSQL na Nuvem da AWS aws.amazon.com/nosql
    • OFERTA GRATUITA!aws.amazon.com/pt/free
    • OBRIGADO! aws.typepad.com/brasil slideshare.net/jpapoJosé PapoAWS Tech Evangelist@josepapo