NoSQL e Big Data na NuvemSua solução na Velocidade da Luz com a        Amazon Web ServicesJosé PapoAWS Tech Evangelist@jos...
Nuvem é Liberdade!
Liberte-se da Infra Tradicional!
Infraestrutura Tradicional é Cara e Complexa     Preços Altos para Infraestrutura de TI   Recursos de TI com Baixa Utiliza...
Infraestrutura Tradicional Demanda                                                     Desperdício   Desperdício600k Usuár...
O que realmente precisamos é…                                                       …capacidade ajustávelhttp://www.flickr...
Quando você desliga seus recursos de Nuvem você pára de pagar por eles
Problemas                                                           em atenderCusto de Infraestrutura                     ...
Elasticidade simples e automática                                                    App de Vídeos com Amazon EC2:        ...
25% de Economia   Web Servers                 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24              ...
Web Servers                       75% de Economia                1   3   5   7   9   11 13 15 17 19 21 23 25 27 29        ...
Nuvem é Democracia!
Permitiu o boom das startups!
… E facilita o aumento da inovação em grandesempresas
O que é NoSQL?
Bancos de dados NoSQL normalmente sãofacilmente escaláveis horizontalmente, podemtrabalhar com quantidades de dados maciça...
Bancos de Dados na Nuvem da Amazon
Flexibilidade e independênciaSistemas Operacionais   Linguagens e Bibliotecas   Aplicações Certificadas
Opções de Bancos de Dados     Relacional             NoSQL
Bancos de Dados - Modelos    Auto-gestão                      Database as a Service Banco de Dados no          Amazon Rela...
Alta Disponibilidade de    NoSQL na AWS
Infraestrutura GlobalGovCloud    US West       US West    US East       South          EU         Asia          Asia (US I...
Regiões da AWS e Zonas de Disponibilidade Cliente pode decidir onde suas aplicações e dados residem
US West Traffic             US East Traffic                 Europe Traffic                    Asia Traffic                ...
DynamoDB
DynamoDB é um Banco de  Dados NoSQL “as a service”Armazene e recupere qualquer quantidade de dadosSirva níveis gigantescos...
Sem as complexidades  operacionaisSem instalações de softwareNão é necessário configurar clustersCustos mínimos de adminis...
Performance consistente e  previsívelLatências em unidades de milisegundos.Armazenado em discos SSD.
Modelo de dados flexívelModelo Chave/atributos.Não requer schemasFácil de criar. Fácil de ajustar.
Escalabilidade simplesSem limites de tamanho de tabelas.Armazenamento ilimitado.Zero downtime.
Durável e com alta disponibilidade.   Escritas consistentes em disco.   Replicação em diversos data centers   dentro de um...
Sem complexidades deadministração!
Sem complexidades deadministração!
Duas decisões + trêscliques = pronto para uso!
Duas decisões + trêscliques = pronto para uso!
Capacidade provisionada.Reserve quantidade de requisições porsegundo para leituras e escritas.Aumente ou diminua a capacid...
Pague por capacidade.Precificação por hora de capacidadeprovisionada e dados armazenados
Duas decisões + trêscliques = pronto para uso!
Duas decisões + umachamada de API = prontopara uso!
$create_response = $dynamodb->create_table(array(    TableName => ProductCatalog,    KeySchema => array(       HashKeyElem...
APIs para as principais plataformas    Java            Perl    PHP            Python    .NET            Ruby
Modifique capacidademanualmente ou automaticamente
Demo!
Hadoop na Nuvem
"Hadoop é um storage confiável e um sistema analítico"               HDFS                MapReduce
Então, Hadoop diminui o custo dedesenvolver um sistema Big Data…
Mas e o custo de operar um  sistema de Big Data?
Implantar um cluster hadoop é difícilhttp://eddie.niese.net/20090313/dont-pity-incompetence/
Big Data requer infraestrutura flexível  Infraestrutura on premise leva a  hardware e software estático e  planejado para ...
+Diminuindo o custo de operar sistemas Big Data…
AMAZON ELASTIC MAPREDUCEReduz complexidade/custo da gestão do HadoopIntegra diretamente com Serviços AWS (EC2, S3,DynamoDB...
Data Warehouse Elástico                              Data Warehouse                              (Processo Batch)Data Ware...
EMR é a Solução Hadoop Corporativa #1AWS é “o provedor Hadoopmais proeminente” e “liderapor causa de seu serviçoElastic Ma...
Exemplos de uso eescala de NoSQL e NewSQL na AWS
DynamoDB               NoSQL as a Service          500.000 transações / segundo    60 dólares / horaAmazon DynamoDB site
288 servidores com Cassandra        1.100.000 transações / segundo     51 dólares / hora                                  ...
500 servidores  600.000 transações ACID / segundo     47 dólares / hora                                 (Instâncias Reserv...
Calvin             100 servidores  500.000 transações ACID / segundo     20 dólares / hora                                ...
10 dólares / hora                                   (Instâncias Reservadas)695k TPS with Node.js and VoltDB
Referências
NoSQL na Nuvem da AWS  aws.amazon.com/nosql
OFERTA   GRATUITA!aws.amazon.com/pt/free
OBRIGADO!       aws.typepad.com/brasil        slideshare.net/jpapoJosé PapoAWS Tech Evangelist@josepapo
NoSQL e Big Data na Nuvem
NoSQL e Big Data na Nuvem
NoSQL e Big Data na Nuvem
NoSQL e Big Data na Nuvem
NoSQL e Big Data na Nuvem
NoSQL e Big Data na Nuvem
NoSQL e Big Data na Nuvem
NoSQL e Big Data na Nuvem
NoSQL e Big Data na Nuvem
NoSQL e Big Data na Nuvem
NoSQL e Big Data na Nuvem
Upcoming SlideShare
Loading in …5
×

NoSQL e Big Data na Nuvem

3,192 views
3,031 views

Published on

Apresentação sobre soluções NoSQL, NewSQL e Big Data na Nuvem da Amazon Web Services. Aprenda sobre as opções de banco de dados na AWS, os benefícios da Nuvem para soluções Big Data, sobre a solução NoSQL como serviço DynamoDB e sobre Hadoop simples e rápido com Amazon Elastic Map Reduce

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
3,192
On SlideShare
0
From Embeds
0
Number of Embeds
11
Actions
Shares
0
Downloads
132
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

NoSQL e Big Data na Nuvem

  1. 1. NoSQL e Big Data na NuvemSua solução na Velocidade da Luz com a Amazon Web ServicesJosé PapoAWS Tech Evangelist@josepapo
  2. 2. Nuvem é Liberdade!
  3. 3. Liberte-se da Infra Tradicional!
  4. 4. Infraestrutura Tradicional é Cara e Complexa Preços Altos para Infraestrutura de TI Recursos de TI com Baixa UtilizaçãoProvedores Lentos para Atender a Demanda de Infra Data Center sem Espaço Gerenciar Crescimento Físico Implantações DemoradasNegociação de Contratos Instalação de Patches Altos Investimentos de Capital Falta de foco no negócio “TI gasta 80% de seu tempo e recursos mantendo as luzes acesas” Gartner Press Release, 2006
  5. 5. Infraestrutura Tradicional Demanda Desperdício Desperdício600k Usuários Capacidade de Recursos Demanda Atual Desperdício300k Usuários Clientes Perdidos, Adquirir mais Desperdício infra200k Usuários T1 T2 T3 T4 T1 Tempo
  6. 6. O que realmente precisamos é… …capacidade ajustávelhttp://www.flickr.com/photos/purecaffeine/302682456/
  7. 7. Quando você desliga seus recursos de Nuvem você pára de pagar por eles
  8. 8. Problemas em atenderCusto de Infraestrutura Alta Despesa de Capital clientes Demanda Prevista Hardware Custo de Tradicional Oportunidade Demanda Real Cloud Computing Tempo
  9. 9. Elasticidade simples e automática App de Vídeos com Amazon EC2: De 50 a 5,000 servidores em 3 dias!5,000 Número de Instâncias EC2 0 Segunda Terça Quarta Quinta Sexta Sábado Domingo
  10. 10. 25% de Economia Web Servers 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 HoraDurante um dia
  11. 11. Web Servers 75% de Economia 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 Dia do MêsDurante um mês
  12. 12. Nuvem é Democracia!
  13. 13. Permitiu o boom das startups!
  14. 14. … E facilita o aumento da inovação em grandesempresas
  15. 15. O que é NoSQL?
  16. 16. Bancos de dados NoSQL normalmente sãofacilmente escaláveis horizontalmente, podemtrabalhar com quantidades de dados maciças enão utilizam um modelo relacional para suasestruturas de dados.
  17. 17. Bancos de Dados na Nuvem da Amazon
  18. 18. Flexibilidade e independênciaSistemas Operacionais Linguagens e Bibliotecas Aplicações Certificadas
  19. 19. Opções de Bancos de Dados Relacional NoSQL
  20. 20. Bancos de Dados - Modelos Auto-gestão Database as a Service Banco de Dados no Amazon Relational Amazon DynamoDB Amazon EC2 Database Service (RDS) NoSQLSua escolha de software SQL Server, MySQL ou Modelo não relacional de banco de dados Oracle oferecidos como serviçoBring Your Own License Overhead zero de (BYOL) administração Licenciamento Flexível: BYOL ou Licença Incluída
  21. 21. Alta Disponibilidade de NoSQL na AWS
  22. 22. Infraestrutura GlobalGovCloud US West US West US East South EU Asia Asia (US ITAR (Northern (Oregon) (Northern America (Ireland) Pacific Pacific Region) California) Virginia) (Sao Paulo) (Singapore) (Tokyo) Regiões AWS Pontos Edge AWS
  23. 23. Regiões da AWS e Zonas de Disponibilidade Cliente pode decidir onde suas aplicações e dados residem
  24. 24. US West Traffic US East Traffic Europe Traffic Asia Traffic Geo IP/Directional DNS Server ELB ELB ELB ELB Web Web Web Web Web Web Web Web Web Web Web Web Web Web Web Web App Web App Web App Web App Web App Web App Web App Web App Web App App App App App App App App App App App App App App App App Auto Scaling group : Auto Scaling group : Auto Scaling group : Auto Scaling group : Web App Tier Web App Tier Web App Tier Web App Tier RDS RDS RDS RDS Maste Maste Maste Maste r r r rUS-West US-East EU-West AP-SOUTHEAST RDS RDS RDS RDS Multi-AZ Multi-AZ Multi-AZ Multi-AZ US-West-1b US-East-1b EU-West-1b AP-SOUTHEAST-1b Software-based Data Replicator
  25. 25. DynamoDB
  26. 26. DynamoDB é um Banco de Dados NoSQL “as a service”Armazene e recupere qualquer quantidade de dadosSirva níveis gigantescos de tráfego e requisições
  27. 27. Sem as complexidades operacionaisSem instalações de softwareNão é necessário configurar clustersCustos mínimos de administração
  28. 28. Performance consistente e previsívelLatências em unidades de milisegundos.Armazenado em discos SSD.
  29. 29. Modelo de dados flexívelModelo Chave/atributos.Não requer schemasFácil de criar. Fácil de ajustar.
  30. 30. Escalabilidade simplesSem limites de tamanho de tabelas.Armazenamento ilimitado.Zero downtime.
  31. 31. Durável e com alta disponibilidade. Escritas consistentes em disco. Replicação em diversos data centers dentro de uma região.
  32. 32. Sem complexidades deadministração!
  33. 33. Sem complexidades deadministração!
  34. 34. Duas decisões + trêscliques = pronto para uso!
  35. 35. Duas decisões + trêscliques = pronto para uso!
  36. 36. Capacidade provisionada.Reserve quantidade de requisições porsegundo para leituras e escritas.Aumente ou diminua a capacidade aqualquer momento.
  37. 37. Pague por capacidade.Precificação por hora de capacidadeprovisionada e dados armazenados
  38. 38. Duas decisões + trêscliques = pronto para uso!
  39. 39. Duas decisões + umachamada de API = prontopara uso!
  40. 40. $create_response = $dynamodb->create_table(array( TableName => ProductCatalog, KeySchema => array( HashKeyElement => array( AttributeName => Id, AttributeType => AmazonDynamoDB::TYPE_NUMBER ) ), ProvisionedThroughput => array( ReadCapacityUnits => 10, WriteCapacityUnits => 5 )));
  41. 41. APIs para as principais plataformas Java Perl PHP Python .NET Ruby
  42. 42. Modifique capacidademanualmente ou automaticamente
  43. 43. Demo!
  44. 44. Hadoop na Nuvem
  45. 45. "Hadoop é um storage confiável e um sistema analítico" HDFS MapReduce
  46. 46. Então, Hadoop diminui o custo dedesenvolver um sistema Big Data…
  47. 47. Mas e o custo de operar um sistema de Big Data?
  48. 48. Implantar um cluster hadoop é difícilhttp://eddie.niese.net/20090313/dont-pity-incompetence/
  49. 49. Big Data requer infraestrutura flexível Infraestrutura on premise leva a hardware e software estático e planejado para atender picos… …e muitas vezes acaba gerando longas filas de processamento
  50. 50. +Diminuindo o custo de operar sistemas Big Data…
  51. 51. AMAZON ELASTIC MAPREDUCEReduz complexidade/custo da gestão do HadoopIntegra diretamente com Serviços AWS (EC2, S3,DynamoDB, etc)Facilita a elasticidade para Big Data
  52. 52. Data Warehouse Elástico Data Warehouse (Processo Batch)Data Warehouse Data Warehouse (Estável) (Estável) Diminui Aumenta para para 25 9 instancias instancias
  53. 53. EMR é a Solução Hadoop Corporativa #1AWS é “o provedor Hadoopmais proeminente” e “liderapor causa de seu serviçoElastic MapReduce jáprovado e rico emfuncionalidades…”-The Forrester Wave™:Enterprise Hadoop SolutionsQ1 2012
  54. 54. Exemplos de uso eescala de NoSQL e NewSQL na AWS
  55. 55. DynamoDB NoSQL as a Service 500.000 transações / segundo 60 dólares / horaAmazon DynamoDB site
  56. 56. 288 servidores com Cassandra 1.100.000 transações / segundo 51 dólares / hora (Instâncias Reservadas)Benchmarking Cassandra Scalability on AWS - Over a million writes per second
  57. 57. 500 servidores 600.000 transações ACID / segundo 47 dólares / hora (Instâncias Reservadas)NuoDB Presentation at Under the Radar
  58. 58. Calvin 100 servidores 500.000 transações ACID / segundo 20 dólares / hora (Instâncias Reservadas)Calvin: Fast Distributed Transactions for Partitioned Database Systems
  59. 59. 10 dólares / hora (Instâncias Reservadas)695k TPS with Node.js and VoltDB
  60. 60. Referências
  61. 61. NoSQL na Nuvem da AWS aws.amazon.com/nosql
  62. 62. OFERTA GRATUITA!aws.amazon.com/pt/free
  63. 63. OBRIGADO! aws.typepad.com/brasil slideshare.net/jpapoJosé PapoAWS Tech Evangelist@josepapo

×