NoSQL e Big Data na Nuvem

NoSQL e Big Data na NuvemSua solução na Velocidade da Luz com a Amazon Web ServicesJosé PapoAWS Tech Evangelist@josepapo

Nuvem é Liberdade!

Liberte-se da Infra Tradicional!

Infraestrutura Tradicional é Cara e Complexa Preços Altos para Infraestrutura de TI Recursos de TI com Baixa UtilizaçãoProvedores Lentos para Atender a Demanda de Infra Data Center sem Espaço Gerenciar Crescimento Físico Implantações DemoradasNegociação de Contratos Instalação de Patches Altos Investimentos de Capital Falta de foco no negócio “TI gasta 80% de seu tempo e recursos mantendo as luzes acesas” Gartner Press Release, 2006

Infraestrutura Tradicional Demanda Desperdício Desperdício600k Usuários Capacidade de Recursos Demanda Atual Desperdício300k Usuários Clientes Perdidos, Adquirir mais Desperdício infra200k Usuários T1 T2 T3 T4 T1 Tempo

O que realmente precisamos é… …capacidade ajustávelhttp://www.flickr.com/photos/purecaffeine/302682456/

Quando você desliga seus recursos de Nuvem você pára de pagar por eles

Problemas em atenderCusto de Infraestrutura Alta Despesa de Capital clientes Demanda Prevista Hardware Custo de Tradicional Oportunidade Demanda Real Cloud Computing Tempo

Elasticidade simples e automática App de Vídeos com Amazon EC2: De 50 a 5,000 servidores em 3 dias!5,000 Número de Instâncias EC2 0 Segunda Terça Quarta Quinta Sexta Sábado Domingo

25% de Economia Web Servers 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 HoraDurante um dia

Web Servers 75% de Economia 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 Dia do MêsDurante um mês

Nuvem é Democracia!

Permitiu o boom das startups!

… E facilita o aumento da inovação em grandesempresas

O que é NoSQL?

Bancos de dados NoSQL normalmente sãofacilmente escaláveis horizontalmente, podemtrabalhar com quantidades de dados maciças enão utilizam um modelo relacional para suasestruturas de dados.

Bancos de Dados na Nuvem da Amazon

Flexibilidade e independênciaSistemas Operacionais Linguagens e Bibliotecas Aplicações Certificadas

Opções de Bancos de Dados Relacional NoSQL

Bancos de Dados - Modelos Auto-gestão Database as a Service Banco de Dados no Amazon Relational Amazon DynamoDB Amazon EC2 Database Service (RDS) NoSQLSua escolha de software SQL Server, MySQL ou Modelo não relacional de banco de dados Oracle oferecidos como serviçoBring Your Own License Overhead zero de (BYOL) administração Licenciamento Flexível: BYOL ou Licença Incluída

Alta Disponibilidade de NoSQL na AWS

Infraestrutura GlobalGovCloud US West US West US East South EU Asia Asia (US ITAR (Northern (Oregon) (Northern America (Ireland) Pacific Pacific Region) California) Virginia) (Sao Paulo) (Singapore) (Tokyo) Regiões AWS Pontos Edge AWS

Regiões da AWS e Zonas de Disponibilidade Cliente pode decidir onde suas aplicações e dados residem

US West Traffic US East Traffic Europe Traffic Asia Traffic Geo IP/Directional DNS Server ELB ELB ELB ELB Web Web Web Web Web Web Web Web Web Web Web Web Web Web Web Web App Web App Web App Web App Web App Web App Web App Web App Web App App App App App App App App App App App App App App App App Auto Scaling group : Auto Scaling group : Auto Scaling group : Auto Scaling group : Web App Tier Web App Tier Web App Tier Web App Tier RDS RDS RDS RDS Maste Maste Maste Maste r r r rUS-West US-East EU-West AP-SOUTHEAST RDS RDS RDS RDS Multi-AZ Multi-AZ Multi-AZ Multi-AZ US-West-1b US-East-1b EU-West-1b AP-SOUTHEAST-1b Software-based Data Replicator

DynamoDB

DynamoDB é um Banco de Dados NoSQL “as a service”Armazene e recupere qualquer quantidade de dadosSirva níveis gigantescos de tráfego e requisições

Sem as complexidades operacionaisSem instalações de softwareNão é necessário configurar clustersCustos mínimos de administração

Performance consistente e previsívelLatências em unidades de milisegundos.Armazenado em discos SSD.

Modelo de dados flexívelModelo Chave/atributos.Não requer schemasFácil de criar. Fácil de ajustar.

Escalabilidade simplesSem limites de tamanho de tabelas.Armazenamento ilimitado.Zero downtime.

Durável e com alta disponibilidade. Escritas consistentes em disco. Replicação em diversos data centers dentro de uma região.

Sem complexidades deadministração!

Duas decisões + trêscliques = pronto para uso!

Capacidade provisionada.Reserve quantidade de requisições porsegundo para leituras e escritas.Aumente ou diminua a capacidade aqualquer momento.

Pague por capacidade.Precificação por hora de capacidadeprovisionada e dados armazenados

Duas decisões + trêscliques = pronto para uso!

Duas decisões + umachamada de API = prontopara uso!

$create_response = $dynamodb->create_table(array( TableName => ProductCatalog, KeySchema => array( HashKeyElement => array( AttributeName => Id, AttributeType => AmazonDynamoDB::TYPE_NUMBER ) ), ProvisionedThroughput => array( ReadCapacityUnits => 10, WriteCapacityUnits => 5 )));

APIs para as principais plataformas Java Perl PHP Python .NET Ruby

Modifique capacidademanualmente ou automaticamente

Hadoop na Nuvem

"Hadoop é um storage confiável e um sistema analítico" HDFS MapReduce

Então, Hadoop diminui o custo dedesenvolver um sistema Big Data…

Mas e o custo de operar um sistema de Big Data?

Implantar um cluster hadoop é difícilhttp://eddie.niese.net/20090313/dont-pity-incompetence/

Big Data requer infraestrutura flexível Infraestrutura on premise leva a hardware e software estático e planejado para atender picos… …e muitas vezes acaba gerando longas filas de processamento

+Diminuindo o custo de operar sistemas Big Data…

AMAZON ELASTIC MAPREDUCEReduz complexidade/custo da gestão do HadoopIntegra diretamente com Serviços AWS (EC2, S3,DynamoDB, etc)Facilita a elasticidade para Big Data

Data Warehouse Elástico Data Warehouse (Processo Batch)Data Warehouse Data Warehouse (Estável) (Estável) Diminui Aumenta para para 25 9 instancias instancias

EMR é a Solução Hadoop Corporativa #1AWS é “o provedor Hadoopmais proeminente” e “liderapor causa de seu serviçoElastic MapReduce jáprovado e rico emfuncionalidades…”-The Forrester Wave™:Enterprise Hadoop SolutionsQ1 2012

Exemplos de uso eescala de NoSQL e NewSQL na AWS

DynamoDB NoSQL as a Service 500.000 transações / segundo 60 dólares / horaAmazon DynamoDB site

288 servidores com Cassandra 1.100.000 transações / segundo 51 dólares / hora (Instâncias Reservadas)Benchmarking Cassandra Scalability on AWS - Over a million writes per second

500 servidores 600.000 transações ACID / segundo 47 dólares / hora (Instâncias Reservadas)NuoDB Presentation at Under the Radar

Calvin 100 servidores 500.000 transações ACID / segundo 20 dólares / hora (Instâncias Reservadas)Calvin: Fast Distributed Transactions for Partitioned Database Systems

10 dólares / hora (Instâncias Reservadas)695k TPS with Node.js and VoltDB

Referências

NoSQL na Nuvem da AWS aws.amazon.com/nosql

OFERTA GRATUITA!aws.amazon.com/pt/free

OBRIGADO! aws.typepad.com/brasil slideshare.net/jpapoJosé PapoAWS Tech Evangelist@josepapo

NoSQL e Big Data na Nuvem

by Jose Papo on May 31, 2012

Accessibility

Categories

Upload Details

Usage Rights

3 Embeds 6

Statistics

NoSQL e Big Data na Nuvem Presentation Transcript

http://us-w1.rockmelt.com	3
https://twimg0-a.akamaihd.net	2
https://si0.twimg.com	1