Juliano Tubino
Thank you Sponsors!
The Roadshow
Key note - AWS e Parceiros AWS14:00 -
15:30
Break
Key note - AWS e Parceiros AWS
16:00 -
18:00
Apresentacoes e Videos
http://awshub.com.br
Pessoal
e totalmente transferivel
Vamos escrever juntos a historia do Cloud
Computing no Brasil
#awssummit
Michel Pereira
Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
(e demos!)
Arquiteturas de Software para o
Século XXI ...
Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI
“Todos os mercados estão sendo transformados pela nova onda digital”
http://www.amazon.com.br/Digital-Disruption-Unleashin...
Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
A Nuvem é o alavancador das novas tendências tecnológicas
“Para sobreviver no mercado, empresas precisam
continuamente realocar recursos de processos de
manutenção para processos d...
“Cloud is like a fertilizer that creates Startups”
Eric Ries
“Amazon Web Services is probably the most
important thing that has happened to mobile
and web app developers that the pres...
Acelerando o boom das startups e novos devices
Otimizando as Grandes Corporações
Dezenas de Milhares de Clientes na América Latina
Amazon S3: Mais de 2 Trilhões de Objetos
1.1M
requisições/seg
no pico
Amazon Elastic MapReduce: Clusters criados pelos clientes
5.5 M clusters
desde Maio de 2010
2012
159
2011
82
2010
61
2009
48
2008
24
2007
9 Amazon FPS
Red Hat EC2
SimpleDB
CloudFront
EBS
Availability Zones
Elastic ...
Inovação Técnica rápida
e orientada aos clientes
Jul 28, 2013
Anunciando Amazon SNS for Mobile Push
– 1 milhão de notifica...
Samsung reduziu drasticamente seus custos com a AWS
Economizou $34 Milhões 85% de economia versus modelo tradicional
Desperdício
Clientes
Insatisfeitos
Demanda Atual
Demanda Prevista
Tradicional Cloud
Demanda atual
AWS
Redução de Custos vi...
Redução de Custos via preços baixos
Escala nos permite reduzir
preços continuamente
Estamos acostumados a trabalhar
em um ...
Somos obcecados em ajudar nossos clientes a economizar
Shell usa a AWS para aumentar significativamente sua agilidade
Time Remoto
Time Interno
Recursos Extras
Time de Outsourcing
Aumentando a
agilidade, a TI deixa
de ser vista como…
E passa a ser vista como tendo…
Nasdaq usa AWS para criar um novo serviço para hedge funds
Inovação: Experimentação Rápida com Custo e Risco Baixo
On-Premises
Menos Experimentos
Falhar é caro
Menos Inovação
Experi...
Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI
Big Data
Analysis of Data Can Transform Society
Create new business
models and improve
organizational
processes.
Enhance scientific...
Democratizing Analytics gets Value out of Big Data
Unlock Value in
Silicon
Support Open
Platforms
Deliver Software Value
Intel at the Intersection of Big Data
Enabling exascale
computing on massive data
sets
Helping enterprises
build open
inte...
Intel at the Heart of the Cloud
Server
Storage
Network
Reinventing Supercomputing
On Demand
Scale-Out Platform Optimizations for Big Data
Cost-effective performance
•Intel® Advanced Vector Extension Technology
•Int...
Power of the Platform built by Intel
Richer
user
experiences
4HRS
50%
Reduction
10MIN
80%
Reduction 50%
Reduction 40%
Redu...
Cloud
Intelligent Systems
Clients
Virtuous Cycle of Data-Driven Experience
Agenda
1. Introdução a Big Data
2. Transformando dado em informação
3. Analítico e Computação nas nuvens
4. Ecossistema Bi...
Introdução a Big Data
1
Uma das definições de Big Data
Quando a quantidade de dados começa a ficar tão grande que você tem
que começar a inovar no...
3 V’s
Volume
Velocity
Variety
Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
O custo da geração de dados está
caindo…
Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
custo baixo,
alta transferência
Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
custo baixo,
alta transferência
extremamente
limit...
Dados gerados
Disponivel para análise
Volume de dados
Gartner: User Survey Analysis: Key Trends Shaping the Future of Data...
Elasticidade e alta escalabilidade
+
Sem capital adiantado
+
Paga apenas por uso
+
Disponível por demanda
Remove
todos os
...
Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
custo baixo,
alta transferência
extremamente
limit...
Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
Acelerado
Big Data
Tecnologias e técnicas para
trabalhar de forma produtiva com
dados, em qualquer escala
Transformando dados
em informação
2
Analítico e
computação nas nuvens
3
Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
S3, Glacier,
Storage Gateway,
DynamoDB,
Redshift, ...
Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
EC2 &
Elastic MapReduce
Geração
Coleta e Armazenamento
Análise e processamento
EC2 & S3,
CloudFormation,
Elastic MapReduce,
RDS, DynamoDB, Redshif...
Geração
Coleta e Armazenamento
Análise e processamento
AWS Data Pipeline
EC2 & S3,
CloudFormation,
Elastic MapReduce,
RDS,...
Geração
Coleta e Armazenamento
Análise e processamento
AWS Data Pipeline
EC2 & S3,
CloudFormation,
Elastic MapReduce,
RDS,...
Elastic Map Reduce
Hadoop gerenciado,
processamento analítico
Input data
S3, DynamoDB, Redshift
Elastic
MapReduce
Código
Input data
S3, DynamoDB, Redshift
Elastic
MapReduce
Código Name
node
Input data
S3, DynamoDB, Redshift
Elastic
MapReduce
Código
Name
node
Input data
Elastic
cluster
S3, DynamoDB, Redshift
S3/HDFS
Elastic
MapReduce
Código
Name
node
Input data
S3/HDFS
Queries
+ BI
Via JDBC, Pig, Hive
S3, DynamoDB, Redshift
Elastic
clus...
Elastic
MapReduce
Código
Name
node
Output
Input data
Queries
+ BI
Via JDBC, Pig, Hive
S3, DynamoDB, Redshift
Elastic
clust...
Output
Input data
S3, DynamoDB, Redshift
1. Clusters elásticos
10 horas
6 horas
Capacidade máxima
2. Rápido, provisionamento dinâmico
(muito) fácil.
Parte pesada e difícil é
removida...
3. E ainda o mesmo Hadoop
Ecosystem robusto.
Databases, machine learning, segmentation,
clustering, analytics, metadata stores,
exchange formats, an...
4. Agilidade para experimentos
Tipos de instâncias
Flexibilidade no tipo da instância & número.
5. Otimização de custo
Feito para Spot.
Computação baseada no seu preço.
1. Clusters elásticos
2. Rápido, provisionamento dinâmico
3. Mesmo Hadoop
4. Agilidade para experimentos
5. Otimização de ...
Ecossistema Big Data
4
Dados, dados, (espalhados) em todo lugar...
dados em silos (isolados)
S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On-premisesLogs de App
“Como eu transfiro meus dados para a nuvem?”
Mobilidade dos dados
Gerados e armazenados na AWS
Transferência de dados entrante é gratuito
Multipart upload para S3
Medi...
“Como eu integro meus dados para
melhores resultados?”
S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On-premisesLogs de App
S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On-premisesLogs de App
S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On-premisesLogs de App
S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On premisesLogs de App
S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On premisesLogs de App
S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On premisesLogs de App
S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On premisesLogs de App
Pedidos
do dia
Acesso do
usuário
ERP/Prod
utos
Histórico ...
AWS Data Pipeline
Orquestração de muitos dados
Esqueleto de um pipeline
Pipelines complexos
aws.amazon.com/datapipeline
aws.amazon.com/big-data
DEMO!!!
Resumo
1. Introdução a Big Data
2. Transformando dado em informação
3. Analítico e Computação nas nuvens
4. Ecossistema Bi...
Segurança
Construída com altos padrões de segurança
Infraestrutura de Segurança AWS
SOC 1/SSAE 16/ISAE 3402,
ISO 27001, PCI DSS, HIP...
Infraestrutura Global
US West
(Northern
California)
US East
(Northern
Virginia)
EU
(Ireland)
Asia
Pacific
(Singapore)
Asia...
Regiões da AWS e Zonas de Disponibilidade
Cliente pode decidir onde suas aplicações e dados residem
Amazon VPC
Região AWS
Subrede pública
Subrede
privada
Data
Center
Matriz
Zona de Disponibilidade 1
Zona de disponibilidade...
Aberta, flexível e suportada pelos principais fornecedores
Sistemas Operacionais Linguagens e Bibliotecas Aplicações Certi...
Android iOS Java nodeJS .NET PHP Python Ruby
Rico conjunto de APIs e kits de dev para as principais linguagens e plataform...
Aplicações Corporativas
Economia com SAP na Nuvem da AWS de até 69%
May 2012 “TCO Study for SAP on Amazon Web Services”
Economia com SAP na Nuvem da AWS de até 69%
May 2012 “TCO Study for SAP on Amazon Web Services”
Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI (e demos!)
Com AWS, cresça de um servidor
…para milhares
Totalmente automatizado!
Além de escalabilidade nos servidores você pode
Adicionar bilhões de objetos com o Amazon S3
Selecionar a performance dese...
‘Cost Aware Architecture’
…ao utilizar:Reduza Custo de
Compute
1. S3/CloudFront para Otimização de conteúdo estático
2. Lo...
O que isso significa em termos de custos?
Um Exemplo
Mês
Instancias EC2 Medium 1 $ 121
CloudFront Data Transfer Out 1Tb $ ...
Volume de Storage no S3
Números de Horas de Servidores EC2
Fevereiro de 2013
48,7 milhões de usuários
Levantou $338M de capital
Valuation de $2.5B
Web Application
Servers
Sharded Database
Cache Servers
Internal
Web Services
File Storage
Servidores de Aplicação Python
150 instancias EC2 High-CPU
Web Application
Servers
Sharded Database
Cache Servers
Internal...
Web Services em Python
35 instancias EC2 High-CPU
Web Application
Servers
Sharded Database
Cache Servers
Internal
Web Serv...
Caches Memcache e Redis
90 instancias EC2 High-Memory
Web Application
Servers
Sharded Database
Cache Servers
Internal
Web ...
Servidores de Bancos de Dados MySQL
70 Pares Master/Slave
Web Application
Servers
Sharded Database
Cache Servers
Internal
...
Srorage no Amazon S3
8 Bilhões de Objetos • 410 Terabytes
Web Application
Servers
Sharded Database
Cache Servers
Internal
...
Serviços Auxiliares
60 Instancias EC2
Development
Logging
Operational Tools
Asynchronous
Task Workers
Search
Data Analysis...
• Maior parte do tráfego acontece à tarde e no início da noite, portanto reduzem o número
de servidores durante a madrugad...
Ambientes Dev / Test
Versão de Homologação
Versão Beta / MVP
Arquitetura de
Produção 1.0
1
2
3
Arquitetura de
Produção 2.0
Arquitetura de
Produção 3.0
Arquitetura de
Produção 4.0
"Startups are all about focus. AWS enables focus"
Ray Bradford, Kleiner Perkins, Caulfield & Byers
Sua aplicação
Seu negócio e seu diferencial competitivo
Inovação, não gestão de hardware / data centers / software
Investi...
…cresceu para 14 milhões de usuários em menos de um ano
…chegou a 150 milhões de fotos e terabytes de dados
…1 milhão de u...
Automação
Total
Controle
Total
Elastic
Beanstalk
CloudFormation
“Só quero minha
aplicação funcionando,
com acesso a servid...
EC2 EBS
RDS ELB
Upload de sua aplicação Beanstalk faz deploy Você ainda tem controle
Elastic Beanstalk
Não construa seu próprio…
1. Disparador de Emails
2. Fila de Mensagens
3. Notificações
4. Transcoding
5. Busca
6. Monitora...
DEMOS!!!
White Papers
Gartner “MagicQuadrant for Cloud Infrastructurea Service,” Lydia Leong, Douglas Toombs, Bob Gill, Gregor Petri, Tiny Hayn,...
4X Mais Confiável e até 1/4 do Custo de Infra Tradicional
http://media.amazonwebservices.com/idc_aws_business_value_report...
Storage custa menos na Nuvem que dentro de casa
Relembrando:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI
OBRIGADO!
awshub.com.br
slideshare.net/AmazonWebServicesLATAM
Michel Pereira – michelp@amazon.com
AWS Solutions Architect
Keynote AWS RoadShow Belo Horizonte 2013
Keynote AWS RoadShow Belo Horizonte 2013
Keynote AWS RoadShow Belo Horizonte 2013
Keynote AWS RoadShow Belo Horizonte 2013
Keynote AWS RoadShow Belo Horizonte 2013
Keynote AWS RoadShow Belo Horizonte 2013
Keynote AWS RoadShow Belo Horizonte 2013
Keynote AWS RoadShow Belo Horizonte 2013
Keynote AWS RoadShow Belo Horizonte 2013
Keynote AWS RoadShow Belo Horizonte 2013
Upcoming SlideShare
Loading in...5
×

Keynote AWS RoadShow Belo Horizonte 2013

1,041

Published on

Keynote AWS RoadShow Belo Horizonte 2013

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,041
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
21
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Keynote AWS RoadShow Belo Horizonte 2013

  1. 1. Juliano Tubino
  2. 2. Thank you Sponsors!
  3. 3. The Roadshow Key note - AWS e Parceiros AWS14:00 - 15:30 Break Key note - AWS e Parceiros AWS 16:00 - 18:00
  4. 4. Apresentacoes e Videos http://awshub.com.br Pessoal e totalmente transferivel
  5. 5. Vamos escrever juntos a historia do Cloud Computing no Brasil
  6. 6. #awssummit
  7. 7. Michel Pereira
  8. 8. Resumo do Dia: Benefícios da Nuvem da AWS Casos de Uso da Nuvem AWS (e demos!) Arquiteturas de Software para o Século XXI (e demos!)
  9. 9. Resumo do Dia: Benefícios da Nuvem da AWS Casos de Uso da Nuvem AWS Arquiteturas de Software para o Século XXI
  10. 10. “Todos os mercados estão sendo transformados pela nova onda digital” http://www.amazon.com.br/Digital-Disruption-Unleashing-Innovation-ebook/dp/B009L7QD1S/
  11. 11. Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
  12. 12. Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
  13. 13. Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
  14. 14. A Nuvem é o alavancador das novas tendências tecnológicas
  15. 15. “Para sobreviver no mercado, empresas precisam continuamente realocar recursos de processos de manutenção para processos de inovação.”
  16. 16. “Cloud is like a fertilizer that creates Startups” Eric Ries
  17. 17. “Amazon Web Services is probably the most important thing that has happened to mobile and web app developers that the press just misses. Jeff Bezos has accidentally or maybe on purpose powered a whole generation of applications.” Steve Blank
  18. 18. Acelerando o boom das startups e novos devices
  19. 19. Otimizando as Grandes Corporações
  20. 20. Dezenas de Milhares de Clientes na América Latina
  21. 21. Amazon S3: Mais de 2 Trilhões de Objetos 1.1M requisições/seg no pico
  22. 22. Amazon Elastic MapReduce: Clusters criados pelos clientes 5.5 M clusters desde Maio de 2010
  23. 23. 2012 159 2011 82 2010 61 2009 48 2008 24 2007 9 Amazon FPS Red Hat EC2 SimpleDB CloudFront EBS Availability Zones Elastic IPs Relational Database Service Virtual Private Cloud Elastic Map Reduce Auto Scaling Reserved Instances Elastic Load Balancer Simple Notification Service Route 53 RDS Multi-AZ Singapore Region Identity Access Management Elastic Beanstalk Simple Email Service CloudFormation RDS for Oracle ElastiCache DynamoDB Simple Workflow CloudSearch Storage Gateway Mais de 125 anúncios já feitos em 2013
  24. 24. Inovação Técnica rápida e orientada aos clientes Jul 28, 2013 Anunciando Amazon SNS for Mobile Push – 1 milhão de notificações gratuitas por mês e $1,00 para cada milhão adicional Mar 11, 2013 Anunciando AWS Elastic Beanstalk para Node.js Feb 18, 2013 Anunciando AWS OpsWorks Jan 28, 2013 Anunciando Amazon Elastic Transcoder “Queria muito enviar notificações push para apps móveis de forma simples e barata” “Seria tão bom se no Beanstalk eu pudesse usar Node.js!” “É difícil gerenciar minhas Chef recipes” “Seria bom se a AWS deixasse o processo de Transcoding mais fácil”
  25. 25. Samsung reduziu drasticamente seus custos com a AWS Economizou $34 Milhões 85% de economia versus modelo tradicional
  26. 26. Desperdício Clientes Insatisfeitos Demanda Atual Demanda Prevista Tradicional Cloud Demanda atual AWS Redução de Custos via Elasticidade
  27. 27. Redução de Custos via preços baixos Escala nos permite reduzir preços continuamente Estamos acostumados a trabalhar em um negócio de altos volumes e baixas margens Nós sempre passamos nossas economias de escala a nossos clientes 37 Reduções de preços
  28. 28. Somos obcecados em ajudar nossos clientes a economizar
  29. 29. Shell usa a AWS para aumentar significativamente sua agilidade Time Remoto Time Interno Recursos Extras Time de Outsourcing
  30. 30. Aumentando a agilidade, a TI deixa de ser vista como…
  31. 31. E passa a ser vista como tendo…
  32. 32. Nasdaq usa AWS para criar um novo serviço para hedge funds
  33. 33. Inovação: Experimentação Rápida com Custo e Risco Baixo On-Premises Menos Experimentos Falhar é caro Menos Inovação Experimenta mais Falha rápido com custo baixo Mais Inovação $ Milhões Centenas ou Milhares
  34. 34. Resumo do Dia: Benefícios da Nuvem da AWS Casos de Uso da Nuvem AWS Arquiteturas de Software para o Século XXI
  35. 35. Big Data
  36. 36. Analysis of Data Can Transform Society Create new business models and improve organizational processes. Enhance scientific understanding, drive innovation, and accelerate medical cures. Increase public safety and improve energy efficiency with smart grids.
  37. 37. Democratizing Analytics gets Value out of Big Data Unlock Value in Silicon Support Open Platforms Deliver Software Value
  38. 38. Intel at the Intersection of Big Data Enabling exascale computing on massive data sets Helping enterprises build open interoperable clouds Contributing code and fostering ecosystem HPC Cloud Open Source
  39. 39. Intel at the Heart of the Cloud Server Storage Network
  40. 40. Reinventing Supercomputing On Demand
  41. 41. Scale-Out Platform Optimizations for Big Data Cost-effective performance •Intel® Advanced Vector Extension Technology •Intel® Turbo Boost Technology 2.0 •Intel® Advanced Encryption Standard New Instructions Technology
  42. 42. Power of the Platform built by Intel Richer user experiences 4HRS 50% Reduction 10MIN 80% Reduction 50% Reduction 40% Reduction TeraSort for 1TB sort Intel® Xeon® Processor E5 2600 Solid-State Drive 10G Ethernet Intel® Apache Hadoop Previous Intel® Xeon® Processor
  43. 43. Cloud Intelligent Systems Clients Virtuous Cycle of Data-Driven Experience
  44. 44. Agenda 1. Introdução a Big Data 2. Transformando dado em informação 3. Analítico e Computação nas nuvens 4. Ecossistema Big Data
  45. 45. Introdução a Big Data 1
  46. 46. Uma das definições de Big Data Quando a quantidade de dados começa a ficar tão grande que você tem que começar a inovar no jeito de coletar, armazenar, organizar, analisar e compartilhar a informação.
  47. 47. 3 V’s Volume Velocity Variety
  48. 48. Geração Coleta e Armazenamento Análise e processamento Compartilhamento
  49. 49. O custo da geração de dados está caindo…
  50. 50. Geração Coleta e Armazenamento Análise e processamento Compartilhamento custo baixo, alta transferência
  51. 51. Geração Coleta e Armazenamento Análise e processamento Compartilhamento custo baixo, alta transferência extremamente limitado
  52. 52. Dados gerados Disponivel para análise Volume de dados Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011 IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares
  53. 53. Elasticidade e alta escalabilidade + Sem capital adiantado + Paga apenas por uso + Disponível por demanda Remove todos os limites =
  54. 54. Geração Coleta e Armazenamento Análise e processamento Compartilhamento custo baixo, alta transferência extremamente limitado
  55. 55. Geração Coleta e Armazenamento Análise e processamento Compartilhamento Acelerado
  56. 56. Big Data Tecnologias e técnicas para trabalhar de forma produtiva com dados, em qualquer escala
  57. 57. Transformando dados em informação 2
  58. 58. Analítico e computação nas nuvens 3
  59. 59. Geração Coleta e Armazenamento Análise e processamento Compartilhamento
  60. 60. Geração Coleta e Armazenamento Análise e processamento Compartilhamento S3, Glacier, Storage Gateway, DynamoDB, Redshift, RDS, HBase
  61. 61. Geração Coleta e Armazenamento Análise e processamento Compartilhamento EC2 & Elastic MapReduce
  62. 62. Geração Coleta e Armazenamento Análise e processamento EC2 & S3, CloudFormation, Elastic MapReduce, RDS, DynamoDB, Redshift Compartilhamento
  63. 63. Geração Coleta e Armazenamento Análise e processamento AWS Data Pipeline EC2 & S3, CloudFormation, Elastic MapReduce, RDS, DynamoDB, Redshift EC2 & Elastic MapReduce S3, Glacier, Storage Gateway, DynamoDB, Redshift, RDS, HBase Compartilhamento
  64. 64. Geração Coleta e Armazenamento Análise e processamento AWS Data Pipeline EC2 & S3, CloudFormation, Elastic MapReduce, RDS, DynamoDB, Redshift EC2 & Elastic MapReduce S3, Glacier, Storage Gateway, DynamoDB, Redshift, RDS, HBase Compartilhamento
  65. 65. Elastic Map Reduce Hadoop gerenciado, processamento analítico
  66. 66. Input data S3, DynamoDB, Redshift
  67. 67. Elastic MapReduce Código Input data S3, DynamoDB, Redshift
  68. 68. Elastic MapReduce Código Name node Input data S3, DynamoDB, Redshift
  69. 69. Elastic MapReduce Código Name node Input data Elastic cluster S3, DynamoDB, Redshift S3/HDFS
  70. 70. Elastic MapReduce Código Name node Input data S3/HDFS Queries + BI Via JDBC, Pig, Hive S3, DynamoDB, Redshift Elastic cluster
  71. 71. Elastic MapReduce Código Name node Output Input data Queries + BI Via JDBC, Pig, Hive S3, DynamoDB, Redshift Elastic cluster S3/HDFS
  72. 72. Output Input data S3, DynamoDB, Redshift
  73. 73. 1. Clusters elásticos
  74. 74. 10 horas
  75. 75. 6 horas
  76. 76. Capacidade máxima
  77. 77. 2. Rápido, provisionamento dinâmico
  78. 78. (muito) fácil.
  79. 79. Parte pesada e difícil é removida...
  80. 80. 3. E ainda o mesmo Hadoop
  81. 81. Ecosystem robusto. Databases, machine learning, segmentation, clustering, analytics, metadata stores, exchange formats, and so on...
  82. 82. 4. Agilidade para experimentos
  83. 83. Tipos de instâncias Flexibilidade no tipo da instância & número.
  84. 84. 5. Otimização de custo
  85. 85. Feito para Spot. Computação baseada no seu preço.
  86. 86. 1. Clusters elásticos 2. Rápido, provisionamento dinâmico 3. Mesmo Hadoop 4. Agilidade para experimentos 5. Otimização de custos
  87. 87. Ecossistema Big Data 4
  88. 88. Dados, dados, (espalhados) em todo lugar... dados em silos (isolados)
  89. 89. S3 DynamoDB EMR HBase on EMR RDS Redshift On-premisesLogs de App
  90. 90. “Como eu transfiro meus dados para a nuvem?”
  91. 91. Mobilidade dos dados Gerados e armazenados na AWS Transferência de dados entrante é gratuito Multipart upload para S3 Media física (EUA apenas) AWS Direct Connect Replicação de AMIs e snapshots
  92. 92. “Como eu integro meus dados para melhores resultados?”
  93. 93. S3 DynamoDB EMR HBase on EMR RDS Redshift On-premisesLogs de App
  94. 94. S3 DynamoDB EMR HBase on EMR RDS Redshift On-premisesLogs de App
  95. 95. S3 DynamoDB EMR HBase on EMR RDS Redshift On-premisesLogs de App
  96. 96. S3 DynamoDB EMR HBase on EMR RDS Redshift On premisesLogs de App
  97. 97. S3 DynamoDB EMR HBase on EMR RDS Redshift On premisesLogs de App
  98. 98. S3 DynamoDB EMR HBase on EMR RDS Redshift On premisesLogs de App
  99. 99. S3 DynamoDB EMR HBase on EMR RDS Redshift On premisesLogs de App Pedidos do dia Acesso do usuário ERP/Prod utos Histórico de compras Recomendações de compra Analítico de recomendação
  100. 100. AWS Data Pipeline Orquestração de muitos dados
  101. 101. Esqueleto de um pipeline
  102. 102. Pipelines complexos
  103. 103. aws.amazon.com/datapipeline
  104. 104. aws.amazon.com/big-data
  105. 105. DEMO!!!
  106. 106. Resumo 1. Introdução a Big Data 2. Transformando dado em informação 3. Analítico e Computação nas nuvens 4. Ecossistema Big Data
  107. 107. Segurança
  108. 108. Construída com altos padrões de segurança Infraestrutura de Segurança AWS SOC 1/SSAE 16/ISAE 3402, ISO 27001, PCI DSS, HIPAA, ITAR, FISMA Moderate, FIPS 140-2, FedRAMP Suas Apps
  109. 109. Infraestrutura Global US West (Northern California) US East (Northern Virginia) EU (Ireland) Asia Pacific (Singapore) Asia Pacific (Tokyo) Regiões AWS Pontos Edge AWS GovCloud (US ITAR Region) US West (Oregon) South America (Sao Paulo) Asia Pacific (Australia)
  110. 110. Regiões da AWS e Zonas de Disponibilidade Cliente pode decidir onde suas aplicações e dados residem
  111. 111. Amazon VPC Região AWS Subrede pública Subrede privada Data Center Matriz Zona de Disponibilidade 1 Zona de disponibilidade 2 Subsidiárias VPN GatewayGateway Internet Gateway Amazon S3 Amazon SimpleDB Amazon SES Amazon SQS “Nuvem Privada não precisa ser dentro de casa” - Gartner 10G Arquitetura Híbrida com a AWS Link Dedicado
  112. 112. Aberta, flexível e suportada pelos principais fornecedores Sistemas Operacionais Linguagens e Bibliotecas Aplicações Certificadas
  113. 113. Android iOS Java nodeJS .NET PHP Python Ruby Rico conjunto de APIs e kits de dev para as principais linguagens e plataformas E ferramentas e plugins integrados ao seu ambiente de desenvolvimento Eclipse Visual Studio CLI Powershell Suporte a muitas linguagens e ferramentas
  114. 114. Aplicações Corporativas
  115. 115. Economia com SAP na Nuvem da AWS de até 69% May 2012 “TCO Study for SAP on Amazon Web Services”
  116. 116. Economia com SAP na Nuvem da AWS de até 69% May 2012 “TCO Study for SAP on Amazon Web Services”
  117. 117. Resumo do Dia: Benefícios da Nuvem da AWS Casos de Uso da Nuvem AWS Arquiteturas de Software para o Século XXI (e demos!)
  118. 118. Com AWS, cresça de um servidor
  119. 119. …para milhares Totalmente automatizado!
  120. 120. Além de escalabilidade nos servidores você pode Adicionar bilhões de objetos com o Amazon S3 Selecionar a performance desejada nos bancos de dados Processar e analisar petabytes de dados facilmente
  121. 121. ‘Cost Aware Architecture’ …ao utilizar:Reduza Custo de Compute 1. S3/CloudFront para Otimização de conteúdo estático 2. Load Balancing e Auto-Scaling desde o início Storage 4. Armazenar objetos derivados no S3 ‘Reduced Redundancy’ e usar Glacier sempre que possível Banco de Dados 5. Read Replicas e/ou ElastiCache para performance e redução de custos dos bancos de dados Dev & Test 6. Ambientes Dev/Test/CI criados/desligados sob demanda 3. Modelos de Preços On-Demand, Reservado e Spot 7. A/B Testing e Testes de Carga mais baratos
  122. 122. O que isso significa em termos de custos? Um Exemplo Mês Instancias EC2 Medium 1 $ 121 CloudFront Data Transfer Out 1Tb $ 168 Requisições CloudFront $1.89 TOTAL $ 291 Mês Instancias EC2 Medium 4 $ 485 AWS Data Transfer Out 1Tb $ 194 TOTAL $ 679 Arquitetura Usual Arquitetura Otimizada Custo 57% menor - Até 6 x mais rápido
  123. 123. Volume de Storage no S3
  124. 124. Números de Horas de Servidores EC2
  125. 125. Fevereiro de 2013 48,7 milhões de usuários Levantou $338M de capital Valuation de $2.5B
  126. 126. Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  127. 127. Servidores de Aplicação Python 150 instancias EC2 High-CPU Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  128. 128. Web Services em Python 35 instancias EC2 High-CPU Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  129. 129. Caches Memcache e Redis 90 instancias EC2 High-Memory Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  130. 130. Servidores de Bancos de Dados MySQL 70 Pares Master/Slave Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  131. 131. Srorage no Amazon S3 8 Bilhões de Objetos • 410 Terabytes Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  132. 132. Serviços Auxiliares 60 Instancias EC2 Development Logging Operational Tools Asynchronous Task Workers Search Data Analysis Elastic MapReduce Continuous Integration
  133. 133. • Maior parte do tráfego acontece à tarde e no início da noite, portanto reduzem o número de servidores durante a madrugada em 40%. • No pico gastam $52 por hora com EC2 e à noite, for a do pico, o gasto é de $15 por hora. Economias de até 71%
  134. 134. Ambientes Dev / Test
  135. 135. Versão de Homologação
  136. 136. Versão Beta / MVP
  137. 137. Arquitetura de Produção 1.0 1 2 3
  138. 138. Arquitetura de Produção 2.0
  139. 139. Arquitetura de Produção 3.0
  140. 140. Arquitetura de Produção 4.0
  141. 141. "Startups are all about focus. AWS enables focus" Ray Bradford, Kleiner Perkins, Caulfield & Byers
  142. 142. Sua aplicação Seu negócio e seu diferencial competitivo Inovação, não gestão de hardware / data centers / software Investir tempo dos profissionais de TI no que importa Automatizar o máximo que puder (Insight profundo: Tempo do Profissional de TI = Muito Dinheiro!) Automação = Foco!
  143. 143. …cresceu para 14 milhões de usuários em menos de um ano …chegou a 150 milhões de fotos e terabytes de dados …1 milhão de usuários em 12 horas após lançar versão Android …mais de 100 milhões de usuários ativos em Janeiro de 2013 na Nuvem da AWS… com 3 engenheiros
  144. 144. Automação Total Controle Total Elastic Beanstalk CloudFormation “Só quero minha aplicação funcionando, com acesso a servidores só se necessário” “Eu quero colocar no controle de versões toda a definição do meu data center” Construa Aplicações, Não Infraestrutura AWS OpsWorks “Quero usar o Chef com simplicidade e orquestração de recipes”
  145. 145. EC2 EBS RDS ELB Upload de sua aplicação Beanstalk faz deploy Você ainda tem controle Elastic Beanstalk
  146. 146. Não construa seu próprio… 1. Disparador de Emails 2. Fila de Mensagens 3. Notificações 4. Transcoding 5. Busca 6. Monitoração 7. Gestão de Workflow …Use serviços prontos quando possível …mas use como serviço Amazon Simple Email Service Amazon Simple Queuing Service Amazon Simple Notification Service Amazon Elastic Transcoder Amazon CloudSearch Amazon CloudWatch Amazon Simple Work Flow
  147. 147. DEMOS!!!
  148. 148. White Papers
  149. 149. Gartner “MagicQuadrant for Cloud Infrastructurea Service,” Lydia Leong, Douglas Toombs, Bob Gill, Gregor Petri, Tiny Hayn, October 18, 2012. This Magic Quadrant graphicwas published by Gartner, Inc. as part of a larger research note and should be evaluated in the context of the entire report.. The Gartner report is availableupon request from Steven Armstrong (asteven@amazon.com). Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings. Gartner research publications consist of the opinions of Gartner's research organizationand should not be construed as statements of fact. Gartnerdisclaims all warranties, expressed or implied, with respect to this research, including any warrantiesof merchantability or fitness for a particular purpose. AWS é considerada a líder em Cloud IaaS segundo o Gartner
  150. 150. 4X Mais Confiável e até 1/4 do Custo de Infra Tradicional http://media.amazonwebservices.com/idc_aws_business_value_report_2012.pdf
  151. 151. Storage custa menos na Nuvem que dentro de casa
  152. 152. Relembrando: Benefícios da Nuvem da AWS Casos de Uso da Nuvem AWS Arquiteturas de Software para o Século XXI
  153. 153. OBRIGADO! awshub.com.br slideshare.net/AmazonWebServicesLATAM Michel Pereira – michelp@amazon.com AWS Solutions Architect
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×