José Papo - @josepapo
Thank you Sponsors!
The Roadshow
Key note - AWS e Parceiros AWS14:00 -
15:30
Break
Key note - AWS e Parceiros AWS
16:00 -
18:00
Apresentacoes e Videos
http://awshub.com.br
Pessoal
e totalmente transferivel
Vamos escrever juntos a historia do Cloud
Computing no Brasil
#awssummit
Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
(e demos!)
Arquiteturas de Software para o
Século XXI ...
Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI
“Todos os mercados estão sendo transformados pela nova onda digital”
http://www.amazon.com.br/Digital-Disruption-Unleashin...
Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
A Nuvem é o alavancador das novas tendências tecnológicas
“Para sobreviver no mercado, empresas precisam
continuamente realocar recursos de processos de
manutenção para processos d...
“Cloud is like a fertilizer that creates Startups”
Eric Ries
“Amazon Web Services is probably the most
important thing that has happened to mobile
and web app developers that the pres...
Acelerando o boom das startups e novos devices
Otimizando as Grandes Corporações
Dezenas de Milhares de Clientes na América Latina
Amazon S3: Mais de 2 Trilhões de Objetos
1.1M
requisições/seg
no pico
Amazon Elastic MapReduce: Clusters criados pelos clientes
5.5 M clusters
desde Maio de 2010
2012
159
2011
82
2010
61
2009
48
2008
24
2007
9 Amazon FPS
Red Hat EC2
SimpleDB
CloudFront
EBS
Availability Zones
Elastic ...
Inovação Técnica rápida
e orientada aos clientes
Jul 28, 2013
Anunciando Amazon SNS for Mobile Push
– 1 milhão de notifica...
Samsung reduziu drasticamente seus custos com a AWS
Economizou $34 Milhões 85% de economia versus modelo tradicional
Desperdício
Clientes
Insatisfeitos
Demanda Atual
Demanda Prevista
Tradicional Cloud
Demanda atual
AWS
Redução de Custos vi...
Redução de Custos via preços baixos
Escala nos permite reduzir
preços continuamente
Estamos acostumados a trabalhar
em um ...
Somos obcecados em ajudar nossos clientes a economizar
Shell usa a AWS para aumentar significativamente sua agilidade
Time Remoto
Time Interno
Recursos Extras
Time de Outsourcing
Aumentando a
agilidade, a TI deixa
de ser vista como…
E passa a ser vista como tendo…
Nasdaq usa AWS para criar um novo serviço para hedge funds
Inovação: Experimentação Rápida com Custo e Risco Baixo
On-Premises
Menos Experimentos
Falhar é caro
Menos Inovação
Experi...
Gartner Magic Quadrant for Cloud Infrastructure as a Service
(August 19, 2013)
Gartner“MagicQuadrant for Cloud Infrastruct...
Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI
Big Data
Analysis of Data Can Transform Society
Create new business
models and improve
organizational
processes.
Enhance scientific...
Democratizing Analytics gets Value out of Big Data
Unlock Value in
Silicon
Support Open
Platforms
Deliver Software Value
Intel at the Intersection of Big Data
Enabling exascale
computing on massive data
sets
Helping enterprises
build open
inte...
Intel at the Heart of the Cloud
Server
Storage
Network
Reinventing Supercomputing
On Demand
Scale-Out Platform Optimizations for Big Data
Cost-effective performance
•Intel® Advanced Vector Extension Technology
•Int...
Power of the Platform built by Intel
Richer
user
experiences
4HRS
50%
Reduction
10MIN
80%
Reduction 50%
Reduction 40%
Redu...
Cloud
Intelligent Systems
Clients
Virtuous Cycle of Data-Driven Experience
BIG DATA
ANALYTICS
ON AWS
franco vieira
LET’S TALK
ABOUT DATA
Data-Obese,
Digital-Fast
DATA SUPPLY CHAIN
BIG
The data is too big, moves
too fast, or doesn’t fit the
strictures of your database
architectures
27 TB per day
Large Hadron Collider – CERN
LET’S TALK
ABOUT TOOLS
Generation
Collection & storage
Analytics & computation
Collaboration & sharing
Generation
Collection & storage
Analytics & computation
Collaboration & sharing
EC2 & S3,
CloudFormation,
Elastic MapReduc...
AMAZON EMR
HADOOP + AWS
What is EMR?
Map-Reduce engine Integrated with tools
Hadoop-as-a-service
Massively parallel
Cost effective AWS wrapper
Int...
2 million+ Hadoop clusters last year
Amazon EMR is the #1 Enterprise Hadoop Solution
AWS is “the most prominent
Hadoop cloud service provider”
and “leads the p...
LET’S TAKE A DIP
HADOOP
HDFS
HIVE
AWS Elastic MapReduce
EMR cluster
Start an EMR
cluster using
console or cli tools
Master instance group
EMR cluster
Master instance
group created that
controls the
cluster
Master instance group
EMR cluster
Core instance group
Core instance
group created for
life of cluster
Master instance group
EMR cluster
Core instance group
HDFS HDFS
Core instances run
DataNode and
TaskTracker
daemons
Master instance group
EMR cluster
Task instance groupCore instance group
HDFS HDFS
Optional task
instances can be
added or...
Master instance group
EMR cluster
Task instance groupCore instance group
HDFS HDFS
Amazon S3
S3 can be used as
underlying ...
Master instance group
EMR cluster
Task instance groupCore instance group
HDFS HDFS
Amazon S3
Master node
coordinates
distr...
Master instance group
EMR cluster
Task instance groupCore instance group
HDFS HDFS
Amazon S3
Core and Task
instances read-...
Working with EMR
THE BIGGER
THE BETTER
PETABYTES AND EVEN EXABYTES
GIGABYTES AND TERABYTES
MEGABYTES
KILOBYTES
Amazon Redshift
Design Objectives
A petabyte-scale data warehouse service that was…
Amazon
Redshift
A Whole Lot Simpler
A Lot Cheaper
A Lo...
Redshift Dramatically Reduces I/O
• Direct-attached storage
• Large data block sizes
• Columnar storage
• Data compression...
Redshift Runs on Optimized Hardware
• Optimized for I/O intensive workloads
• HS1.8XL available on Amazon EC2
• Runs in HP...
Redshift Parallelizes and Distributes Everything
Load
Query
Resize
Backup
Restore
10 GigE
(HPC)
Ingestion
Backup
Restore
J...
Resize your cluster while remaining online
New target provisioned in the background
Only charged for source cluster
Resize your cluster while remaining online
• Fully automated
 Data automatically redistributed
• Read only mode during re...
Amazon Redshift has security built-in
• SSL to secure data in transit
• Encryption to secure data at rest
 AES-256; hardw...
Continuous Backup, Automated Recovery
• Replication within the cluster and backup to Amazon S3 to
maintain multiple copies...
Redshift is Priced to Analyze All Your Data
$0.85 per hour for on-demand (2TB)
$999 per TB per year (3-yr reservation)
CASE STUDY
HAPYRUS
Data
TSV files, gzip compressed
Imp_log
1) 300GB / 300M record
2) 1.2TB / 1.2B record
date datetime
publisher_id integer
a...
Sample Query
select
ac.ad_campaign_id as ad_campaign_id,
adv.advertiser_id as advertiser_id,
cs.spending as spending,
ims....
1. Query Speed
• Redshift takes 155
seconds to complete
our query for 1.2TB
• Hadoop takes 1491
seconds to complete
our qu...
2. Total Cost
• Redshift costs $20 per
month to run queries
every 30 minutes
• Hadoop costs $210 per
month to run queries
...
Redshift Query Result
Data Size Instance Type
Number of
Instances
Trial
Processing
Time
Average
Server Cost Per
Day
300GB ...
Hadoop Query Result
Data Size Instance Type
Instance
Number
Processing
Time
Server Cost Per
Day
300GB
c1.xlarge 1 1h 23m 2...
Elastic MapReduce
and/or
Redshift
• Used by analysts and data scientists to explore raw data before some, all, or none of it is added to the
data warehouse
...
Structured Data and Redshift
reporting
warehouse
RDS
(Relational)
Data
Pipeline
Redshift
OLTP
ERP
Reporting and
BI
S3
Structured Data and Redshift
live
archive
DynamoDB
(NoSQL)
Redshift
OLTP
Web Apps
Reporting and
BI
Data
Pipeline
Unstructured Data and Redshift
transform
and enrich
S3 S3
EMR
Redshift
logs / files
Data
Pipeline
Reporting and
BI
explora...
AWS Big Data Overview
Redshift
CRM
ERP
Billing
OLTP
Web Apps
Business Apps
Reporting
and BI
Dashboarding
Ad Hoc
Analysis
R...
Obtenha 600 Horas Gratuitas
de Tempo de Supercomputação!
Passe no Stand da
Intel para obter as 600
horas de computação
www...
Segurança
Construída com altos padrões de segurança
Infraestrutura de Segurança AWS
SOC 1/SSAE 16/ISAE 3402,
ISO 27001, PCI DSS, HIP...
Infraestrutura Global
US West
(Northern
California)
US East
(Northern
Virginia)
EU
(Ireland)
Asia
Pacific
(Singapore)
Asia...
Regiões da AWS e Zonas de Disponibilidade
Cliente pode decidir onde suas aplicações e dados residem
Amazon VPC
Região AWS
Subrede pública
Subrede
privada
Data
Center
Matriz
Zona de Disponibilidade 1
Zona de disponibilidade...
Aberta, flexível e suportada pelos principais fornecedores
Sistemas Operacionais Linguagens e Bibliotecas Aplicações Certi...
Android iOS Java nodeJS .NET PHP Python Ruby
Rico conjunto de APIs e kits de dev para as principais linguagens e plataform...
Aplicações Corporativas
Economia com SAP na Nuvem da AWS de até 69%
May 2012 “TCO Study for SAP on Amazon Web Services”
Economia com SAP na Nuvem da AWS de até 69%
May 2012 “TCO Study for SAP on Amazon Web Services”
Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI (e demos!)
Com AWS, cresça de um servidor
…para milhares
Totalmente automatizado!
Além de escalabilidade nos servidores você pode
Adicionar bilhões de objetos com o Amazon S3
Selecionar a performance dese...
‘Cost Aware Architecture’
…ao utilizar:Reduza Custo de
Compute
1. S3/CloudFront para Otimização de conteúdo estático
2. Lo...
O que isso significa em termos de custos?
Um Exemplo
Mês
Instancias EC2 Medium 1 $ 121
CloudFront Data Transfer Out 1Tb $ ...
• A uMov.me S/A é uma empresa focada
exclusivamente em mobilidade e fornece a
melhor e mais completa solução para o
mercad...
O Desafio
•
• Estabilidade;
• Qualidade no suporte;
• Desempenho de banco de dados;
• Limitações de recursos de infraestru...
PARAGRAFO RESUMO
CASO _ KEY WORDS
de BENEFICIO,
DESAFIO VENCIDO –
RESUMO DO CASO EM
UM PARAGRAFO
Para quedas
Responder a f...
PARAGRAFO RESUMO
CASO _ KEY WORDS
de BENEFICIO,
DESAFIO VENCIDO –
RESUMO DO CASO EM
UM PARAGRAFO
Mudanças …
Adaptações ......
PARAGRAFO RESUMO
CASO _ KEY WORDS
de BENEFICIO,
DESAFIO VENCIDO –
RESUMO DO CASO EM
UM PARAGRAFO
Para crescer do dia para ...
PARAGRAFO RESUMO
CASO _ KEY WORDS
de BENEFICIO,
DESAFIO VENCIDO –
RESUMO DO CASO EM
UM PARAGRAFO
# Erros … próprios e dos ...
PARAGRAFO RESUMO
CASO _ KEY WORDS
de BENEFICIO,
DESAFIO VENCIDO –
RESUMO DO CASO EM
UM PARAGRAFO
# DevOps :-)
# Automação
...
Volume de Storage no S3
Números de Horas de Servidores EC2
Fevereiro de 2013
48,7 milhões de usuários
Levantou $338M de capital
Valuation de $2.5B
Web Application
Servers
Sharded Database
Cache Servers
Internal
Web Services
File Storage
Servidores de Aplicação Python
150 instancias EC2 High-CPU
Web Application
Servers
Sharded Database
Cache Servers
Internal...
Web Services em Python
35 instancias EC2 High-CPU
Web Application
Servers
Sharded Database
Cache Servers
Internal
Web Serv...
Caches Memcache e Redis
90 instancias EC2 High-Memory
Web Application
Servers
Sharded Database
Cache Servers
Internal
Web ...
Servidores de Bancos de Dados MySQL
70 Pares Master/Slave
Web Application
Servers
Sharded Database
Cache Servers
Internal
...
Srorage no Amazon S3
8 Bilhões de Objetos • 410 Terabytes
Web Application
Servers
Sharded Database
Cache Servers
Internal
...
Serviços Auxiliares
60 Instancias EC2
Development
Logging
Operational Tools
Asynchronous
Task Workers
Search
Data Analysis...
• Maior parte do tráfego acontece à tarde e no início da noite, portanto reduzem o número
de servidores durante a madrugad...
Ambientes Dev / Test
Versão de Homologação
Versão Beta / MVP
Arquitetura de
Produção 1.0
1
2
3
Arquitetura de
Produção 2.0
Arquitetura de
Produção 3.0
Arquitetura de
Produção 4.0
"Startups are all about focus. AWS enables focus"
Ray Bradford, Kleiner Perkins, Caulfield & Byers
Sua aplicação
Seu negócio e seu diferencial competitivo
Inovação, não gestão de hardware / data centers / software
Investi...
…cresceu para 14 milhões de usuários em menos de um ano
…chegou a 150 milhões de fotos e terabytes de dados
…1 milhão de u...
Automação
Total
Controle
Total
Elastic
Beanstalk
CloudFormation
“Só quero minha
aplicação funcionando,
com acesso a servid...
EC2 EBS
RDS ELB
Upload de sua aplicação Beanstalk faz deploy Você ainda tem controle
Elastic Beanstalk
Não construa seu próprio…
1. Disparador de Emails
2. Fila de Mensagens
3. Notificações
4. Transcoding
5. Busca
6. Monitora...
DEMOS!!!
White Papers
Gartner “MagicQuadrant for Cloud Infrastructurea Service,” Lydia Leong, Douglas Toombs, Bob Gill, Gregor Petri, Tiny Hayn,...
4X Mais Confiável e até 1/4 do Custo de Infra Tradicional
http://media.amazonwebservices.com/idc_aws_business_value_report...
Storage custa menos na Nuvem que dentro de casa
Relembrando:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI
OBRIGADO!
awshub.com.br
slideshare.net/AmazonWebServicesLATAM
José Papo
AWS Tech Evangelist
@josepapo
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
Keynote AWS RoadShow Porto Alegre 2013
Upcoming SlideShare
Loading in...5
×

Keynote AWS RoadShow Porto Alegre 2013

1,778

Published on

Keynote AWS RoadShow Porto Alegre 2013

Published in: Technology, Business
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,778
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
30
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Keynote AWS RoadShow Porto Alegre 2013

  1. 1. José Papo - @josepapo
  2. 2. Thank you Sponsors!
  3. 3. The Roadshow Key note - AWS e Parceiros AWS14:00 - 15:30 Break Key note - AWS e Parceiros AWS 16:00 - 18:00
  4. 4. Apresentacoes e Videos http://awshub.com.br Pessoal e totalmente transferivel
  5. 5. Vamos escrever juntos a historia do Cloud Computing no Brasil
  6. 6. #awssummit
  7. 7. Resumo do Dia: Benefícios da Nuvem da AWS Casos de Uso da Nuvem AWS (e demos!) Arquiteturas de Software para o Século XXI (e demos!)
  8. 8. Resumo do Dia: Benefícios da Nuvem da AWS Casos de Uso da Nuvem AWS Arquiteturas de Software para o Século XXI
  9. 9. “Todos os mercados estão sendo transformados pela nova onda digital” http://www.amazon.com.br/Digital-Disruption-Unleashing-Innovation-ebook/dp/B009L7QD1S/
  10. 10. Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
  11. 11. Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
  12. 12. Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends
  13. 13. A Nuvem é o alavancador das novas tendências tecnológicas
  14. 14. “Para sobreviver no mercado, empresas precisam continuamente realocar recursos de processos de manutenção para processos de inovação.”
  15. 15. “Cloud is like a fertilizer that creates Startups” Eric Ries
  16. 16. “Amazon Web Services is probably the most important thing that has happened to mobile and web app developers that the press just misses. Jeff Bezos has accidentally or maybe on purpose powered a whole generation of applications.” Steve Blank
  17. 17. Acelerando o boom das startups e novos devices
  18. 18. Otimizando as Grandes Corporações
  19. 19. Dezenas de Milhares de Clientes na América Latina
  20. 20. Amazon S3: Mais de 2 Trilhões de Objetos 1.1M requisições/seg no pico
  21. 21. Amazon Elastic MapReduce: Clusters criados pelos clientes 5.5 M clusters desde Maio de 2010
  22. 22. 2012 159 2011 82 2010 61 2009 48 2008 24 2007 9 Amazon FPS Red Hat EC2 SimpleDB CloudFront EBS Availability Zones Elastic IPs Relational Database Service Virtual Private Cloud Elastic Map Reduce Auto Scaling Reserved Instances Elastic Load Balancer Simple Notification Service Route 53 RDS Multi-AZ Singapore Region Identity Access Management Elastic Beanstalk Simple Email Service CloudFormation RDS for Oracle ElastiCache DynamoDB Simple Workflow CloudSearch Storage Gateway Mais de 125 anúncios já feitos em 2013
  23. 23. Inovação Técnica rápida e orientada aos clientes Jul 28, 2013 Anunciando Amazon SNS for Mobile Push – 1 milhão de notificações gratuitas por mês e $1,00 para cada milhão adicional Mar 11, 2013 Anunciando AWS Elastic Beanstalk para Node.js Feb 18, 2013 Anunciando AWS OpsWorks Jan 28, 2013 Anunciando Amazon Elastic Transcoder “Queria muito enviar notificações push para apps móveis de forma simples e barata” “Seria tão bom se no Beanstalk eu pudesse usar Node.js!” “É difícil gerenciar minhas Chef recipes” “Seria bom se a AWS deixasse o processo de Transcoding mais fácil”
  24. 24. Samsung reduziu drasticamente seus custos com a AWS Economizou $34 Milhões 85% de economia versus modelo tradicional
  25. 25. Desperdício Clientes Insatisfeitos Demanda Atual Demanda Prevista Tradicional Cloud Demanda atual AWS Redução de Custos via Elasticidade
  26. 26. Redução de Custos via preços baixos Escala nos permite reduzir preços continuamente Estamos acostumados a trabalhar em um negócio de altos volumes e baixas margens Nós sempre passamos nossas economias de escala a nossos clientes 37 Reduções de preços
  27. 27. Somos obcecados em ajudar nossos clientes a economizar
  28. 28. Shell usa a AWS para aumentar significativamente sua agilidade Time Remoto Time Interno Recursos Extras Time de Outsourcing
  29. 29. Aumentando a agilidade, a TI deixa de ser vista como…
  30. 30. E passa a ser vista como tendo…
  31. 31. Nasdaq usa AWS para criar um novo serviço para hedge funds
  32. 32. Inovação: Experimentação Rápida com Custo e Risco Baixo On-Premises Menos Experimentos Falhar é caro Menos Inovação Experimenta mais Falha rápido com custo baixo Mais Inovação $ Milhões Centenas ou Milhares
  33. 33. Gartner Magic Quadrant for Cloud Infrastructure as a Service (August 19, 2013) Gartner“MagicQuadrant for Cloud Infrastructureas a Service,” Lydia Leong, Douglas Toombs, Bob Gill, GregorPetri, Tiny Haynes, August 19, 2013. This MagicQuadrant graphicwas published by Gartner, Inc. as part of a larger research note and should be evaluated in the context of theentire report.. The Gartner report is availableupon request from Steven Armstrong (asteven@amazon.com). Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings. Gartner research publications consist of the opinions of Gartner'sresearch organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantabilityor fitness for a particularpurpose.
  34. 34. Resumo do Dia: Benefícios da Nuvem da AWS Casos de Uso da Nuvem AWS Arquiteturas de Software para o Século XXI
  35. 35. Big Data
  36. 36. Analysis of Data Can Transform Society Create new business models and improve organizational processes. Enhance scientific understanding, drive innovation, and accelerate medical cures. Increase public safety and improve energy efficiency with smart grids.
  37. 37. Democratizing Analytics gets Value out of Big Data Unlock Value in Silicon Support Open Platforms Deliver Software Value
  38. 38. Intel at the Intersection of Big Data Enabling exascale computing on massive data sets Helping enterprises build open interoperable clouds Contributing code and fostering ecosystem HPC Cloud Open Source
  39. 39. Intel at the Heart of the Cloud Server Storage Network
  40. 40. Reinventing Supercomputing On Demand
  41. 41. Scale-Out Platform Optimizations for Big Data Cost-effective performance •Intel® Advanced Vector Extension Technology •Intel® Turbo Boost Technology 2.0 •Intel® Advanced Encryption Standard New Instructions Technology
  42. 42. Power of the Platform built by Intel Richer user experiences 4HRS 50% Reduction 10MIN 80% Reduction 50% Reduction 40% Reduction TeraSort for 1TB sort Intel® Xeon® Processor E5 2600 Solid-State Drive 10G Ethernet Intel® Apache Hadoop Previous Intel® Xeon® Processor
  43. 43. Cloud Intelligent Systems Clients Virtuous Cycle of Data-Driven Experience
  44. 44. BIG DATA ANALYTICS ON AWS franco vieira
  45. 45. LET’S TALK ABOUT DATA
  46. 46. Data-Obese, Digital-Fast
  47. 47. DATA SUPPLY CHAIN
  48. 48. BIG
  49. 49. The data is too big, moves too fast, or doesn’t fit the strictures of your database architectures
  50. 50. 27 TB per day Large Hadron Collider – CERN
  51. 51. LET’S TALK ABOUT TOOLS
  52. 52. Generation Collection & storage Analytics & computation Collaboration & sharing
  53. 53. Generation Collection & storage Analytics & computation Collaboration & sharing EC2 & S3, CloudFormation, Elastic MapReduce, RDS, DynamoDB, Redshift EC2, Elastic MapReduce & Redshift S3, Glacier, Storage Gateway, DynamoDB, Redshift, RDS, HBase AWS Data Pipeline
  54. 54. AMAZON EMR HADOOP + AWS
  55. 55. What is EMR? Map-Reduce engine Integrated with tools Hadoop-as-a-service Massively parallel Cost effective AWS wrapper Integrated to AWS services
  56. 56. 2 million+ Hadoop clusters last year
  57. 57. Amazon EMR is the #1 Enterprise Hadoop Solution AWS is “the most prominent Hadoop cloud service provider” and “leads the pack (of Leaders) due to its proven, feature-rich Elastic MapReduce service…” -The Forrester Wave™: Enterprise Hadoop Solutions Q1 2012
  58. 58. LET’S TAKE A DIP
  59. 59. HADOOP HDFS
  60. 60. HIVE
  61. 61. AWS Elastic MapReduce
  62. 62. EMR cluster Start an EMR cluster using console or cli tools
  63. 63. Master instance group EMR cluster Master instance group created that controls the cluster
  64. 64. Master instance group EMR cluster Core instance group Core instance group created for life of cluster
  65. 65. Master instance group EMR cluster Core instance group HDFS HDFS Core instances run DataNode and TaskTracker daemons
  66. 66. Master instance group EMR cluster Task instance groupCore instance group HDFS HDFS Optional task instances can be added or subtracted to perform work
  67. 67. Master instance group EMR cluster Task instance groupCore instance group HDFS HDFS Amazon S3 S3 can be used as underlying ‘file system’ for input/output data
  68. 68. Master instance group EMR cluster Task instance groupCore instance group HDFS HDFS Amazon S3 Master node coordinates distribution of work and manages cluster state
  69. 69. Master instance group EMR cluster Task instance groupCore instance group HDFS HDFS Amazon S3 Core and Task instances read- write to S3
  70. 70. Working with EMR
  71. 71. THE BIGGER THE BETTER
  72. 72. PETABYTES AND EVEN EXABYTES GIGABYTES AND TERABYTES MEGABYTES KILOBYTES
  73. 73. Amazon Redshift
  74. 74. Design Objectives A petabyte-scale data warehouse service that was… Amazon Redshift A Whole Lot Simpler A Lot Cheaper A Lot Faster
  75. 75. Redshift Dramatically Reduces I/O • Direct-attached storage • Large data block sizes • Columnar storage • Data compression • Zone maps Id Age State 123 20 CA 345 25 WA 678 40 FL Row storage Column storage
  76. 76. Redshift Runs on Optimized Hardware • Optimized for I/O intensive workloads • HS1.8XL available on Amazon EC2 • Runs in HPC - fast network • High disk density HS1.8XL: 128GB RAM, 16 Cores, 24 Spindles, 16TB Storage, 2GB/sec scan rate HS1.XL: 16GB RAM, 2 Cores, 3 Spindles, 2TB Storage Click to grow …to 1.6PB
  77. 77. Redshift Parallelizes and Distributes Everything Load Query Resize Backup Restore 10 GigE (HPC) Ingestion Backup Restore JDBC/ODBC
  78. 78. Resize your cluster while remaining online New target provisioned in the background Only charged for source cluster
  79. 79. Resize your cluster while remaining online • Fully automated  Data automatically redistributed • Read only mode during resize • Parallel node-to-node data copy • Automatic DNS-based endpoint cut-over • Only charged for one cluster
  80. 80. Amazon Redshift has security built-in • SSL to secure data in transit • Encryption to secure data at rest  AES-256; hardware accelerated  All blocks on disks and in Amazon S3 encrypted • No direct access to compute nodes • Amazon VPC support 10 GigE (HPC) Ingestion Backup Restore Customer VPC Internal VPC JDBC/ODBC
  81. 81. Continuous Backup, Automated Recovery • Replication within the cluster and backup to Amazon S3 to maintain multiple copies of data at all times • Backups to Amazon S3 are continuous, automatic, and incremental  Designed for 99.999999999% durability • Continuous monitoring and automated recovery from failures of drives and nodes • Able to restore snapshots to any Availability Zone within a region
  82. 82. Redshift is Priced to Analyze All Your Data $0.85 per hour for on-demand (2TB) $999 per TB per year (3-yr reservation)
  83. 83. CASE STUDY HAPYRUS
  84. 84. Data TSV files, gzip compressed Imp_log 1) 300GB / 300M record 2) 1.2TB / 1.2B record date datetime publisher_id integer ad_campaign_id integer bid_price real country varchar(30) attr1-4 varchar(255) click_log 1) 1.4GB / 1.5M record 2) 5.6GB / 6M record date datetime publisher_id integer ad_campaign_id integer country varchar(30) attr1-4 varchar(255) 1) for 1 month 2) for 4 months ad_campaign 100MB / 100k record publisher 10MB / 10k record advertiser 10MB / 10k record We use 5 tables to run a query which join tables and creates a report.
  85. 85. Sample Query select ac.ad_campaign_id as ad_campaign_id, adv.advertiser_id as advertiser_id, cs.spending as spending, ims.imp_total as imp_total, cs.click_total as click_total, click_total/imp_total as CTR, spending/click_total as CPC, spending/(imp_total/1000) as CPM from ad_campaigns ac join advertisers adv on (ac.advertiser_id = adv.advertiser_id) join (select il.ad_campaign_id, count(*) as imp_total from imp_logs il group by il.ad_campaign_id ) ims on (ims.ad_campaign_id = ac.ad_campaign_id) join (select cl.ad_campaign_id, sum(cl.bid_price) as spending, count(*) as click_total from click_logs cl group by cl.ad_campaign_id ) cs on (cs.ad_campaign_id = ac.ad_campaign_id); The query generates a basic report for ad campaigns performance, imp, click numbers, advertiser spending, CTR, CPC and CPM.
  86. 86. 1. Query Speed • Redshift takes 155 seconds to complete our query for 1.2TB • Hadoop takes 1491 seconds to complete our query for 1.2TB • Redshift is about 10 times faster than Hadoop for this query Here, we are comparing Hadoop and Redshift servers of the same cost. (Hadoop: c1.xlarge vs Redshift: dw.hs1.xlarge). 0 500 1000 1500 2000 300GB 1.2TB ProcessingTime(seconds) Data Size Query Speed Redshift 672sec 38sec 155sec 1491sec * The query used can be referenced in our Appendix
  87. 87. 2. Total Cost • Redshift costs $20 per month to run queries every 30 minutes • Hadoop costs $210 per month to run queries every 30 minutes • Redshift is about 10 times cheaper than Hadoop to run this job Here, we are comparing Hadoop and Redshift servers running the same query for the same duration of time. $0 $50 $100 $150 $200 $250 $300 $350 $400 0 50 100 150 200 250 CostPerDay(US$) Query Per Day Cost Per Day (query for 300GB data size) Redshift Hadoop
  88. 88. Redshift Query Result Data Size Instance Type Number of Instances Trial Processing Time Average Server Cost Per Day 300GB dw.hs1.xlarge 1 1 58s 38s $20.40 2 43s 3 31s 4 30s 5 30s 1.2TB dw.hs1.xlarge 1 1 164s 155s $20.40 2 149s 3 158s 4 156s 5 150s
  89. 89. Hadoop Query Result Data Size Instance Type Instance Number Processing Time Server Cost Per Day 300GB c1.xlarge 1 1h 23m 2s $0.80 c1.medium 10 37m 48s $0.89 c1.xlarge 10 11m 12s $1.06 1.2TB m1.xlarge 1 6h 43m 24s $3.22 c1.medium 4 5h 14m 0s $3.04 c1.xlarge 10 37m 7s $3.58 c1.xlarge 20 24m 51s $4.64
  90. 90. Elastic MapReduce and/or Redshift
  91. 91. • Used by analysts and data scientists to explore raw data before some, all, or none of it is added to the data warehouse • Structured OR Unstructured Data EMR for Exploratory Analytics analytic sandbox All data fed into EMR data store EMR Exploratory Analytic Environment
  92. 92. Structured Data and Redshift reporting warehouse RDS (Relational) Data Pipeline Redshift OLTP ERP Reporting and BI S3
  93. 93. Structured Data and Redshift live archive DynamoDB (NoSQL) Redshift OLTP Web Apps Reporting and BI Data Pipeline
  94. 94. Unstructured Data and Redshift transform and enrich S3 S3 EMR Redshift logs / files Data Pipeline Reporting and BI exploratory analytics
  95. 95. AWS Big Data Overview Redshift CRM ERP Billing OLTP Web Apps Business Apps Reporting and BI Dashboarding Ad Hoc Analysis RDS DynamoDB S3 EBS EMR Data Pipeline
  96. 96. Obtenha 600 Horas Gratuitas de Tempo de Supercomputação! Passe no Stand da Intel para obter as 600 horas de computação www.powerof60.com
  97. 97. Segurança
  98. 98. Construída com altos padrões de segurança Infraestrutura de Segurança AWS SOC 1/SSAE 16/ISAE 3402, ISO 27001, PCI DSS, HIPAA, ITAR, FISMA Moderate, FIPS 140-2, FedRAMP Suas Apps
  99. 99. Infraestrutura Global US West (Northern California) US East (Northern Virginia) EU (Ireland) Asia Pacific (Singapore) Asia Pacific (Tokyo) Regiões AWS Pontos Edge AWS GovCloud (US ITAR Region) US West (Oregon) South America (Sao Paulo) Asia Pacific (Australia)
  100. 100. Regiões da AWS e Zonas de Disponibilidade Cliente pode decidir onde suas aplicações e dados residem
  101. 101. Amazon VPC Região AWS Subrede pública Subrede privada Data Center Matriz Zona de Disponibilidade 1 Zona de disponibilidade 2 Subsidiárias VPN GatewayGateway Internet Gateway Amazon S3 Amazon SimpleDB Amazon SES Amazon SQS “Nuvem Privada não precisa ser dentro de casa” - Gartner 10G Arquitetura Híbrida com a AWS Link Dedicado
  102. 102. Aberta, flexível e suportada pelos principais fornecedores Sistemas Operacionais Linguagens e Bibliotecas Aplicações Certificadas
  103. 103. Android iOS Java nodeJS .NET PHP Python Ruby Rico conjunto de APIs e kits de dev para as principais linguagens e plataformas E ferramentas e plugins integrados ao seu ambiente de desenvolvimento Eclipse Visual Studio CLI Powershell Suporte a muitas linguagens e ferramentas
  104. 104. Aplicações Corporativas
  105. 105. Economia com SAP na Nuvem da AWS de até 69% May 2012 “TCO Study for SAP on Amazon Web Services”
  106. 106. Economia com SAP na Nuvem da AWS de até 69% May 2012 “TCO Study for SAP on Amazon Web Services”
  107. 107. Resumo do Dia: Benefícios da Nuvem da AWS Casos de Uso da Nuvem AWS Arquiteturas de Software para o Século XXI (e demos!)
  108. 108. Com AWS, cresça de um servidor
  109. 109. …para milhares Totalmente automatizado!
  110. 110. Além de escalabilidade nos servidores você pode Adicionar bilhões de objetos com o Amazon S3 Selecionar a performance desejada nos bancos de dados Processar e analisar petabytes de dados facilmente
  111. 111. ‘Cost Aware Architecture’ …ao utilizar:Reduza Custo de Compute 1. S3/CloudFront para Otimização de conteúdo estático 2. Load Balancing e Auto-Scaling desde o início Storage 4. Armazenar objetos derivados no S3 ‘Reduced Redundancy’ e usar Glacier sempre que possível Banco de Dados 5. Read Replicas e/ou ElastiCache para performance e redução de custos dos bancos de dados Dev & Test 6. Ambientes Dev/Test/CI criados/desligados sob demanda 3. Modelos de Preços On-Demand, Reservado e Spot 7. A/B Testing e Testes de Carga mais baratos
  112. 112. O que isso significa em termos de custos? Um Exemplo Mês Instancias EC2 Medium 1 $ 121 CloudFront Data Transfer Out 1Tb $ 168 Requisições CloudFront $1.89 TOTAL $ 291 Mês Instancias EC2 Medium 4 $ 485 AWS Data Transfer Out 1Tb $ 194 TOTAL $ 679 Arquitetura Usual Arquitetura Otimizada Custo 57% menor - Até 6 x mais rápido
  113. 113. • A uMov.me S/A é uma empresa focada exclusivamente em mobilidade e fornece a melhor e mais completa solução para o mercado corporativo. • Com mais de 10 mil usuários, mais de uma centena de empresas clientes, milhões de operações de campo e mais de 50 parceiros no Brasil e em outros 5 países, em 2013 a uMov.me passou a ter a TOTVS VENTURES como parceira, através de investimentos da TOTVS Ventures. “Alcançamos mais estabilidade e confiança. Agora temos escalabilidade na ponta dos dedos”. “Encontramos na AWS o parceiro ideal para suportar nossas necessidades de infraestrutura” - Daniel Wildt
  114. 114. O Desafio • • Estabilidade; • Qualidade no suporte; • Desempenho de banco de dados; • Limitações de recursos de infraestrutura;
  115. 115. PARAGRAFO RESUMO CASO _ KEY WORDS de BENEFICIO, DESAFIO VENCIDO – RESUMO DO CASO EM UM PARAGRAFO Para quedas Responder a falhas Esteja Preparado …
  116. 116. PARAGRAFO RESUMO CASO _ KEY WORDS de BENEFICIO, DESAFIO VENCIDO – RESUMO DO CASO EM UM PARAGRAFO Mudanças … Adaptações ... Esteja Preparado …
  117. 117. PARAGRAFO RESUMO CASO _ KEY WORDS de BENEFICIO, DESAFIO VENCIDO – RESUMO DO CASO EM UM PARAGRAFO Para crescer do dia para noite; Esteja Preparado …
  118. 118. PARAGRAFO RESUMO CASO _ KEY WORDS de BENEFICIO, DESAFIO VENCIDO – RESUMO DO CASO EM UM PARAGRAFO # Erros … próprios e dos outros! … mas garanta que eles não se repitam!!!!! # PDCL … Plan - Do - Check - Learn Aprenda … CONTINUAMENTE
  119. 119. PARAGRAFO RESUMO CASO _ KEY WORDS de BENEFICIO, DESAFIO VENCIDO – RESUMO DO CASO EM UM PARAGRAFO # DevOps :-) # Automação # Monitoramento Cultura ...
  120. 120. Volume de Storage no S3
  121. 121. Números de Horas de Servidores EC2
  122. 122. Fevereiro de 2013 48,7 milhões de usuários Levantou $338M de capital Valuation de $2.5B
  123. 123. Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  124. 124. Servidores de Aplicação Python 150 instancias EC2 High-CPU Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  125. 125. Web Services em Python 35 instancias EC2 High-CPU Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  126. 126. Caches Memcache e Redis 90 instancias EC2 High-Memory Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  127. 127. Servidores de Bancos de Dados MySQL 70 Pares Master/Slave Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  128. 128. Srorage no Amazon S3 8 Bilhões de Objetos • 410 Terabytes Web Application Servers Sharded Database Cache Servers Internal Web Services File Storage
  129. 129. Serviços Auxiliares 60 Instancias EC2 Development Logging Operational Tools Asynchronous Task Workers Search Data Analysis Elastic MapReduce Continuous Integration
  130. 130. • Maior parte do tráfego acontece à tarde e no início da noite, portanto reduzem o número de servidores durante a madrugada em 40%. • No pico gastam $52 por hora com EC2 e à noite, for a do pico, o gasto é de $15 por hora. Economias de até 71%
  131. 131. Ambientes Dev / Test
  132. 132. Versão de Homologação
  133. 133. Versão Beta / MVP
  134. 134. Arquitetura de Produção 1.0 1 2 3
  135. 135. Arquitetura de Produção 2.0
  136. 136. Arquitetura de Produção 3.0
  137. 137. Arquitetura de Produção 4.0
  138. 138. "Startups are all about focus. AWS enables focus" Ray Bradford, Kleiner Perkins, Caulfield & Byers
  139. 139. Sua aplicação Seu negócio e seu diferencial competitivo Inovação, não gestão de hardware / data centers / software Investir tempo dos profissionais de TI no que importa Automatizar o máximo que puder (Insight profundo: Tempo do Profissional de TI = Muito Dinheiro!) Automação = Foco!
  140. 140. …cresceu para 14 milhões de usuários em menos de um ano …chegou a 150 milhões de fotos e terabytes de dados …1 milhão de usuários em 12 horas após lançar versão Android …mais de 100 milhões de usuários ativos em Janeiro de 2013 na Nuvem da AWS… com 3 engenheiros
  141. 141. Automação Total Controle Total Elastic Beanstalk CloudFormation “Só quero minha aplicação funcionando, com acesso a servidores só se necessário” “Eu quero colocar no controle de versões toda a definição do meu data center” Construa Aplicações, Não Infraestrutura AWS OpsWorks “Quero usar o Chef com simplicidade e orquestração de recipes”
  142. 142. EC2 EBS RDS ELB Upload de sua aplicação Beanstalk faz deploy Você ainda tem controle Elastic Beanstalk
  143. 143. Não construa seu próprio… 1. Disparador de Emails 2. Fila de Mensagens 3. Notificações 4. Transcoding 5. Busca 6. Monitoração 7. Gestão de Workflow …Use serviços prontos quando possível …mas use como serviço Amazon Simple Email Service Amazon Simple Queuing Service Amazon Simple Notification Service Amazon Elastic Transcoder Amazon CloudSearch Amazon CloudWatch Amazon Simple Work Flow
  144. 144. DEMOS!!!
  145. 145. White Papers
  146. 146. Gartner “MagicQuadrant for Cloud Infrastructurea Service,” Lydia Leong, Douglas Toombs, Bob Gill, Gregor Petri, Tiny Hayn, October 18, 2012. This Magic Quadrant graphicwas published by Gartner, Inc. as part of a larger research note and should be evaluated in the context of the entire report.. The Gartner report is availableupon request from Steven Armstrong (asteven@amazon.com). Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings. Gartner research publications consist of the opinions of Gartner's research organizationand should not be construed as statements of fact. Gartnerdisclaims all warranties, expressed or implied, with respect to this research, including any warrantiesof merchantability or fitness for a particular purpose. AWS é considerada a líder em Cloud IaaS segundo o Gartner
  147. 147. 4X Mais Confiável e até 1/4 do Custo de Infra Tradicional http://media.amazonwebservices.com/idc_aws_business_value_report_2012.pdf
  148. 148. Storage custa menos na Nuvem que dentro de casa
  149. 149. Relembrando: Benefícios da Nuvem da AWS Casos de Uso da Nuvem AWS Arquiteturas de Software para o Século XXI
  150. 150. OBRIGADO! awshub.com.br slideshare.net/AmazonWebServicesLATAM José Papo AWS Tech Evangelist @josepapo
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×