Apresentacao do estudo de caso AWS do cliente Chaordic Systems

851 views

Published on

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
851
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
11
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Apresentacao do estudo de caso AWS do cliente Chaordic Systems

  1. 1. We Recommend10/25/2011
  2. 2. Construindo um avião na nuvem em pleno vôo10/25/2011
  3. 3. A Chaordic Desafios Próximos minutos Evoluções Futuro Conclusões10/25/2011
  4. 4. A Chaordic Desde 2009 desenvolve solução de personalização; Nascida a partir do Netflix prize; Sediada em Florianópolis; Escritório em São Paulo;10/25/2011
  5. 5. Quem somos ...10/25/2011
  6. 6. ... no dia a dia10/25/2011
  7. 7. Nossos produtos - OnSite10/25/2011
  8. 8. Nossos produtos - Mail10/25/2011
  9. 9. Visão Geral Lógica10/25/2011
  10. 10. RecSys + Big Data Operar nos TOP ecommerces do país Alta Disponibilidade Escalabilidade DesempenhoDesafios 100% do conteúdo provido é dinâmico 10/25/2011
  11. 11. ~5 TB de BD; Mais de 1 Bi requisições/mês na API; 67 mil RPM - Última Black Friday; Alguns 4 milhões de produtos;Números 34 milhões de recomendações geradas/dia; 27 milhões de usuários; 250GB de JS comprimidos servidos/dia; 10/25/2011
  12. 12. Requisições x Mês - 201110/25/2011
  13. 13. Arquitetura Primórdio10/25/2011
  14. 14. Pangeia ~2,5 anos atrás; Em negociações com a Saraiva; Tomcat6, MySQL5.1 = 1 instância c1.xlarge; Sem Alta Disponibilidade, Escalabilidade; Suporte a SSL, Desempenho aceitável; Snapshots diários como forma de backup;Primórdio 10/25/2011
  15. 15. Primórdio 14GB BD; Evolução 15 milhões acessos/mês; Núm. 1,8 mil RPM; 1 instância; Primórdio10/25/2011
  16. 16. Evolução - Arquitetura 1a Etapa10/25/2011
  17. 17. Começo da separação ~2 anos atrás; No ar com a Saraiva; Tomcat6 + EhCache = Aumento Desempenho; MySQL dedicado e Data Files no disco efêmero; Monitoração com Monit e notificação via Pingdom; Evolução Snapshots + Data Files no S3 diários para bkp;1a Etapa 10/25/2011
  18. 18. Tuning JVM; Ambiente não suporta grandes paralisações; Alterado GC para UseConcMarkSweepGC; Menos tempo em GC, menos FullGC; Evolução Maior desempenho da JVM;1a Etapa 10/25/2011
  19. 19. Evolução - 1a Etapa 23GB BD; Evolução 28 milhões acessos/mês; Núm. 3 mil RPM; 2 instâncias; 1a Etapa10/25/2011
  20. 20. Evolução - Arquitetura 2a Etapa10/25/2011
  21. 21. ~1,5 anos atrás; NewRelic como solução de APM; Novos clientes = Multi-tenant; MySQL c/ RAID0 4 EBS, maior volume IO; Evolução MySQL replicado Master/Slave;2a Etapa Revisão do plano de continuidade do negócio devido a falha na Amazon Páscoa 2011; 10/25/2011
  22. 22. Evolução - 2a Etapa 35 GB BD; 36 milhões acessos/mês; 8 mil RPM; 4 instâncias;10/25/2011
  23. 23. Evolução - Arquitetura 3a Etapa10/25/2011
  24. 24. ~1 ano atrás; Nova.com = Extra + PontoFrio + Casas Bahia; CDN própria + DynDNS = Static HA; ELB, Nginx + Tomcat6 + HAProxy; MySQL Memória, CacheDist com Memcache; Evolução Scale Up + Scale Out para Black Friday e Natal;3a Etapa 10/25/2011
  25. 25. Aumento da contenção de escrita no banco; HiLo para geração de IDs; Utilização de INSERT DELAYED no MyISAM; Evolução Tabelas carregadas para memória, evita EBS;3a Etapa HAProxy de MySQL para fail over do banco; 10/25/2011
  26. 26. Evolução - 3a Etapa 118 GB BD; 630 milhões acessos/mês; 24 mil RPM; 10 instâncias;10/25/2011
  27. 27. Evolução - Arquitetura 4a Etapa10/25/2011
  28. 28. ~ 6 meses atrás; Troca tomcat por jetty = 3x mais requisições; Auto Scale e Spot Instances = Tio Patinhas; Evolução Migração MySQL para Cassandra = NoSQL;4a Etapa Puppet + S3 = Instâncias voláteis, menor dependência do Health Dashboard AWS; Nagios + Ganglia = Monitoração detalhada; Pagamento via wire-transfer = Tributos; 10/25/2011
  29. 29. Evolução - 4a Etapa ~4,86 TB BD - 345Gb MySQL; 1,03 bilhões acessos/mês; 38 mil RPM; ~21 instâncias;10/25/2011
  30. 30. Finalizar migração MySQL, Cassandra; RecSys via Map Reduce; Nacionalização da operação = reduz latência,Futuro porém aumenta custo em 30%; Cassandra, Hadoop e Pig; Backup e Fail Over para outro provedor de cloud;10/25/2011
  31. 31. Sem DataCenter, focamos no core da empresa; Cloud: Flexibilidade + Escalabilidade = Economia; Porque Amazon AWS? ● Possuem API para todos serviços;Conclusão ● Frequência em novos produtos e serviços; ● Preços diminuem com regularidade; ● Fornecedor IaaS: maior liberdade, maior aprendizagem; ● Democratização da Cloud real no Brasil; ● Qualidade do serviço oferecido; 10/25/2011
  32. 32. Conclusão - Elasticidade + Felixibilidade10/25/2011
  33. 33. rossato@chaordicsystems.com10/25/2011

×