Cartola Fc 2010 - Uma Arquitetura escalável e performática

Cartola FC 2010 @marcelnicolay [email_address] marcelnicolay.com performance escalabilidade sqlalchemy python nginx memcached varnish load-test arquitetura deploy tornado mysql beanstalkd testes qualidade

O desafio!

1.500.000 usuários cadastrados
15.000 conexões simultâneas, média de 2.000 mil
900 requisições por segundo, média de 100 r/s
4 servidores mysql, 2 masters e 2 slaves
12 GB de dados em cache
9 Intel Quad-Core Xeon 2.5 GH
63 servidores de aplicação, 7 por máquina
O Status

A solução

Arquitetura BANCO box NGINX TORNADO TORNADO TORNADO TORNADO TORNADO TORNADO BEANSTALK MEMCACHED

Estrutura de banco Escrita MASTER SLAVE Leitura

Cache em memória - 12GB box aplicação box aplicação

Nginx
Baixo consumo de recursos
Simples configuração
Alta performance
Free e Open Source
Módulos essenciais
Load Balancer
Proxy Cache
SSI dinâmico

Nginx - Mercado Servidor % maio 2010 Apache 54.68% Microsoft 25.27% nginx 6.55% Google 6.00% lighttpd 0.91% http://news.netcraft.com/archives/2010/05/14/may_2010_web_server_survey.html

Tornado
Leve
Simples
Alta performance
Open Source
Non-blocking I/O
Baixo consumo de recursos

Tornado - benchmark

Aplicação BANCO outes TORNADO TEMPLATE MODEL CONTROLE REPOSITÓRIO CACHE

Perfomance no Cliente
Minify de css/javascript
CSS Sprite
Tempo de expiração
Versionamento de arquivos
gzip
Servir os estáticos em uma farm separada

Escalabilidade

Atualização de rodada
Atualizar mais de 10milhões de registros
Processamento em memória, com multiprocesso e multithreading
Inserção de registros em bloco
Pré-cache dos dados

Curiosidades
55 mil times escalados em 5minutos
Redis x Memcached
Persistir dados no browser com jquery-jStore
Limpeza de cache em fila, com Beanstalkd

Perguntas?

http://blog.marcelnicolay.com	458
http://dinamicas.emvideos.com.br	19
http://webcache.googleusercontent.com	2

Cartola Fc 2010 - Uma Arquitetura escalável e performática

by Marcel Nicolay on Jun 17, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

3 Embeds 479

Statistics

Cartola Fc 2010 - Uma Arquitetura escalável e performática — Presentation Transcript