Wrong confirmation ID

Email
Favorite
Favorited ×
Download
Embed
Private Content
Copy and paste this code into your blog or website Copy Customize… Close
We have emailed the verification/download link to "".
Login to your email and click the link to download the file directly.

To request the link at a different email address, update it here. Close
Validation messages. Success message. Fail message.

Check your bulk/spam folders if you can't find our mail.

Loading…

Flash Player 9 (or above) is needed to view presentations.
We have detected that you do not have it on your computer. To install it, go here.

+ Follow

CartolaFC - uma aplicação python rápida e escalável - pythonbrasil [6]

by Marcel Nicolay on Oct 22, 2010

2,480 views

apresentação sobre performance e escalabilidade em python feita na pythonbrasil [6]

More…

apresentação sobre performance e escalabilidade em python feita na pythonbrasil [6]

Less

2 Embeds 493

http://blog.marcelnicolay.com	490
http://webcache.googleusercontent.com	3

Statistics

Favorites: 1
Downloads: 21
Comments: 0
Embed Views: 493
Views on SlideShare: 1,987
Total Views: 2,480

- CartolaFC é o fantasy game oficial do campeonato brasileiro.
- Existe desde 2005
- Falar como o jogo funciona
refazer uma aplicação consolidade no mercado, em 5 meses... com um time de 4 pessoas... possibilitar o crescimento de até 3vezes
antes de começar o projeto, defimos o que nós queríamos, quais nossas necessidades.. foram elas:
leve - rápida - segura - deploy automatizado - escalável - baixo custo - 100% softwar livre - Desenvolvimento rápido e fácil - Fácil manuntenção
falar de cada ferramenta
hj em dia nosso desafio eh muito maior do que ha alguns anos... precisamos atender muitas requisições simultâneas.. e esse era nosso problema... pesquisando encontrei esse paper, bem famoso até. ele fala sobre os tipos de servidores, e como extrair o máximo de performance dos seus recursos
como performar aplicações web em pyton?
existem duas formas...
cgi: cada requisição inicia uma nova linha de execução própria
app: o app server mantém o mesmo contexto
cgi script não performa bem, é lento e instável
python application performa muito bem, estabilidade
fork: para cada requsição, um novo processo e criado para atende-lá
pre-fork: os processos são iniciados antes antes da requisição chegar
thread: uma thread para cada requisição
single thread: uma única thread atende todas as requisições
abrir um processo para cada requisição, é morte certa
muito lento
consegue imaginar 10mil processos?
melhor que o fork, mais tem o mesmo problema, muitos processos abertos
melhor abrir uma thread do que abrir um processo, mas threads consomem muita memória, e com o aumento de requisições a degradação é muito grande
resta o single thread. mas como uma única thread é capaz de atender milhares de requisições simultâneas?
tudo em linux é arquivo ... vc estabelece um socket, fazendo listen em uma determinada porta. registra esse socket no event polling do SO. Quando um evento acontece nesse socket, uma nova linha de execução e criada pelo SO, e vc consegue processar multiplas requisições simultâneamente, pode acreditar.
por padrão o SO bloquea a execução de sua aplicação, quando operações de I/O são feitas. isso gera overhad, com non blocking, sua aplicação não é bloqueadas e continua sendo executada mesmo quando se está realizando alguma operação de I/O
1 webserver rodando
balanceamento de carga entre as 7 instâncias de aplicação
capaz de processar 250 requisições por segundo
uma aplicação escalável, é um aplicação preparada para crescer
unidade operacional, box. cada unidade é capaz de rodar de forma isolada e independente
deploy automatizado
escalabilidade horizontal, cada novo box representa aumento proporcional
cada box processa 250 requisiçoes por segundo
- CartolaFC é o fantasy game oficial do campeonato brasileiro.
- Existe desde 2005
- Falar como o jogo funciona

1 Favorite

William Ferreira , Programador at Softmax Tags tornado 6 months ago

CartolaFC - uma aplicação python rápida e escalável - pythonbrasil [6] — Presentation Transcript

CartolaFC 2010 performance escalabilidade sqlalchemy python testes memcached varnish load-test arquitetura deploy mysql beanstalkd nginx qualidade tornado @marcelnicolay marcel.nicolay@gmail.com marcelnicolay.com
O desaﬁo!
alguns números • 1.5 milhões de usuários cadastrados • 15 mil conexões simultâneas • 900 r/s, média de 100 r/s • 4 bancos mysql, 2 masters e 2 slaves • 12 GB de dados em cache • 63 instâncias de aplicação, 7 por máquina
A solução
ferramentas • python • sqlalchemy • nginx • mako • tornado • routes • mysql • varnish • capistrano • solr • memcached • centos
performance C10k 10 mil usuários simultâneos www.kegel.com/c10k.html
performance C10k python web application • cgi script • python application server
performance C10k python web application • cgi script • python application server
performance C10k tipos de servidor • fork • pre-fork • thread • single thread
performance C10k tipos de servidor • fork • pre-fork • thread • single thread
performance C10k tipos de servidor • fork • pre-fork • thread • single thread
performance C10k tipos de servidor • fork • pre-fork • thread • single thread
performance C10k single thread • socket listen • non blocking I/O • event polling (start(), read(), write(), close()) • multiplexação por divisão de tempo
arquitetura nginx tornado tornado tornado tornado tornado
nginx • baixo consumo de recursos • fácil conﬁguração • alta performance • open source • non blocking I/O • load balancer, proxy cache, ssi dinâmico ...
nginx - mercado server % 2010 apache 54% microsoft 25% ` nginx 6% google 6% lighthttpd 1% http://news.netcraft.com/archives/2010/05/14/may_2010_web_server_survey.html
nginx vs apache concurrency x req/sec http://blog.webfaction.com/a-little-holiday-present
nginx vs apache concurrency x memory http://blog.webfaction.com/a-little-holiday-present
tornado • leve • simples • alta performance • open source • non blocking I/O • baixo consumo de recursos
tornado from tornado import httpserver, ioloop, web class MainHandler(web.RequestHandler): def get(self): self.write(“Python Brasil 2010”) application = web.Application([ (r”/”, MainHandler), ]) if __name__ == “__main__”: http_server = httpserver.HTTPServer(application) http_server.listen(8888) http_server.ioloop.IOLoop.instance().start()
tornado - benchmark
aplicação tornado • routes controle • sqlalchemy • mako template repositório template • memcache cache banco • mysql
performance no cliente • minify de css e javascript • css sprites • tempo de expiração dos arquivos • versionamente de arquivos • compactação de arquivos - gzip • estático separado da aplicação
Escalabilidade
curiosidades • 55mil times escalados em 5minutos • redis vs memcached • persistir dados no cliente com jStore • limpeza de cache em ﬁla com beanstalkd
CartolaFC 2010 perguntas? @marcelnicolay marcel.nicolay@gmail.com marcelnicolay.com

CartolaFC - uma aplicação python rápida e escalável - pythonbrasil [6]

by Marcel Nicolay on Oct 22, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

2 Embeds 493

Statistics

CartolaFC - uma aplicação python rápida e escalável - pythonbrasil [6] — Presentation Transcript