Usando Redis para otimizar o sistema boo-box
•
3 likes•1,539 views
O documento discute o sistema de cache do Boo-Box para melhorar o desempenho e escalabilidade. Inicialmente usava CouchDB e Beanstalkd, mas isso causava problemas de tempo de resposta, limites de requisições e indisponibilidade. Agora usa Redis e Beanstalkd, reduzindo drasticamente o uso de recursos e melhorando a velocidade.
Recommended
Recommended
More Related Content
Similar to Usando Redis para otimizar o sistema boo-box
Similar to Usando Redis para otimizar o sistema boo-box (20)
More from Fernando Mafra
Recently uploaded
Recently uploaded (20)
Usando Redis para otimizar o sistema boo-box
- 2. 7 mil publishers 420 milhões de impressões ao mês
- 3. O que é qualidade?
- 4. Formatos Monetização diferenciada Excelência Liberdade de escolha Transparência Velocidade Originalidade Simplicidade Estatísticas Targeting
- 6. Felipe Luis de Souza Vieira @felipetio http://felipetio.net
- 7. Formatos Monetização diferenciada Excelência Liberdade de escolha Transparência Idealismo Velocidade Originalidade Simplicidade Estatísticas Targeting
- 8. Targeting Que informações Quais sites temos sobre ele? foram visitados? O que ele De onde ele é? procura?
- 9. Targeting User Classificação behaviour Que informações de textos Quais sites temos sobre ele? foram visitados? O que ele De onde ele é? procura? Inteligência Geo artificial localização
- 10. Formatos Não sei deixar nada bonito na web,
- 11. Formatos Não sei deixar nada bonito na web, Nem nesssa apresentação (obrigado @fmafra),
- 12. Formatos Não sei deixar nada bonito na web, Nem nesssa apresentação (obrigado @fmafra), Ainda não consigo desenvolver layouts com mais de 16 cores.
- 13. Formatos como desenvolvedor eu sei por que como usuário eu sei
- 14. Formatos
- 15. OK
- 16. NÃO
- 18. Velocidade como desenvolvedor eu sei por que como usuário eu sei
- 19. Velocidade Evolução de Impressions 121MM 93MM 72MM 55MM 42MM 34MM Jul 09 Aug 09 Sep 09 Oct 09 Nov 09 Dec 09
- 20. Velocidade 0 100
- 21. Velocidade 0 100
- 22. Velocidade 0 200
- 23. Velocidade
- 24. Velocidade -)./)!"! *+,$"+- !"#"$%&'$()! (+#0&1#(#,%)- 8-$") !"#$%&'(,))".!,%.*/ :;<;< 233&4 233&5 233&9 233&7 !"#$%&'("*0 !"#$%&' -)#0 8-$") : +,%, $*#'!& ; < -)3($%#") ; -)3($%#") < -)#0 8-$") => -)#0 !"#$%&'()'*+#!%$(!,!-& %#%6)&4 %#%6)&7 http://www.boo-box.com/blog/br/2009/nova-infraestrutura-de-servidores-web-do-sistema-boo-box/
- 25. Velocidade
- 26. Velocidade Não processar os requests...
- 27. Velocidade
- 28. Velocidade CACHE
- 29. Evolução do sistema de cache boo-box
- 30. Início Servidor API Tags/Shop Prepara Requisição Pega Produtos DEMORA Log Produtos
- 32. Primeira Estratégia de cache adotada CouchDB e Beanstalked
- 33. Fluxo do request Servidor Fila Cache API Tags/Shop Adiciona p/ atualização Pega Produtos +++ Rápido Log Produtos
- 34. Fluxo de atualização do cache Fila Cache API Daemon Pega Shop/Tags Prepara Requisição Pega Produtos Salva Produtos (loop)
- 37. Problemas Expiração do cache Escrita em disco Atualização de versão Manutenção
- 38. Solução atual Redis e Beanstalked
- 39. Redis Como memcache Diferente do memcache Key-values store Operações avançadas com as keys Dados na memória Escalabilidade Cache implementado Persistência
- 40. Redis Como memcache Diferente do memcache Key-values store Operações avançadas com as keys Dados na memória Escalabilidade Cache implementado Persistência Em números: 110.000 SETs/sec 81.000 GETs/sec
- 41. Fluxo do request Servidor Fila Cache API Shop/Tags Adiciona p/ atualização Tem Produtos (sim) Pega Produtos Log Produtos
- 42. Fluxo do request Servidor Fila Cache API Shop/Tags Adiciona p/ M atualização E M C Tem Produtos (sim) A C H Pega Produtos E Log Produtos
- 43. Fluxo do request Servidor Fila Cache API Shop/Tags Adiciona p/ M atualização E M Tem Produtos (não) C A C Pega Produtos H E Salva Log Produtos
- 44. Fluxo do request Servidor Fila Cache API Shop/Tags Requisita M atualização E M Tem Produtos (não) C A C Pega Produtos (demorou) H E Pega Produtos Similares Log Produtos
- 45. Fluxo de atualização do cache Daemon Fila Cache API Pega Shop/Tags Velho? Pega produtos Salva (loop)
- 46. Resultados
- 47. Recursos otimizados couchDB 300 200 GB 100 0
- 48. Recursos otimizados Redis 300 200 MB 100 0
- 49. Recursos otimizados 300 GB -> 300 MB Sem intervenção!
- 50. Recursos otimizados couchDB 400 300 CPU 200 100 0
- 51. Recursos otimizados Redis 400 300 CPU 200 100 0
- 52. Recursos otimizados Usando 3% da CPU
- 53. Recursos otimizados Quer mais? Redução de 2 servidores... Reduçao do response time:
- 54. Felipe Luis de Souza Vieira @felipetio felipe@boo-box.com http://felipetio.net
Editor's Notes
- Quem conhece a boo-box? Quem ultiliza boo-box, adsense, hotwords? E suma, trabalhamos a fim de transformar a forma como a publicidade online &#xE9; feita, oferecendo solu&#xE7;&#xF5;es inovadoras de contextualiza&#xE7;&#xE3;o e formatos que permitam aos publishers e anunciantes aproveitarem e complementarem o conte&#xFA;do, seja com ofertas de produtos e at&#xE9; mesmo campanhas.
- Veicular produtos e campanhas parece um trabalho simples mas torna-se muito arduo quando se tem milh&#xF5;es de visualiza&#xE7;&#xF5;es diarias e milhares de publisher que n&#xE3;o exitariam em trocar a boo-box por outro servi&#xE7;o se nossas &#x201C;vitrines&#x201D; n&#xE3;o tiver qualidade...
- Mas afinal... O que &#xE9; qualidade? Para ser a refer&#xEA;ncia em veicula&#xE7;&#xE3;o de publicidade em m&#xED;dias sociais, todos os que trabalham na boo se preocupam com diversos valores!
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Entre eles podemos citar: Targeting; Formatos e Velocidade. Pois esses itens recebem um cuidado especial dos &#x201C;ninjas&#x201D; da boo.
- Desenvolvedor web a 3 anos, formando em inform&#xE1;tica no interior, entusiasta de software livre, pugilista amador 3 vezes por semana e atualmente um programador do time da boo, o que faz de mim um ninja!
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Voltando ao ponto... Vamos nos apegar aos itens destacados pois eles interferem diretamente na vizualiza&#xE7;&#xE3;o das ofertas de produtos.
- Apenas a contextualiza&#xE7;&#xE3;o pode transformar a publicidade em parte do conte&#xFA;do onde ela foi renderizada. A boo tem realizado muitos estudos nesta &#xE1;rea a fim de aumentar a qualidade dos produtos e campanhas apresentadas. Contudo, a contextualiza&#xE7;&#xE3;o pode e deve estar voltada para o usu&#xE1;rio que est&#xE1; navegando... Para responder essas perguntas muitos estudos t&#xEA;m sido realizados e muitos projetos est&#xE3;o em andamento.
- Apenas a contextualiza&#xE7;&#xE3;o pode transformar a publicidade em parte do conte&#xFA;do onde ela foi renderizada. A boo tem realizado muitos estudos nesta &#xE1;rea a fim de aumentar a qualidade dos produtos e campanhas apresentadas. Contudo, a contextualiza&#xE7;&#xE3;o pode e deve estar voltada para o usu&#xE1;rio que est&#xE1; navegando... Para responder essas perguntas muitos estudos t&#xEA;m sido realizados e muitos projetos est&#xE3;o em andamento.
- Apenas a contextualiza&#xE7;&#xE3;o pode transformar a publicidade em parte do conte&#xFA;do onde ela foi renderizada. A boo tem realizado muitos estudos nesta &#xE1;rea a fim de aumentar a qualidade dos produtos e campanhas apresentadas. Contudo, a contextualiza&#xE7;&#xE3;o pode e deve estar voltada para o usu&#xE1;rio que est&#xE1; navegando... Para responder essas perguntas muitos estudos t&#xEA;m sido realizados e muitos projetos est&#xE3;o em andamento.
- Apenas a contextualiza&#xE7;&#xE3;o pode transformar a publicidade em parte do conte&#xFA;do onde ela foi renderizada. A boo tem realizado muitos estudos nesta &#xE1;rea a fim de aumentar a qualidade dos produtos e campanhas apresentadas. Contudo, a contextualiza&#xE7;&#xE3;o pode e deve estar voltada para o usu&#xE1;rio que est&#xE1; navegando... Para responder essas perguntas muitos estudos t&#xEA;m sido realizados e muitos projetos est&#xE3;o em andamento.
- Vamos aos fatos.... Como desenvolverdor server side eu sei que...
- Vamos aos fatos.... Como desenvolverdor server side eu sei que...
- Vamos aos fatos.... Como desenvolverdor server side eu sei que...
- Quando navego na internet eu busco pelo conte&#xFA;do bem apresentado, bonito!
- O fato &#xE9; que um produto bem contextualizado pode n&#xE3;o valer nada se n&#xE3;o for bem apresentado e entende-se por bem apresentado produtos que atraem (e n&#xE3;o roubem) a aten&#xE7;&#xE3;o dos usu&#xE1;rios. Para isso precisamos de muita criatividade, trabalhar com tecnologia de ponta, inovando sempre e pegando carona (ou at&#xE9; mesmo criando) tecnologias emergentes.
- O fato &#xE9; que um produto bem contextualizado pode n&#xE3;o valer nada se n&#xE3;o for bem apresentado e entende-se por bem apresentado produtos que atraem (e n&#xE3;o roubem) a aten&#xE7;&#xE3;o dos usu&#xE1;rios. Para isso precisamos de muita criatividade, trabalhar com tecnologia de ponta, inovando sempre e pegando carona (ou at&#xE9; mesmo criando) tecnologias emergentes.
- O fato &#xE9; que um produto bem contextualizado pode n&#xE3;o valer nada se n&#xE3;o for bem apresentado e entende-se por bem apresentado produtos que atraem (e n&#xE3;o roubem) a aten&#xE7;&#xE3;o dos usu&#xE1;rios. Para isso precisamos de muita criatividade, trabalhar com tecnologia de ponta, inovando sempre e pegando carona (ou at&#xE9; mesmo criando) tecnologias emergentes.
- O fato &#xE9; que um produto bem contextualizado pode n&#xE3;o valer nada se n&#xE3;o for bem apresentado e entende-se por bem apresentado produtos que atraem (e n&#xE3;o roubem) a aten&#xE7;&#xE3;o dos usu&#xE1;rios. Para isso precisamos de muita criatividade, trabalhar com tecnologia de ponta, inovando sempre e pegando carona (ou at&#xE9; mesmo criando) tecnologias emergentes.
- Apresentar de maneira inovadora produtos que fazem parte do conte&#xFA;do do usu&#xE1;rio parece uma receita boa para o sucesso... Mas isso basta?
- N&#xC3;O!
- Vivemos em um ritmo acelerado! Quando navego na internet n&#xE3;o tenho muitas vezes paci&#xEA;ncia em esperar o conte&#xFA;do que estou buscando. E isso faz valer o que j&#xE1; foi dito aqui:
- E se temos urgencia em navegar, se queremos o que buscamos quase sempre instant&#xE2;neamente. Qual ser&#xE1; a nossa paci&#xEA;ncia para aguardar uma publicidade carregar?
- Toda vez que a rede da boo-box aumenta temos que garantir que todos os produtos sejam exibidos a uma velociade instant&#xE2;nea, caso contrario todo o trabalho ficaria comprometido.
- &#xC9; so pensar que toda vez que um site com um grande n&#xFA;mero de page views &#xE9; adicionado nas nossa rede temos que suportar uma quantidade igual ou maior a este numero. Toda vez que um site tem uma viraliza&#xE7;&#xE3;o, nos temos viraliza&#xE7;&#xE3;o... N&#xE3;o d&#xE1; para ser diferente n&#xE3;o da para pedir arrego! E o que a boo tem feito para prevenir e algumas vezes remediar estes problemas?
- &#xC9; so pensar que toda vez que um site com um grande n&#xFA;mero de page views &#xE9; adicionado nas nossa rede temos que suportar uma quantidade igual ou maior a este numero. Toda vez que um site tem uma viraliza&#xE7;&#xE3;o, nos temos viraliza&#xE7;&#xE3;o... N&#xE3;o d&#xE1; para ser diferente n&#xE3;o da para pedir arrego! E o que a boo tem feito para prevenir e algumas vezes remediar estes problemas?
- &#xC9; so pensar que toda vez que um site com um grande n&#xFA;mero de page views &#xE9; adicionado nas nossa rede temos que suportar uma quantidade igual ou maior a este numero. Toda vez que um site tem uma viraliza&#xE7;&#xE3;o, nos temos viraliza&#xE7;&#xE3;o... N&#xE3;o d&#xE1; para ser diferente n&#xE3;o da para pedir arrego! E o que a boo tem feito para prevenir e algumas vezes remediar estes problemas?
- &#xC9; so pensar que toda vez que um site com um grande n&#xFA;mero de page views &#xE9; adicionado nas nossa rede temos que suportar uma quantidade igual ou maior a este numero. Toda vez que um site tem uma viraliza&#xE7;&#xE3;o, nos temos viraliza&#xE7;&#xE3;o... N&#xE3;o d&#xE1; para ser diferente n&#xE3;o da para pedir arrego! E o que a boo tem feito para prevenir e algumas vezes remediar estes problemas?
- Codigo limpo e otimizado... Geralmente c&#xF3;digo limpo &#xE9; c&#xF3;digo otimizado!
- Infraestrutura parruda... Curioso veja mais no blog da boo-box: http://www.boo-box.com/blog/br/2009/nova-infraestrutura-de-servidores-web-do-sistema-boo-box/
- Horas extras principalmente nas viraliza&#xE7;&#xF5;es!
- Nao didi o que ele falou
- Ma como?? Me explica essa porra Batima!
- cache! Memcache, Redis, Couchdb, Tokyo, Mysql, Postgres Quem conhece e j&#xE1; trabalhou com alguma tecnologia?
- No inicio da boo-box contextualiza&#xE7;&#xE3;o e novos formatos foram capaz de levar a empresa para um patamar inc&#x155;ivel a preocupa&#xE7;&#xE3;o com a velocidade ainda n&#xE3;o era um problema, por conta disso podiamos acessar diretamente as apis em busca dos produtos dos usu&#xE1;rios
- Isso n&#xE3;o era certo... Os problemas vieram junto com o primeiro sinal de crescimento...
- O que &#xE9; couchDB? O que &#xE9; beanstalked?
- &#x2022; Tempo: O tempo do couchdb era extremamente mais r&#xE1;pido que buscar um produto em um e-commerce! &#x2022; Limite de requests: Com o processo assincrono, podiamos controlar melhor o n&#xED;vel de acesso as api descartando, por exemplo, produtos que j&#xE1; estavam cacheados. &#x2022; Indisponibilidade da api: Como quem fazia a comunica&#xE7;&#xE3;o com a api n&#xE3;o estava ligado com os request esse tipo de problema passou a n&#xE3;o existir mais. Os produtos cacheados permaneciam na base e n&#xE3;o eram expirados.
- Ap&#xF3;s mais de um ano de sucesso com o couchdb alguns problemas come&#xE7;aram a surgir, alguns devido a estrat&#xE9;gia adotada que passou a n&#xE3;o ser interessante em todos os casos outros pelo viraliza&#xE7;&#xE3;o da rede da boo-box que tornou o couchdb um gargalo: Os produtos por n&#xE3;o serem expirados aumentavam dia apos dia fazendo-se necess&#xE1;rio a interve&#xE7;&#xE3;o para limpar a base. O crescimento apenas agravou este fato fazendo com que essa interven&#xE7;&#xE3;o tivesse que acontecer semanalmente toda vez que essa opera&#xE7;&#xE3;o era feita a contextualiza&#xE7;&#xE3;o dos produtos ficava comprometida apresentando produtos randomicos at&#xE9; que a base estivesse um pouco populada Como o numero de request/segundo aumentava diariamente o couchdb passou a ter problemas de escrita em disco. A cada requisi&#xE7;&#xE3;o o arquivo da base era aberto e tivemos que aumentar o numero de vezes que o so poderia abrir um arquivo. Infelizmente nem isso solucionou o problema... Um agravante n&#xE3;o estavamos usando a ultima vers&#xE3;o do couchdb. A atualiza&#xE7;&#xE3;o poderia resolver o problema mas n&#xE3;o o fez. Apo&#x15B; refatorar o c&#xF3;digo para vers&#xE3;o mais recente tivemos que fazer rollback e com a vers&#xE3;o antiga passamos a ter muito problemas e pouco suporte, o couch &#xE9; uma tecnologia alfa ent&#xE3;o ficamos na m&#xE3;o estudando o couchdb para resolver os problemas. Por fim, ap&#xF3;s uma migra&#xE7;&#xE3;o de datacenters tivemos um agravante pois s nossos novos server tinham problemas de grava&#xE7;&#xE3;o de disco que afetou diretamente o tempo dos produtos levando-os para um patamar inaceit&#xE1;vel...
- Ele pode ser definido como um avan&#xE7;ado &#x201C;key-values store&#x201D; com algumas funcionalidades interessantes como suporte para listas, capacidade de ordena&#xE7;&#xF5;es, busca por keywords similares, e o fato dos dados serem persistidos no hd de maneira assincrona sem afetar a performace de um banco que roda 100% na mem&#xF3;ria ram. O cache na mem&#xF3;ria RAM &#xE9; ideal para armazenar arquivos pequenos que ser&#xE3;o entregues instantaneamente para os clientes. O Redis, assim como o memcache, se encaixa nessa categoria. Ok voc&#xEA; quer n&#xFA;meros? O redis tem as funcionalidades de cache implementadas uma expira&#xE7;&#xE3;o inteligente e autom&#xE1;tica