DevCommerce Conference 2016: Big data com Elastic Search

92 views

Published on

Roger Mattos, Co-Founder & CTO da Social Miner e
Leandro Lustosa, Engenheiro de Software na Social Miner, palestraram sobre "Big data com Elastic Search", no DevCommerce Conference 2016.

O DevCommerce Conference 2016 aconteceu nos dias 06 e 07 de junho de 2016, no Hotel Tivoli em São Paulo-SP http://devcommerce2016.imasters.com.br/

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
92
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

DevCommerce Conference 2016: Big data com Elastic Search

  1. 1. Big data com Elasticsearch Roger Mattos Co-fundador e CTO
  2. 2. Quem são os seus consumidores e quais são seus interesses?
  3. 3. E-Commerce database 1 1 1 Automação de campanhas personalizadas
  4. 4. Volume atual ~1mi Logs de comportamento por dia ~8k Logs de comportamento por minuto
  5. 5. Como coletamos e armazenamos nossos dados
  6. 6. Desafios ● Filtros de audiencia em tempo real ● Consolidação e processamento de dados diários ● Inferir interesse de usuários baseado em navegação
  7. 7. Segmentação de Audiência
  8. 8. Campanha de Trending
  9. 9. Bottlenecks ● Lentidão nas consultas de audiencias ● Demora no processamento de campanhas ● Queda de CTR (conversão) devido ao delay de entrega
  10. 10. Big data com Elasticsearch Leandro Lustosa Software Engineer
  11. 11. You Know, for search.
  12. 12. Para quê? Busca - FullText Search -GeoÍndices -Agregações Analytics -Near Realtime -Ferramentas de Ingestão e Vizualização de Dados Fazer os dados terem sentido
  13. 13. ● Arquitetura Distribuida ● API RESTFul ● Facilidade de Uso Pontos Fortes ● Document Based ● Open Source ● Ecosistema
  14. 14. Index 1 Index 2 Index 3 Index 4 Arquitetura Distribuída
  15. 15. Exemplo de Consulta
  16. 16. Na Social Miner ● Processamento de dados de navegação ● Monitoramento de Serviços e Infraestrutura ● Visão para a equipe de Negócios
  17. 17. ● ~6 milhões de usuários ● ~60 milhões de logs (2 meses) ● ~7 milhões de páginas processadas e indexadas O que e como nós processamos ● 3 Máquinas ● 32 GB de RAM ● 4 Cores
  18. 18. ● Configuração Padrão vs Produção ● Alterações de Schema ● Quanto Hardware utilizar ● Como dividir os Shards Dificuldades
  19. 19. ● Dados Quentes x Frios ● Múltiplos Shards x Múltiplos Índices Modelagem de Dados
  20. 20. ● Na dúvida, escolha memória. ● Metade para a aplicação, metade para o sistema operacional. ● Sempre tenha uma réplica de cada shard, de preferência em zonas de disponibilidade distintas. ● Proteja seu Endpoint. Deploy
  21. 21. Monitoramento de Serviços e Infraestrutura
  22. 22. Visão de Negócio
  23. 23. Quem usa?
  24. 24. Conclusão Memória Importa Pense nos Shards Sempre tenha uma réplica
  25. 25. Roger Mattos Co-fundador e CTO Obrigado! roger@socialminer.com @roger_mattos linkedin.com/in/rmattos Leandro Lustosa Software Enginner leandro@socialminer.com @llustosa_s linkedin.com/in/leandro-lustosa-24672121

×