Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Big data com Elasticsearch
Roger Mattos
Co-fundador e CTO
Quem são os seus consumidores e quais
são seus interesses?
E-Commerce
database
1
1
1
Automação de campanhas personalizadas
Volume atual
~1mi
Logs de comportamento por dia
~8k
Logs de comportamento por minuto
Como coletamos e armazenamos nossos dados
Desafios
● Filtros de audiencia em tempo real
● Consolidação e processamento de dados diários
● Inferir interesse de usuár...
Segmentação de Audiência
Campanha de Trending
Bottlenecks
● Lentidão nas consultas de audiencias
● Demora no processamento de campanhas
● Queda de CTR (conversão) devid...
Big data com Elasticsearch
Leandro Lustosa
Software Engineer
You Know, for search.
Para quê?
Busca
- FullText Search
-GeoÍndices
-Agregações
Analytics
-Near Realtime
-Ferramentas de Ingestão e Vizualização...
● Arquitetura Distribuida
● API RESTFul
● Facilidade de Uso
Pontos Fortes
● Document Based
● Open Source
● Ecosistema
Index 1 Index 2 Index 3 Index 4
Arquitetura Distribuída
Exemplo de Consulta
Na Social Miner
● Processamento de dados de navegação
● Monitoramento de Serviços e Infraestrutura
● Visão para a equipe d...
● ~6 milhões de usuários
● ~60 milhões de logs (2 meses)
● ~7 milhões de páginas processadas
e indexadas
O que e como nós ...
● Configuração Padrão vs Produção
● Alterações de Schema
● Quanto Hardware utilizar
● Como dividir os Shards
Dificuldades
● Dados Quentes x Frios
● Múltiplos Shards x Múltiplos Índices
Modelagem de Dados
● Na dúvida, escolha memória.
● Metade para a aplicação, metade para o sistema operacional.
● Sempre tenha uma réplica de ...
Monitoramento de Serviços e Infraestrutura
Visão de Negócio
Quem usa?
Conclusão
Memória Importa
Pense nos Shards
Sempre tenha uma réplica
Roger Mattos
Co-fundador e CTO
Obrigado!
roger@socialminer.com
@roger_mattos
linkedin.com/in/rmattos
Leandro Lustosa
Softw...
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
DevCommerce Conference 2016: Big data com Elastic Search
Upcoming SlideShare
Loading in …5
×

DevCommerce Conference 2016: Big data com Elastic Search

236 views

Published on

Roger Mattos, Co-Founder & CTO da Social Miner e
Leandro Lustosa, Engenheiro de Software na Social Miner, palestraram sobre "Big data com Elastic Search", no DevCommerce Conference 2016.

O DevCommerce Conference 2016 aconteceu nos dias 06 e 07 de junho de 2016, no Hotel Tivoli em São Paulo-SP http://devcommerce2016.imasters.com.br/

Published in: Education
  • Be the first to comment

  • Be the first to like this

DevCommerce Conference 2016: Big data com Elastic Search

  1. 1. Big data com Elasticsearch Roger Mattos Co-fundador e CTO
  2. 2. Quem são os seus consumidores e quais são seus interesses?
  3. 3. E-Commerce database 1 1 1 Automação de campanhas personalizadas
  4. 4. Volume atual ~1mi Logs de comportamento por dia ~8k Logs de comportamento por minuto
  5. 5. Como coletamos e armazenamos nossos dados
  6. 6. Desafios ● Filtros de audiencia em tempo real ● Consolidação e processamento de dados diários ● Inferir interesse de usuários baseado em navegação
  7. 7. Segmentação de Audiência
  8. 8. Campanha de Trending
  9. 9. Bottlenecks ● Lentidão nas consultas de audiencias ● Demora no processamento de campanhas ● Queda de CTR (conversão) devido ao delay de entrega
  10. 10. Big data com Elasticsearch Leandro Lustosa Software Engineer
  11. 11. You Know, for search.
  12. 12. Para quê? Busca - FullText Search -GeoÍndices -Agregações Analytics -Near Realtime -Ferramentas de Ingestão e Vizualização de Dados Fazer os dados terem sentido
  13. 13. ● Arquitetura Distribuida ● API RESTFul ● Facilidade de Uso Pontos Fortes ● Document Based ● Open Source ● Ecosistema
  14. 14. Index 1 Index 2 Index 3 Index 4 Arquitetura Distribuída
  15. 15. Exemplo de Consulta
  16. 16. Na Social Miner ● Processamento de dados de navegação ● Monitoramento de Serviços e Infraestrutura ● Visão para a equipe de Negócios
  17. 17. ● ~6 milhões de usuários ● ~60 milhões de logs (2 meses) ● ~7 milhões de páginas processadas e indexadas O que e como nós processamos ● 3 Máquinas ● 32 GB de RAM ● 4 Cores
  18. 18. ● Configuração Padrão vs Produção ● Alterações de Schema ● Quanto Hardware utilizar ● Como dividir os Shards Dificuldades
  19. 19. ● Dados Quentes x Frios ● Múltiplos Shards x Múltiplos Índices Modelagem de Dados
  20. 20. ● Na dúvida, escolha memória. ● Metade para a aplicação, metade para o sistema operacional. ● Sempre tenha uma réplica de cada shard, de preferência em zonas de disponibilidade distintas. ● Proteja seu Endpoint. Deploy
  21. 21. Monitoramento de Serviços e Infraestrutura
  22. 22. Visão de Negócio
  23. 23. Quem usa?
  24. 24. Conclusão Memória Importa Pense nos Shards Sempre tenha uma réplica
  25. 25. Roger Mattos Co-fundador e CTO Obrigado! roger@socialminer.com @roger_mattos linkedin.com/in/rmattos Leandro Lustosa Software Enginner leandro@socialminer.com @llustosa_s linkedin.com/in/leandro-lustosa-24672121

×