DevCommerce Conference 2016: Busca e Data Lake Analytics

105 views

Published on

Gleicon Moraes, Gerente de Desenvolvimento da Luiza Labs, palestrou sobre "Busca e Data Lake Analytics", no DevCommerce Conference 2016.

O DevCommerce Conference 2016 aconteceu nos dias 06 e 07 de junho de 2016, no Hotel Tivoli em São Paulo-SP
http://devcommerce2016.imasters.com.br/

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
105
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

DevCommerce Conference 2016: Busca e Data Lake Analytics

  1. 1. Big Data no Magazine Luiza Gleicon Moraes Big Data, Infrastructure @gleicon gleicon@luizalabs.com
  2. 2. • 786 lojas físicas • 8 centros de distribuição • +18 mil colaboradores • +40 milhões de clientes • ~16 milhões de visitantes únicos mês
  3. 3. Big Data
  4. 4. Data lake
  5. 5. • ~200MM linhas novas/dia • 6 nós: 56 cores + 458GB RAM (AWS) • 11 TB storage hot, 1 TB S3 arquivos comprimidos • 1200 Jobs/dia • 400MB/dia transfer S3 -> HDFS Volume de informações - Datalake
  6. 6. Recomendações
  7. 7. Sistemas de recomendação
  8. 8. Sistema de recomendação • Grafo com informações sobre a interação do cliente • Coleta de informações da navegação dos clientes no site do magazine: • Visualização de produtos • Cálculo de frete • Adições ao carrinho • Compras
  9. 9. • ~40k visitantes únicos hora • ~300k interações com produtos por hora (~5k minuto) • Informações salvas no formato de grafo • ~700 milhões de vértices • ~ 2.8 bilhões de arestas Volume de informações - Grafo
  10. 10. Detalhe de produtos
  11. 11. • Resultados iniciais: • 30% de incremento de vendas em A/B teste com a ferramenta anterior Detalhe de produtos
  12. 12. Home personalizada
  13. 13. • Resultados: • Mudança de layout e mensagem trouxe um incremento de 7x a venda anterior Home personalizada
  14. 14. Emails personalizados
  15. 15. • Resultados • Taxa de abertura de ~24% • Alguns emails com taxas ~35% • Conversão 5x maior do que segmentados Emails personalizados
  16. 16. Push notification
  17. 17. Busca
  18. 18. • Coleta de todas as queries e resultados para o datalake (~1.8K queries/min) • Engines: SOLR e Elasticsearch • Interface administrativa para edição de termos • Realtime top queries com mais resultados e top queries com resultado vazio (Intelie) Busca de produtos

×