O documento discute como a Chaordic usa Big Data e MapReduce para processar grandes volumes de dados de eventos e gerar recomendações em tempo real. Apresenta os desafios de armazenar e processar bilhões de registros e eventos diariamente e como a empresa usa Hadoop e Cassandra para resolver esses desafios de forma escalável e tolerante a falhas.

1. Robson Motta | robson@chaordic.com.br
Big Data e MapReduce
Admirável mundo novo

3. Mais de
200 milhões
page views mensais

4. 116 milhões
de pedidos

5. 3 bilhões
de visitas
em produtos

6. 700 milhões
de recomendações
geradas diariamente

7. Como
armazenar?

8. Como
processar?

9. Como
visualizar?

10. Como
monitorar?

11. Sumário
• A Chaordic
• Chaordic + Big Data + Cloud
• Dos eventos às recomendações
• A vida não é bela: surgem os desafios
• Visualizando e monitorando
• Futuro?

13. +
Como tudo começou

15. Como fazemos
Como
fazemos?

16. +

17. • Volume
• Velocidade
• Variedade

18. quantidade
de dados
tempo de
processamento
2010
16 M
eventos 3 dias

19. quantidade
de dados
tempo de
processamento
2010 2014
16 M
eventos
4500 M
eventos3 dias

20. quantidade
de dados
tempo de
processamento
2010 2014
16 M
eventos
4500 M
eventos3 dias 7 horas

21. Arquitetura
Onsite
DashboardEngine
Mail
Platform

22. Como
armazenar?
Node 1
Node 3
Node 2Node...
"Batch" Cassandra Cluster
Availability Zone - 2
Node 1
Node 3
Node 2Node...
"Online" Cassandra Cluster
Availability Zone - 1
Online Service Tier Batch Service Tier

23. Como
processar?
MapReduce
Um novo paradigma
que permite e facilita
a implementação de
algoritmos distribuídos

24. Data
Robson Motta
Raul Seixas
Ed Motta
Reginaldo Rossi
Nelson Mandela
Valentino Rossi
Map
Motta, 1
Seixas, 1
Motta, 1
Rossi, 1
Mandela, 1
Rossi, 1
Mandela, (1)
Motta, (1, 1)
Rossi, (1, 1)
Seixas, (1)
Reduce
Mandela, (1)
Motta, (1, 1)
Rossi, (1, 1)
Seixas, (1)
Mandela, 1
Motta, 2
Rossi, 2
Seixas, 1
Como
processar?

25. Data
A - B
Cadeira - D
Cadeira - E
Cadeira - E
F - A
Map
A, (B, F)
B, (A)
Cadeira, (D, E, E)
D, (Cadeira)
E, (Cadeira,Cadeira)
F, (A)
Reduce
A, [B, F]
B, [A]
Cadeira, [E, D]
D, [Cadeira]
E, [Cadeira]
F, [A]
Como
processar?

26. Hadoop: HDFS e Hadoop MapReduce
• Escalável
• Custo reduzido
• Flexível
• Tolerante a falha
Como
processar?

27. Engine
3
Como
processar?
Engine
Core
Platform
EC2 + EMR
S3
Uploader
5
64
2
1

28. recomendações
eventos

29. recomendações
eventos
pré
processamento
processamento
pós
processamento
● produtos vistos
● cliques
● pedidos
etc.

30. • Itens muito populares
• Eventos inesperados
• Clientes diferentes
• Sazonalidade
• Ausência de eventos
Desafios

31. Desafios

32. Desafios
R$ 270,81
Usuário entrou
na página para
comprar a boneca...
...e sugerimos que ele
levasse junto um pneu

33. Compras
conjuntas?
Desafios
+

34. Compras
conjuntas?
Desafios
+
31

35. Dados
consistentes?
Desafios
+

36. Dados
consistentes?
Desafios
+

37. Bot gerando
eventos?
Desafios
+

38. Bot gerando
eventos?
Desafios
+

39. Kit da
própria loja?
Desafios
+

40. Desafios
+
Kit da
própria loja?

41. Destaques
simultâneos?
Desafios
+

42. Reduziram
de preço?
Desafios
+

43. Reduziram
de preço?
Desafios
+
...só o pneu

44. Quando
reduziu?
Desafios
+

45. Quando
reduziu?
Desafios
+

46. Conclusão...
Desafios
+

47. Promoção de pneu
no dia das crianças
Desafios
+

48. Visualizando
e monitorando

49. Visualizar
e monitorar
• Consultas em bases não relacionais
• Acompanhamento de desempenho
• Visualização de logs
• Acompanhamento de custos

50. Visualizar

53. KINESIS STORM
Real Time Big Data Processing
Futuro

54. SHARK
In Memory Big Data Processing
Futuro

55. Robson Motta
robson@chaordic.com.br

56. /chaordic.com.br