Bashreduce

805 views
743 views

Published on

Published in: Technology, Sports
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
805
On SlideShare
0
From Embeds
0
Number of Embeds
53
Actions
Shares
0
Downloads
10
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Bashreduce

  1. 1. Bashreduce À moda da casa Jonhnny Weslley    
  2. 2. Bashreduce ● Criado por Erik Frey ● Desenvolvedor da Last.FM ● Aplicações MapReduce usando Bash! :D    
  3. 3. Bashreduce ● Criado por Erik Frey ● Desenvolvedor da Last.FM ● Aplicações MapReduce usando Bash! :D ● Modificado por Richard Crowley ● Possibilita executar sobre DFS    
  4. 4. MapReduce é um modelo de programação  paralelo para processamento data­intensive.    
  5. 5. MapReduce em 2 minutos    
  6. 6. MapReduce em 2 minutos Entrada    
  7. 7. MapReduce em 2 minutos Parte 1 Entrada Parte 2 ... Parte N    
  8. 8. MapReduce em 2 minutos Parte 1 Map Entrada Parte 2 Map ... Parte N Map    
  9. 9. MapReduce em 2 minutos Parte 1 Map Reduce Entrada Parte 2 Map ... Reduce Parte N Map    
  10. 10. MapReduce em 2 minutos Parte 1 Map Reduce Entrada Parte 2 Map Saída ... Reduce Parte N Map    
  11. 11. MapReduce em 2 minutos Parte 1 Map Reduce Entrada Parte 2 Map Saída ... Reduce Parte N Map    
  12. 12. MapReduce em 2 minutos 1 – Comando 2 – Map 3 – Reduce 4 ­ Saída     http://www.flickr.com/photos/h_u_p/2827175831/
  13. 13. Bashreduce + DDGfs ● Extensão do bashreduce de Richard Crowley ● Utiliza metadados do DDGfs    
  14. 14. Bashreduce + DDGfs ● Crie um arquivo com a lista de arquivos para  processar Arquivo de entrada: /ddg/jonhnny/simulacao.input /ddg/jonhnny/simulacao­cenario­1.log /ddg/jonhnny/simulacao­cenario­2.log /ddg/jonhnny/simulacao­cenario­3.log /ddg/jonhnny/simulacao­cenario­4.log /ddg/jonhnny/simulacao­cenario­5.log    
  15. 15. Bashreduce + DDGfs ● Função map:     awk '{print $2}' | sort    
  16. 16. Bashreduce + DDGfs ● Função map:     awk '{print $2}' | sort ● Função reduce:     uniq ­c    
  17. 17. Bashreduce + DDGfs br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  18. 18. Bashreduce + DDGfs Bashreduce br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  19. 19. Bashreduce + DDGfs DDGfs br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  20. 20. Bashreduce + DDGfs Função map br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  21. 21. Bashreduce + DDGfs Função map br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  22. 22. Bashreduce + DDGfs Arquivo de entrada = input file br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  23. 23. Bashreduce + DDGfs br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output Arquivo de saída    
  24. 24. Bashreduce + DDGfs ● Disponível em: ● http://github.com/jweslley/bashreduce/tree/master ● E, em breve, para os membros do LSD, digite br no  terminal.    
  25. 25. Bashreduce + DDGfs ● Utilizem ● Pratiquem ● Divirtam­se ● E ...    
  26. 26. I know bashreduce!    
  27. 27. Show me!    
  28. 28. Obrigado!    

×