Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Bashreduce

898 views

Published on

Published in: Technology, Sports
  • Be the first to comment

  • Be the first to like this

Bashreduce

  1. 1. Bashreduce À moda da casa Jonhnny Weslley    
  2. 2. Bashreduce ● Criado por Erik Frey ● Desenvolvedor da Last.FM ● Aplicações MapReduce usando Bash! :D    
  3. 3. Bashreduce ● Criado por Erik Frey ● Desenvolvedor da Last.FM ● Aplicações MapReduce usando Bash! :D ● Modificado por Richard Crowley ● Possibilita executar sobre DFS    
  4. 4. MapReduce é um modelo de programação  paralelo para processamento data­intensive.    
  5. 5. MapReduce em 2 minutos    
  6. 6. MapReduce em 2 minutos Entrada    
  7. 7. MapReduce em 2 minutos Parte 1 Entrada Parte 2 ... Parte N    
  8. 8. MapReduce em 2 minutos Parte 1 Map Entrada Parte 2 Map ... Parte N Map    
  9. 9. MapReduce em 2 minutos Parte 1 Map Reduce Entrada Parte 2 Map ... Reduce Parte N Map    
  10. 10. MapReduce em 2 minutos Parte 1 Map Reduce Entrada Parte 2 Map Saída ... Reduce Parte N Map    
  11. 11. MapReduce em 2 minutos Parte 1 Map Reduce Entrada Parte 2 Map Saída ... Reduce Parte N Map    
  12. 12. MapReduce em 2 minutos 1 – Comando 2 – Map 3 – Reduce 4 ­ Saída     http://www.flickr.com/photos/h_u_p/2827175831/
  13. 13. Bashreduce + DDGfs ● Extensão do bashreduce de Richard Crowley ● Utiliza metadados do DDGfs    
  14. 14. Bashreduce + DDGfs ● Crie um arquivo com a lista de arquivos para  processar Arquivo de entrada: /ddg/jonhnny/simulacao.input /ddg/jonhnny/simulacao­cenario­1.log /ddg/jonhnny/simulacao­cenario­2.log /ddg/jonhnny/simulacao­cenario­3.log /ddg/jonhnny/simulacao­cenario­4.log /ddg/jonhnny/simulacao­cenario­5.log    
  15. 15. Bashreduce + DDGfs ● Função map:     awk '{print $2}' | sort    
  16. 16. Bashreduce + DDGfs ● Função map:     awk '{print $2}' | sort ● Função reduce:     uniq ­c    
  17. 17. Bashreduce + DDGfs br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  18. 18. Bashreduce + DDGfs Bashreduce br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  19. 19. Bashreduce + DDGfs DDGfs br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  20. 20. Bashreduce + DDGfs Função map br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  21. 21. Bashreduce + DDGfs Função map br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  22. 22. Bashreduce + DDGfs Arquivo de entrada = input file br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output    
  23. 23. Bashreduce + DDGfs br ­d ­m "awk '{print $2}' | sort" ­r "uniq ­c"  ­i /ddg/jonhnny/simulacao.input > /ddg/jonhnny/simulacao.output Arquivo de saída    
  24. 24. Bashreduce + DDGfs ● Disponível em: ● http://github.com/jweslley/bashreduce/tree/master ● E, em breve, para os membros do LSD, digite br no  terminal.    
  25. 25. Bashreduce + DDGfs ● Utilizem ● Pratiquem ● Divirtam­se ● E ...    
  26. 26. I know bashreduce!    
  27. 27. Show me!    
  28. 28. Obrigado!    

×