Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Hadoop - Primeiros passos

13,153 views

Published on

Você sabe como configurar o Hadoop? Esse é um passo-a-passo criado pelo consultor da Sensedia, Fillipe Massuda, para o Sensedia Knowledge Exchange Program, "I Know How". Se tiver alguma duvida ou queira saber mais detalhes, fale com a Sensedia ou procure diretamente o Fillipe, seus contatos estão na apresentação.

Published in: Technology
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download Full EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download Full doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book THIS can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer THIS is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story THIS Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money THIS the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths THIS Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download Full EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download Full doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download PDF EBOOK here { https://soo.gd/irt2 } ......................................................................................................................... Download EPUB Ebook here { https://soo.gd/irt2 } ......................................................................................................................... Download doc Ebook here { https://soo.gd/irt2 } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book THIS can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer THIS is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story THIS Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money THIS the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths THIS Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Hadoop - Primeiros passos

  1. 1. HADOOPPrimeiros Passos Fillipe Massuda • Consultor SOA
  2. 2. Fillipe Massuda  Consultor SOA na Sensedia  Engenheiro da computação pela FEI com MBA em Arquitetura de TI pela FIAP  Especialista em implementação de arquitetura de referência SOA nas plataformas IBM e Oracle  Apaixonado por TI e novas tecnologias  Guitarrista amador aposentado e viciado em videogamefillipe.massuda@sensedia.com @fimassuda
  3. 3. Sobre a Sensedia  Empresa brasileira, sediada em Campinas com escritórios em São Paulo, Rio de Janeiro e EUA  Profundo conhecimento em:  SOA (Arquitetura Orientada a Serviços)  API (Application Programming Interfaces)  Posicionada como visionária no quadrante mágico em SOA do Gartner
  4. 4. Sobre a Sensedia
  5. 5. Objetivo Apresentar os primeiros passos para configurar e executar um job MapReduce em Single-Node Cluster no Hadoop.
  6. 6.  Para esta demonstração, o ambiente foi o seguinte: • Ubuntu 13.04 • JDK 1.6 • Apache Hadoop 1.1.2 (Stable)  Foram utilizadas as seguintes ferramentas de apoio: • Apache Maven 3.0.5 Ambiente
  7. 7.  O Hadoop possui 3 modos de operação:  Local (Standalone)  Pseudo-Distributed  Fully-Distributed Modos de Operação Neste apresentação será demonstrada a configuração e execução de um job no modo Pseudo-Distributed, também chamado Single-Node Cluster, no qual cada Hadoop daemon é rodado em um processo java separado.
  8. 8. Pseudo-Distributed Mode
  9. 9. A configuração do SSH é necessária para o Hadoop gerenciar seus nós. Por rodar tudo em localhost, podemos configurar sem senha de conexão.  Executar os seguintes comandos para criação da chave para conexão ssh ao localhost $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_Keys  Testar a conexão ssh para adicionar a máquina na lista de known_hosts $ ssh localhost Passo 1: Configuração do SSH
  10. 10. Configurar o arquivo de perfil para adicionar as variáveis de ambiente ao Path. Além disso, adicionar a pasta do Hadoop as variáveis (HADOOP_PREFIX) e verificar se JAVA_HOME também está configurada.  Configuração do .bashrc (Ubuntu) Passo 2: Configurando ~/.bashrc Lembrando que ao atualizar o .bashrc, o perfil deve ser carregado novamente, reiniciando o terminal ou executando  source ~/.bashrc  Nota: Em algumas versões a variável com a pasta do Hadoop pode ser configurada como HADOOP_HOME. Para esta versão, quando utilizado HADOOP_HOME, o aviso “$HADOOP_HOME is deprecated” era gerado, para evitar este aviso é necessário utilizar a variável HADOOP_PREFIX.
  11. 11.  Configurar o JAVA_HOME no arquivo $HADOOP_PREFIX/conf/hadoop- env.sh  Criar uma pasta para que o Hadoop utilize como base para os arquivos temporários  ex: $HADOOP_PREFIX/tmp Passo 3: Configuração do Hadoop
  12. 12. No arquivo core-site.xml configurar o nome padrão para o File System e a pasta base para os arquivos temporários:  $HADOOP_PREFIX/conf/core-site.xml Passo 4: Arquivos de configuração(1/3) <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/fillipe/dev/hadoop/tmp</value> </property> </configuration>  Nota: Para mais informações sobre as propriedades do arquivo core-site.xml, consultar o arquivo docs/core-default.html
  13. 13. Alterar no arquivo de configuração do HDFS, para adicionar o número do replicações:  $HADOOP_PREFIX/conf/hdfs-site.xml Passo 4: Arquivos de configuração(2/3) <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>  Nota: Para mais informações de configuração no arquivo hdfs-site.xml, consultar o arquivo docs/hdfs- default.html
  14. 14. Alterar no arquivo de configurações do MapReduce o host e a porta de execução do job tracker:  $HADOOP_PREFIX/conf/mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> Passo 4: Arquivos de configuração(3/3)  Nota: Para mais informações de configuração no arquivo mapred-site.xml, consultar o arquivo docs/mapred-default.html
  15. 15. Formatar o hadoop filesystem para inicializar as pastas para o HDFS e o MapReduce:  $ hadoop namenode -format Passo 5: Formatando o HDFS FileSystem
  16. 16.  Inicializar os processos:  start-all.sh  Finalizar os processos:  stop-all.sh Passo 6: Inicialização dos Processos  Nota: Estes comandos irão inicializar ou finalizar os DataNodes, NameNodes, JobTrackers e TaskTrackers.
  17. 17. Map Reduce
  18. 18.  O job MapReduce que será utilizado, terá o objetivo de contar a quantidade de vezes que cada palavras aparece no documento de entrada, gerando um resumo na pasta de saída.  Os arquivos para o teste serão: Exemplo: Contador de Palavras file1.txt Hadoop MapReduce BigData Apache file2.txt Hadoop HDFS Namenode and Datanode MapReduce JobTracker and TaskTracker  Nota: Este exemplo está disponível no pacote do hadoop.
  19. 19.  A primeira etapa é desenvolver o Map que irá receber os arquivos de entrada, um por um, e retornará uma lista <chave, valor>. Map  Nota: Neste exemplo, a função map, retornará para o file1.txt como input, algo semelhante à:  file1.txt • Hadoop, 1 • MapReduce, 1 • BigData, 1 • Apache, 1
  20. 20.  A etapa de shuffle será realizado pelas próprias bibliotecas de MapReduce. A saída do map é a entrada do Shuffle e a saída do Shuffle é a entrada do Reduce.  Nesta etapa, a lista é agrupada e ordenada por chave. Shuffle  Saída do Map  file1.txt • Hadoop, 1 • MapReduce, 1 • BigData, 1 • Apache, 1  file2.txt • Hadoop, 1 • HDFS, 1 • Namenode, 1 • and, 1 • Datanode, 1 • MapReduce, 1 • JogTracker, 1 • and, 1 • TaskTracker, 1  Saída do Shuffle • Apache, [1] • BigData, [1] • Datanode, [1] • HDFS, [1] • Hadoop, [1,1] • JobTracker, [1] • MapReduce, [1,1] • Namenode, [1] • TaskTracker, [1] • and, [1,1]
  21. 21.  Nesta etapa a função reduce é executada para cada item da lista gerada pelo Shuffle. Reduce  Entrada • Apache, [1] • BigData, [1] • Datanode, [1] • HDFS, [1] • Hadoop, [1,1] • JobTracker, [1] • MapReduce, [1,1] • Namenode, [1] • TaskTracker, [1] • and, [1,1]  Saída • Apache, 1 • BigData, 1 • Datanode, 1 • HDFS, 1 • Hadoop, 2 • JobTracker, 1 • MapReduce, 2 • Namenode, 1 • TaskTracker, 1 • and, 2
  22. 22.  Por fim, devemos configurar a execução do job, informando ao Hadoop como tratar o input e output, as classes de tratamento do map e reduce, os tipos de variáveis e etc. Driver
  23. 23.  Inicialmente devemos copiar os arquivos para o HDFS.  Criar uma pasta dentro do HDFS para receber os arquivos:  hadoop fs –mkdir /user/input  Copiar os arquivos  hadoop fs –put file* /user/input Copiando os arquivos para o HDFS  Nota: Para uma lista com os possíveis comandos para serem executados no FS, executar hadoop fs -help
  24. 24.  Neste exemplo eu estou usando o maven para o gerenciamento de dependências e empacotamento do JAR.  Configuração de dependências no pom.xml  Basta rodar mvn package para gerar o arquivo JAR. Empacotando o JAR  Nota: Para mais informações sobre Apache Maven http://maven.apache.org
  25. 25.  Para executar o job, basta rodar o seguinte comando:  hadoop jar <Nome do Arquivo Jar> <Classe Main> <arg...> Executando o Job  Comando de exemplo: hadoop jar HadoopPrimeirosPassos-1.0- SNAPSHOT.jar WordCount /user/input /user/output
  26. 26.  Para verificar o resultado gerado pelo job, basta acessar o arquivo, na pasta de saída:  hadoop fs –cat /user/output/part-*  Copiar o arquivo de resultado para o diretório local:  hadoop fs –copyToLocal /user/output/part-* output.txt Analisando o Resultado
  27. 27.  O hadoop possui algumas interfaces web por padrão, como o NameNode Web UI, no qual é possível, através do browser, consultar informações referentes a saúde do cluster HDFS. http://localhost:50070 NameNode Web UI
  28. 28. JobTracker Web UI  Assim como no NameNode, podemos ter informações sobre o job a partir de uma interface web, como quais jobs estão rodando, quantos estão rodando, etc, através do JobTracker Web UI. http://localhost:50030
  29. 29. TaskTracker Web UI  Por fim, podemos ter informações sobre quais tasks estão rodando ou não, além de podermos consultar os logs, através do TaskTracker Web UI. http://localhost:50060
  30. 30.  Hadoop Single Node Setup http://hadoop.apache.org/docs/r1.1.2/single_node_setup.html  Introdução ao Hadoop http://www.aqueleblogdesoa.com.br/2013/05/introducao-ao-hadoop/  Código fonte disponível em: https://github.com/fimassuda/HadoopPrimeirosPassos Referências
  31. 31. Obrigado! Fillipe Massuda • Consultor SOA fillipe.massuda@sensedia.com @fimassuda sensedia.com/br

×