Your SlideShare is downloading. ×
0
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Hadoop - TDC FLN 2013
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Hadoop - TDC FLN 2013

401

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
401
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
13
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Hadoop: [ Aquele título chato, longo… ](aka “Hadoop para DBAs”)Aldrin Leal, <aldrin@ingenieux.com.br>
  • 2. Globalcode – Open4educationAgendaIntroduçãoMotivação para o HadoopHadoop: Passado Presente e FuturoConceituando HadoopO Ecosistema HadoopMas e ai?
  • 3. Globalcode – Open4educationIntroduçãoAldrin LealProtrollProjetos / Experiência em HadoopOutras Áreas:CloudALM
  • 4. Globalcode – Open4educationMotivação para o HadoopFontes de Informação Esparsas, não estruturadaDocumentosRecibosVolume de Coleta de Dados
  • 5. Globalcode – Open4educationMotivação para o HadoopAspectos-Chave:Lei de MoorePreçoLatênciaLargura de BandaSeek Time
  • 6. Globalcode – Open4educationMotivação para o HadoopOutros Aspectos-Chave:Computação DistribuídaTolerância a Falha
  • 7. Globalcode – Open4educationMotivação para o HadoopLimitações:Volume de DadosOnlineStorm / YARN / ImpalaModeloSawzall / BigTable
  • 8. Globalcode – Open4educationHadoop: PassadoPresente e FuturoDoug CuttingAltavistaYahooLucene / Solr, e…NutchPapers:MapReduceGFS
  • 9. Globalcode – Open4educationHadoop: PassadoPresente e FuturoDistros Hadoop:Hortonworks (Microsoft)ClouderaAmazon Web ServicesIntelHadoop as a ServiceMRv1 vs YARNYARN:ImpalaMPICHStorm
  • 10. Globalcode – Open4educationConceituando HadoopPlataformaSepara funções:Armazenagem (Namenode, Datanode)Processamento (Tasktracker)Coordenação (JobTracker)Tolerância a Falha:Fator de ReplicaçãoTask Attempts
  • 11. Globalcode – Open4educationConceituando HadoopOtimizaçãoVários BotõesExecução EspeculativaDivisão de Responsabilidades
  • 12. Globalcode – Open4educationConceituando HadoopMapReduceMappersReducersCombiners / Partitioners
  • 13. Globalcode – Open4educationConceituando Hadoop
  • 14. Globalcode – Open4educationConceituando HadoopModelo FlexívelVários Cases Implementáveis (leia a veja!)“Corrida do Big Data”
  • 15. Globalcode – Open4educationDemoUm pequeno job mapreduce (parte I)MapperReducerOutputCollectorDriver, Tool, ConfigurableJob, JobConfFileSystemsudo (apt-get|yum) install mercurial&& hg clonehttp://bitbucket.org/ingenieux/hadoop-filesystem-indexer-demo
  • 16. Globalcode – Open4educationEcosistema HadoopDistrosHadoop Streaming (Scripting)HBaseK/V Distribuído, com SLAValores Esparsos, Alta PerformanceHive / Pig / HCatalogSQL e PerlSchema Unificado
  • 17. Globalcode – Open4educationDemoUm job mapreduce um pouco maior 
  • 18. Globalcode – Open4educationMas e ai? Como começarGestão de Clusters (“Hadoop Operations”)WhirrChef / puppetOpsWorksDesenvolvimento (“Hadoop Definitive Guide”)ScriptingJava / CascadingHive / PigCiência de Dados (“Coursera ”)
  • 19. Globalcode – Open4educationConclusão:É faroeste!Mas tem uns pontos para se nortearMuitas mudanças, ritmo rápidoDiversas Oportunidades
  • 20. Globalcode – Open4educationDúvidas?
  • 21. Globalcode – Open4educationObrigado

×