Interoperabilidade com BigData Hadoop  para Windows Azure
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share

Interoperabilidade com BigData Hadoop para Windows Azure

  • 332 views
Uploaded on

O que é BigData e BI ? ...

O que é BigData e BI ?
O que é um Cientista de Dados ?
O que é Hadoop ?
O que é a HortonWoks Haddoop ?
Criando um Cluster Hadoop no Windows Azure?
Integrando com Power BI
Apresentação de Case de uso.

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
332
On Slideshare
328
From Embeds
4
Number of Embeds
1

Actions

Shares
Downloads
6
Comments
0
Likes
1

Embeds 4

http://www.slideee.com 4

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Interoperabilidade com BigData Hadoop para Windows Azure Alessandro de Oliveira Binhara Data Scientist – Horton Works System Integrator
  • 2. Agenda  O que é BigData e BI ?  O que é um Cientista de Dados ?  O que é Hadoop ?  O que é a HortonWoks Haddoop ?  Criando um Cluster Hadoop no Windows Azure?  Integrando com Power BI  Apresentação de Case de uso.
  • 3. Por que??? BigData ??? CloudComputing??  Em 2001 : Centenas de milhares de dólares para sequenciar um Gene  Atualmente: menos de 6 mil dólares por Gene  Atualmente o sequenciamento gerar cerca de 50petabyte de dados.  1 semana para decodificar 1 Gene  Atualmente: Se Faz o sequenciamento de 100 Gene por dia
  • 4. O que é BigData ?
  • 5. O que é Um Cientista de Dados ?  O cientista de dados é um especialista em análise de informações. A característica mais importante desse profissional, portanto, é a capacidade analítica. Por isso, quem tem uma sólida formação em matemática e lógica, como engenheiros, economistas, estatísticos e matemáticos, é forte candidato a se sair bem na carreira.  “Ter um consistente background em matemática é fundamental, senão a pessoa tem que suar muito para preencher a lacuna", diz o professor Renato Souza, responsável pelo mestrado de modelagem matemática da informação, da Fundação Getulio Vargas do Rio de Janeiro (FGV-RJ), lançado em 2011. Salário mediano anual em milhares de dólares dividido pelos grupos identificados. Fonte: O'Reilly.
  • 6. Curiosidades sobre ZetaBytes
  • 7. Não confunda os conceitos  CloudComputing – computação em nuvem  BigData – Armazenamento e Processamento de Grandes Volumes de Dados  BI Businnes Inteligence – Apresentar a informações de forma clara, sendo a fonte de inteligencia para os negocios  Cientista de Dados – é a pessoa capaz de orquestrar todos esses conceitos apresentando o valor que a empresa quer das informações
  • 8. O que é Hadoop ?  O Apache Hadoop é um projeto desenvolvimento como open-source software para escalável , confiável e com processamento distribuído. Um sistema escalável e confiável para armazenamento compartilhado e análises. Ele automaticamente trata da replicação de dados e das falhas em cada nó. Ele faz o trabalho duro, o desenvolvedor pode se concentrar em processamento da lógica de dados Permite que os aplicativos usem petabytes de dados em paralelo.
  • 9. Por que ?  Requisitos  500M+ usuário únicos por mês  Bilhões de eventos interessantes por dia  Necessidade de scalabilidade massiva  PB’s de storage, milhares de arquivos, 1000’s de nós  Necessidade de ter baixo custo  Uso de hardware comum  Compartilhar recursos com vários projetos  Fornecer escala quando necessário  Precisa de infraestrutura confiável  Deve ser capaz de lidar com falhas - hardware, software, networking  A falha é esperada, e não uma exceção  Transparente para as aplicações  muito caro para construir confiabilidade em cada aplicação  A infra-estrutura do Hadoop prove essas capacidade.
  • 10. Características  Um sistema escalável e confiável para armazenamento compartilhado e análises.  Ele automaticamente trata da replicação de dados e da falhas em cada nó.  Ele faz o trabalho duro - desenvolvedor pode se concentrar em processamento da lógica de dados  Permite que os aplicativos usem petabytes de dados em paralelo
  • 11. Eco Sistema  Hadoop Core  Distributed File System  MapReduce Framework  Pig (criado pelo Yahoo!)  Parallel Programming Language e Runtime  Hbase (criado pelo Powerset)  Table storage for semi-structured data  Zookeaper (criado pelo Yahoo!)  Coordinating distributed systems  Hive (criado pelo Facebook)  SQL-like query language and metastore
  • 12. Hadoop no FaceBook  Cluster em produção  4800 cores, 600 máquina, 16GB por máquina – Abril/2009  8000 cores, 1000 máquinas, 32 GB por máquina – julho/2009  4 SATA discos de 1 TB por máquina  2 níveis de rede hierarquica, 40 máquinas por rack  Total do tamanho do cluster 2 PB, projetado para 12 PB no Q3 2009  Em 2010 - A 1100-machine cluster with 8800 cores and about 12 PB raw storage.  Atualmente eles moveram 30PB de para um novo Cluster  Todos os dias o Facebook recebe 380milhões de novas fotos
  • 13. Cluster no Yahoo  É investidor da HortonWorks  Atualmente o Yahoo tem um cluster com mais de 42mil máquinas
  • 14. HDFS – Hadoop File System  Inspirado em GFS  Projetado para trabalhar com arquivos muito grandes  Executado em hardware commodity  Streaming de acesso a dados  Replicação e localidade
  • 15. HDFS- MapReduce Data Flow
  • 16. O que é MapReduce  MapReduce é um modelo de programação e implementação associados para o processamento e geração de grandes conjuntos de dados (Jeffrey Dean e Sanjay Ghemawat, 2004)  A ideia tem mais de 40 anos  Baseado em um modelo de programação funcional (como Lisp, Ml, etc)  Processamento de dados base em batch  A abstração limpa para programadores  Paralelização automática e distribuição  Tolerância a falhas
  • 17. Exemplo Simplifica de Map/Reduce map (String key, String value): // key: nome documento // value: Conteudo documento for each word w in value: EmitIntermediate(w, "1"); reduce(String key, Iterator values): // key: a palavra // values: a lista de valores int result = 0; for each v in values: result += ParseInt(v); Emit(AsString(result));
  • 18. Funcionamento do Map/Reduce
  • 19. Arquitetura Moderna
  • 20. HDP: Enterprise Hadoop Distribution Hortonworks Data Platform (HDP) Enterprise Hadoop  A única 100% open source e completa  Classe empresarial, provado e testado em escala  Ecossistema endossado para garantir a interoperabilidade
  • 21. Uso Comum do Hadoop 1. Social Entenda como seus clientes se sentem sobre a sua marca e produtos – agora 2. Clickstream Capturar e analisar as pistas de dados visitantes do site e otimizar seu site 3. Sensor/Machine Descobrir padrões nos dados que fluem automaticamente a partir de sensores e máquinas remotas 4. Geolocation Analisar dados baseados em localização para gerenciar as operações onde ocorrem 5. Server Logs Log de pesquisa para diagnosticar falhas no processo e prevenir violações de segurança 6. Unstructured (text, video, pictures, etc..) Compreender padrões de texto através de milhões de produtos de trabalho não estruturados: páginas web, e- mails, vídeos, fotos e documentos Valor
  • 22. Demonstração HortonWorks  Gera sentimento em relação o IronMan 3  Coleta do Stream do Twitter  Dados do Twiter são salvos pelo flume no hadoop  Com uma tabela de classificação de sentimento  É processada a base e gerar informações a respeito do filme
  • 23. Por que Hadoop no Windows  De acordo com a IDC Windows Server tem 73% em 2012  Hadoop foi tradicionalmente construído para servidores Linux de forma que há um grande número de organizações carentes  De acordo com o estudo de 2012 Barclays CIO big data supera Virtualização como tendência N º 1 iniciativas de gastos  Crescimento de dados não estruturados superior a 80% ano / ano na maioria das empresas  Apache Hadoop é a plataforma de dados defato grande. Para o processamento de grandes quantidades de dados não estruturados  Complementar às tecnologias existentes da Microsoft  Há uma enorme comunidade de desenvolvedores do Windows inexplorado e parceiros do ecossistema  Forte parceria Microsoft-Hortonworks e 18 meses de desenvolvimento
  • 24. HortonWorks Data Platform for Windows  HDP é a primeira e únição hadoop para Windows e Linux  Empresa de suporte Apache Hadoop no Windows  Permite mesma experiência para Hadoop no Windows e Linux  Mais parceiros, mais desenvolvedores para Hadoop  Nativa Apache Hadoop disponível para o Windows ecossistema  Mais opções para o Windows focada organizações  Hortonworks foco: Empresa Apache Hadoop para todas as plataformas  Distribuição pronta para produção confiável Confiável para on-premise Hadoop em implantações do Windows  Construído com investimentos conjuntos e com contribuições da Microsoft  Relacionamento engenharia profunda garante integração e desempenho máximo
  • 25. Interoperability com Microsoft Tools  Integrado com ferramentas da Microsoft para análise de dados grande nativa  Conectores bidirecionais para SQL Server e SQL Azure através Sqoop  Integração ODBC Excel através Hive  Dirigindo-se a demanda por Hadoop no Windows  Ideal para clientes Windows com? Hadoop experiência operacional  Permite que as cargas de trabalho do Hadoop mais comuns na empresa  Refinamento de dados e ETL para descarregar? De grande volume de dados de desembarque  Exploração de dados para a descoberta de novas oportunidades de negócios  Enriquecimento de dados para entrega sintonizado multado e mecanismos de recomendação
  • 26. Por dentro do HDP for Windows  Hortonworks Data Platform (HDP)  For Windows  100% Open Source Enterprise Hadoop  Component and version compatible with HDInsight  Availability  Beta release available now  GA early 2Q 2013
  • 27. Treinamentos Presencias, On-line e Semipresenciais  Curso: Apache Hadoop Essencial (8horas )  Curso: Introdução ao Futuro Cientista de Dados (8h)  Curso: DataScientist e BigData for Bussines (16h)  Curso: Apache Hadoop Fundamental (24h)  Treinamento e Workshop Ferramentas de BigData com EcoSistema Hadoop (40h)  Treinamento Apache Sqoop (8h)  Treinamento Apache Cassandra (16h)  Treinamento HBase (16h)  Treinamento Hive (16h)  Treimento Mahout (16h)  Curso + Treinamento em BI aplicado a máquinas de aprendizado Mahout (30h)  Curso de Splunk (16h)  Curso Pig e Pig Latin (16h)  Curos de Programaçao em MapReduce com Java e C# (16h)  Curso de Flume (16h)
  • 28. Criando Cluster no Azure
  • 29. O que é windows Azure  É plataforma de hardware e Software da microsoft
  • 30. Data Center Azure
  • 31. HDInsight – Hadoop Eco System
  • 32. Azure Blob
  • 33. Criando seu Cluster Hadoop no Azure
  • 34. Definido o Tamanho do Cluster
  • 35. Interface Administrativa
  • 36. Interface Administrativa
  • 37. Interface Administrativa
  • 38. InterFace Hive
  • 39. Jobs
  • 40. Job Info
  • 41. Exemplo de Hadoop no Azure
  • 42. Map Reduce em C#
  • 43. Map
  • 44. Reduce
  • 45. Maximise sua escolha para o Hadoop  Use HDP para Windows para no local de implantação no Windows Server  Ideal para usuários de Windows com experiência Hadoop  Perfeito próximo passo para aqueles que estão prontos para se deslocar de POC para produção  Use HDInsight para Microsoft ferramentas e gerenciamento e provisionamento  Serviço HDInsight que oferece todos os benefícios do Windows Azure (por exemplo, elasticidade e de baixo custo) - disponível em Visualizar hoje  HDInsight Servidor para a plena integração do Hadoop com ferramentas da Microsoft no local - Developer Preview disponível hoje  Escolha completa interoperabilidade e implantação em todas as plataformas  Implementar aplicações de dados grandes que funcionam on-premise e nuvem  Ao alavancar open source HDP, permite a interoperabilidade transparente entre ambientes: Linux, Windows, Windows Azure
  • 46. Cases !
  • 47. Sistema de Recomendação  Sistema de Recomendação de Produtos  Vitrines inteligentes para lojas online  Aumento em 60% o volume de faturamento das lojas  Cluster com 70nós  Mais de 1.5 milhões de transações por segundo
  • 48. Case Uniter  45 mil alunos  Crescimento da Base 1GB por dia  Preocessamento do dados 2 semanas  Com upload para cloud diários 1 hora  Processamento em 12 maquinas com PIG  Tempo de processamento baixou para 1 horas por dia
  • 49. Sistema BigData China
  • 50. Arquitetura ODBC DRIVER HBASE HDFS HCATOLOG MAPREDUCE HIVE PIG Apache Tomcat WEB Service StarGATE EXCEL FLUME Server Local De Captura Server Local De Captura Server Local De Captura
  • 51. Captura e Processamento dos Vídeos  As imagens são capturadas e processadas em tempo real.  Podemos notar as marcações realizadas pelo software de análise.  Ele consegue identificar os carros em movimentos e verificar várias infrações, como :  Velocidade acima de 10% do limite  Velocidade acima de 20% do limite  Avanço de Sinal  Caminhão fora de horário  Sobre a faixa de pedestre
  • 52. Etapa 2 – Transmissão Via WebServices
  • 53. Gravando dados no Hadoop
  • 54. Etapa 5 - Consulta dos dados  Usando PowerPivot , geramos os relatórios que são consultas diretamente na base do HBASE , via ODBC da HortonWorks.
  • 55. Tabelas do HBase vista pelo Excel via ODBC
  • 56. Etapa 6 – Construção dos relatórios  Foram construídos uma série de relatórios:  Número de Eventos por câmera  Número de Eventos por mês  Numero de Eventos por semana  Número de eventos por Infrações  Por tipo de evento  Por Posição geográfica no mapa
  • 57. Exemplo de Relatório  asd
  • 58. Exemplo de Relatório  asd
  • 59. Exemplo de Relatório  asd
  • 60. Exemplo de Relatório  asd
  • 61. Fotos Georeferenciados
  • 62. Perguntas ??? Binhara@azuris.com.br @binhara www.azuris.com.br