Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Seu primeiro aplicativo de Big Data

3,691 views

Published on

Você lançar a sua primeira aplicação em Big Data e não sabe como? Junte-se a nós nessa jornada e vamos construir aplicação utilizando Amazon EMR, Amazon Redshift, Amazon Kinesis, Amazon DynamoDB e Amazon S3.

Published in: Technology
  • Be the first to comment

Seu primeiro aplicativo de Big Data

  1. 1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Alex Coqueiro Gerente de Arquitetura para o Setor Público Amazon Web Services Junho, 2016 Seu Primeiro Aplicativo de Big Data @alexbcbr Luis Guerrero Gerente de Engenharia Viva Real #AWSSummit #bigdata
  2. 2. grande complexidade
  3. 3. Complexidade em função de uma grande variedade Glacier S3 DynamoDB RDS EMR Redshift Data Pipeline Kinesis Cassandra Amazon CloudSearch Amazon Machine Learning Amazon QuickSightAmazon ElasticSearch
  4. 4. Ingestão Processamento Análise Armazenamento Dados Respostas
  5. 5. Ingestão InformaçõesTransacionais Processamento Armazenamento Análise Visualização Caso de Uso – Análise de Malha Aérea
  6. 6. Ingestão Processamento Análise Armazenamento Dados Respostas
  7. 7. AMAZON S3 SIMPLE STORAGE SERVICE
  8. 8. Amazon S3 YOUR-BUCKET-NAME
  9. 9. Ingestão Processamento Análise Armazenamento Dados Respostas
  10. 10. AMAZON KINESIS REAL TIME DATA STREAMING
  11. 11. Tipos de dados para a ingestão Transacionais • RDBMS Arquivos • Click-stream logs • Texto livre Stream • IoT devices • Tweets Database Cloud Storage Stream Storage
  12. 12. Amazon Kinesis Firehose Criaremos um stream com o Amazon Kinesis Firehose, para os dados que serão coletados dos sistemas de origem aws firehose create-delivery-stream --delivery-stream-name STREAM-NAME --s3-destination-configuration config.json --region us-east-1
  13. 13. Exemplo do arquivo de log
  14. 14. Ingestão de dados no Kinesis Firehose Faremos uma ingestão baseado em dados que estão sendo coletados de um sistema transacional aws firehose put-record --delivery-stream-name STREAM-NAME --record Data=”JOAO DA SILVA,CLE,MCO,14”
  15. 15. Ingestão Processamento Análise Armazenamento Dados Respostas
  16. 16. AMAZON ELASTIC MAP REDUCE HADOOP AS A SERVICE
  17. 17. Amazon EMR Lançaremos um cluster de 3 nós em Amazon EMR com Spark: m3.xlarge YOUR-AWS-SSH-KEY
  18. 18. Spark • Motor para processamento de dados em larga escala • Suporte a aplicações escritas em Java, Scala, Python ou R • Combina SQL, streaming e análises complexas
  19. 19. Desenvolvendo Spark/Python no Amazon EMR ## Interagindo com serviços como Amazon S3 via API (boto) ## BUCKET-NAME ## Criando contexto no SPARK ## PYTHON-APP
  20. 20. Desenvolvendo Spark/Python no Amazon EMR ## Processamento da Lógica de Negócio ## BUCKET_NAME ## Gravando resultados processados no S3 em formato compactado ## BUCKET_NAME
  21. 21. Lançar Apps no Cluster Spark do Amazon EMR Usamos SSH para conectar no cluster: ssh -o TCPKeepAlive=yes -o ServerAliveInterval=30 -L 8001:localhost:18080 YOUR-AWS-SSH-KEY hadoop@YOUR-EMR-HOSTNAME Iniciando o Spark shell: spark-submit --master yarn-client PYTHON-APP.py
  22. 22. Ingestão Processamento Análise Armazenamento Dados Respostas SQL
  23. 23. AMAZON REDSHIFT PETA-BYTE SCALE DATAWAREHOUSE
  24. 24. Amazon Redshift CHOOSE-A-REDSHIFT-PASSWORD
  25. 25. Criar uma tabela no Amazon Redshift
  26. 26. Mas eu quero visualizar os dados ?
  27. 27. Exemplo do arquivo de saída
  28. 28. Carregar os dados no Amazon Redshift Comando “COPY” carrega dados em paralelo COPY voos FROM 's3://YOUR-S3-BUCKET/voos-log-processado' CREDENTIALS 'aws_access_key_id=YOUR-IAM-ACCESS_KEY; aws_secret_access_key=YOUR-IAM-SECRET-KEY' DELIMITER ’,' IGNOREHEADER 0, REMOVEQUOTES, MAXERROR 0 GZIP;
  29. 29. Conectando no Amazon Redshift # usando o PostgreSQL CLI YOUR-REDSHIFT-ENDPOINT Ou usando uma ferramenta JDBC ou ODBC SQL client com suporte a drivers em PostgreSQL 8.x ou nativamente com suporte ao Amazon Redshift • Aginity Workbench for Amazon Redshift • SQL Workbench/J • DBVisualizer
  30. 30. Queries no Amazon Redshift -- Número de registros -- Quem transporta mais passageiros ? -- Quem transporta mais passageiros com milhas ?
  31. 31. AMAZON QUICKSIGHT CLOUD-POWERED BUSINESS INTELLIGENCE
  32. 32. Amazon Kinesis InformaçõesTransacionais Amazon EMR Amazon S3 Amazon Redshift Amazon Quicksight O que vimos … Map Reduce Parallel Copy SQL Query
  33. 33. Experiência da Viva Real Luis Guerrero Gerente de Engenharia ©2016, Amazon Web Services, Inc. or its affiliates. All rights reserved
  34. 34. Serviços da AWS
  35. 35. Nosso Problema
  36. 36. A Solução
  37. 37. Aprenda mais AWS big data com nossos especialistas blogs.aws.amazon.com/bigdata
  38. 38. Muito Obrigado Alex Coqueiro Gerente de Arquitetura para o Setor Público @alexbcbr#bigdata #AWSSummit

×