24HoP 2013 - Por Onde Começar no BigData

449 views
328 views

Published on

Palestra realizada no 24HoP 2013 (24 Hours of PASS - Portuguese), abordando o assunto Por Onde Começar no BigData.

Published in: Technology, Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
449
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

24HoP 2013 - Por Onde Começar no BigData

  1. 1. Por onde começar no BigData Diego Nogare / MVP SQL Server @DiegoNogare / www.DiegoNogare.net
  2. 2. HDInsight
  3. 3. Criando o Cluster 3 3
  4. 4. HDInsight 4 4
  5. 5. Demo – Criando o Cluster de HDInsight 5 5
  6. 6. A caixa de sapato digital Business Intelligence Data Science Real-Time Hadoop DB Machine Learning Ad-Hoc Dremel Operational Data Mining Query Self-Service Analytics Hive Predictive Batch Map Reduce SQL Exploratory Unstructured Social Insight Pig Interactive Cloud Scale 6 Pivot Visualization Hadoop Big Query Text Analytics 6 Data Warehouse Reporting Drill
  7. 7. Hadoop
  8. 8. 15% Dados Estruturados 85% Dados Não Estruturados Fonte: Apresentação da Gartner ‘O Gerenciamento 'Radical‘ de Informações': Os Maiores Desafios para CIOs do Século 21 8 Mark Beyer, Outubro 2011 8
  9. 9. Arquitetura do Hadoop Distributed Processing (Map Reduce) Distributed Storage (HDFS) 9 9
  10. 10. Arquitetura do Hadoop Log file aggregation (Flume) 10 Business Intelligence (Excel, Power View, SSAS…) Pipeline / workflow (Oozie) System Center (Future) 10 Data Integration Active Directory (Future) Distributed Storage (HDFS) ( ODBC / SQOOP/ REST) Distributed Processing (Map Reduce) NoSQL Database (HBase) Machine Learning (Mahout) Stats processing (RHadoop) Graph (Pegasus) Metadata (HCatalog)
  11. 11. Arquitetura do Hadoop Log file aggregation (Flume) 11 Business Intelligence (Excel, Power View, SSAS…) Pipeline / workflow (Oozie) System Center (Future) 11 Data Integration Active Directory (Future) Distributed Storage (HDFS) ( ODBC / SQOOP/ REST) Distributed Processing (Map Reduce) NoSQL Database (HBase) Machine Learning (Mahout) Stats processing (RHadoop) Graph (Pegasus) Metadata (HCatalog)
  12. 12. Movimentando dados para o HDInsight
  13. 13. Demo – Movimentando Dados 13 13
  14. 14. Mudando a forma de pensar com os 3 Vs do BigData Volume Velocidade Variedade
  15. 15. HIVE
  16. 16. Arquitetura do Hive Hive Hadoop 16 16
  17. 17. Demo – Consumindo dados com HIVE
  18. 18. MapReduce
  19. 19. Propósito
  20. 20. E como é processado?
  21. 21. Livros técnicos sobre BigData
  22. 22. Livros sobre assuntos relacionados 22 |
  23. 23. Links e Assuntos relacionados Links relacionados • Lançamento do HDInsight http://blogs.technet.com/b/microsoft_blog/archive/2013/10/28/ announcing-windows-azure-hdinsight-where-big-data-meets-the-cloud.aspx • SQL Continues to Crash the BigData Party http://visualstudiomagazine.com/blogs/data-driver/2013/11/sql-and-big-data.aspx • Facebook SQL-on-Hadoop http://gigaom.com/2013/11/06/ facebook-open-sources-its-sql-on-hadoop-engine-and-the-web-rejoices/ Sessões relacionadas • PowerBI (Bruno Basto) – 13/11 – 18hs GMT (16hs Brasília) • Self-Service BI (Manuel Dias) – 13/11 – 22hs GMT (20hs Brasília) • Data-Driven (Rui Quintino) – 14/11 – 20h GMT (18hs Brasília) 23 |
  24. 24. Dúvidas?
  25. 25. Obrigado pela participação!

×