Successfully reported this slideshow.
Your SlideShare is downloading. ×

Big Data Intro @ SemanaCMCC

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad

Check these out next

1 of 36 Ad
Advertisement

More Related Content

Similar to Big Data Intro @ SemanaCMCC (20)

Advertisement

Recently uploaded (20)

Advertisement

Big Data Intro @ SemanaCMCC

  1. 1. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 1 10.11.2017 Dr. Flávio Eduardo Aoki Horita flavio.horita@ufabc.edu.br | http://www.flaviohorita.com Sala 509-2 – Torre 2 – Bloco A – Santo André - Brasil Introdução ao Big Data: Conceitos e Aplicações
  2. 2. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 2 10.11.2017 • Professor Adjunto, CMCC, UFABC. • Membro do AGORA e LabGRIS • Doutor em Ciências Matemáticas e de Computação, ICMC, USP • ... Desenvolvedor ... PHP... Java ... Flex ... Gerente de Projetos ... Pesquisador ... Python. • Interesses de pesquisa: • Modelagem em sistemas-de-sistemas • Data-driven decision-making Flávio Horita
  3. 3. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 3 10.11.2017 • Introdução • Conceitos • Aplicações • => Luiz ... Hadoop, Hands-On, ... Agenda
  4. 4. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 4 10.11.2017 Introdução
  5. 5. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 5 10.11.2017 • Dados sempre foram empregados para apoiar a tomada de decisão: • Período de Automatização dos Processos (a partir dos anos 70); • Bancos transacionas; • SGBSs; • ERPs; • Sistemas de Informação; • Engenharia de Software. Introdução
  6. 6. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 6 10.11.2017 GLOBALIZAÇÃO (a partir anos 90) • Internet; • Desenvolvimento distribuído; • Interoperabilidade de processos; • Sistemas distribuídos; • Aprimoramento de software e hardwares.
  7. 7. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 7 10.11.2017 • Dados sempre foram empregados para apoiar a tomada de decisão: • Período da Mineração dos Dados (a partir dos anos 2000); • Aprimoramento de software e hardwares. • Mineração de dados; • Armazenamento em larga escala; • Big Data; • Obtenção de conhecimento; • Data-driven decision-making; • Etc. Introdução
  8. 8. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 8 10.11.2017 Big Data
  9. 9. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 9 10.11.2017 • Dados... • são gerados pelas mais diversas plataformas: • Redes sociais; • Dispositivos móveis; • Internet das coisas; • Centrais de autoatendimento; • Websites; • etc. Introdução
  10. 10. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 10 10.11.2017 • Dados... • são produzidos para as mais diferentes finalidades: • Gestão de desastres; • Mobilidade urbana; • Distribuição de energia elétrica; • Consumo de água; • Serviços urbanos; • Marketing; • Desenvolvimento e lançamento de produtos; • etc. Introdução
  11. 11. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 11 10.11.2017 • Dados... • são produzidos e armazenados em grandes bancos de dados; Introdução 1 ZB = 1 073 741 824 TB Aprox. 1milhão de HD comuns
  12. 12. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 12 10.11.2017 • Dados... • são gerados continuamente; Introdução Flight Radar
  13. 13. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 13 10.11.2017 • Dados... • são gerados continuamente; Introdução
  14. 14. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 14 10.11.2017 • Como extrair conhecimento a partir desta grande quantidade de dados? • Como lidar com a heterogeneidade dos dados? • Como processar essa grande volume de dados? • Como apoiar a tomada de decisão com dados atualizados sobre as variáveis de interesse?
  15. 15. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 15 10.11.2017 Conceitos
  16. 16. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 16 10.11.2017 ““Massivo crescimento da quantidade de dados ao redor do mundo.”
  17. 17. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 17 10.11.2017 ““Técnicas e iniciativas de tratamento, integração e análise de dados provenientes de diversas fontes em diferentes mídias e formatos”
  18. 18. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 18 10.11.2017 Big Data x Ciência de Dados Conceitos • Ciência de dados tem como objetivo criar e projetar modelos para extrair padrões (“insights”) a partir de sistemas complexos. • Big Data x Ciência de Dados: são conceitos diferentes, embora relacionados com uma mesma área.
  19. 19. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 19 10.11.2017 Conceitos
  20. 20. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 20 10.11.2017 velocity Big Data veracity volume variety Source: Hashem et al., (2015)
  21. 21. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 21 10.11.2017 Big data e a evolução da pesquisa científica Conceitos
  22. 22. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 22 10.11.2017 O Quarto Paradigma da Ciência Conceitos • James Gray (Microsoft) • Ciência é centrada nos dados, sejam observados ou simulados, unificando teoria, experimentos e simulações: eScience • Três atividades básicas: captura, tratamento e análise. • Computação e estatística são fundamentais.
  23. 23. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 23 10.11.2017 O Quarto Paradigma da Ciência Conceitos • Computação e estatística são fundamentais. • Banco de dados • Linguagens • Processamento • Visualização.
  24. 24. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 24 10.11.2017 O Quarto Paradigma da Ciência Conceitos
  25. 25. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 25 10.11.2017 O Quarto Paradigma da Ciência Conceitos
  26. 26. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 26 10.11.2017 Aplicações
  27. 27. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 27 10.11.2017 Source: Rodríguez-Mazahua et al., (2016) Aplicações Big data
  28. 28. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 28 10.11.2017 Cidades Inteligentes Aplicações Source: Cavalcante et al., (2016)
  29. 29. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 29 10.11.2017 Cidades Inteligentes Aplicações Source: Pregnolato et al. (2016)
  30. 30. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 30 10.11.2017 Cidades Inteligentes Aplicações ImagensMensagens TwitterFlickr Instagram
  31. 31. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 31 10.11.2017 Gestão de Desastres Aplicações Hard sensors Exploratory teams Social Media Collaborative Platforms Source: Elwood (2008); Goodchild & Glennon (2010); Niko et al., (2011); DeLongueville et al. (2012); Horita et al. (2013); Haworth & Bruce (2015)
  32. 32. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 32 10.11.2017 Gestão de Desastres Aplicações Source: Chae et al. (2013)
  33. 33. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 33 10.11.2017 Gestão de Desastres Aplicações January 21st, 2018January 16st, 2018
  34. 34. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 34 10.11.2017 2. Big Data Analytics
  35. 35. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 35 10.11.2017 • http://www.mobimais.com.br/blog/dados- informacao-conhecimento-ideia-e-sabedoria/ • https://lisianegc.wordpress.com/2011/04/17/dado -informacao-e-conhecimento/ • https://audiotech.com/trends- magazine/harnessing-big-data-opportunity/ • http://www.businessinsider.com/mobile-data- consumption-will-surge-by-2021-2016-6 • http://blog.qmagico.com.br/educacao/big-data- servico-da-educacao/ Imagens Referências
  36. 36. Introdução ao Big Data: Conceitos e Aplicações Dr. Flávio E. A. Horita | http://www.flaviohorita.com 36 10.11.2017 Introdução a Big Data: Conceitos e Aplicações Dr. Flávio Eduardo Aoki Horita E: flavio.horita@ufabc.edu.br W: http://flavio.horita.com Sala 509-2 – Torre 2 – Bloco A – Santo André - Brasil Questions?

×