Big Data e Data Science é um documento que discute:
1) O que são dados e como eles se relacionam com informação e conhecimento.
2) O que é Big Data e como os dados estão crescendo em volume, velocidade e variedade.
3) Como a ciência de dados pode ser usada para encontrar padrões e tendências nos dados através de técnicas estatísticas e de aprendizado de máquina.
4. O que são dados?
DADOS ● Simples / Escalar
INFORMAÇÃO ● Combinação de dados
CONHECIMENTO ● Combinação de informações
5. Categorias de Dados
Estruturado Semi-Estruturado Não Estruturado
Estrutura
Rígida
Atributos
Fixos
Tamanhos
Fixos
Integriadade e
Consistencia
Estrutura
Flexível Sem
Estrutura
Atributos
Variáveis
Tamanhos
Variáveis
10. O macro processo da informação
Sistemas de
Produção
BD
Operacional
Data
Warehouse
Relatórios
Cubos
Dashboards
Data Mining
Clientes Funcionários
DADOS
DECISÃO
INFORMAÇÃO
DADOS
INFORMAÇÃO
CONHECIMENTO
Planejamento
Metas
Promoções
Ofertas
Promoções
etc
Gerentes
13. Tamanho dos Dados
Unidade Conversão O que representa
Bit 0 ou 1
Byte (B) 8 bits Uma letra
Kilobyte (KB) 1024 bytes Um parágrafo de texto
Megabyte (MB) 1024 Kb Um livro, uma música de 2 min
Gigabyte (GB) 1024 Mb 40 minutos de filme em qualidade de DVD
Terabyte (TB) 1024 Gb Três semanas e meia de vídeo de alta qualidade,
Petabyte (PB) 1024 Tb ???
Exabyte (EB) 1024 Pb ???
Zetabyte (ZB) 1024 Eb ???
14.
15. Custo por Tamanho dos Dados
Fonte: http://www.techtudo.com.br/artigos/noticia/2013/04/do-disquete-ao-pendrive-veja-evolucao-do-armazenamento-movel.html
16.
17.
18. Custo do Armazenamento Hoje
Mídia Custo Médio por GB (R$)
Pendrive 2,50
SSD 2,60
Disco Rígido 0,37
Cloud 0,03 (mês)
19. Velocidade de comunicação
Velocidade 1 Segundo 1 Minuto 1 Hora
bits por segundo (bps) 1 7.5 B 450 B
Kilobits por segundo (Kbps) 125 B 7.3 KB 439 KB
Megabits por segundo (Mbps) 122 KB 7.3 MB 439 MB
Gigabits por segundo (Gbps) 119 MB 6,9 GB 414 GB
Fonte: http://www.wu.ece.ufl.edu/links/dataRate/DataMeasurementChart.html
20. Velocidade dos Dados
Dispositivo Velocidade Segundo Ano
Modem 56 K 56 Kbps 6,8 KB 1998
ADSL Até 8 Mbps 976 KB 1999
Cable Modem Até 52 Mbps 6,3 MB 2001
Ethernet 100Mbps 12,5 MB 1995
Gigabit Ethernet 1 Gbps 125 MB 1998
Wireless 108 Mbps 13,5 MB 2003
3G 384 Kbps 48 KB 2002
21. Custo por Velocidade dos Dados
Meio Velocidade Custo Mensal por Mbps
Celular 3G 1 Mbps 30,00
ADSL 1 Mbps 44,00
Cabo 1 Mbps 40,00
Fibra 15 Mbps 75,00
Wireless
23. Novas Fontes de Dados
● Por quê?
○ Monitoramento da marca;
○ Monitoramento de campanhas de marketing;
○ Relacionamento com o consumidor;
○ Análise de tendências (trending topics);
○ ...
24. ● 4 milhões de buscas no Google
● 2,5 milhões de posts no
Facebook
● 300 mil posts no Twitter
Data Explosion
● 220 mil fotos no Instagram
● 72 horas de vídeo no Youtube
● 50 mil downloads de aplicativos
na Apple Store
● 200 milhões de e-mails
O que acontece em 1 minuto na Internet?
Fonte: http://aci.info/2014/07/12/the-data-explosion-in-2014-minute-by-minute-infographic/
25.
26.
27. Internet das Coisas (IoT)
● Diversos sensores coletando dados
automaticamente;
● Dados são enviados para a internet e
armazenados;
● Usuário é alertado sobre os dados;
28.
29.
30.
31. Internet das Coisas (IoT)
● Sensores
● GPS
● Climáticos
○ Temperatura
○ Umidade
○ Precipitação
○ Velocidade do Vento
● Luminosidade
● Timer
● Biométricos
○ Pressão
○ Temperatura
Corporal
○ BPM
● Carros
33. Dados Abertos (Open Data)
Disponibilizar arquivos de dados:
● Completos
● Primários
● Atuais
● Acessíveis
● Tratáveis por
computador
● Sem discriminação
● Sem propriedade
● Sem licença
34. Dados Abertos (Open Data)
● Existência
○ Os dados devem estar disponíveis e indexados na web!
● Aproveitamento
○ Os dados devem estar em formato utilizável por computador!
● Utilidade
○ Os dados devem estar livres de restrições jurídicas!
35. Dados Abertos Governamentais
● Lei de Acesso à Informação (LAI)
○ http://dados.gov.br/
○ http://www.portaltransparencia.gov.br/
○ http://www.transparencia.mg.gov.br/
○ http://www.ifnmg.edu.br/acessoainformacao/sobre-
o-acesso-a-informacao
○
38. Novo cenário
● Todos os dados
○ Formatos diferentes entre si;
○ Gerados em velocidades distintas;
○ Validades diferentes;
○ Relacionados ou não.
39.
40.
41. Valor e Depreciação
● Alguns dados sofrem depreciação
○ Têm dada de validade
○ Custo de Oportunidade
Depois de coletados e armazenados os dados
devem rapidamente serem transformados em
informação para ser consumida!
43. Visualização da Informação
● Relatórios
● Gráficos
● Indicadores de Desempenho
● Painéis de Controle (Dashboards)
● Infográficos e Data Storytelling
49. Big Data
● 4 V's (Stapleton, 2011)
○ Volume
■ Terabytes para Petabytes de dados
○ Velocidade
■ Fluxo contínuo e rápido de novos dados
○ Variedade
■ Dados estruturados, semi e não estruturados
○ Veracidade
■ Governança de dados e qualificação entre
Consistente, Inconsistente, Incompleto, Ambíguo, ...
54. E o poder de processamento???
● Supercomputadores ???
○ $$$ #Fail
● Multicomputadores !!!
○ $$$ :-)
55. E o poder de processamento???
● Multicomputadores
○ Cluster
■ SIMD - Single Instruction Multiple Data
■ Rede Local
○ Grid
■ MIMD - Multiple Instruction Multiple Data
■ Distribuição geográfica
56. E o poder de processamento???
● Cluster = Dividir para Conquistar
○ Sharding
■ Sistema de Arquivos Distribuídos
■ Dividir os dados
○ Map/Reduce
■ Processamento Distribuído & Paralelo
■ Dividir o processamento
58. Sharding
● Particionamento Horizontal Replicado
○ O total de dados é dividido em vários partes
pequenas (shards - cacos);
○ As partes são divididas entre vários computadores
○ Cada parte tem pelo menos 3 cópias em
computadores diferentes (segurança)
59. Sharding
Comp 1 Comp 2 Comp 3 Comp 4
Comp N
...
Master
Dados
Índice
A
B
Dados
C
D
Dados
A
C
Dados
B
D
Dados
A
D
61. Map/Reduce: Processamento Distribuído
● Etapa de Mapeamento
○ O processamento total é dividido em pequenas
tarefas
○ As tarefas são enviadas para os computadores
executarem nos dados locais
○ Cada computador envia o resultado para o
computador central
63. Map/Reduce: Processamento Distribuído
● Etapa de Redução
○ O computador central recebe o resultado do
processamento dos outro computadores
○ Os resultados individuais são combinados em um
resultado único
66. Até aqui...
● Tenho muitos dados
○ De muitos tipos
○ Chegando muito rápido
● Tenho muito poder computacional
○ Muitos discos
○ Muitos processadores
E o que eu faço com tudo isso???
68. Ciência de Dados
● Objetivo
○ Encontrar PADRÕES e TENDÊNCIAS nos dados;
■ Novos
■ Potencialmente úteis
○ Desenvolver tecnologias a partir dos padrões
encontrados.
70. Data Science
Bancos de DadosProgramação
Estatística
Inteligência
Computacional
Cálculo
Metodologia
de Pesquisa
Gestão de
Projetos
Análise de
Negócio
Grafos e Redes
Design
Otimização
Simulação
Álgebra
Linear
83. Conclusão
● Tudo está conectado!
● Nunca antes tivemos tantos dados,
informações e conhecimento sobre tantas
coisas;
● Há um vasto leque de possibilidades
latentes...
84. Conclusão
● Data Science
○ Mais do mesmo ou novidade?
○ Uma nova renascença ou uma onda passageira?
Até onde podemos chegar?
O que somos capazes de fazer?
85. Efeito Borboleta
"Um parafuso mal ajustado na planta de
produção de uma fábrica pode causar uma
crise econômica mundial?"
86. "Em Deus eu confio.
Todos os outros precisam
trazer dados"
William E. Deming
89. Referências
● Azevedo, A.; Santos, M.F. KDD, SEMMA, and CRISP-DM: A Parallel Overview.
Proceedings of the IADIS European Conference on Data Mining, Amsterdam,
2008, pp. 182-185. Disponível em http://recipp.ipp.pt/handle/10400.22/136.
Acesso em 28/01/2013.
● Brewer, Eric A.: Towards Robust Distributed Systems. Portland, Oregon, July
2000. – Keynote at the ACM Symposium on Principles of Distributed Computing
(PODC). Disponível em http://www.cs.berkeley.edu/~brewer/cs262b-2004/PODC-
keynote.pdf Acesso em 27/01/2013.
● Chapman, P. et al. CRISP-DM 1.0 - Step-by-step data mining guide. 2000.
Disponível em http://www.crisp-dm.org/CRISPWP-0800.pdf. Acesso em
27/01/2013.
● Chee, Timothy; Chan, Lee-Kwun et al. Business Intelligence Systems: State-of-
the-art review and contemporary applications. In Symposium on Progress in
Information & Communication Technology 2009. p. 96-101.
● Codd, Edgar F.: A Relational Model of Data for Large Shared Data Banks. In:
Communications of the ACM 13 (1970), June, No. 6, p. 377–387
90. Referências
● Fayyad, U. M. et al. From data mining to knowledge discovery: an overview.
In Fayyad, U. M.et al (Eds.), Advances in knowledge discovery and data mining.
AAAI Press / The MIT Press.
● Fayyad, U. and Piatetsky-Shapiro, G. and Smyth, P. The KDD process for
extracting useful knowledge from volumes of data. Communications of the
ACM v. 39, n. 11, p. 27-34. 1996.
● Inmon, W.H. Building the data warehouse. J. Wiley. 2002.
● MacVittie, Lori. The Four V’s of Big Data. Disponível em https://devcentral.f5.
com/blogs/us/the-four-v-rsquos-of-big-data. Acesso em 27/01/2013.
● Pritchett, Dan. BASE: An ACID alternative. ACM Queue. 2008. Disponível em
http://queue.acm.org/detail.cfm?id=1394128. Acesso em 27/01/2013.
● Kimball, R.; Ross, M. et al. The data warehouse toolkit: the complete guide to
dimensional modelling. New York: 2002.
● SAS Institute. SAS Enterprise Miner – SEMMA. Disponível em http://www.sas.
com/technologies/analytics/datamining/miner/semma.html. Acessado em
27/01/2013.