SlideShare a Scribd company logo
1 of 67
Download to read offline
1 
BBiigg DDaattaa 
eemm 88 ppeerrgguunnttaass
2 
Quem eu sou e o que faço? 
Marcos Luiz Lins 
Filho 
o Técnico em Processamento de Dados IFPB 
o Graduado em Ciência da Computação UFCG 
o MBA Gestão de TI - UFRN 
o Mestrado em Computação – UFPE 
o Há 10 anos trabalho na Petrobras Distribuidora S/A 
o Trabalhei como Analista de Sistemas e hoje atuo na área 
de Negócios 
o Não deixo nunca de estudar e buscar novos 
conhecimentos, o famoso CURIOSO
3 
Agenda 
1) Por que pensar em Big Data ? 
2) De onde vem e o que é o Big Data ? 
3) O que Big Data tem de diferente ? 
4) O que vai mudar com o Big Data ? 
5) Por que o termo Big Data está em evidência ? 
6) Quais os maiores desafios do Big Data ? 
7) Como funciona o Big Data na prática ? 
8) Quem já usa o Big Data ?
4 
Agenda 
1) Por que pensar em Big Data ? 
2) De onde vem e o que é o Big Data ? 
3) O que Big Data tem de diferente ? 
4) O que vai mudar com o Big Data ? 
5) Por que o termo Big Data está em evidência ? 
6) Quais os maiores desafios do Big Data ? 
7) Como funciona o Big Data na prática ? 
8) Quem já usa o Big Data ?
5 
Fonte: Bruno Domingues, Big Data com AWS e Intel, 2014
6 
Agenda 
1) Por que pensar em Big Data ? 
2) De onde vem e o que é o Big Data ? 
3) O que Big Data tem de diferente ? 
4) O que vai mudar com o Big Data ? 
5) Por que o termo Big Data está em evidência ? 
6) Quais os maiores desafios do Big Data ? 
7) Como funciona o Big Data na prática ? 
8) Quem já usa o Big Data ?
História do Big Data 
 Se divide em dois momentos 
 Expansão no campo científico e de negócios basicamente através do 
uso do termo Big Data de forma técnica e acadêmica (1984 – 2007) 
 (Tilly, 1984) usa pela primeira vez o termo Big Data em textos 
acadêmicos; 
 Uma primeira pesquisa publicada em 1987 relativa a uma técnica 
de programação chamada small code, big data; 
 Em 1989 e 1993 pesquisas começam a tratar de aplicações de Big 
Data; 
 (Laney , 2001) publica trabalho com o título os 3 V´s do Big Data 
(Volume, Variedade e Velocidade) 
Fonte: Francis X. Diebold: A Personal Perspective on the Origin(s) and Development of “Big Data”: The Phenomenon, the Term, and the Discipline, August 2012
História do Big Data 
 Se divide em dois momentos 
 Difusão do termo já com viés tecnológico e econômico, estudo de 
tecnologias, desenvolvimento de ferramentas para análise de dados 
etc (meados de 2008) 
 (Lohr, 2008) Jornalista do New York Times publicou artigo em que 
citava que cientistas de computação e executivos da indústria já 
enxergavam que o termo Big Data saia da esfera acadêmica e já 
começava a trazer resultados econômicos. 
 A Wired publica em junho de 2008 um artigo “The Petabyte Age: 
because more isn’t just more, more is different”, que apresenta as 
oportunidades e implicações do Big Data 
 (Lohr, 2012) – Início do uso do termo Big data pela IBM em 2008 
na sua estratégia de Marketing. Em 2011, no Twitter. Em 2012, 
com a publicação do 1 ebook sobre ᵒ tecnologias de Big Data. 
Fonte: Francis X. Diebold: A Personal Perspective on the Origin(s) and Development of “Big Data”: The Phenomenon, the Term, and the Discipline, August 2012
O que é Big Data? 
“A verdadeira questão não é que você 
está coletando grandes quantidades de 
dados, mas sim o que você faz com eles. 
As organizações terão que ser capazes 
de aproveitar os dados relevantes e usá-los 
para tomar as melhores decisões.” 
Fonte: IDC. "Big Data Analytics: Future Architectures, Skills and Roadmaps for the CIO," September 2011 
(IDC, 2011)
O que é Big Data? 
FONTE: EMC
O 3Vs do Big Data 
 “Big Data são os grandes conjuntos de dados que possuem 
três características principais: volume, velocidade e 
variedade.” 
Fonte: IBM
12 
Agenda 
1) Por que pensar em Big Data ? 
2) De onde vem e o que é o Big Data ? 
3) O que Big Data tem de diferente ? 
4) O que vai mudar com o Big Data ? 
5) Por que o termo Big Data está em evidência ? 
6) Quais os maiores desafios do Big Data ? 
7) Como funciona o Big Data na prática ? 
8) Quem já usa o Big Data ?
Por que Big Data é diferente ? 
Aumento na quantidade de Dados 
Fonte: EMC
Por que Big Data é diferente ? 
Maior demanda por Computação Distribuída 
Fonte: http://www.inf.ufsc.br/~frank/INE5418/1.Fundamentos-Slides.pdf
Por que Big Data é diferente ? 
Maior demanda por Computação Distribuída 
Computação distribuída significa pegar uma 
tarefa, dividi-la em pedaços menores e dar 
cada pedaço a uma “máquina” diferente, 
depois pegar cada resultado, uni-los (de 
maneira coerente) e apresentá-lo. 
Fonte: https://under-linux.org/entry.php?b=2603 
Dificuldade 
Processamento X Distribuição (Divisão) 
Integridade e Disponibilidade em Cloud Computing
Limitações dos Bancos de Dados Relacionais 
Fonte: IMD 
Por que Big Data é diferente ?
O 3Vs do Big Data 
 “Big Data são os grandes conjuntos de dados que possuem 
três características principais: volume, velocidade e 
variedade.” 
Fonte: IBM 
Aumento na quantidade de Dados 
Maior demanda por 
Computação Distribuída 
Limitações dos Bancos de Dados 
Relacionais
+ 3 V’s do Big Data 
VVeerraacciiddaaddee 
Fonte: http://cio.uol.com.br/opiniao/2012/05/11/o-caos-conceitual-e-os-5-vs-do-big-data/ 
VVaalloorr 
VViiaabbiilliiddaaddee
Os dados são de 3 tipos 
 Estruturados 
 Semi-estruturados 
 Não estruturados 
Fonte: Joyanes, 2013 
Por que Big Data é diferente ?
Estruturados 
Dados que possuem esquema de campos fixos 
Formato bem definido 
Normalmente armazenado em BD Relacionais 
Conhecimento prévio da estrutura dos dados 
São gerados em uma ordem especificada 
Fonte: Joyanes, 2013 
Por que Big Data é diferente ?
Semi-estruturados 
Possuem um fluxo lógico 
O formato pode ser bem definido, mas não 
necessariamente é fixo 
Não possui fácil compreensão por parte do usuário 
leigo 
Tem como característica marcante o uso de 
etiquetas e marcadores para separar elementos dos 
dados 
Regras complexas para manipulação dos dados 
Fonte: Joyanes, 2013 
Por que Big Data é diferente ?
Não estruturados 
Sem tipo predefinido; 
Não possuem estrutura uniforme (ex. Documentos, 
objetos); 
Pouco ou nenhum controle sobre eles; 
Dificuldade de “manipulação” para extração de 
informação 
Fonte: Joyanes, 2013 
Por que Big Data é diferente ?
De onde vem os dados do Big Data? 
Web e Redes Sociais (clicks, cookies, twitter, facebook) 
Mobilidade 
Internet das Coisas (RFID/NFC, Sensores, GPS e Telemetria) 
Biometria (Reconhecimento fácil, impressão digital, dados 
genéticos) 
Dados gerados por pessoas (Voz, email, SMS, etc) 
Dados gerados por governos, institutos de pesquisas e 
empresas 
Fonte: Soares, 2012 
Por que Big Data é diferente ?
24 
Agenda 
1) Por que pensar em Big Data ? 
2) De onde vem e o que é o Big Data ? 
3) Por que o Big Data é diferente ? 
4) O que vai mudar com o Big Data ? 
5) Por que o termo Big Data está em evidência ? 
6) Quais os maiores desafios do Big Data ? 
7) Como funciona o Big Data na prática ? 
8) Quem já usa o Big Data e em quê ?
O que vai mudar com o Big Data? (Tecnologia) 
IInntteeggrraaççããoo
O que vai mudar com o Big Data? (Negócios) 
EEssttrraattééggiiaa
O que vai mudar com o Big Data? (Gestão) 
OO qquuee mmuuddaa?? 
TTOOMMAADDAA DDEE 
DDEECCIISSÃÃOO
O que vai mudar com o Big Data? (Gestão) 
BBII 
xx 
BBIIGG DDAATTAA
O que vai mudar com o Big Data? (Gestão) 
BBII ((TTrraaddiicciioonnaall)) 
Cubo OLAP (On-line Analytical Processing) 
• Bases de dados e Datawarehouse 
• Ferramentas OLAP 
• Mineração de Dados 
• Sistemas de apoio a decisão 
• Relatórios 
• Visualização
O que vai mudar com o Big Data? (Gestão) 
BBII xx BBIIGG DDAATTAA 
 Dados transacionais + outros dados 
 Decisão baseada em dados de tempo real 
 Análise voltada a predição 
 Universo de dados ilimitado 
 Busca aprendizado a partir dos dados 
 Dados transacionais 
 Decisão baseada em dados passados 
 Análise Intuitiva 
 Universo de dados limitado 
 Busca Analisar dados 
AA ddiiffeerreennççaa eessttáá nnooss 33VV’’ss
31 
Agenda 
1) Por que pensar em Big Data ? 
2) De onde vem e o que é o Big Data ? 
3) Por que o Big Data é diferente ? 
4) O que vai mudar com o Big Data ? 
5) Por que o termo Big Data está em evidência ? 
6) Quais os maiores desafios do Big Data ? 
7) Como funciona o Big Data na prática ? 
8) Quem já usa o Big Data e em quê ?
Por que o Big Data está em evidência? 
 O que Cloud Computing tem a ver com Big Data? 
 Nova infraestrutura para computação sob demanda 
 Tornou o Big Data mais próximo da realidade 
 Big Data evolui em paralelo com a consolidação da computação em 
Nuvem 
 SoLoMo e IoT convergem com Cloud Computing e Big Data 
criando novas perspectivas para as empresas
Por que o Big Data está em evidência? 
Fonte: NIST, 2011
Por que o Big Data está em evidência? 
Fonte: CONTROL4.COM
35 
Agenda 
1) Por que pensar em Big Data ? 
2) De onde vem e o que é o Big Data ? 
3) Por que o Big Data é diferente ? 
4) O que vai mudar com o Big Data ? 
5) Por que o termo Big Data está em evidência ? 
6) Quais os maiores desafios do Big Data ? 
7) Como funciona o Big Data na prática ? 
8) Quem já usa o Big Data e em quê ?
36 
Desafios do Big data? 
1) Coletar 
2) Armazenar 
3) Processar 
4) ETL (Extract, Transform, Load) 
5) Buscar informações 
6) Machine Learning 
7) Visualização 
8) Relatórios
37 
Agenda 
1) Por que pensar em Big Data ? 
2) De onde vem e o que é o Big Data ? 
3) Por que o Big Data é diferente ? 
4) O que vai mudar com o Big Data? 
5) Por que o termo Big Data está em evidência? 
6) Quais os maiores desafios do Big Data ? 
7) Como funciona o Big Data na prática ? 
8) Quem já usa o Big Data e em quê ?
38 
Desafios do Big data? 
1) Coletar 
2) Armazenar 
3) Processar 
4) ETL (Extract, Transform, Load) 
5) Buscar informações 
6) Machine Learning 
7) Visualização 
8) Relatórios
39 
Como funciona o Big Data na prática?
BDs - Relacionais, NoSQL e in-memory 
Fonte: Soares, 2013 
 BD Relacionais 
 Largamente utilizados atualmente pelas empresas 
 Utiliza relações (tabelas) como elementos básicos 
 Tabelas compostas por linhas e colunas 
 Faz uso de restrições para manutenção de integridade (chaves) 
 Utiliza NORMALIZAÇÃO 
 SQL é a linguagem de consulta 
 Os SGBDs relacionais implementam outras funções (controle de 
concorrência, segurança, controle de transações, recuperação de 
falhas etc)
BDs - Relacionais, NoSQL e in-memory 
Fonte: Soares, 2013 
 BDs No SQL 
 De volta ao passado… (Sistemas de Arquivos) 
 Estrutura mais flexível 
 Melhor adaptado para questões de escalabilidade 
 Não veio para acabar com o Modelo Relacional 
 Abandonou a NORMALIZAÇÃO 
 São livres de esquemas de tabelas e sem JOINs 
 Iniciou em 2004 Big Table (Google), 2007 Dynamo (Amazon), 2008 
Cassandra (Facebook) 
 Escalabilidade Linear, Acesso rápido, Manipulação de dados não 
estruturados
BDs - Relacionais, NoSQL e in-memory 
Fonte: Soares, 2013
BDs - Relacionais, NoSQL e in-memory 
Fonte: Joyanes, 2013
BDs - Relacionais, NoSQL e in-memory 
Fonte: Joyanes, 2013
BDs - Relacionais, NoSQL e in-memory 
Fonte: SAP, 2012
O framework Hadoop 
“The Apache Hadoop software library is a framework 
that allows for the distributed processing of large 
data sets across clusters of computers using a 
simple Programming model 
(Divide to Conquer) 
Fonte: https://under-linux.org/entry.php?b=2603
Fonte: Joyanes, 2013 
O framework Hadoop
Fonte: Joyanes, 2013 
O framework Hadoop
Fonte: Joyanes, 2013 
O framework Hadoop
• Baseado no conceito de Dividir para 
Conquistar 
• GRID COMPUTING 
• Várias implementações existentes: Hadoop, 
Disco, Skynet, FileMap e Greenplum; 
Fonte: https://under-linux.org/entry.php?b=2603 
O algoritmo MapReduce
O algoritmo MapReduce 
Dividido em 3 passos 
 1. Seleciona os dados de entrada 
 2. Aplica as duas operações em sequência (MAP/REDUCE) 
 3. Recupera os dados de saída e obtém a resposta
Fonte: Fabiane Nardon, 2013 - QconSP 
O algoritmo MapReduce
Fonte: https://under-linux.org/entry.php?b=2603 
O algoritmo MapReduce
O que é ??? 
Fonte: APACHE HADOOP 
O framework Hadoop
Composto pelos módulos: 
• Hadoop Common 
• Hadoop MapReduce 
• Hadoop Distributed File System (HDFS) 
• Hadoop YARN 
Fonte: Apache Hadoop 
O framework Hadoop
Fonte: Apache Hadoop 
O framework Hadoop 
Composto pelos módulos: 
•Hadoop Common: The common utilities that support the other Hadoop 
modules. 
• Hadoop Distributed File System (HDFS™): A distributed file system 
that provides high-throughput access to application data. 
• Hadoop YARN: A framework for job scheduling and cluster resource 
management. 
• Hadoop MapReduce: A YARN-based system for parallel processing of 
large data sets.
57 
Agenda 
1) Por que pensar em Big Data ? 
2) De onde vem e o que é o Big Data ? 
3) Por que o Big Data é diferente ? 
4) O que vai mudar com o Big Data? 
5) Por que o termo Big Data está em evidência? 
6) Quais os maiores desafios do Big Data ? 
7) Como funciona o Big Data na prática ? 
8) Quem já usa o Big Data e em quê ?
Fonte: INFO, 2014 
Cases
Ferramenta Match Analytics 
Coleta e Análise de informações de treino e jogos 
Analisa desde esquema tático até informação de precisão de chutes 
Avalia situações de jogo e predizem o melhor treinamento para cada 
jogador 
Possui interface que facilita o uso inclusive pelos jogadores 
Roda sob a plataforma HANA da SAP 
De quebra, faz análise de redes sociais analisando sentimento de 
torcedores com relação ao desempenho da equipe e dos atletas 
Fonte: INFO, 2014 
Cases
ROLLS ROYCE 
Inclusão de sensores nos motores 
Informação em tempo real de peças 
Vantagem competitiva: Substituição de produto por SERVIÇO 
SMART METERS - IBM 
Medições de consumo de energia 
Sensores enviam dados em tempo real 
Hábitos de consumo e mudança de estratégias com premiação 
Criação das chamadas Smart Grids 
Fonte: JOYANES, 2013 
Cases
GOOGLE - FluTrends 
Fonte: GOOGLE 
Cases
GOOGLE - FluTrends 
Fonte: GOOGLE 
Cases
Cases
Cases
Cases
66 
Agenda 
1) Por que pensar em Big Data ? 
2) De onde vem e o que é o Big Data ? 
3) Por que o Big Data é diferente ? 
4) O que vai mudar com o Big Data? 
5) Por que o termo Big Data está em evidência? 
6) Quais os maiores desafios do Big Data ? 
7) Como funciona o Big Data na prática ? 
8) Quem já usa o Big Data e em quê ?
67 
Obrigado !!! 
Marcos Luiz Lins 
Filho 
www.f acebook.com/ mar cosluiz.linsf i 
lho 
@marcoslinsfilho 
mar coslins@gmail.com

More Related Content

What's hot

Big Data e Análise de Dados Massivos
Big Data e Análise de Dados MassivosBig Data e Análise de Dados Massivos
Big Data e Análise de Dados MassivosFrancisco Oliveira
 
Big Data - Pós Graduação Arquitetura de Nuvem - UFRN - 2014
Big Data - Pós Graduação Arquitetura de Nuvem - UFRN - 2014Big Data - Pós Graduação Arquitetura de Nuvem - UFRN - 2014
Big Data - Pós Graduação Arquitetura de Nuvem - UFRN - 2014Marcos Luiz Lins Filho
 
Big data: Conceitos e Desafios
Big data: Conceitos e DesafiosBig data: Conceitos e Desafios
Big data: Conceitos e DesafiosFlávio Sousa
 
Governança de Dados e Big Data
Governança de Dados e Big DataGovernança de Dados e Big Data
Governança de Dados e Big DataCarlos Barbieri
 
Big data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil CrieBig data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil CrieMarcos CAVALCANTI
 
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharePalestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharepccdias
 
Bigdata - Leandro Wanderley
Bigdata - Leandro WanderleyBigdata - Leandro Wanderley
Bigdata - Leandro WanderleyLeandro Couto
 
O que é BIG DATA e como pode influenciar nossas vidas
O que é BIG DATA e como pode influenciar nossas vidasO que é BIG DATA e como pode influenciar nossas vidas
O que é BIG DATA e como pode influenciar nossas vidasElaine Naomi
 
OS CINCO Vs DO BIG DATA
OS CINCO Vs DO BIG DATAOS CINCO Vs DO BIG DATA
OS CINCO Vs DO BIG DATALeonardo Dias
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoHélio Silva
 
Big Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e TecnologiaBig Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e TecnologiaHélio Silva
 
Inteligência Artificial, Internet das Coisas e Inovação.
Inteligência Artificial,  Internet das Coisas e Inovação. Inteligência Artificial,  Internet das Coisas e Inovação.
Inteligência Artificial, Internet das Coisas e Inovação. Fernando Novais da Silva
 
Era da Informação e seus impactos na empresa e sociedade
Era da Informação e seus impactos na empresa e sociedadeEra da Informação e seus impactos na empresa e sociedade
Era da Informação e seus impactos na empresa e sociedadeAlex Silva
 
Apostila sobre Big Data
Apostila sobre Big DataApostila sobre Big Data
Apostila sobre Big DataFernando Palma
 
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoBig Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoAmbiente Livre
 
Big data e mineração de dados
Big data e mineração de dadosBig data e mineração de dados
Big data e mineração de dadosElton Meira
 

What's hot (20)

Big Data e Análise de Dados Massivos
Big Data e Análise de Dados MassivosBig Data e Análise de Dados Massivos
Big Data e Análise de Dados Massivos
 
Big Data - Pós Graduação Arquitetura de Nuvem - UFRN - 2014
Big Data - Pós Graduação Arquitetura de Nuvem - UFRN - 2014Big Data - Pós Graduação Arquitetura de Nuvem - UFRN - 2014
Big Data - Pós Graduação Arquitetura de Nuvem - UFRN - 2014
 
Big data: Conceitos e Desafios
Big data: Conceitos e DesafiosBig data: Conceitos e Desafios
Big data: Conceitos e Desafios
 
Governança de Dados e Big Data
Governança de Dados e Big DataGovernança de Dados e Big Data
Governança de Dados e Big Data
 
Big data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil CrieBig data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil Crie
 
Big Data, JVM e Redes Sociais
Big Data, JVM e Redes SociaisBig Data, JVM e Redes Sociais
Big Data, JVM e Redes Sociais
 
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharePalestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
 
Bigdata - Leandro Wanderley
Bigdata - Leandro WanderleyBigdata - Leandro Wanderley
Bigdata - Leandro Wanderley
 
O que é BIG DATA e como pode influenciar nossas vidas
O que é BIG DATA e como pode influenciar nossas vidasO que é BIG DATA e como pode influenciar nossas vidas
O que é BIG DATA e como pode influenciar nossas vidas
 
OS CINCO Vs DO BIG DATA
OS CINCO Vs DO BIG DATAOS CINCO Vs DO BIG DATA
OS CINCO Vs DO BIG DATA
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e Mercado
 
Big Data
Big DataBig Data
Big Data
 
Big Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e TecnologiaBig Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e Tecnologia
 
BigData
BigDataBigData
BigData
 
O que é Data Science?
O que é Data Science?O que é Data Science?
O que é Data Science?
 
Inteligência Artificial, Internet das Coisas e Inovação.
Inteligência Artificial,  Internet das Coisas e Inovação. Inteligência Artificial,  Internet das Coisas e Inovação.
Inteligência Artificial, Internet das Coisas e Inovação.
 
Era da Informação e seus impactos na empresa e sociedade
Era da Informação e seus impactos na empresa e sociedadeEra da Informação e seus impactos na empresa e sociedade
Era da Informação e seus impactos na empresa e sociedade
 
Apostila sobre Big Data
Apostila sobre Big DataApostila sobre Big Data
Apostila sobre Big Data
 
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoBig Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
 
Big data e mineração de dados
Big data e mineração de dadosBig data e mineração de dados
Big data e mineração de dados
 

Viewers also liked

Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big Data
Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big DataPsicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big Data
Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big DataLuciana Manfroi
 
Big Data
Big DataBig Data
Big DataNGDATA
 
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de DadosBig Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de DadosDan S. Reznik, PhD
 
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoas
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoasComo o Big Data pode tornar a publicidade mais relevante entre marcas e pessoas
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoasRafael da Silva
 
CUSTOMIZAÇÃO DO MOODLE A PARTIR DO DIÁLOGO ENTRE AS REDES SOCIAIS E A CULTURA...
CUSTOMIZAÇÃO DO MOODLE A PARTIR DO DIÁLOGO ENTRE AS REDES SOCIAIS E A CULTURA...CUSTOMIZAÇÃO DO MOODLE A PARTIR DO DIÁLOGO ENTRE AS REDES SOCIAIS E A CULTURA...
CUSTOMIZAÇÃO DO MOODLE A PARTIR DO DIÁLOGO ENTRE AS REDES SOCIAIS E A CULTURA...Wilsa Ramos
 
BIG DATA, de Fabiana Andrade
BIG DATA, de Fabiana AndradeBIG DATA, de Fabiana Andrade
BIG DATA, de Fabiana Andradebibliocampsp
 
Cidades Inteligentes e Big Data
Cidades Inteligentes e Big DataCidades Inteligentes e Big Data
Cidades Inteligentes e Big DataDiego Lusa
 
BIG DATA - UNASP - EC - 08/06/2015
BIG DATA - UNASP - EC - 08/06/2015BIG DATA - UNASP - EC - 08/06/2015
BIG DATA - UNASP - EC - 08/06/2015rcdbarros
 
Mongo db no mundo real slides
Mongo db no mundo real   slidesMongo db no mundo real   slides
Mongo db no mundo real slidesSuissa
 

Viewers also liked (15)

Big data apresentacao
Big data apresentacaoBig data apresentacao
Big data apresentacao
 
Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big Data
Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big DataPsicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big Data
Psicologia e Comportamento nas Redes Sociais: da Web 1.0 à Big Data
 
Big Data
Big DataBig Data
Big Data
 
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de DadosBig Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados
 
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoas
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoasComo o Big Data pode tornar a publicidade mais relevante entre marcas e pessoas
Como o Big Data pode tornar a publicidade mais relevante entre marcas e pessoas
 
Big data ppt
Big data pptBig data ppt
Big data ppt
 
What is Big Data?
What is Big Data?What is Big Data?
What is Big Data?
 
Big data ppt
Big  data pptBig  data ppt
Big data ppt
 
CUSTOMIZAÇÃO DO MOODLE A PARTIR DO DIÁLOGO ENTRE AS REDES SOCIAIS E A CULTURA...
CUSTOMIZAÇÃO DO MOODLE A PARTIR DO DIÁLOGO ENTRE AS REDES SOCIAIS E A CULTURA...CUSTOMIZAÇÃO DO MOODLE A PARTIR DO DIÁLOGO ENTRE AS REDES SOCIAIS E A CULTURA...
CUSTOMIZAÇÃO DO MOODLE A PARTIR DO DIÁLOGO ENTRE AS REDES SOCIAIS E A CULTURA...
 
BIG DATA, de Fabiana Andrade
BIG DATA, de Fabiana AndradeBIG DATA, de Fabiana Andrade
BIG DATA, de Fabiana Andrade
 
BIG data
BIG dataBIG data
BIG data
 
Cidades Inteligentes e Big Data
Cidades Inteligentes e Big DataCidades Inteligentes e Big Data
Cidades Inteligentes e Big Data
 
BIG DATA - UNASP - EC - 08/06/2015
BIG DATA - UNASP - EC - 08/06/2015BIG DATA - UNASP - EC - 08/06/2015
BIG DATA - UNASP - EC - 08/06/2015
 
Big Data na Nuvem
Big Data na NuvemBig Data na Nuvem
Big Data na Nuvem
 
Mongo db no mundo real slides
Mongo db no mundo real   slidesMongo db no mundo real   slides
Mongo db no mundo real slides
 

Similar to Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RN

Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingUm novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingJosé Carlos Cavalcanti
 
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 131º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13cictec
 
Big Data e profissionais da informação
Big Data e profissionais da informaçãoBig Data e profissionais da informação
Big Data e profissionais da informaçãoFabiana Andrade Pereira
 
Futurecom - Big data
Futurecom - Big dataFuturecom - Big data
Futurecom - Big dataFelipe Ferraz
 
Hackathon Inmetrics e Fiap: Desafios do Big Data
Hackathon Inmetrics e Fiap: Desafios do Big DataHackathon Inmetrics e Fiap: Desafios do Big Data
Hackathon Inmetrics e Fiap: Desafios do Big Datainmetrics
 
Tendências de inovações para a tecnologia de big data
Tendências de inovações para a tecnologia de big dataTendências de inovações para a tecnologia de big data
Tendências de inovações para a tecnologia de big datacictec
 
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações FaBIana Ravanêda Vercezes
 
AULA 11 - FUNDAMENTOS DE BIG DATA.pdf
AULA 11 - FUNDAMENTOS DE BIG DATA.pdfAULA 11 - FUNDAMENTOS DE BIG DATA.pdf
AULA 11 - FUNDAMENTOS DE BIG DATA.pdfMaraLuizaGonalvesFre
 
BIG DATA
BIG DATA BIG DATA
BIG DATA ABEP123
 
RISCOS NA UTILIZAÇÃO DE BIG DATA E ANALYTICS COMO BASES PARA A TOMADA DE DECISÃO
RISCOS NA UTILIZAÇÃO DE BIG DATA E ANALYTICS COMO BASES PARA A TOMADA DE DECISÃORISCOS NA UTILIZAÇÃO DE BIG DATA E ANALYTICS COMO BASES PARA A TOMADA DE DECISÃO
RISCOS NA UTILIZAÇÃO DE BIG DATA E ANALYTICS COMO BASES PARA A TOMADA DE DECISÃOBruno Henrique Nunes
 
Big Data: Desafios e Oportunidades
Big Data: Desafios e OportunidadesBig Data: Desafios e Oportunidades
Big Data: Desafios e OportunidadesGabriel Prado
 
Mini-Curso: Introdução à Big Data e Data Science - Aula 12 - Sessão de pergun...
Mini-Curso: Introdução à Big Data e Data Science - Aula 12 - Sessão de pergun...Mini-Curso: Introdução à Big Data e Data Science - Aula 12 - Sessão de pergun...
Mini-Curso: Introdução à Big Data e Data Science - Aula 12 - Sessão de pergun...Diego Nogare
 
Plataforma de BigData da Globo.com (Sistema de Recomendação) @ Rio BigData Me...
Plataforma de BigData da Globo.com (Sistema de Recomendação) @ Rio BigData Me...Plataforma de BigData da Globo.com (Sistema de Recomendação) @ Rio BigData Me...
Plataforma de BigData da Globo.com (Sistema de Recomendação) @ Rio BigData Me...Ciro Cavani
 
Big data - Uma visão geral da coisa...
Big data - Uma visão geral da coisa...Big data - Uma visão geral da coisa...
Big data - Uma visão geral da coisa...Arthur Souza
 

Similar to Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RN (20)

Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingUm novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
 
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 131º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
 
Big Data e profissionais da informação
Big Data e profissionais da informaçãoBig Data e profissionais da informação
Big Data e profissionais da informação
 
BigData
BigDataBigData
BigData
 
Treinamento hadoop - dia1
Treinamento hadoop - dia1Treinamento hadoop - dia1
Treinamento hadoop - dia1
 
Big Data Analytics
Big Data AnalyticsBig Data Analytics
Big Data Analytics
 
Futurecom - Big data
Futurecom - Big dataFuturecom - Big data
Futurecom - Big data
 
Hackathon Inmetrics e Fiap: Desafios do Big Data
Hackathon Inmetrics e Fiap: Desafios do Big DataHackathon Inmetrics e Fiap: Desafios do Big Data
Hackathon Inmetrics e Fiap: Desafios do Big Data
 
Tendências de inovações para a tecnologia de big data
Tendências de inovações para a tecnologia de big dataTendências de inovações para a tecnologia de big data
Tendências de inovações para a tecnologia de big data
 
Big data, e eu com isso?
Big data, e eu com isso?Big data, e eu com isso?
Big data, e eu com isso?
 
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
 
AULA 11 - FUNDAMENTOS DE BIG DATA.pdf
AULA 11 - FUNDAMENTOS DE BIG DATA.pdfAULA 11 - FUNDAMENTOS DE BIG DATA.pdf
AULA 11 - FUNDAMENTOS DE BIG DATA.pdf
 
BIG DATA
BIG DATA BIG DATA
BIG DATA
 
Palestra do BI ao Big Data
Palestra do BI ao Big DataPalestra do BI ao Big Data
Palestra do BI ao Big Data
 
RISCOS NA UTILIZAÇÃO DE BIG DATA E ANALYTICS COMO BASES PARA A TOMADA DE DECISÃO
RISCOS NA UTILIZAÇÃO DE BIG DATA E ANALYTICS COMO BASES PARA A TOMADA DE DECISÃORISCOS NA UTILIZAÇÃO DE BIG DATA E ANALYTICS COMO BASES PARA A TOMADA DE DECISÃO
RISCOS NA UTILIZAÇÃO DE BIG DATA E ANALYTICS COMO BASES PARA A TOMADA DE DECISÃO
 
Big Data: Desafios e Oportunidades
Big Data: Desafios e OportunidadesBig Data: Desafios e Oportunidades
Big Data: Desafios e Oportunidades
 
Será Mesmo o Cientista de Dados a Profissão do Futuro?
Será Mesmo o Cientista de Dados a Profissão do Futuro?Será Mesmo o Cientista de Dados a Profissão do Futuro?
Será Mesmo o Cientista de Dados a Profissão do Futuro?
 
Mini-Curso: Introdução à Big Data e Data Science - Aula 12 - Sessão de pergun...
Mini-Curso: Introdução à Big Data e Data Science - Aula 12 - Sessão de pergun...Mini-Curso: Introdução à Big Data e Data Science - Aula 12 - Sessão de pergun...
Mini-Curso: Introdução à Big Data e Data Science - Aula 12 - Sessão de pergun...
 
Plataforma de BigData da Globo.com (Sistema de Recomendação) @ Rio BigData Me...
Plataforma de BigData da Globo.com (Sistema de Recomendação) @ Rio BigData Me...Plataforma de BigData da Globo.com (Sistema de Recomendação) @ Rio BigData Me...
Plataforma de BigData da Globo.com (Sistema de Recomendação) @ Rio BigData Me...
 
Big data - Uma visão geral da coisa...
Big data - Uma visão geral da coisa...Big data - Uma visão geral da coisa...
Big data - Uma visão geral da coisa...
 

Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RN

  • 1. 1 BBiigg DDaattaa eemm 88 ppeerrgguunnttaass
  • 2. 2 Quem eu sou e o que faço? Marcos Luiz Lins Filho o Técnico em Processamento de Dados IFPB o Graduado em Ciência da Computação UFCG o MBA Gestão de TI - UFRN o Mestrado em Computação – UFPE o Há 10 anos trabalho na Petrobras Distribuidora S/A o Trabalhei como Analista de Sistemas e hoje atuo na área de Negócios o Não deixo nunca de estudar e buscar novos conhecimentos, o famoso CURIOSO
  • 3. 3 Agenda 1) Por que pensar em Big Data ? 2) De onde vem e o que é o Big Data ? 3) O que Big Data tem de diferente ? 4) O que vai mudar com o Big Data ? 5) Por que o termo Big Data está em evidência ? 6) Quais os maiores desafios do Big Data ? 7) Como funciona o Big Data na prática ? 8) Quem já usa o Big Data ?
  • 4. 4 Agenda 1) Por que pensar em Big Data ? 2) De onde vem e o que é o Big Data ? 3) O que Big Data tem de diferente ? 4) O que vai mudar com o Big Data ? 5) Por que o termo Big Data está em evidência ? 6) Quais os maiores desafios do Big Data ? 7) Como funciona o Big Data na prática ? 8) Quem já usa o Big Data ?
  • 5. 5 Fonte: Bruno Domingues, Big Data com AWS e Intel, 2014
  • 6. 6 Agenda 1) Por que pensar em Big Data ? 2) De onde vem e o que é o Big Data ? 3) O que Big Data tem de diferente ? 4) O que vai mudar com o Big Data ? 5) Por que o termo Big Data está em evidência ? 6) Quais os maiores desafios do Big Data ? 7) Como funciona o Big Data na prática ? 8) Quem já usa o Big Data ?
  • 7. História do Big Data  Se divide em dois momentos  Expansão no campo científico e de negócios basicamente através do uso do termo Big Data de forma técnica e acadêmica (1984 – 2007)  (Tilly, 1984) usa pela primeira vez o termo Big Data em textos acadêmicos;  Uma primeira pesquisa publicada em 1987 relativa a uma técnica de programação chamada small code, big data;  Em 1989 e 1993 pesquisas começam a tratar de aplicações de Big Data;  (Laney , 2001) publica trabalho com o título os 3 V´s do Big Data (Volume, Variedade e Velocidade) Fonte: Francis X. Diebold: A Personal Perspective on the Origin(s) and Development of “Big Data”: The Phenomenon, the Term, and the Discipline, August 2012
  • 8. História do Big Data  Se divide em dois momentos  Difusão do termo já com viés tecnológico e econômico, estudo de tecnologias, desenvolvimento de ferramentas para análise de dados etc (meados de 2008)  (Lohr, 2008) Jornalista do New York Times publicou artigo em que citava que cientistas de computação e executivos da indústria já enxergavam que o termo Big Data saia da esfera acadêmica e já começava a trazer resultados econômicos.  A Wired publica em junho de 2008 um artigo “The Petabyte Age: because more isn’t just more, more is different”, que apresenta as oportunidades e implicações do Big Data  (Lohr, 2012) – Início do uso do termo Big data pela IBM em 2008 na sua estratégia de Marketing. Em 2011, no Twitter. Em 2012, com a publicação do 1 ebook sobre ᵒ tecnologias de Big Data. Fonte: Francis X. Diebold: A Personal Perspective on the Origin(s) and Development of “Big Data”: The Phenomenon, the Term, and the Discipline, August 2012
  • 9. O que é Big Data? “A verdadeira questão não é que você está coletando grandes quantidades de dados, mas sim o que você faz com eles. As organizações terão que ser capazes de aproveitar os dados relevantes e usá-los para tomar as melhores decisões.” Fonte: IDC. "Big Data Analytics: Future Architectures, Skills and Roadmaps for the CIO," September 2011 (IDC, 2011)
  • 10. O que é Big Data? FONTE: EMC
  • 11. O 3Vs do Big Data  “Big Data são os grandes conjuntos de dados que possuem três características principais: volume, velocidade e variedade.” Fonte: IBM
  • 12. 12 Agenda 1) Por que pensar em Big Data ? 2) De onde vem e o que é o Big Data ? 3) O que Big Data tem de diferente ? 4) O que vai mudar com o Big Data ? 5) Por que o termo Big Data está em evidência ? 6) Quais os maiores desafios do Big Data ? 7) Como funciona o Big Data na prática ? 8) Quem já usa o Big Data ?
  • 13. Por que Big Data é diferente ? Aumento na quantidade de Dados Fonte: EMC
  • 14. Por que Big Data é diferente ? Maior demanda por Computação Distribuída Fonte: http://www.inf.ufsc.br/~frank/INE5418/1.Fundamentos-Slides.pdf
  • 15. Por que Big Data é diferente ? Maior demanda por Computação Distribuída Computação distribuída significa pegar uma tarefa, dividi-la em pedaços menores e dar cada pedaço a uma “máquina” diferente, depois pegar cada resultado, uni-los (de maneira coerente) e apresentá-lo. Fonte: https://under-linux.org/entry.php?b=2603 Dificuldade Processamento X Distribuição (Divisão) Integridade e Disponibilidade em Cloud Computing
  • 16. Limitações dos Bancos de Dados Relacionais Fonte: IMD Por que Big Data é diferente ?
  • 17. O 3Vs do Big Data  “Big Data são os grandes conjuntos de dados que possuem três características principais: volume, velocidade e variedade.” Fonte: IBM Aumento na quantidade de Dados Maior demanda por Computação Distribuída Limitações dos Bancos de Dados Relacionais
  • 18. + 3 V’s do Big Data VVeerraacciiddaaddee Fonte: http://cio.uol.com.br/opiniao/2012/05/11/o-caos-conceitual-e-os-5-vs-do-big-data/ VVaalloorr VViiaabbiilliiddaaddee
  • 19. Os dados são de 3 tipos  Estruturados  Semi-estruturados  Não estruturados Fonte: Joyanes, 2013 Por que Big Data é diferente ?
  • 20. Estruturados Dados que possuem esquema de campos fixos Formato bem definido Normalmente armazenado em BD Relacionais Conhecimento prévio da estrutura dos dados São gerados em uma ordem especificada Fonte: Joyanes, 2013 Por que Big Data é diferente ?
  • 21. Semi-estruturados Possuem um fluxo lógico O formato pode ser bem definido, mas não necessariamente é fixo Não possui fácil compreensão por parte do usuário leigo Tem como característica marcante o uso de etiquetas e marcadores para separar elementos dos dados Regras complexas para manipulação dos dados Fonte: Joyanes, 2013 Por que Big Data é diferente ?
  • 22. Não estruturados Sem tipo predefinido; Não possuem estrutura uniforme (ex. Documentos, objetos); Pouco ou nenhum controle sobre eles; Dificuldade de “manipulação” para extração de informação Fonte: Joyanes, 2013 Por que Big Data é diferente ?
  • 23. De onde vem os dados do Big Data? Web e Redes Sociais (clicks, cookies, twitter, facebook) Mobilidade Internet das Coisas (RFID/NFC, Sensores, GPS e Telemetria) Biometria (Reconhecimento fácil, impressão digital, dados genéticos) Dados gerados por pessoas (Voz, email, SMS, etc) Dados gerados por governos, institutos de pesquisas e empresas Fonte: Soares, 2012 Por que Big Data é diferente ?
  • 24. 24 Agenda 1) Por que pensar em Big Data ? 2) De onde vem e o que é o Big Data ? 3) Por que o Big Data é diferente ? 4) O que vai mudar com o Big Data ? 5) Por que o termo Big Data está em evidência ? 6) Quais os maiores desafios do Big Data ? 7) Como funciona o Big Data na prática ? 8) Quem já usa o Big Data e em quê ?
  • 25. O que vai mudar com o Big Data? (Tecnologia) IInntteeggrraaççããoo
  • 26. O que vai mudar com o Big Data? (Negócios) EEssttrraattééggiiaa
  • 27. O que vai mudar com o Big Data? (Gestão) OO qquuee mmuuddaa?? TTOOMMAADDAA DDEE DDEECCIISSÃÃOO
  • 28. O que vai mudar com o Big Data? (Gestão) BBII xx BBIIGG DDAATTAA
  • 29. O que vai mudar com o Big Data? (Gestão) BBII ((TTrraaddiicciioonnaall)) Cubo OLAP (On-line Analytical Processing) • Bases de dados e Datawarehouse • Ferramentas OLAP • Mineração de Dados • Sistemas de apoio a decisão • Relatórios • Visualização
  • 30. O que vai mudar com o Big Data? (Gestão) BBII xx BBIIGG DDAATTAA  Dados transacionais + outros dados  Decisão baseada em dados de tempo real  Análise voltada a predição  Universo de dados ilimitado  Busca aprendizado a partir dos dados  Dados transacionais  Decisão baseada em dados passados  Análise Intuitiva  Universo de dados limitado  Busca Analisar dados AA ddiiffeerreennççaa eessttáá nnooss 33VV’’ss
  • 31. 31 Agenda 1) Por que pensar em Big Data ? 2) De onde vem e o que é o Big Data ? 3) Por que o Big Data é diferente ? 4) O que vai mudar com o Big Data ? 5) Por que o termo Big Data está em evidência ? 6) Quais os maiores desafios do Big Data ? 7) Como funciona o Big Data na prática ? 8) Quem já usa o Big Data e em quê ?
  • 32. Por que o Big Data está em evidência?  O que Cloud Computing tem a ver com Big Data?  Nova infraestrutura para computação sob demanda  Tornou o Big Data mais próximo da realidade  Big Data evolui em paralelo com a consolidação da computação em Nuvem  SoLoMo e IoT convergem com Cloud Computing e Big Data criando novas perspectivas para as empresas
  • 33. Por que o Big Data está em evidência? Fonte: NIST, 2011
  • 34. Por que o Big Data está em evidência? Fonte: CONTROL4.COM
  • 35. 35 Agenda 1) Por que pensar em Big Data ? 2) De onde vem e o que é o Big Data ? 3) Por que o Big Data é diferente ? 4) O que vai mudar com o Big Data ? 5) Por que o termo Big Data está em evidência ? 6) Quais os maiores desafios do Big Data ? 7) Como funciona o Big Data na prática ? 8) Quem já usa o Big Data e em quê ?
  • 36. 36 Desafios do Big data? 1) Coletar 2) Armazenar 3) Processar 4) ETL (Extract, Transform, Load) 5) Buscar informações 6) Machine Learning 7) Visualização 8) Relatórios
  • 37. 37 Agenda 1) Por que pensar em Big Data ? 2) De onde vem e o que é o Big Data ? 3) Por que o Big Data é diferente ? 4) O que vai mudar com o Big Data? 5) Por que o termo Big Data está em evidência? 6) Quais os maiores desafios do Big Data ? 7) Como funciona o Big Data na prática ? 8) Quem já usa o Big Data e em quê ?
  • 38. 38 Desafios do Big data? 1) Coletar 2) Armazenar 3) Processar 4) ETL (Extract, Transform, Load) 5) Buscar informações 6) Machine Learning 7) Visualização 8) Relatórios
  • 39. 39 Como funciona o Big Data na prática?
  • 40. BDs - Relacionais, NoSQL e in-memory Fonte: Soares, 2013  BD Relacionais  Largamente utilizados atualmente pelas empresas  Utiliza relações (tabelas) como elementos básicos  Tabelas compostas por linhas e colunas  Faz uso de restrições para manutenção de integridade (chaves)  Utiliza NORMALIZAÇÃO  SQL é a linguagem de consulta  Os SGBDs relacionais implementam outras funções (controle de concorrência, segurança, controle de transações, recuperação de falhas etc)
  • 41. BDs - Relacionais, NoSQL e in-memory Fonte: Soares, 2013  BDs No SQL  De volta ao passado… (Sistemas de Arquivos)  Estrutura mais flexível  Melhor adaptado para questões de escalabilidade  Não veio para acabar com o Modelo Relacional  Abandonou a NORMALIZAÇÃO  São livres de esquemas de tabelas e sem JOINs  Iniciou em 2004 Big Table (Google), 2007 Dynamo (Amazon), 2008 Cassandra (Facebook)  Escalabilidade Linear, Acesso rápido, Manipulação de dados não estruturados
  • 42. BDs - Relacionais, NoSQL e in-memory Fonte: Soares, 2013
  • 43. BDs - Relacionais, NoSQL e in-memory Fonte: Joyanes, 2013
  • 44. BDs - Relacionais, NoSQL e in-memory Fonte: Joyanes, 2013
  • 45. BDs - Relacionais, NoSQL e in-memory Fonte: SAP, 2012
  • 46. O framework Hadoop “The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using a simple Programming model (Divide to Conquer) Fonte: https://under-linux.org/entry.php?b=2603
  • 47. Fonte: Joyanes, 2013 O framework Hadoop
  • 48. Fonte: Joyanes, 2013 O framework Hadoop
  • 49. Fonte: Joyanes, 2013 O framework Hadoop
  • 50. • Baseado no conceito de Dividir para Conquistar • GRID COMPUTING • Várias implementações existentes: Hadoop, Disco, Skynet, FileMap e Greenplum; Fonte: https://under-linux.org/entry.php?b=2603 O algoritmo MapReduce
  • 51. O algoritmo MapReduce Dividido em 3 passos  1. Seleciona os dados de entrada  2. Aplica as duas operações em sequência (MAP/REDUCE)  3. Recupera os dados de saída e obtém a resposta
  • 52. Fonte: Fabiane Nardon, 2013 - QconSP O algoritmo MapReduce
  • 54. O que é ??? Fonte: APACHE HADOOP O framework Hadoop
  • 55. Composto pelos módulos: • Hadoop Common • Hadoop MapReduce • Hadoop Distributed File System (HDFS) • Hadoop YARN Fonte: Apache Hadoop O framework Hadoop
  • 56. Fonte: Apache Hadoop O framework Hadoop Composto pelos módulos: •Hadoop Common: The common utilities that support the other Hadoop modules. • Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data. • Hadoop YARN: A framework for job scheduling and cluster resource management. • Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.
  • 57. 57 Agenda 1) Por que pensar em Big Data ? 2) De onde vem e o que é o Big Data ? 3) Por que o Big Data é diferente ? 4) O que vai mudar com o Big Data? 5) Por que o termo Big Data está em evidência? 6) Quais os maiores desafios do Big Data ? 7) Como funciona o Big Data na prática ? 8) Quem já usa o Big Data e em quê ?
  • 59. Ferramenta Match Analytics Coleta e Análise de informações de treino e jogos Analisa desde esquema tático até informação de precisão de chutes Avalia situações de jogo e predizem o melhor treinamento para cada jogador Possui interface que facilita o uso inclusive pelos jogadores Roda sob a plataforma HANA da SAP De quebra, faz análise de redes sociais analisando sentimento de torcedores com relação ao desempenho da equipe e dos atletas Fonte: INFO, 2014 Cases
  • 60. ROLLS ROYCE Inclusão de sensores nos motores Informação em tempo real de peças Vantagem competitiva: Substituição de produto por SERVIÇO SMART METERS - IBM Medições de consumo de energia Sensores enviam dados em tempo real Hábitos de consumo e mudança de estratégias com premiação Criação das chamadas Smart Grids Fonte: JOYANES, 2013 Cases
  • 61. GOOGLE - FluTrends Fonte: GOOGLE Cases
  • 62. GOOGLE - FluTrends Fonte: GOOGLE Cases
  • 63. Cases
  • 64. Cases
  • 65. Cases
  • 66. 66 Agenda 1) Por que pensar em Big Data ? 2) De onde vem e o que é o Big Data ? 3) Por que o Big Data é diferente ? 4) O que vai mudar com o Big Data? 5) Por que o termo Big Data está em evidência? 6) Quais os maiores desafios do Big Data ? 7) Como funciona o Big Data na prática ? 8) Quem já usa o Big Data e em quê ?
  • 67. 67 Obrigado !!! Marcos Luiz Lins Filho www.f acebook.com/ mar cosluiz.linsf i lho @marcoslinsfilho mar coslins@gmail.com

Editor's Notes

  1. p