BIG	
  DATA	
  	
  
DATA	
  SCIENCE	
  
TECNOLOGIA	
  E	
  MERCADO	
  
Hélio	
  Silva
5/9/2013	
  

	
  
Um	
  novo	
  cenário

	
  	
  
E	
  os	
  volumes	
  con;nuarão	
  crescendo
	
  	
  
•  Internet	
  da	
  Informação	
  gera	
  2,5	
  Quin;lhões	
  de	...
Gartner	
  e	
  The	
  Nexus	
  Forces	
  

`	
  
Big	
  Data	
  –	
  A	
  Resposta	
  
•  Engenharia	
  

–  Dividir	
  para	
  conquistar	
  

•  Processamento	
  paralel...
Big	
  Data	
  –	
  A	
  Resposta	
  

Yahoo	
  Hadoop	
  Cluster	
  
O	
  Termo	
  Big	
  Data	
  
Erik	
  Larson,	
  1989	
  	
  na	
  Harper’s	
  magazine:	
  
	
  

“The	
  keepers	
  of	
...
Além	
  do	
  Big	
  Data	
  
•  Buzzword	
  não	
  ajuda	
  muito	
  	
  
–  No	
  Brasil	
  32%	
  empresas	
  não	
  in...
Uma	
  Profusão	
  de	
  V	
  
•  Gartner	
  2001:	
  	
  
–  	
  Volume:	
  tamanho	
  das	
  bases	
  
–  	
  Velocidade...
Ciência	
  de	
  Dados	
  

htp://en.wikipedia.org/wiki/File:DataScienceDisciplines.png	
  
Drew	
  Conway’s	
  Data	
  Science	
  Venn	
  
Diagram	
  

htp://drewconway.com/zia/2013/3/26/
the-­‐data-­‐science-­‐ve...
Perfil	
  do	
  Cien;sta	
  de	
  Dados	
  	
  
A	
  profissão	
  mais	
  sexy	
  do	
  século	
  21	
  
	
  
• 
• 
• 
• 
• ...
Cien;sta	
  de	
  Dados	
  –	
  Uma	
  dúvida	
  
“I	
  worry	
  that	
  the	
  Data	
  ScienBst	
  role	
  is	
  like	
  ...
A;vidades	
  de	
  um	
  cien;sta	
  de	
  dados	
  

1	
  

• Estabelece	
  hipóteses	
  

2	
  

• Coleta	
  e	
  normal...
Data	
  Science	
  –	
  Empregos

	
  	
  

Fonte:	
  htp://www.indeed.com/jobtrends?q=Data-­‐science&rela;ve=1	
  
Business	
  Intelligence	
  
•  Monta	
  Datawarehouse	
  com	
  dados	
  
estruturados	
  
•  Faz	
  extração,	
  normali...
Funcionário	
  visto	
  pelo	
  BI	
  
•  O	
  André	
  da	
  Contabilidade	
  é:	
  
–  Casado	
  
–  Teve	
  1	
  promoç...
Funcionário	
  visto	
  pelo	
  Big	
  Data	
  
•  O	
  André	
  da	
  Contabilidade:	
  
–  Tem	
  um	
  Blog	
  com	
  m...
Resultado	
  da	
  Análise	
  
Business	
  Intelligence	
  
	
  

Demissão	
  

Big	
  Data	
  
Promove	
  e	
  transfere	...
Diferenças	
  de	
  visão	
  
Business	
  Intelligence	
   Data	
  Science	
  
Perspec;va	
   Olha	
  o	
  que	
  já	
  fo...
Ciência	
  de	
  dados	
  e	
  adequações	
  
•  DBA	
  tem	
  que	
  aprender	
  sobre	
  dados	
  não	
  
estruturados	
...
Ciência	
  de	
  Dados	
  -­‐	
  Aplicações	
  
•  Analise	
  Predi;va	
  
•  Machine	
  Learning	
  
–  Visão	
  de	
  má...
Mercado	
  de	
  novas	
  possibilidades	
  
Serviços	
  Financeiros	
  
• Detecção	
  de	
  Fraude	
  
• Visão	
  360°do	...
Mercado	
  no	
  Brasil	
  

..”Adam	
  Burgh,	
  da	
  baby.com.br,	
  revela	
  que	
  a	
  empresa	
  investe	
  em	
  ...
Disposição	
  de	
  inves;mento	
  
Senseta,	
  uma	
  empresa	
  colombiana	
  de	
  Big	
  Data,	
  
venceu	
  na	
  sem...
 	
  
Mercado	
  no	
  Brasil	
  
Boo-­‐Box	
  1	
  bilhão	
  de	
  ads	
  mensais	
  com	
  AWS	
  
Mercado	
  no	
  Brasil	
  
•  Operação	
  Chaordic	
  na	
  AWS	
  
–  ~5TB	
  de	
  Banco	
  de	
  Dados	
  
–  Mais	
  ...
Timeline	
  do	
  Hadoop	
  
•	
  Pre-­‐2004:	
  commercial	
  RDBMS,	
  some	
  open	
  source	
  	
  
•  2004	
  MapRedu...
Sinal	
  dos	
  tempos	
  
Há	
  4	
  anos	
  

Hoje	
  

OS	
  

Linux	
  

Linux	
  

Server	
  

Apache	
  

NodeJs	
  ...
PERGUNTAS	
  ?	
  
Obrigado!!!	
  
The image cannot be displayed. Your computer may not have enough memory to open the image, or the image ma...
Upcoming SlideShare
Loading in …5
×

Big Data e Data Science - Tecnologia e Mercado

1,715 views

Published on

Palestra sobre Big Data para os estudantes dos cursos de tecnologia das universidaes Uniban/Anhanguera
em 5/9/2013

Published in: Technology
3 Comments
1 Like
Statistics
Notes
  • corrigindo: dentro do meu perfil do Linkedin fiz alguns textos.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Olhei o site da IBM.COM lá dizem a forma como eles querem que o Cientista de Dados analise a informação para eles. Isso envolve estatística, envolve análise do sistema de informações, e envolve o uso de uma fórmula de cálculo que está informadas nos livros de ciência de dados e que os cientistas de dados informaram dentro de um artigo deles que eu li meses atrás. O que eu acho que tem que se ver e analisar, é se os softwares que já existem estão realizando o cálculo de forma correta, se estão utilizando a fórmula de cálculo correta. Dentro do meu filfil do Linkedin eu coloquei os nomes dos cientistas de dados que eu achei e algumas das informações que eles estavam fornecendo. Todos temos que ler livros referente a ciência de dados, e eu adoraria que esses livros já viessem para o Brasil à venda já com a tradução para o idioma português, como já era feito ha vários anos atrás. Já tem muitos anos que não vejo isso feito. Aqui no Brasil estamos com falta de livros técnicos da área de computação (em português) vendendo nas livrarias.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • o que eu acho é que a grande maioria dos alunos universitários de área de computação tem que terminar e concluir os seus estudos. Idem os alunos de área de administração. Idem os alunos de área de publicidade e marketing. O que eu observei existir na internet, já trabalhando, são profissionais que abandonaram os seus estudos, e não concluíram a universidade. Encontrei vários aqui no Linkedin, e nos links de sites que eles publicavam, olhei o curriculum de várias pessoas. Com o Big Data tudo mudou. No twitter eu achei diversos Cientistas de Dados. Eles indicaram vários livros para se lêr. Na minha opiniãos todos teremos que voltar a estudar novamente. Temos que lêr esses livros que os Cientistas de Big Data estão indicando lêr. Nos últimos meses eu li diversos artigos com textos confusos, falando de Big Data em inglês e português. Big Data é banco de dados funcionando dentro de uma rede de computador (mainframe) com login internacional. Quem tem que manipular essa informação diretamente são os profissionais de computação. Os demais profissionais terão que pedir (solicitar) que a informação seja fornecida a eles dentro do formato que eles precisarão da informação para realizar algum trabalho. Essa informação Big Data está dentro de diversos bancos de dados SQL. Eu era um DBA SQL com curso da Microsoft em 2000.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
No Downloads
Views
Total views
1,715
On SlideShare
0
From Embeds
0
Number of Embeds
135
Actions
Shares
0
Downloads
0
Comments
3
Likes
1
Embeds 0
No embeds

No notes for slide

Big Data e Data Science - Tecnologia e Mercado

  1. 1. BIG  DATA     DATA  SCIENCE   TECNOLOGIA  E  MERCADO   Hélio  Silva 5/9/2013    
  2. 2. Um  novo  cenário    
  3. 3. E  os  volumes  con;nuarão  crescendo     •  Internet  da  Informação  gera  2,5  Quin;lhões  de   bytes  todos  os  dias   –  12+  Tb  de  Tweets   –  500+  Tb  de  Facebook     •  Internet  das  Coisas  (IoT)  9,6  Bilhões  de   disposi;vos  conectados   •  IoT  está  apenas  na     sua  infância  
  4. 4. Gartner  e  The  Nexus  Forces   `  
  5. 5. Big  Data  –  A  Resposta   •  Engenharia   –  Dividir  para  conquistar   •  Processamento  paralelo     •  Escalabilidade  horizontal   –  Remodelar  Bancos  de  Dados  (NoSQL)   •  Removendo  processos  que  geram  latência  (transac;on)   •  Priorizando  I/O  em  alguns  casos  (Cassandra)   •  Priorizando  a  Análise  em  outros  (Hadoop-­‐MapReduce)   •  Baixo  Custo   –  –  –  –  Uso  de  “hardware  de  prateleira”   Ecossistema  Open-­‐Source    (Hadoop)   Redução  do  preço  do  armazenamento   Cloud  
  6. 6. Big  Data  –  A  Resposta   Yahoo  Hadoop  Cluster  
  7. 7. O  Termo  Big  Data   Erik  Larson,  1989    na  Harper’s  magazine:     “The  keepers  of  Big  Data  say  they  do  it  for  the  consumer's   benefit.  But  data  have  a  way  of  being  used  for  purposes   other  than  originally  intended.”     Aqueles  que  guardam  grandes  volumes  de  dados  dizem   que  o  fazem  em  benekcio  do  consumidor.  Mas  há  formas   de  usá-­‐los  para  propósitos  diferentes  dos  originais.  
  8. 8. Além  do  Big  Data   •  Buzzword  não  ajuda  muito     –  No  Brasil  32%  empresas  não  investem  por  falta   de  conhecimento  (Pesquisa  Ibramerc  2013)   –  49%  Empresas  não  tem  projeto  (Ibramec)     –  Nas  startups  de  tecnologia  o  conceito  está   amplamente  disseminado   •  Tendência:  sumir  o  “BIG”  e  ficar  Data  ou  Data   Analy;cs  (Análise  de  Dados)    
  9. 9. Uma  Profusão  de  V   •  Gartner  2001:     –   Volume:  tamanho  das  bases   –   Velocidade  :  latência  do  processamento  em  face  à   crescente  demanda  por  intera;vidade   –   Variedade:  diversidade  de  fontes,  formatos,   qualidade  e  estrutura   •  IBM:    Veracidade   •  Outros:    Viabilidade,  Valor,  Visualização,  V...   •  O  V  essencial  é  gerar  Vantagem  Compe99va   htp://www.wired.com/insights/2013/05/the-­‐ missing-­‐vs-­‐in-­‐big-­‐data-­‐viability-­‐and-­‐value/  
  10. 10. Ciência  de  Dados   htp://en.wikipedia.org/wiki/File:DataScienceDisciplines.png  
  11. 11. Drew  Conway’s  Data  Science  Venn   Diagram   htp://drewconway.com/zia/2013/3/26/ the-­‐data-­‐science-­‐venn-­‐diagram  
  12. 12. Perfil  do  Cien;sta  de  Dados     A  profissão  mais  sexy  do  século  21     •  •  •  •  •  •  •  •    Programador   Computação  Avançada   Modelagem  de  Dados   DBA   Estaus;co   Matemá;co   Designer  de  Visualização  e  Repor;ng   Entende  o  Negócio   htp://hbr.org/2012/10/data-­‐scien;st-­‐the-­‐sexiest-­‐job-­‐of-­‐the-­‐21st-­‐century/ar/1  
  13. 13. Cien;sta  de  Dados  –  Uma  dúvida   “I  worry  that  the  Data  ScienBst  role  is  like  the   mythical  “webmaster”  of  the  90s:  master  of  all   trades.”   -­‐-­‐  Aaron  Kimball,  CTO  Wibidata     Temo  que  o  papel  do  Cien;sta  de  Dados  seja  igual  ao   mí;co  “webmaster”  dos  anos  90:  o  senhor  de  todos  as   coisas.  
  14. 14. A;vidades  de  um  cien;sta  de  dados   1   • Estabelece  hipóteses   2   • Coleta  e  normaliza  dados   3   • Processa  e  analisa  resultados   4   • Comunica  resultados  
  15. 15. Data  Science  –  Empregos     Fonte:  htp://www.indeed.com/jobtrends?q=Data-­‐science&rela;ve=1  
  16. 16. Business  Intelligence   •  Monta  Datawarehouse  com  dados   estruturados   •  Faz  extração,  normalização,  limpeza  (ETL)   •  Monta  as  informações  em  bases  Analí;cas   Mul;dimensionais  (OLAP)   •  Alguém  u;lizará  a  ferramenta  e  fará  análises   •  Trabalha  com  estaus;ca  descri;va  
  17. 17. Funcionário  visto  pelo  BI   •  O  André  da  Contabilidade  é:   –  Casado   –  Teve  1  promoção  há  2  anos   –  É  formado  pela  PUC   –  Faz  extensão  em  Marke;ng     –  Está  no  programa  de  aposentadoria  complementar   –  R$  90.000  salário/ano   –  Avaliado  como  competente  mas  “disperso”  pela   chefia  
  18. 18. Funcionário  visto  pelo  Big  Data   •  O  André  da  Contabilidade:   –  Tem  um  Blog  com  milhares  de  leitores   –  É  um  “advogado”  dos  produtos  da  empresa  nas   rede  sociais  (Twiter,  Google+,  Facebook)   –  150.000  seguidores  no  twiter  ele  é  um   influenciador  (formador  de  opinião)   –  Várias  palestras  sobre  Branding  usando  casos  de   sucesso  da  empresa    
  19. 19. Resultado  da  Análise   Business  Intelligence     Demissão   Big  Data   Promove  e  transfere  para   a  área  de  marke;ng  
  20. 20. Diferenças  de  visão   Business  Intelligence   Data  Science   Perspec;va   Olha  o  que  já  foi   Olha  o  que  virá   Exper;se   Usuário  no  negócio   Cien;sta  de  dados   Questões   O  que  houve?   O  que  pode  acontecer?     E  se?   Olha   Para  dentro   Para  o  contexto   Análise   Descri;va   Predi;va   Resultado   Diagnós;co   Perspec;va   Gera   Dados,  Dashboards   Resposta  
  21. 21. Ciência  de  dados  e  adequações   •  DBA  tem  que  aprender  sobre  dados  não   estruturados   •  Estaus;cos  têm  que  lidar  com  modelos  que  não   cabem  na  memória  do  seu  computador   •  Engenheiros  de  so•ware  têm  que  aprender   sobre  modelagem  estaus;ca  e  mensurar   resultados   •  Analistas  de  negócios  têm  que  aprender  sobre   algoritmos  e  questões  ligadas  a  computação  em   larga  escala    
  22. 22. Ciência  de  Dados  -­‐  Aplicações   •  Analise  Predi;va   •  Machine  Learning   –  Visão  de  máquina   –  Natural  Language  Processing   –  Recomendação   –  Segurança  (an;-­‐spam,  vírus  etc.)   –  Etc.   •  Análise  de  Metadados  (NSA)  
  23. 23. Mercado  de  novas  possibilidades   Serviços  Financeiros   • Detecção  de  Fraude   • Visão  360°do  cliente   Transporte   • o;mização  logís;ca   • conges;onamento  do   tráfego   Saúde   • Análise  de  registros  médicos   • Monitoramento  de  doenças   Telecomunicação   • Perfil  de  Cliente   • Análise  e  O;mização  de  redes   U9lidades   • Smart  Meter  Analy;cs   • Gerenciamento  dos  A;vos   Midia  Digital   • Segmentação  de   anúncios  em  tempo  real   Varejo   • Omni-­‐channel  Marke;ng   • Real-­‐;me  promo;ons   Segurança   • Vigilância  Mul;modal   • Detecção  de  segurança   ciberné;ca  
  24. 24. Mercado  no  Brasil   ..”Adam  Burgh,  da  baby.com.br,  revela  que  a  empresa  investe  em  um  sistema  de   inteligência  e  monitoramento  das  compras.  Com  essa  tecnologia,  a  loja  procura  se   adiantar  às  necessidades  de  cada  cliente.  "Estamos  sempre  coletando  os  dados   para  iden;ficar  o  perfil  da  mamãe  e  a  idade  do  bebê.  Se  a  mãe  está  comprando   uma  fralda  'G',  conseguimos  saber  que  a  próxima  compra  é  uma  cadeira  de   alimentação",  conta.”   htp://bit.ly/17Chl6d  
  25. 25. Disposição  de  inves;mento   Senseta,  uma  empresa  colombiana  de  Big  Data,   venceu  na  semana  passada  o  úl;mo  rally  da   TNW.COM  para  a  América  La;na.     Compe;u  com  outras  16  Startups.   A  única  que  não  ;nha  uma  app  charmosa  para   disposi;vos  móveis.   htp://thenextweb.com/voice/2013/08/29/and-­‐the-­‐winner-­‐of-­‐tnws-­‐ startup-­‐rally-­‐in-­‐la;n-­‐america-­‐is-­‐senseta/  
  26. 26.     Mercado  no  Brasil   Boo-­‐Box  1  bilhão  de  ads  mensais  com  AWS  
  27. 27. Mercado  no  Brasil   •  Operação  Chaordic  na  AWS   –  ~5TB  de  Banco  de  Dados   –  Mais  de  1  Bi  requisições/mês  na  API   –  67  mil  RPM  –  Black  Friday   –  4  milhões  de  produtos   –  34  milhões  de  recomendações  geradas/dia   –  27  milhões  de  usuários   –  250GB  de  JS  comprimidos  servidor/dia  
  28. 28. Timeline  do  Hadoop   •  Pre-­‐2004:  commercial  RDBMS,  some  open  source     •  2004  MapReduce     •  2008  Hadoop  0.17  release     •  2008  Pig:  Rela;onal  Algebra  on  Hadoop   •  2008  Rela;onal  Algebra  in  a  Hadoop-­‐like  system     •  2009  HIVE:  SQL  on  Hadoop   •  2009  Hbase:  Indexing  for  Hadoop     •  2010  Schemas  and  Indexing  for  Hadoop   •  2012  Transac;ons  in  HBase  
  29. 29. Sinal  dos  tempos   Há  4  anos   Hoje   OS   Linux   Linux   Server   Apache   NodeJs  +  Apache   Linguagem   PHP   Javascript/Python   Banco   MySql   MongoDB   Output   PC/Laptop   Mobile  
  30. 30. PERGUNTAS  ?  
  31. 31. Obrigado!!!   The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again. Hélio  Silva     HTTP://BR.LINKEDIN.COM/IN/HELIOSS/   HTTP://WWW.TIESPECIALISTAS.COM.BR/AUTHOR/HELIO-­‐SILVA/  

×