• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Big Data e Data Science - Tecnologia e Mercado
 

Big Data e Data Science - Tecnologia e Mercado

on

  • 706 views

Palestra sobre Big Data para os estudantes dos cursos de tecnologia das universidaes Uniban/Anhanguera

Palestra sobre Big Data para os estudantes dos cursos de tecnologia das universidaes Uniban/Anhanguera
em 5/9/2013

Statistics

Views

Total Views
706
Views on SlideShare
652
Embed Views
54

Actions

Likes
1
Downloads
0
Comments
0

3 Embeds 54

http://www.linkedin.com 46
https://www.linkedin.com 7
https://twitter.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Big Data e Data Science - Tecnologia e Mercado Big Data e Data Science - Tecnologia e Mercado Presentation Transcript

    • BIG  DATA     DATA  SCIENCE   TECNOLOGIA  E  MERCADO   Hélio  Silva 5/9/2013    
    • Um  novo  cenário    
    • E  os  volumes  con;nuarão  crescendo     •  Internet  da  Informação  gera  2,5  Quin;lhões  de   bytes  todos  os  dias   –  12+  Tb  de  Tweets   –  500+  Tb  de  Facebook     •  Internet  das  Coisas  (IoT)  9,6  Bilhões  de   disposi;vos  conectados   •  IoT  está  apenas  na     sua  infância  
    • Gartner  e  The  Nexus  Forces   `  
    • Big  Data  –  A  Resposta   •  Engenharia   –  Dividir  para  conquistar   •  Processamento  paralelo     •  Escalabilidade  horizontal   –  Remodelar  Bancos  de  Dados  (NoSQL)   •  Removendo  processos  que  geram  latência  (transac;on)   •  Priorizando  I/O  em  alguns  casos  (Cassandra)   •  Priorizando  a  Análise  em  outros  (Hadoop-­‐MapReduce)   •  Baixo  Custo   –  –  –  –  Uso  de  “hardware  de  prateleira”   Ecossistema  Open-­‐Source    (Hadoop)   Redução  do  preço  do  armazenamento   Cloud  
    • Big  Data  –  A  Resposta   Yahoo  Hadoop  Cluster  
    • O  Termo  Big  Data   Erik  Larson,  1989    na  Harper’s  magazine:     “The  keepers  of  Big  Data  say  they  do  it  for  the  consumer's   benefit.  But  data  have  a  way  of  being  used  for  purposes   other  than  originally  intended.”     Aqueles  que  guardam  grandes  volumes  de  dados  dizem   que  o  fazem  em  benekcio  do  consumidor.  Mas  há  formas   de  usá-­‐los  para  propósitos  diferentes  dos  originais.  
    • Além  do  Big  Data   •  Buzzword  não  ajuda  muito     –  No  Brasil  32%  empresas  não  investem  por  falta   de  conhecimento  (Pesquisa  Ibramerc  2013)   –  49%  Empresas  não  tem  projeto  (Ibramec)     –  Nas  startups  de  tecnologia  o  conceito  está   amplamente  disseminado   •  Tendência:  sumir  o  “BIG”  e  ficar  Data  ou  Data   Analy;cs  (Análise  de  Dados)    
    • Uma  Profusão  de  V   •  Gartner  2001:     –   Volume:  tamanho  das  bases   –   Velocidade  :  latência  do  processamento  em  face  à   crescente  demanda  por  intera;vidade   –   Variedade:  diversidade  de  fontes,  formatos,   qualidade  e  estrutura   •  IBM:    Veracidade   •  Outros:    Viabilidade,  Valor,  Visualização,  V...   •  O  V  essencial  é  gerar  Vantagem  Compe99va   htp://www.wired.com/insights/2013/05/the-­‐ missing-­‐vs-­‐in-­‐big-­‐data-­‐viability-­‐and-­‐value/  
    • Ciência  de  Dados   htp://en.wikipedia.org/wiki/File:DataScienceDisciplines.png  
    • Drew  Conway’s  Data  Science  Venn   Diagram   htp://drewconway.com/zia/2013/3/26/ the-­‐data-­‐science-­‐venn-­‐diagram  
    • Perfil  do  Cien;sta  de  Dados     A  profissão  mais  sexy  do  século  21     •  •  •  •  •  •  •  •    Programador   Computação  Avançada   Modelagem  de  Dados   DBA   Estaus;co   Matemá;co   Designer  de  Visualização  e  Repor;ng   Entende  o  Negócio   htp://hbr.org/2012/10/data-­‐scien;st-­‐the-­‐sexiest-­‐job-­‐of-­‐the-­‐21st-­‐century/ar/1  
    • Cien;sta  de  Dados  –  Uma  dúvida   “I  worry  that  the  Data  ScienBst  role  is  like  the   mythical  “webmaster”  of  the  90s:  master  of  all   trades.”   -­‐-­‐  Aaron  Kimball,  CTO  Wibidata     Temo  que  o  papel  do  Cien;sta  de  Dados  seja  igual  ao   mí;co  “webmaster”  dos  anos  90:  o  senhor  de  todos  as   coisas.  
    • A;vidades  de  um  cien;sta  de  dados   1   • Estabelece  hipóteses   2   • Coleta  e  normaliza  dados   3   • Processa  e  analisa  resultados   4   • Comunica  resultados  
    • Data  Science  –  Empregos     Fonte:  htp://www.indeed.com/jobtrends?q=Data-­‐science&rela;ve=1  
    • Business  Intelligence   •  Monta  Datawarehouse  com  dados   estruturados   •  Faz  extração,  normalização,  limpeza  (ETL)   •  Monta  as  informações  em  bases  Analí;cas   Mul;dimensionais  (OLAP)   •  Alguém  u;lizará  a  ferramenta  e  fará  análises   •  Trabalha  com  estaus;ca  descri;va  
    • Funcionário  visto  pelo  BI   •  O  André  da  Contabilidade  é:   –  Casado   –  Teve  1  promoção  há  2  anos   –  É  formado  pela  PUC   –  Faz  extensão  em  Marke;ng     –  Está  no  programa  de  aposentadoria  complementar   –  R$  90.000  salário/ano   –  Avaliado  como  competente  mas  “disperso”  pela   chefia  
    • Funcionário  visto  pelo  Big  Data   •  O  André  da  Contabilidade:   –  Tem  um  Blog  com  milhares  de  leitores   –  É  um  “advogado”  dos  produtos  da  empresa  nas   rede  sociais  (Twiter,  Google+,  Facebook)   –  150.000  seguidores  no  twiter  ele  é  um   influenciador  (formador  de  opinião)   –  Várias  palestras  sobre  Branding  usando  casos  de   sucesso  da  empresa    
    • Resultado  da  Análise   Business  Intelligence     Demissão   Big  Data   Promove  e  transfere  para   a  área  de  marke;ng  
    • Diferenças  de  visão   Business  Intelligence   Data  Science   Perspec;va   Olha  o  que  já  foi   Olha  o  que  virá   Exper;se   Usuário  no  negócio   Cien;sta  de  dados   Questões   O  que  houve?   O  que  pode  acontecer?     E  se?   Olha   Para  dentro   Para  o  contexto   Análise   Descri;va   Predi;va   Resultado   Diagnós;co   Perspec;va   Gera   Dados,  Dashboards   Resposta  
    • Ciência  de  dados  e  adequações   •  DBA  tem  que  aprender  sobre  dados  não   estruturados   •  Estaus;cos  têm  que  lidar  com  modelos  que  não   cabem  na  memória  do  seu  computador   •  Engenheiros  de  so•ware  têm  que  aprender   sobre  modelagem  estaus;ca  e  mensurar   resultados   •  Analistas  de  negócios  têm  que  aprender  sobre   algoritmos  e  questões  ligadas  a  computação  em   larga  escala    
    • Ciência  de  Dados  -­‐  Aplicações   •  Analise  Predi;va   •  Machine  Learning   –  Visão  de  máquina   –  Natural  Language  Processing   –  Recomendação   –  Segurança  (an;-­‐spam,  vírus  etc.)   –  Etc.   •  Análise  de  Metadados  (NSA)  
    • Mercado  de  novas  possibilidades   Serviços  Financeiros   • Detecção  de  Fraude   • Visão  360°do  cliente   Transporte   • o;mização  logís;ca   • conges;onamento  do   tráfego   Saúde   • Análise  de  registros  médicos   • Monitoramento  de  doenças   Telecomunicação   • Perfil  de  Cliente   • Análise  e  O;mização  de  redes   U9lidades   • Smart  Meter  Analy;cs   • Gerenciamento  dos  A;vos   Midia  Digital   • Segmentação  de   anúncios  em  tempo  real   Varejo   • Omni-­‐channel  Marke;ng   • Real-­‐;me  promo;ons   Segurança   • Vigilância  Mul;modal   • Detecção  de  segurança   ciberné;ca  
    • Mercado  no  Brasil   ..”Adam  Burgh,  da  baby.com.br,  revela  que  a  empresa  investe  em  um  sistema  de   inteligência  e  monitoramento  das  compras.  Com  essa  tecnologia,  a  loja  procura  se   adiantar  às  necessidades  de  cada  cliente.  "Estamos  sempre  coletando  os  dados   para  iden;ficar  o  perfil  da  mamãe  e  a  idade  do  bebê.  Se  a  mãe  está  comprando   uma  fralda  'G',  conseguimos  saber  que  a  próxima  compra  é  uma  cadeira  de   alimentação",  conta.”   htp://bit.ly/17Chl6d  
    • Disposição  de  inves;mento   Senseta,  uma  empresa  colombiana  de  Big  Data,   venceu  na  semana  passada  o  úl;mo  rally  da   TNW.COM  para  a  América  La;na.     Compe;u  com  outras  16  Startups.   A  única  que  não  ;nha  uma  app  charmosa  para   disposi;vos  móveis.   htp://thenextweb.com/voice/2013/08/29/and-­‐the-­‐winner-­‐of-­‐tnws-­‐ startup-­‐rally-­‐in-­‐la;n-­‐america-­‐is-­‐senseta/  
    •     Mercado  no  Brasil   Boo-­‐Box  1  bilhão  de  ads  mensais  com  AWS  
    • Mercado  no  Brasil   •  Operação  Chaordic  na  AWS   –  ~5TB  de  Banco  de  Dados   –  Mais  de  1  Bi  requisições/mês  na  API   –  67  mil  RPM  –  Black  Friday   –  4  milhões  de  produtos   –  34  milhões  de  recomendações  geradas/dia   –  27  milhões  de  usuários   –  250GB  de  JS  comprimidos  servidor/dia  
    • Timeline  do  Hadoop   •  Pre-­‐2004:  commercial  RDBMS,  some  open  source     •  2004  MapReduce     •  2008  Hadoop  0.17  release     •  2008  Pig:  Rela;onal  Algebra  on  Hadoop   •  2008  Rela;onal  Algebra  in  a  Hadoop-­‐like  system     •  2009  HIVE:  SQL  on  Hadoop   •  2009  Hbase:  Indexing  for  Hadoop     •  2010  Schemas  and  Indexing  for  Hadoop   •  2012  Transac;ons  in  HBase  
    • Sinal  dos  tempos   Há  4  anos   Hoje   OS   Linux   Linux   Server   Apache   NodeJs  +  Apache   Linguagem   PHP   Javascript/Python   Banco   MySql   MongoDB   Output   PC/Laptop   Mobile  
    • PERGUNTAS  ?  
    • Obrigado!!!   The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again. Hélio  Silva     HTTP://BR.LINKEDIN.COM/IN/HELIOSS/   HTTP://WWW.TIESPECIALISTAS.COM.BR/AUTHOR/HELIO-­‐SILVA/