Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Dev para Engenheiro de Dados (From Dev to Data Engineer)

0 views

Published on

De Desenvolvedor para Engenheiro de dados;
Como fui de um dev web tradicional, usando uma stack para um mundo aonde vivo sem cache aonde o usuário é visto como único.
Como as tecnologias evoluíram e como essa background me ajuda no dia-a-dia

Published in: Data & Analytics
  • Be the first to comment

Dev para Engenheiro de Dados (From Dev to Data Engineer)

  1. 1. ou como aprendi a viver sem cache FROM DEV TO DATA ENGINEER
  2. 2. ENGENHEIRO DE DADOS NA GLOBO.COM @renan_oliveira
  3. 3. entre 2006 e 2012 HÁ MUITO TEMPO
  4. 4. ou como aprendi a viver sem cache E AGORA, JOSÉ?
  5. 5. 3bilhõesde eventos diários E V E N T O S 2milhõesde conexões simultâneas 70milhõesde usuários únicos por mês 100mil novos conteúdos por mês
  6. 6. event tracker by globo.com
  7. 7. Para esses novos problemas os velhos truques não serviam
  8. 8. D A T A S C I E N C E S K I L L S
  9. 9. STUDY HARD
  10. 10. ESTATÍSTICA
  11. 11. PUBLICAÇÕES
  12. 12. MACHINE LEARNING
  13. 13. INFRAESTRUTURA
  14. 14. 100milrecomendações por minuto 15msde tempo de resposta(p50) +20algoritmosdiferentes Scalaparacomo principal linguagem Multi-DB (HBase + Solr + Parquet) R E C O M E N D A Ç Ã O
  15. 15. +1000testes AB E X P E R I M E N T A Ç Ã O 5msde tempo de resposta (p50) DataCulture Visuaise deAlgoritmos Scala- VM de < 2GB
  16. 16. o que tá nascendo por aí?! NOVOS HORIZONTES
  17. 17. OBRIGADO! @renan_oliveira www.renanoliveira.net http://slideshare.net/renangpa

×