Successfully reported this slideshow.
Your SlideShare is downloading. ×

TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos

Ad

Mais Falados
Usando a interação Social para a
Recomendação de Vídeos

Ad

Priscilla Lusie
Cientista de Dados - Analytics
Igor Bichara
Pesquisador – P&D
Quem somos?

Ad

Data
Driven

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Upcoming SlideShare
Und3 atv5joaobosco
Und3 atv5joaobosco
Loading in …3
×

Check these out next

1 of 44 Ad
1 of 44 Ad
Advertisement

More Related Content

More from tdc-globalcode (20)

Advertisement

TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos

  1. 1. Mais Falados Usando a interação Social para a Recomendação de Vídeos
  2. 2. Priscilla Lusie Cientista de Dados - Analytics Igor Bichara Pesquisador – P&D Quem somos?
  3. 3. Data Driven
  4. 4. Aprendizado de Máquina Processamento de Linguagem Natural Análise de Sentimento Clusterização de Texto Detecção de Tópicos Geração Automática de Texto
  5. 5. História
  6. 6. A todo momento nossos telespectadores postam comentários sobre nossos produtos nas redes sociais
  7. 7. E se pudéssemos entender o que cada mensagem fala.... ... e usar essa informação para recomendar os conteúdos de maior repercussão ?
  8. 8. OPINIÃO
  9. 9. 20milhões de usuários 23,5milhões de horas consumidas Mais de 120milhões de vídeo views
  10. 10. GLOBOPLAY - MAIS FALADOS
  11. 11. GLOBOPLAY - MAIS FALADOS
  12. 12. GLOBOPLAY - MAIS FALADOS
  13. 13. Recomendação – Consumo e Hábito Recomendar um vídeo mais visto tende a manter a lista de recomendação constante!
  14. 14. Recomendação – Capturando Opinião Que tal recomendar os vídeos mais falados?
  15. 15. Zé dos Porcos Cegonho Mafalda
  16. 16. Como ordenar os documentos mais relevantes à query Q? VSM – Busca por Informação
  17. 17. VSM – Busca por similaridade
  18. 18. VSM – Transformando a Query
  19. 19. Vocabulário Único Dois conjuntos de documentos VSM - Modelagem
  20. 20. VSM - Simplificando
  21. 21. VSM - Simplificando
  22. 22. Especificidade Predominância Mas como são essas matrizes?
  23. 23. Bag of Words Êta Mundo Bom
  24. 24. Tweets Êta Mundo Bom
  25. 25. TF-IDF ● Term Frequency ○ Frequência de uma palavra no documento ○ Normalizada pela quantidade de palavras no documento 𝑇𝑓 = ൘ 𝑓𝑟𝑒𝑞 𝑡 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑜 𝑁(𝑡) 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑜 ● Inverse Document Frequency ○ Mede quão rara é uma palavra ○ Qual a importância do termo para descrever o documento ○ Ajuda a filtrar as stopwords já que elas aparecem na maior parte dos documentos 𝐼𝑑𝑓 = log ( ൘ 𝑁 𝑑 𝑁 𝑑 𝑡𝑒𝑟𝑚𝑜 )
  26. 26. TF-IDF – normalizações
  27. 27. TF-IDF - Exemplo ● Imagine um tweet com 10 palavras ● Este documento possui a palavra Mafalda 3x ● O conjunto de tweets analisados possui 1 milhão de documentos ● A palavra Mafalda aparece em 1.000 destes 𝑇𝑓 = 3 10 = 0.3 𝐼𝑑𝑓 = log 1.000.000 1.000 = log 1.000 = 3 𝑇𝑓 ∙ 𝐼𝑑𝑓 = 0.3 ∙ 3 = 0.9
  28. 28. Cegonho = 0.2 Mafalda = 0.7 Zé dos Porcos = 2.3 ... Mafalda, filho, fizemo, pergunta, calar, cegonho, respiração, Cunegundes, bonito, querendo, Zé dos Porcos ...
  29. 29. Bag of Words Êta Mundo Bom
  30. 30. 10000 dimensões 8000 dimensões 5000 dimensões Stopwords PoS-Tagging Redução de Ruído: Filtrando Vocabulário
  31. 31. Pré-processamento TF-IDF TF-IDF
  32. 32. Crawler Worker API Arquitetura do Sistema
  33. 33. “Mais Falados” “Mais Vistos” 46% de aumento de performance (video views) em relação ao tradicional “Mais Vistos” MAIS FALADOS x MAIS VISTOS
  34. 34. “A ERA DA INFORMAÇÃO OFERECE MUITO À HUMANIDADE, E EU GOSTARIA DE PENSAR QUE NÓS NOS ELEVAREMOS AOS DESAFIOS QUE ELA APRESENTA. MAS É VITAL LEMBRAR QUE A INFORMAÇÃO (NO SENTIDO DE DADOS BRUTOS) NÃO É CONHECIMENTO, QUE CONHECIMENTO NÃO É SABEDORIA, E QUE SABEDORIA NÃO É PRESCIÊNCIA. MAS A INFORMAÇÃO É O PRIMEIRO PASSO ESSENCIAL PARA TUDO ISSO.” Arthur C Clarke
  35. 35. www.linkedin.com/in/igor-coutinho-52649371 https://www.linkedin.com/in/priscilla-lusie-00ab0a1/

×