TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos

Mais Falados
Usando a interação Social para a
Recomendação de Vídeos
Priscilla Lusie
Cientista de Dados - Analytics
Igor Bichara
Pesquisador – P&D
Quem somos?
Data
Driven
Aprendizado de Máquina
Processamento de Linguagem Natural
Análise de Sentimento
Clusterização de Texto
Detecção de Tópicos
Geração Automática de Texto
História
A todo momento nossos
telespectadores postam
comentários sobre nossos
produtos nas redes sociais
E se pudéssemos entender o
que cada mensagem fala....
... e usar essa informação
para recomendar os
conteúdos de maior
repercussão ?
OPINIÃO
TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos
TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos
20milhões de usuários
23,5milhões de horas consumidas
Mais de 120milhões de vídeo views
GLOBOPLAY - MAIS FALADOS
GLOBOPLAY - MAIS FALADOS
GLOBOPLAY - MAIS FALADOS
TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos
Recomendação – Consumo e Hábito
Recomendar um vídeo mais visto
tende a manter a lista de
recomendação constante!
TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos
Recomendação – Capturando Opinião
Que tal
recomendar os
vídeos mais
falados?
TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos
TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos
TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos
Zé dos Porcos
Cegonho
Mafalda
Como ordenar os documentos mais relevantes à query Q?
VSM – Busca por Informação
VSM – Busca por similaridade
VSM – Transformando a Query
Vocabulário Único
Dois conjuntos de documentos
VSM - Modelagem
VSM - Simplificando
VSM - Simplificando
Especificidade
Predominância
Mas como são essas matrizes?
Bag of Words
Êta Mundo Bom
Tweets
Êta Mundo Bom
TF-IDF
● Term Frequency
○ Frequência de uma palavra no documento
○ Normalizada pela quantidade de palavras no documento
𝑇𝑓 = ൘
𝑓𝑟𝑒𝑞 𝑡 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑜
𝑁(𝑡) 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑜
● Inverse Document Frequency
○ Mede quão rara é uma palavra
○ Qual a importância do termo para descrever o documento
○ Ajuda a filtrar as stopwords já que elas aparecem na maior parte dos documentos
𝐼𝑑𝑓 = log ( ൘
𝑁 𝑑
𝑁 𝑑 𝑡𝑒𝑟𝑚𝑜
)
TF-IDF – normalizações
TF-IDF - Exemplo
● Imagine um tweet com 10 palavras
● Este documento possui a palavra Mafalda 3x
● O conjunto de tweets analisados possui 1 milhão de documentos
● A palavra Mafalda aparece em 1.000 destes
𝑇𝑓 =
3
10
= 0.3
𝐼𝑑𝑓 = log
1.000.000
1.000
= log 1.000 = 3
𝑇𝑓 ∙ 𝐼𝑑𝑓 = 0.3 ∙ 3 = 0.9
Cegonho = 0.2
Mafalda = 0.7
Zé dos Porcos = 2.3
...
Mafalda, filho, fizemo, pergunta, calar,
cegonho, respiração, Cunegundes,
bonito, querendo, Zé dos Porcos ...
Bag of Words
Êta Mundo Bom
10000
dimensões
8000
dimensões
5000
dimensões
Stopwords PoS-Tagging
Redução de Ruído: Filtrando Vocabulário
Pré-processamento
TF-IDF TF-IDF
Crawler Worker API
Arquitetura do Sistema
TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos
TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos
“Mais Falados” “Mais Vistos” 46% de aumento de performance (video views) em relação ao tradicional “Mais Vistos”
MAIS FALADOS x MAIS VISTOS
“A ERA DA INFORMAÇÃO OFERECE MUITO À
HUMANIDADE, E EU GOSTARIA DE PENSAR QUE NÓS
NOS ELEVAREMOS AOS DESAFIOS QUE ELA
APRESENTA.
MAS É VITAL LEMBRAR QUE A INFORMAÇÃO (NO
SENTIDO DE DADOS BRUTOS) NÃO É
CONHECIMENTO, QUE CONHECIMENTO NÃO É
SABEDORIA, E QUE SABEDORIA NÃO É PRESCIÊNCIA.
MAS A INFORMAÇÃO É O PRIMEIRO PASSO
ESSENCIAL PARA TUDO ISSO.”
Arthur C Clarke
www.linkedin.com/in/igor-coutinho-52649371
https://www.linkedin.com/in/priscilla-lusie-00ab0a1/
1 of 44

More Related Content

Similar to TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos(10)

More from tdc-globalcode(20)

TDC2018SP | Trilha Go - Case EasylocusTDC2018SP | Trilha Go - Case Easylocus
TDC2018SP | Trilha Go - Case Easylocus
tdc-globalcode742 views

Recently uploaded(20)

Concurso da Sardinha .pptxConcurso da Sardinha .pptx
Concurso da Sardinha .pptx
BibliotecaLavra19 views
Tecnologia Hanak Anacona Ayala.docxTecnologia Hanak Anacona Ayala.docx
Tecnologia Hanak Anacona Ayala.docx
HanaAnaconaAyala11 views
Cartelas de Bingo Império Romano e feudalismoCartelas de Bingo Império Romano e feudalismo
Cartelas de Bingo Império Romano e feudalismo
Jean Carlos Nunes Paixão28 views
Gabarito CAÇA PALAVRAS BANDEIRA.docxGabarito CAÇA PALAVRAS BANDEIRA.docx
Gabarito CAÇA PALAVRAS BANDEIRA.docx
Jean Carlos Nunes Paixão20 views

TDC2018SP | Trilha BigData - Mais Falados - Usando a Interacao Social para a Recomendacao de Videos